ZI
Pessoa Engenheira de Dados Sênior
Zup Innovation
Contract type
Ongoing
Work mode
100% remote
Experience
3 years
Job description
Key details
- Participar do processo de entendimento das necessidades do negócio, entendendo e garantindo a entrega de valor
- Desenhar a arquitetura e avaliar as tecnologias disponíveis para resolver o problema certo
- Desenvolver e evoluir pipelines de dados escaláveis e preparados para alimentar modelos de IA Generativa e soluções de RAG
- Implementar pipelines de Dados para democratização de dados em uma arquitetura Data Mesh, criando camadas semânticas e dados estruturados para consumo por IA
- Combinar a arquitetura e tecnologia para desenvolver e entregar componentes reutilizáveis como conectores, APIs, SDKs, CLIs, integrando com APIs de LLMs (OpenAI, Claude, Gemini)
- Prototipar agentes inteligentes utilizando frameworks como LangChain, LangGraph e CrewAI, avaliando custo, latência e qualidade das integrações
- Testar e automatizar tudo que for possível
- Validar e adaptar os componentes de acordo com os feedbacks dos usuários
- Colaborar com a qualidade e inovação tecnológica do produto e ambiente de trabalho
- Company mission
- Usar a tecnologia para transformar a vida de pessoas, potencializar talentos desperdiçados por falta de acesso e posicionar regiões desprivilegiadas como pólos de tecnologia de qualidade
Primary stack
Core technologies
Python (Programming Language)AWSTerraform
Benefits
- Plano de desenvolvimento de carreira
- Acompanhamento próximo por uma pessoa do time de People
- Acesso a uma plataforma proprietária que tangibiliza o sentimento de progresso
- Liberdade para trabalhar de onde quiserem (home office, escritórios ou modelo híbrido)
Requirements & details
- Conhecimento em processamento de dados em larga escala, processamento paralelo e distribuído (Apache Spark, Hadoop, Hive, etc)
- Experiência prática em ELT utilizando dbt, Data Lake/Lakehouse e orquestração com Airflow
- Experiência com serviços de Data & Analytics da nuvem AWS (Glue, EMR, Athena, Quicksight)
- Conhecimento de linguagem de programação Python
- Domínio sobre os principais serviços da Cloud AWS (S3, Lambda, SQS, DynamoDB, API Gateway)
- Proficiência no uso de LLMs, aplicação prática de embeddings, RAG (Retrieval-Augmented Generation) e Bancos Vetoriais (Pinecone, Milvus, pgvector, Qdrant, etc.)
- Habilidade em Engenharia de Prompts e orquestração com frameworks como LangChain ou LangGraph
- Atuação prática consistente com bases de dados relacionais (SQL) e NoSQL (documentos e chave-valor)
- Domínio de práticas de DevOps e infraestrutura como código (Terraform, CodePipeline, etc)
- Desejável: Experiência anterior em iniciativas de democratização de dados com Data Mesh
- Desejável: Experiência em avaliação comparativa entre diferentes LLMs de mercado considerando custo-benefício e latência
- Desejável: Experiência com IA generativa ou ferramentas de automação aplicadas a pipelines de dados, como geração assistida de código, documentação automatizada ou monitoramento inteligente de qualidade de dados
- Desejável: Conhecimentos de Observability
- Python, AWS, Apache Spark, Hadoop, Hive, dbt, Airflow, LangChain, LangGraph, CrewAI, OpenAI, Claude, Gemini, Pinecone, Milvus, pgvector, Qdrant, Terraform, CodePipeline
- Python (Programming Language)
- AWS
- Terraform