Engenheiro de Dados Pleno

Engenheiro(a) de Dados Pleno — Databricks

Modelo de trabalho: Remoto
Regime de contratação: CLT
Senioridade: Pleno

Sobre a oportunidade

Buscamos uma pessoa Engenheira de Dados Pleno para desenvolver e operar pipelines escaláveis na plataforma Databricks. Você atuará da ingestão à disponibilização dos dados para análises e produtos, contribuindo com decisões de arquitetura, qualidade, performance, segurança e confiabilidade.

Responsabilidades e atribuições

Principais responsabilidades

• Construir e manter pipelines de ingestão e transformação para dados de APIs, bancos relacionais, arquivos e data lakes.
• Desenvolver soluções em Python, SQL e PySpark, com código organizado, reutilizável e testável.
• Modelar dados em Delta Lake, aplicando cargas incrementais, operações MERGE e boas práticas de manutenção.
• Implementar arquiteturas Medallion (Bronze, Silver e Gold) e regras de qualidade de dados.
• Orquestrar jobs e pipelines, configurar dependências, parâmetros, retentativas e alertas.
• Monitorar execuções, investigar falhas e diagnosticar problemas de qualidade e performance.
• Otimizar consultas, processamento, uso de clusters e custos, medindo os resultados das melhorias.
• Aplicar práticas de governança e segurança, incluindo controle de acesso e proteção de dados sensíveis.
• Colaborar em revisões de código, testes, versionamento e implantação entre ambientes.

Requisitos e qualificações

Requisitos

• Experiência prática com Python, SQL avançado e PySpark.
• Experiência na construção e operação de pipelines de dados em Databricks.
• Conhecimento de Delta Lake, incluindo transações, evolução de schema, cargas incrementais e operações de atualização.
• Experiência com processamento batch; conhecimento de streaming é desejável.
• Conhecimento de arquitetura Medallion e de formatos como CSV, JSON e Parquet.
• Experiência com orquestração de jobs, monitoramento e tratamento de falhas.
• Familiaridade com Git, revisão de código e testes.
• Capacidade de investigar problemas, explicar decisões técnicas e atuar com autonomia.

Diferenciais

• Experiência com Auto Loader, Structured Streaming e pipelines declarativos.
• Conhecimento de Unity Catalog, linhagem, auditoria e permissões.
• Experiência com AWS, Azure ou Google Cloud.
• Prática com CI/CD, infraestrutura como código e Databricks Asset Bundles ou ferramentas equivalentes.
• Certificação Databricks Certified Data Engineer Associate.

Informações adicionais

🍛 Vale-alimentação ou vale-refeição;

👨🏼‍🎓 Desconto em cursos, universidades e instituições de idiomas;

📚 Academia Stefanini — plataforma com cursos on-line, gratuitos, atualizados e com certificado;

🗣 Mentoring;

💉 Clube de vantagens para consultas e exames;

🏥 Assistência médica;

🦷 Assistência odontológica;

💰 Clube de vantagens e descontos nos melhores estabelecimentos;

🛫 Clube de viagens;

🐶 Convênio para pets.