Última atualização: 4 de Novembro de 2026
Databricks Data Engineer | Senior
Engenheiro(a) de Dados Sênior com foco em Databricks, PySpark e Azure Data Factory
Via Gupy
Sobre
A Compass UOL está em busca de um(a) Engenheiro(a) de Dados Sênior com expertise em Databricks para atuar no desenvolvimento, implementação e evolução de soluções de Engenharia de Dados. O profissional será responsável por definir e implementar arquiteturas de dados escaláveis, baseadas no modelo Lakehouse e na arquitetura Medallion (Bronze, Silver e Gold), além de desenvolver, otimizar e manter pipelines de dados utilizando Databricks, PySpark, Spark SQL e Delta Lake.
Responsabilidades
- Atuar no desenvolvimento, implementação e evolução de soluções de Engenharia de Dados utilizando o ecossistema Databricks;
- Definir e implementar arquiteturas de dados escaláveis, baseadas no modelo Lakehouse e na arquitetura Medallion (Bronze, Silver e Gold);
- Desenvolver, otimizar e manter pipelines de dados utilizando Databricks, PySpark, Spark SQL e Delta Lake;
- Implementar soluções de ingestão, processamento e integração de dados, incluindo CDC e Structured Streaming;
- Atuar na orquestração de pipelines e integração de sistemas por meio do Azure Data Factory (ADF);
- Desenvolver APIs REST, microsserviços e automações utilizando Python;
- Garantir a governança, segurança, linhagem e controle de acesso aos dados;
- Realizar otimizações de performance, escalabilidade e custos de processamento;
- Atuar na observabilidade, monitoramento e sustentação de pipelines em produção;
- Ser referência técnica para o time, orientando profissionais e estabelecendo boas práticas de Engenharia de Dados.
Requisitos
- Experiência sólida e avançada em projetos produtivos com Databricks
- Domínio de PySpark, Spark SQL, Delta Lake e Apache Spark
- Experiência com DLT / Lakeflow Spark Declarative Pipelines, CDC e Structured Streaming
- Experiência com Liquid Clustering, Auto Loader e otimização de tabelas Delta
- Conhecimento avançado em Unity Catalog, governança, segurança, linhagem e controle de acesso
- Experiência na definição de arquiteturas de dados, modelo Lakehouse e arquitetura Medallion
- Experiência com Azure Data Factory (ADF) para orquestração, ingestão e integração de dados
- Domínio de Python para desenvolvimento de APIs REST, microsserviços e automações
- Experiência com Spark Performance Tuning, Photon, particionamento, shuffle e análise de planos de execução
- Conhecimento em Databricks Workflows, CI/CD, Git e Declarative Automation Bundles
- Experiência com otimização de workloads, dimensionamento de recursos computacionais e redução de custos
- Vivência com observabilidade, monitoramento e sustentação de pipelines em produção
- Autonomia na resolução de problemas técnicos complexos e capacidade de tomada de decisão arquitetural
- Experiência como referência técnica, apoiando e orientando outros profissionais
- Certificação Databricks Certified Data Engineer Associate
Desejáveis
- Certificação Databricks Certified Data Engineer Professional
- Certificação Databricks Certified Associate Developer for Apache Spark
- Certificações AWS, Azure ou GCP relacionadas à Engenharia de Dados e Arquitetura de Soluções
Benefícios
- Vale-alimentação e/ou vale-refeição
- Plano de saúde
- Plano odontológico
- Plano de saúde para o seu pet
- Auxílio home office
- Kit de boas-vindas no onboarding
- Seguro de vida
- Zenklub, com acompanhamento psicológico e nutricional
- TotalPass
- Programa de Certificações e Capacitação Contínua com parceiros (Adobe, Anthropic, AWS, Google, Microsoft, Salesforce)
- Parcerias e descontos para o seu desenvolvimento
- Acesso ao conteúdo UOL
- Kit maternidade
- Licença maternidade e paternidade estendidas
- Programa de indicações
Outras Informações
Selecionamos as principais informações da posição. Para conferir o descritivo completo, clique em "acessar"
Hey!
Cadastre-se na Remotar para ter acesso a todos os recursos da plataforma, inclusive inscrever-se em vagas exclusivas e selecionadas!