Data Engineer PL/SR

Como será seu dia a dia:

• Realizar a modelagem de dados, desenvolvendo e mantendo estruturas de banco de dados eficientes e otimizadas.
• Criar consultas SQL complexas para extrair, transformar e carregar (ETL) dados de várias fontes para os sistemas de armazenamento de dados.
• Desenvolver pipelines de dados eficientes para processamento em lote e em tempo real.
• Identificar e resolver problemas de integridade, qualidade e consistência dos dados.
• Colaborar com cientistas de dados e analistas para entender os requisitos de dados e fornecer soluções eficazes.
• Trabalhar com ferramentas de orquestração e agendamento de tarefas para automatizar processos de ETL.
• Monitorar o desempenho dos processos de ETL e otimizá-los quando necessário.
• Garantir a segurança e confidencialidade dos dados, aderindo às políticas e práticas de segurança da empresa.

Para tirar de letra, você precisa:

• Experiência em modelagem de dados, incluindo a definição de esquemas de banco de dados, criação de tabelas e relacionamentos.
• Conhecimento avançado em SQL, com habilidades para escrever consultas complexas e otimizadas.
• Experiência com ferramentas de ETL, como Apache Airflow.
• Familiaridade com técnicas de integração de dados, incluindo transformação, limpeza e enriquecimento de dados.
• Proficiência em linguagem de programação Python, para automação e desenvolvimento de scripts.
• Compreensão dos princípios de arquitetura de dados, como data lakes, data warehouses e data marts.
• Conhecimento em bancos de dados relacionais, como MySQL, PostgreSQL ou Oracle.
• Habilidades de resolução de problemas e depuração, com capacidade de identificar e corrigir problemas relacionados aos processos de ETL.

Além disso, se tiver os itens abaixo, será ainda melhor:

• Certificação "Google Cloud Professional Data Engineer" ou "ML Engineer".