Engenheiro de Dados Sênior / Especialista - AWS / Snowflake / Iceberg

A Leega busca um Engenheiro de Dados Sênior/Especialista para atuar em uma arquitetura lakehouse na AWS, onde o Snowflake é o Data Warehouse principal e consome tabelas Apache Iceberg armazenadas no S3. O profissional será referência técnica no ecossistema de dados, responsável por projetar, construir e evoluir pipelines robustos e a interoperabilidade entre o data lake e o warehouse, garantindo qualidade, performance, controle de custo e governança das soluções entregues.

Responsabilidades

• Projetar e implementar pipelines de ingestão, transformação e disponibilização de dados em ambiente AWS, escrevendo e mantendo tabelas Apache Iceberg no S3.
• Desenvolver jobs de processamento distribuído em Spark (EMR e/ou AWS Glue), incluindo cargas incrementais, upserts (MERGE) e reprocessamentos históricos.
• Garantir a integração entre Snowflake e o lakehouse Iceberg: external volumes, catalog integration (Glue Data Catalog), tabelas gerenciadas pelo Snowflake versus externamente gerenciadas e sincronização de metadados.
• Executar e automatizar a manutenção das tabelas Iceberg: compactação de arquivos pequenos, expiração de snapshots, remoção de arquivos órfãos, evolução de schema e de particionamento.
• Modelar e otimizar modelos de dados e queries no Snowflake, garantindo performance e uso eficiente de recursos.
• Monitorar e otimizar custo e performance dos ambientes AWS e Snowflake (dimensionamento de warehouses, clustering, politicas de cache, custo de leitura no data lake).
• Atuar na definição de boas praticas de engenharia de dados: versionamento em Git, CI/CD, testes de dados, documentação e linhagem.
• Implementar controles de governança e segurança: RBAC, politicas de mascaramento e de row access no Snowflake e permissionamento via Lake Formation.
• Diagnosticar e solucionar problemas de performance e disponibilidade em ambientes de dados críticos.
• Atuar como referencia técnica do time: revisão de código, mentoria de profissionais menos experientes e registro de decisões de arquitetura.
• Colaborar com times de dados, produto e negocio no levantamento de requisitos e na definição de soluções.