Engenheiro(a) de Dados AWS Sênior

A ICON IT está em busca de um(a) Engenheiro(a) de Dados AWS Sênior para atuar em um projeto de integração de dados em ambiente AWS. Este projeto envolve a ingestão de informações provenientes de uma API externa em um Data Lake corporativo já existente. O profissional será responsável pela implementação e configuração dos fluxos de ingestão, transformação e disponibilização dos dados até a camada Trusted, respeitando os padrões de arquitetura, governança, segurança e qualidade estabelecidos no ambiente do cliente. O projeto contempla as etapas de implementação, testes, documentação técnica e acompanhamento da estabilização da solução.

Responsabilidades

• Analisar os requisitos técnicos da API REST, incluindo autenticação, documentação OpenAPI/Swagger, paginação e mecanismos de atualização incremental.
• Implementar e configurar pipelines de ingestão de dados utilizando os serviços AWS e os componentes já disponíveis no ambiente.
• Desenvolver processos de tratamento e transformação de dados nas camadas Landing, Raw e Trusted.
• Implementar mecanismos de carga inicial e incremental, controle de processamento, deduplicação e exclusão lógica.
• Garantir a integridade, consistência, rastreabilidade e qualidade dos dados processados.
• Estruturar e disponibilizar os dados para consulta por meio do Amazon Athena.
• Implementar mecanismos de monitoramento, logging e tratamento de falhas nos processos de integração.
• Realizar testes técnicos, validações e reconciliação dos dados entre origem e destino.
• Elaborar documentação técnica e realizar transferência de conhecimento para a equipe responsável pela operação.
• Apoiar a estabilização da solução durante o período de Hypercare.