Engenheiro de Dados AWS Pleno

Responsabilidades:

• Criação/Sustentação de pipeline de dados entre camadas no data lake, como otimização.
• Preparação/modelagem de base de dados;
• Ingestão de bases de dados para o data lake;
• Análise e levantamento de requisitos de dados, junto aos usuários (área de negócio).
• Apoiar o time de desenvolvimento com as demandas do dia a dia e novas demandas;
• Criar/sustentar pipeline de dados entre camadas no data lake;
• Desenvolver/modelar bases de dados para dashboards, relatórios, algoritmos e/ou refinadas;
• Ingerir dados para do data lake;
• Documentar as evoluções das atividades no JIRA diariamente;
• Documentar metadados/regras de negócios através de documento interno padrão;
• Entender/Levantar requisitos de bases de dados/variáveis junto ao negócio;
• Fazer ingestão de bases para o data lake;
• Realizar análise de qualidade de dados, e se certificar de que padrões de analytics estão sendo aplicados;
• Versionar códigos desenvolvidos.

Requisitos:

• Desenvolvimento de Software;
• Cloud Computing na plataforma AWS;
• Conceitos de ETL;
• SQL;
• Spark;
• Programação em Python e/ou PySpark;
• Projetos Open Source;
• SRE (Conceito);
• RedShitf;
• S3;
• Crawler;
• Glue;
• Kubernetes;
• Airflow