Engenheiro de Dados

Requisitos

• Diploma, devidamente registrado, de curso de nível superior de graduação na área de Tecnologia da Informação (Ciência da Computação, Engenharia de Software, Sistemas de Informação, Engenharia da Computação ou correlatos) ou de graduação em qualquer área acrescido de certificado de pós-graduação em área de Tecnologia da Informação de, no mínimo, 360 (trezentos e sessenta) horas, fornecido por instituição reconhecida pelo Ministério da Educação (MEC).
• Experiência mínima comprovada de 03 (três) anos atuando como Engenheiro(a) de Dados (ou no mínimo 02 anos em nível pleno, com entrega ponta a ponta de pipelines em produção).
• Experiência comprovada na construção e sustentação de pipelines ETL/ELT em produção, do design à operação.
• Vivência com volumes relevantes de dados (batch e/ou incremental) e com reprocessamento seguro.
• Sólida proficiência em Python para engenharia de dados (boas práticas, OOP, organização de código, tratamento de erros, testes).
• Experiência na criação e empacotamento de bibliotecas Python próprias (wheels), promovendo reuso, padronização e versionamento de código entre pipelines.
• Domínio de SQL avançado (consultas, joins, CTEs, window functions, tuning) e modelagem de dados (normalizada e dimensional).
• Experiência com ETL/ELT, incluindo ingestão de múltiplas fontes e carga em bancos de dados relacionais (PostgreSQL, SQL Server, MySQL, Oracle ou similares) e não relacionais (MongoDB e afins).
• Experiência com armazenamento em arquivos Parquet e conceitos de Data Lake / Data Lakehouse (camadas Bronze/Silver/Gold ou Medallion).
• Experiência com orquestração de pipelines no Apache Airflow (criação de DAGs, agendamento, dependências, retentativas e tratamento de falhas).
• Experiência prática com Docker (build de imagens, Dockerfiles, ambientes reproduzíveis) e operação em Kubernetes (deploy, jobs, configmaps/secrets, monitoramento de workloads).
• Familiaridade com MinIO (armazenamento de objetos compatível com S3) como camada de Data Lake.
• Conhecimento no uso de Dremio (ou motor de consulta equivalente como Trino/Athena) como camada semântica/consulta sobre o Data Lake.
• Experiência com Git/versionamento e práticas de CI/CD aplicadas a projetos de dados.
• Sólido entendimento de qualidade de dados, observabilidade e monitoramento de pipelines (validação, alertas, métricas, reprocessamento).
• Conhecimentos em intetração de ferramentas de IA para alta produtividade (Harness).

Desejáveis

• Portfólio (GitHub, projetos pessoais ou contribuições open source) que demonstre a habilidade de resolver problemas reais de dados.
• Conhecimento em Apache Iceberg (ou Delta Lake/Hudi) como formato de tabela aberta sobre o Data Lake.
• Conhecimento em dbt para modelagem e transformação de dados na camada analítica.
• Conhecimento em orquestração e automação avançadas: Helm, Argo CD, GitHub Actions/GitLab CI para deploy em múltiplos clusters Kubernetes.
• Conhecimento em Nessie (catálogo com branching/tagging) e gestão de múltiplos ambientes (dev/test/prod).
• Conhecimento em streaming e ingestão em tempo real: Apache Kafka (modo KRaft), Debezium/CDC.
• Conhecimento em processamento distribuído em larga escala: Apache Spark / PySpark.
• Conhecimento em ferramentas de qualidade e catálogo de dados: Great Expectations, Soda, OpenMetadata, DataHub, OpenLineage.
• Conhecimento em observabilidade: Prometheus, Grafana e OpenTelemetry aplicados a workloads de dados.
• Conhecimento em stack de frontend/BI para visualização (Streamlit, Dash, React, Power BI, Apache Superset ou similares) e experiência na construção de dashboards e APIs de consumo.
• Conhecimento em infraestrutura como código: Terraform / Ansible.
• Conhecimentos de MLOps / IA aplicada (feature stores, pipelines para IA, LLMs) como apoio às frentes de dados e analytics avançado.
• Experiência em ambientes on-premise/híbridos e em plataformas de dados corporativas.
• Inglês técnico para leitura de documentação.

Benefícios

• Acesso à cursos em plataformas de ensino.