Engenheiro de Dados Sênior

A A3Data é uma consultoria referência em #Dados! 🚀

Temos a missão de acelerar a cultura Data Driven nas organizações. Nosso foco é implantar Inteligência Estratégica e potencializar a cultura dos dados para os nossos clientes! 🎯

Somos parceiros e estamos presentes no maior parque tecnológico urbano e aberto do Brasil o Porto Digital, localizado em Recife. 🌎

Somos ágeis, analíticos e avançados e temos uma cultura leve, horizontal e muito colaborativa! ✌️

Nosso propósito é empoderar as pessoas por meio dos dados. E, por isso, buscamos parceiros que também sejam loucos por dados e apaixonados por gente! 🤩

#VemSerUmEu.A3 💙

Responsabilidades:

Como Pessoa Engenheira de Dados na A, você irá:

• Desenvolver e otimizar consultas SQL e jobs PySpark, garantindo a performance e otimização de custos computacionais;
• Criar e manter pipelines de dados eficientes e escaláveis, garantindo a integridade e qualidade dos dados;
• Implementar e monitorar processos de ingestão, transformação e disponibilização de dados;
• Trabalhar com grandes conjuntos de dados em ambientes distribuídos, aplicando boas práticas de particionamento, cache e tuning de jobs.

Requisitos:

O que precisamos que você tenha (requisitos):

• Python avançado (desenvolvimento e consumo de APIs REST).
• PySpark avançado (arquitetura do Spark, DataFrame API, funções embutidas, Window Functions, UDFs, otimização de jobs distribuídos);
• SQL avançado (DDL, DQL, DML, DCL, TCL; Window Functions, pivot tables, CTEs, otimização de queries);
• Versionamento de código com Git;
• Grande familiaridade com serviços AWS, S3, DynamoDB, EMR, Athena, Lambda, Redshift, Kinesis, EKS, Glue;
• Disponibilidade para 1 encontro presencial a cada 3 meses em São Paulo / SP.

Vamos ficar felizes se você tiver (diferencial):

• Experiência com GitLab CI/CD (automação de deploys e testes).
• Databricks (Delta Tables, Jobs, otimização de workloads distribuídos).
• Terraform (provisionamento de infraestrutura como código).
• Certificação AWS.