Melhor Envio | Engenheiro de Dados Pleno

🚀 A sua jornada para revolucionar o e-commerce no Brasil começa aqui!

Que tal vivenciar uma experiência de trabalho que é melhor que a encomenda? No Melhor Envio, o cuidado com os colaboradores está em todos os detalhes. Diariamente, nós tornamos a vida de quem vende online mais simples. E, para chegarmos ainda mais longe, investimos no desenvolvimento, capacitação e bem-estar de quem faz tudo isso acontecer: o #MelhorTime.

🏆 Somos a plataforma de envios líder no Brasil

Uma empresa do grupo LWSA focada na logística de entregas do e-commerce e apaixonada em ajudar milhares de lojistas em todo o território nacional. Nascemos em Pelotas/RS e em 2022 fomos eleitos a melhor Solução do Ano pelo Prêmio E-Commerce Brasil. Hoje, já contamos com +100 mil empreendedores que usam nossa plataforma. 

No setor de Tecnologia, somos o motor que impulsiona as operações do negócio através de inovação, segurança e eficiência. Nossa missão é simplificar a logística de lojas virtuais, conectando esses negócios às principais transportadoras por meio de soluções inovadoras. Dentro do time de Engenharia de Dados, somos responsáveis por transformar grandes volumes de informação em ativos estratégicos, garantindo que o negócio tenha insumos precisos para a tomada de decisão e uma base sólida de métricas.

Como Engenheiro(a) de Dados você será fundamental na construção e manutenção da nossa infraestrutura de dados. Seu foco será o desenho, implementação e otimização de pipelines de dados que sustentam a inteligência do negócio. Você atuará na integração de diferentes fontes, garantindo a integridade, disponibilidade e performance das informações. Além disso, apoiará na evolução da nossa arquitetura analítica, identificando as melhores tecnologias para reduzir a latência e elevar a qualidade dos dados entregues às áreas parceiras.

Faça parte do #MelhorTime e otimize a entrega de encomendas do e-commerce com a gente!

✨ Como será seu dia a dia:

Entre as tarefas realizadas diariamente, podemos destacar:

• Desenvolver e escalar pipelines de ingestão de dados, garantindo linhagem e documentação para rastreabilidade;
• Implementar e manter testes automatizados de dados (ex: validação de schema, regras de negócio, consistência e completude) ao longo dos pipelines;
• Otimizar processos de ETL focando em latência e eficiência financeira.;
• Definir e monitorar SLAs/SLOs de dados, garantindo disponibilidade, frescor e confiabilidade das informações;
• Implementar práticas de observabilidade de dados, incluindo monitoramento de volume, distribuição, anomalias e falhas de pipelines;
• Atuar na análise de incidentes de dados, realizando identificação de causa raiz e implementando ações preventivas;
• Contribuir para a documentação, catalogação e linhagem dos dados, facilitando a rastreabilidade e confiança nas informações.

📝 E para tirar de letra, você precisará:

• Experiência com a linguagem voltada para engenharia de dados, incluindo manipulação de estruturas complexas, tratamento de exceções e uso de bibliotecas como Pandas, PySpark ou Boto3;
• Sólida experiência com Apache Airflow, sendo capaz de desenvolver, versionar e realizar o troubleshoot de DAGs complexas, aplicando boas práticas de codificação;
• Experiência prática com o ecossistema AWS, com foco em:
• Processamento e Armazenamento: S3, EC2 e AWS Glue;
• Migração e Ingestão: Domínio em AWS DMS (Data Migration Service) para replicação de dados.
• Domínio em bancos de dados relacionais (MySQL e PostgreSQL) e vivência com bancos não-relacionais (MongoDB), compreendendo suas aplicações, modelagem e otimizações;
• Conhecimento em MLflow para rastreio de experimentos e gestão do ciclo de vida de modelos de dados;
• Escrita de queries avançadas e otimização de performance para grandes volumes de dados.

💌 Vamos amar se você tiver:

• Conhecimento em Terraform ou CloudFormation para provisionar infraestrutura de dados como código;
• Conhecimento de conteinerização (Docker);
• Experiência avançada em tunning de performance no Amazon Redshift (análise de query plans, distkeys e sortkeys);
• Experiência na criação de esteiras de deploy automatizado para DAGs e scripts de ETL (usando GitHub Actions, GitLab CI ou Jenkins);
• Alguma experiência com ferramentas de BI (Metabase ou Looker) para entender como o dado é consumido na ponta final.