Pessoa Engenheira de Dados

Buscamos engenheiros de dados que se motivam com tecnologia de ponta e um ambiente com com muita autonomia para testar coisas novas. Somos um time que está sempre se reinventando para arquitetar soluções para para processar, armazenar e prover dados cada vez mais relevantes para todos os nossos produtos e também para nossos clientes.

Você participará de um time que estará arquitetando sistemas distribuídos, criando pipelines escaláveis e confiáveis, combinando múltiplas fontes de dados e pensando em arquiteturas de dados escaláveis e otimizando recursos pensando em eficiência da nossa infra.

Nossa tecnologia suporta as maiores marcas e varejos do mercado a tomarem decisões estratégicas sobre suas vendas no canal digital – e-commerce – e ajudam a aproximá-los das dos shoppers em campanhas em redes sociais.

Suas responsabilidades

  • Conhecer e interagir com as diferentes áreas da Lett com o objetivo de ter um conhecimento amplo do negócio e das bases de dados;
  • Desenvolver e implantar arquiteturas e processos que suportem as soluções das demais equipes de forma escalável;
  • Governar, documentar e prover acesso a metadados a todas as equipes;
  • Modelar Data Lakes e Data Warehouse;
  • Pesquisar e trazer abordagens e tecnologias modernas para as soluções de Big Data da empresa;
  • Criar e gerenciar data flows, clusters de processamento e armazenamento de dados em nossa cloud;
  • Propor melhorias, otimizações de baixo nível e novas arquiteturas para os outros times;
  • Democratizar o acesso a dados utilizando ferramentas e desenvolvimento de interfaces (como APIs, ETLs, SQL); e trabalhar diretamente com equipes de produto;

Detalhes

  • 40h semanais
  • Contratação CLT
  • Salário compatível com o mercado;
  • Vale refeição / alimentação;
  • Plano de saúde e odontológico Bradesco;
  • Horários flexíveis;
  • Autonomia e liberdade de trabalho;
  • Muita capacidade de testar e colocar em prática novas ideias;
  • Trabalho remoto.

Requisitos

  • Python
  • Docker e docker-compose
  • Estar muito confortável com ambiente Spark (Pyspark no serviço EMR da AWS ou em Kubernetes)
  • AWS (Elastic Beanstalk, SQS, RDS, Lambda Functions, EC2, EMR, S3, SNS)
  • Vasta experiência com Data Lakes em storage de objetos (AWS S3)
  • Vasta experiência com Google Big Query (modelagem de dados, ELTs, manutenção e governança)
  • Experiência com o conceito de ELT
  • Experiência com governança e catalogação de dados
  • Apache Airflow (Implementação de DAGs e deploys do Airflow em formato de workers distribuídos)
  • Data warehouses, data lakes, suas interfaces (engines SQL, processos de ETL, acesso direto a objetos) e sua organização ( particionamento, formas de orientar dados, custo e performance);
  • Estar confortável com SQL, bancos de dados relacionais, bancos orientados a documento e armazenamento de arquivo;
  • Arquiteturas diversas de processamento (filas, jobs, workers, functions… etc);
  • Ferramentas de deploy, versionamento de código e infraestrutura na núvem;
  • Ser capaz de criar fluxos de execução paralela ou concorrente de processamento, assim como execução distribuída quando aplicável;
  • Saber interagir de forma técnica e não-técnica com outros membros da equipe e com pessoas de outras áreas;

Diferenciais:

  • ⭐⭐⭐⭐⭐ Dremio/Athena/AWS Glue Catalog
  • ⭐⭐⭐⭐⭐ Ferramenta DBT (Data Build Tool da Fishtown Analytics)
  • ⭐⭐⭐⭐⭐ Amundsen
  • ⭐⭐⭐⭐⭐ Processos de dados envolvendo CDC (Change Data Capture)
  • ⭐⭐⭐⭐ Terraform
  • ⭐⭐⭐⭐ Prometheus/Grafana
  • ⭐⭐⭐⭐ Kubernetes/AWS ECS/AWS EKS
  • ⭐⭐⭐ PostgreSQL, MongoDB, ElasticSearch, DynamoDB
  • ⭐⭐⭐ Java/Scala
  • ⭐⭐ Jenkins

Outras ferramentas são sempre bem vindas!

Candidatar-se para esta vaga

Dica Remotar: no detalhe da vaga você vai encontrar links que redirecionam para cursos incríveis a partir de R$ 24,90. Ao adquirir um curso através destes links, você ajuda a Remotar a continuar sua missão de entregar a melhor curadoria de vagas remotas do Brasil.

Candidatar-se para esta vaga
Compartilhe esta Vaga

Receba nossas novidades