Engenheiro(a) de Dados Sênior

Responsabilidades:

• Desenvolvimento de documentações a automações de workflows para melhorar o trabalho com dados de todos na Flash;
• Gestão IaC da infraestrutura Cloud nos serviços AWS, GCP, Databricks, CircleCI, GitHub, entre outros;
• Assegurar a escala de batch/streaming pipelines ao mesmo tempo que mantém os custos controlados;
• Criar data pipelines de ingestão e processamento de diversas fontes de dados (APIs, SQL e NoSQL Databases;
• Evoluir o ferramental de AutoML da empresa e a infraestrutura de MLOps e LLMOps;
• Garantir a conformidade dos processos e políticas de governança e auditorias.

Para este desafio, é necessário: 

• Entender de redes de computadores e sistemas operacionais (principalmente Linux!);
• Já tenha trabalhado com infraestruturas como serviço na nuvem como a AWS, GCP e/ou Azure;
• Ter alguma experiência em programação (gostamos muito de Python);
• Conheça tecnologias de infraestrutura como código (preferencialmente Terraform);
• Experiência em pipelines de Big Data envolvendo Apache Spark, Apache Kafka, Apache Airflow, AWS Lambda, AWS EMR e clusters/jobs na Databricks;
• Conhecimento em pipelines de Machine Learning usando MlFlow e Databricks;
• Noções de Large Language Models (OpenAI, Llama) e Vector Stores para estruturação do ambiente de GenAI da empresa.