Engenheiro de Dados

Responsabilidades:

Responsável por projetar, construir e otimizar pipelines de dados para soluções de inteligência artificial desenvolvidas sob encomenda para clientes do Distrito. Profissional atuará no suporte à arquitetura de dados e implementação de modelos de IA em ambientes escaláveis, garantindo eficiência, segurança e integração contínua com plataformas de machine learning.

Responsabilidades:

• Projetar e implementar arquiteturas de dados escaláveis para suportar modelos de machine learning e IA generativa;
• Desenvolver e otimizar pipelines para ingestão, processamento e armazenamento de grandes volumes de dados;
• Trabalhar com arquitetos de soluções e engenheiros de machine learning para transformar requisitos de negócio em soluções técnicas eficientes;
• Garantir qualidade, governança e segurança dos dados, aplicando melhores práticas de engenharia de dado;
• Implementar estratégias de MLOps para automação de pipelines e versionamento de modelos;
• Colaborar na integração de APIs e sistemas distribuídos para processamento de dados em tempo real;
• Monitorar a performance e escalabilidade dos sistemas de dados, identificando oportunidades de otimização.

Requisitos:

• Experiência sólida c/ modelagem de dados e ETL, incluindo frameworks como Apache Airflow, Data Factory ou Spark;
• Domínio de bancos de dados SQL (PostgreSQL, MySQL) e NoSQL (MongoDB, Redis, Cassandra)
• Conhecimento em VectorDB, como Qdrant, é considerado diferencial importante;
• Experiência com arquiteturas de big data e processamento distribuído;
• Conhecimento em Python (Pandas, PySpark) e ferramentas de MLOps (MLflow, Kubeflow, Vertex AI);
• Experiência com serviços de cloud computing (AWS, Azure, GCP ou OCI);
• Familiaridade com contenedores e orquestração (Docker, Kubernetes);
• Experiência com segurança e governança de dados.

Diferenciais:

• Experiência com engenharia de dados aplicada à IA generativa e modelos LLM;
• Conhecimento em arquiteturas orientadas a eventos (Kafka, RabbitMQ);
• Experiência em infraestrutura como código (Terraform, CloudFormation);
• Certificações em engenharia de dados e cloud computing.