Administrador de Dados Pleno

No seu dia a dia esperamos que você toque os seguintes processos: 

• Suporte e Otimização de Pipelines (ETL/ELT)
• Planejar, construir e executar pipelines em Databricks.
• Desenvolver, validar e otimizar scripts em SQL e PySpark.
• Garantir eficiência no consumo de clusters e otimização de custos e performance.
• Projetar tabelas e estruturas de dados orientadas a performance.
• Implementar gates e regras de qualidade de dados em:
• Pipelines Databricks
• Delta Live Tables (DLT)
• Garantir que apenas dados confiáveis cheguem às camadas de consumo.
• Realizar modelagem lógica e física no Lakehouse.
• Manter atualizado o repositório de modelos de dados.
• Manter documentação e catálogos de metadados.
• Apoiar na administração do Databricks Workspace.
• Gerenciar perfis de acesso.
• Aplicar políticas de segurança e governança.
• Contribuir com práticas de governança e padronização dos ativos de dados.
• Garantir integridade, rastreabilidade e consistência dos dados.
• Gestão de problemas e soluções. Comunicação interpessoal e profissional clara e eficaz.

O que será necessário para o nosso match perfeito:

• Graduação completa em Ciência da Computação, Engenharia da Computação, Sistemas de Informação ou áreas correlatas.
• Experiência com Databricks (Workspace, clusters, notebooks, Delta Lake, DLT).
• Conhecimento em arquitetura de dados analítica e Lakehouse.
• Proficiência em SQL e PL/SQL.
• Experiência com PySpark (Python + Spark) para construção de pipelines.
• Experiência com scripts SQL e PySpark focados em performance.
• Experiência em modelagem de dados física e lógica.
• Conhecimento em modelagem dimensional (Data Warehouse).
• Experiência com metadados e organização de repositórios de modelos.
• Domínio de SGBDs relacionais e não relacionais, como: PostgreSQL, SQL Server, MongoDB, DynamoDB.
• Conhecimento em: Governança de dados, Regras de segurança, Gerenciamento de acesso e perfis, Políticas de segurança da informação.