Engenheiro de Dados Azure Júnior

Responsabilidades:

• Escrever consultas SQL para realizar tarefas como selecionar, inserir, atualizar e excluir dados de uma tabela.
• Construir pipeline de Dados utilizando Azure Data Factory.
• Construir nooteboks em Pyton e SQL utilizando Databricks.
• Realizar ingestão de dados em Datalake, Lakehouse ou DW.
• Criar e manipular dataframes e RDDs em PySpark.
• Usar junções para combinar dados de duas ou mais tabelas.
• Usar subconsultas para executar consultas dentro de outras consultas.
• Usar funções agregadas para calcular valores de uma coluna para um conjunto de dados inteiro.
• Usar SQL com grandes conjuntos de dados.
• Usar PySpark para realizar análise de dados exploratória (EDA).
• Implementar um modelo de dados em um banco de dados relacional ou não relacional.
• Realizar testes de integridade de dados para garantir que o modelo de dados está funcionando corretamente.
• Identificar os principais requisitos de negócios para um projeto de BI.
• Identificar os principais requisitos de negócios para um projeto de DB, DW, Lake e Lakehouse.
• Implementar solucoes relacional ou não relacional.
• Carregar e consultas dados em DB, DW, Lake e Lakehouse.
• Identificar os principais requisitos de negócios para um projeto de ETL.
• Carregar dados em um database, data warehouse, datalake ou lakehouse usando uma ferramenta ETL on-premises.
• Realizar consultas em um database, data warehouse, datalake ou lakehouse usando uma ferramenta ETL on-premises.
• Monitorar o desempenho de um fluxo de dados ETL.
• Usar conectores para conectar a diferentes fontes e destinos de dados.
• Escrever scripts para automatizar tarefas em Azure Data Factory.
  

Requisitos:

• Escrever consultas SQL.
• Manipular dataframes e RDDs em PySpark.
• Implementar modelos de dados em bancos de dados relacionais ou não relacionais.
• Coletar e preparar dados para análise em projetos de BI.
• Implementar soluções em projetos de DB, DW, Lake e Lakehouse.
• Projetar e implementar fluxos de dados ETL.
• Utilizar ferramentas como Azure Data Factory, Synapse, Databricks e Fabric.
• Utilizar ferramentas de CI/CD e infraestrutura como código em processos de DevOps.
• Compreender e aplicar conceitos básicos de gestão de projetos.
  

Diferenciais:

• Experiência avançada em consultas SQL com grandes conjuntos de dados.
• Experiência avançada em PySpark para análise de dados exploratória (EDA).
• Experiência em testes de integridade de dados.
• Conhecimento aprofundado em Big Data e computação em nuvem.
• Experiência em projetos de BI, DB, DW, Lake e Lakehouse.
• Experiência em projetos de ETL.
• Experiência em ferramentas como Azure Data Factory, Synapse, Databricks e Fabric.
• Experiência avançada em práticas de DevOps.
• Experiência em gestão de projetos.