Última atualização: 23 de Outubro de 2024
Sobre
Responsabilidades:
- Escrever consultas SQL para realizar tarefas como selecionar, inserir, atualizar e excluir dados de uma tabela.
- Construir pipeline de Dados utilizando Azure Data Factory.
- Construir nooteboks em Pyton e SQL utilizando Databricks.
- Realizar ingestão de dados em Datalake, Lakehouse ou DW.
- Criar e manipular dataframes e RDDs em PySpark.
- Usar junções para combinar dados de duas ou mais tabelas.
- Usar subconsultas para executar consultas dentro de outras consultas.
- Usar funções agregadas para calcular valores de uma coluna para um conjunto de dados inteiro.
- Usar SQL com grandes conjuntos de dados.
- Usar PySpark para realizar análise de dados exploratória (EDA).
- Implementar um modelo de dados em um banco de dados relacional ou não relacional.
- Realizar testes de integridade de dados para garantir que o modelo de dados está funcionando corretamente.
- Identificar os principais requisitos de negócios para um projeto de BI.
- Identificar os principais requisitos de negócios para um projeto de DB, DW, Lake e Lakehouse.
- Implementar solucoes relacional ou não relacional.
- Carregar e consultas dados em DB, DW, Lake e Lakehouse.
- Identificar os principais requisitos de negócios para um projeto de ETL.
- Carregar dados em um database, data warehouse, datalake ou lakehouse usando uma ferramenta ETL on-premises.
- Realizar consultas em um database, data warehouse, datalake ou lakehouse usando uma ferramenta ETL on-premises.
- Monitorar o desempenho de um fluxo de dados ETL.
- Usar conectores para conectar a diferentes fontes e destinos de dados.
- Escrever scripts para automatizar tarefas em Azure Data Factory.
Requisitos:
- Escrever consultas SQL.
- Manipular dataframes e RDDs em PySpark.
- Implementar modelos de dados em bancos de dados relacionais ou não relacionais.
- Coletar e preparar dados para análise em projetos de BI.
- Implementar soluções em projetos de DB, DW, Lake e Lakehouse.
- Projetar e implementar fluxos de dados ETL.
- Utilizar ferramentas como Azure Data Factory, Synapse, Databricks e Fabric.
- Utilizar ferramentas de CI/CD e infraestrutura como código em processos de DevOps.
- Compreender e aplicar conceitos básicos de gestão de projetos.
Diferenciais:
- Experiência avançada em consultas SQL com grandes conjuntos de dados.
- Experiência avançada em PySpark para análise de dados exploratória (EDA).
- Experiência em testes de integridade de dados.
- Conhecimento aprofundado em Big Data e computação em nuvem.
- Experiência em projetos de BI, DB, DW, Lake e Lakehouse.
- Experiência em projetos de ETL.
- Experiência em ferramentas como Azure Data Factory, Synapse, Databricks e Fabric.
- Experiência avançada em práticas de DevOps.
- Experiência em gestão de projetos.
Outras Informações
Selecionamos as principais informações da posição. Para conferir o descritivo completo, clique em "acessar".
Hey!
Cadastre-se na Remotar para ter acesso a todos os recursos da plataforma, inclusive inscrever-se em vagas exclusivas e selecionadas!