Engenheiro de Dados

RESPONSABILIDADES E ATRIBUIÇÕES

• Implementar sistemas e rotinas de monitoramento (dados, aplicações, queries etc);

• Evoluir modelos de dados, arquitetura e construção de pipeline de dados para atender novos requisitos de engenharia e negócios;

• Implementar rotinas de migração, tratamento e armazenamento de dados (ETL);

• Desenvolver integrações entre diferentes fontes de dados (RDS, APIs externas e etc) a fim de centralizar em um datalake;

• Implementar e conduzir testes de carga;

• Monitorar pipeline de dados em execução.

REQUISITOS

• Experiência com Python;

• Experiência com GCP;

• Experiência com integração continua e deploy em cloud;

• Experiência com Datalake, Data Warehouse e Data Marts;

• Conhecimento em banco de dados SQL e NoSQL;

• Conhecimento em recurso das plataformas cloud;

• Conhecimento em arquitetura orientada a eventos.
  Será um diferencial ter experiência em:

• Vivência em projetos de streaming;

• Experiência com Airflow;

• Processamento distribuído de dados (Spark ou similares).