Data Engineer

Descrição da vaga

Responsável por desenvolver pipelines de dados escaláveis, modelar estruturas analíticas e participar de decisões relacionadas à arquitetura de dados, garantindo eficiência, qualidade e disponibilidade das informações.

Atividades do dia a dia

• Construção de pipelines de dados escaláveis

• Processamento de grandes volumes de dados

• Implementação de pipelines near real-time

• Modelagem dimensional (Star Schema)

• Otimização de performance e custos em ambientes cloud

• Implementação de testes de qualidade de dados

• Desenvolvimento de pipelines para suportar iniciativas de Machine Learning

• Integração de dados com sistemas externos

Requisitos técnicos

• Python com domínio prático para desenvolvimento de pipelines de dados
• SQL avançado para manipulação e modelagem de dados em bancos relacionais e data warehouses
• Experiência prática com Apache Spark e PySpark para processamento distribuído de dados
• Familiaridade com Databricks para desenvolvimento e execução de pipelines escaláveis
• Conhecimento em orquestração de workflows usando Airflow, Prefect ou Dagster com autonomia
• Experiência com sistemas de streaming como Kafka, Kinesis ou Pub/Sub para pipelines near real-time
• Capacidade de modelagem dimensional utilizando Star Schema para data marts e BI
• Prática em otimização de performance e controle de custos em ambientes AWS (Glue, Redshift, EMR, Lambda) ou equivalentes em GCP/Azure
• Implementação de testes automatizados para qualidade e integridade de dados em pipelines
• Desenvolvimento e integração de pipelines para Machine Learning com ferramentas de dados
• Experiência em integração de dados com sistemas externos via APIs ou mensagens assíncronas
• Conhecimento básico a intermediário em containerização (Docker) e pipelines CI/CD para deploy de soluções de dados

Habilidades

• Airflow
• Apache Spark
• AWS Glue
• BigQuery
• CI/CD Pipelines
• Composer
• Dagster
• Databricks
• Data Factory
• Dataflow
• DBT
• Docker
• EMR
• Event hub
• Kafka
• Kinesis
• Lambda
• Prefect
• Pub/Sub
• PySpark
• Python
• Redshift
• Snowflake
• SQL
• Synapse