Data Engineer senior

Contexte

L’Analytics Factory conçoit et développe les services analytiques pour fournir aux équipes métier des données et analyses fiables, soutenant la transformation analytique et la prise de décision dans tous les domaines.

Missions

• Maintenir et faire évoluer les applications de production gérées par l'équipe

• Concevoir et définir les architectures cibles des projets de données à venir, en garantissant leur scalabilité, leur sécurité et leur maintenabilité

• Apporter un support technique solide aux Data Scientists pour faciliter l'exploration, l'industrialisation et le déploiement de leurs modèles

• Construire, optimiser et orchestrer des pipelines de données (ETL/ELT) robustes pour manipuler des bases de données à grande échelle

• Garantir l'application des bonnes pratiques de développement logiciel (CI/CD, revues de code, tests automatisés) au sein de l'équipe

• Participer activement à la communauté Data de l'Analytics Factory (partage de connaissances, tech talks, veille technologique)

Outils & Environnement

Must Have

• Cloud GCP : Maîtriser l'écosystème GCP et ses services clés (BigQuery, Cloud Run, IAM, Composer)

• Développement Python : Contribuer activement au développement d'applications et d'APIs performantes

• Pratiques DevOps & IaC : Automatiser la gestion des infrastructures (IaC) et concevoir des pipelines CI/CD fluides

Nice to Have

• Orchestration avec Airflow : Développer, déployer et maintenir des DAGs Airflow complexes

• Architecture Cloud GCP : Concevoir et déployer des architectures robustes couvrant l'ensemble du stack applicatif

• Modern Data Stack : Structurer des pipelines de transformation de données avec dbt (pilotés par Airflow)

• APIs Web Modernes : Concevoir, déployer et maintenir des APIs robustes avec FastAPI

• Analytics Engineering : Rédiger du SQL avancé pour optimiser le traitement des données dans BigQuery

Conditions de travail

• 2 jours sur site

• Île-de-France

1. Maîtriser l'écosystème Cloud GCP et ses services clés (BigQuery, Cloud Run, IAM, Composer)
2. Contribuer activement au développement en Python d'applications et d'APIs performantes
3. Pratiques DevOps & IaC : automatiser la gestion des infrastructures et concevoir des pipelines CI/CD fluides
4. Développer, déployer et maintenir des DAGs Airflow complexes (souhaité)
5. Concevoir et déployer des architectures robustes sur Cloud GCP couvrant l'ensemble du stack applicatif (souhaité)
6. Structurer des pipelines de transformation de données avec dbt pilotés par Airflow (souhaité)
7. Concevoir, déployer et maintenir des APIs robustes avec FastAPI (souhaité)
8. Rédiger du SQL avancé pour optimiser le traitement des données dans BigQuery (souhaité)