Data Engineer Confirmé – / Dev Factory Data TGV

CONTEXTE Mission de Data Engineering au sein d'une Dev Factory Data dédiée à un programme de transformation des données pour un grand compte du Transport ferroviaire. Le périmètre technique couvre la conception, le développement et la maintenance de pipelines de données sur un environnement cloud Azure avec Databricks. Le projet s'inscrit dans un cadre Agile avec outillage CI/CD (Jenkins) et supervision applicative (Datadog). MISSIONS PRINCIPALES - Concevoir et développer des pipelines de données en Python et Spark - Implémenter et maintenir des traitements de données en Scala sur Databricks - Administrer et exploiter le catalogue de données Databricks Unity Catalog - Modéliser et requêter des bases de données SQL et NoSQL - Déployer et maintenir les pipelines CI/CD via Jenkins - Superviser la qualité et la disponibilité des flux de données avec Datadog - Participer aux cérémonies Agile et suivre les tickets via Jira - Contribuer à la documentation technique et aux revues de code COMPETENCES REQUISES - Python (développement de pipelines de données) - SQL (requêtes complexes et manipulation de données) - NoSQL (modélisation et exploitation de bases non relationnelles) - Apache Spark (traitement distribué de données) - Scala (développement de jobs Spark) - Databricks (développement et orchestration de workflows data) - Databricks Unity Catalog (gouvernance et gestion du catalogue de données) - Microsoft Azure (déploiement et exploitation de services cloud data) - Jenkins (intégration et déploiement continus) - Datadog (supervision et monitoring applicatif) - Jira (suivi de projet et gestion des tickets) COMPETENCES SOUHAITEES - Delta Lake (gestion de données transactionnelles sur Databricks) - Azure Data Factory ou Azure Synapse (orchestration de pipelines cloud) - Kafka ou Event Hub (traitement de flux en temps réel) - Infrastructure as Code – Terraform ou Bicep (provisionnement cloud) - Tests unitaires et automatisation (pytest, Great Expectations) - Architecture microservices et event-driven - Expérience sectorielle transport ou mobilité - Anglais technique (documentation et échanges d'équipe) PROFIL RECHERCHE Data Engineer confirmé justifiant d'un minimum de 5 ans d'expérience en ingénierie des données, avec une maîtrise avérée de Python, Spark, Scala et Databricks dans un contexte cloud Azure. Une expérience sur des projets de Dev Factory ou de plateforme data industrialisée est appréciée. Autonomie, rigueur dans la qualité du code et capacité à s'intégrer dans une équipe pluridisciplinaire en mode Agile sont attendues.

Data Engineer confirmé justifiant d'un minimum de 5 ans d'expérience en ingénierie des données, avec une maîtrise avérée de Python, Spark, Scala et Databricks dans un contexte cloud Azure. Une expérience sur des projets de Dev Factory ou de plateforme data industrialisée est appréciée. Autonomie, rigueur dans la qualité du code et capacité à s'intégrer dans une équipe pluridisciplinaire en mode Agile sont attendues.