Data engineer (H/F)

Contexte de la mission : Les data engineer interviendront en environnement Cloud sur des sujets de data engineering (Scala, Python, Spark, Databricks, Airflow) au sein d’équipes orientées production et infrastructure. La mission s’inscrit dans un contexte de conseil en organisation et stratégie avec un mode de collaboration en assistance technique et un anglais professionnel requis.

Tâches à réaliser :

·         Concevoir et maintenir des pipelines de données de bout en bout (temps réel et batch), permettant l’ingestion, la transformation et l’analyse de données IoT industrielles dans un environnement de production.

·         Concevoir, implémenter et optimiser des modèles de stockage et d’accès aux données évolutifs, notamment pour les données de séries temporelles et opérationnelles.

·         Développer et exploiter des modèles d’actifs afin de permettre une intégration fluide entre les sources de données IoT et les plateformes analytiques.

·         Concevoir et implémenter des pipelines de traitement de données distribués à l’aide de technologies telles que Flink ou Spark.

·         Développer des services Python robustes et des API (FastAPI) pour exposer et traiter les données opérationnelles.

·         Déployer et maintenir des architectures de streaming en temps réel en utilisant des services AWS tels que Kinesis.

·         Mettre en place des workflows d’orchestration batch avec Airflow.

·         Garantir une haute qualité des données, leur observabilité et leur monitoring sur l’ensemble de la plateforme data.

·         Collaborer avec les Data Analysts, les équipes produit et les ingénieurs afin de traduire les besoins métier en pipelines de données et calculs prêts pour la production.

·         Concevoir, exploiter et maintenir des services data avec de solides pratiques de design système, CI/CD, observabilité et amélioration continue.

·         Travailler dans des environnements Agile axés sur la livraison continue et l’amélioration itérative des infrastructures data.

·         Déployer et gérer les infrastructures via des approches Infrastructure-as-Code (Terraform / Terragrunt).

·         Collaborer avec les Data Analysts, équipes backend et produit pour permettre des cas d’usage avancés d’analytique et d’optimisation industrielle.

• Compétences recherchées :

Obligatoires :

Cloud

• AWS (S3, Lambda, Kinesis, ECS, Fargate, Cloudwatch...)

• Real-time data services and serverless architectures

Data Platform

• Databricks

• Delta Lake / Lakehouse architecture

• Data governance and administration

Streaming & Distributed Systems

• Apache Flink

• Apache Spark

Data

• Time-series data processing

• Relational databases (SQL)

• Lakehouse data architecture

IoT

• MQTT protocols

• AWS IoT services

• Asset Modeling

• AWS SiteWise

Monitoring and Observability

• Grafana (deployed on ECS / Fargate)

• InfluxDB (managed time-series storage)

Software Engineering

• Python

• Scala

• Fast API development

Orchestration

• Airflow

Devops and IaC

• Terraform/Terragrunt

• GitLab (version control and CI/CD)

Autres

• Solide compréhension de la conception de pipelines de données batch et temps réel.

• Expérience avec les bases de données SQL et la modélisation de données orientée performance et scalabilité.

• Expérience dans la conception et l’exploitation d’architectures cloud natives sur AWS.

• Une expérience avec l’ingestion de données IoT et les modèles de données industriels est un plus.

Expérience nécessaire : 5 à 8 années, profil senior

• Minimum 3 ans d’expérience en développement Python et en ingénierie logicielle (microservices, CI/CD, tests).

• Minimum 3 ans d’expérience en data engineering, idéalement dans des environnements distribués (Flink, Spark).

• Méthodologie : Agile 

• Langues : Français et Anglais professionnel obligatoire

• Date de démarrage : ASAP