Data Engineer IoT & Real-Time - secteur Energie (F/H)

🚀 Data Engineer IoT & Real-Time (F/H)

Contexte de la mission

Au sein d’un environnement industriel de pointe, vous serez l'architecte et le garant de la chaîne de valeur de la donnée. Votre mission consiste à concevoir, déployer et maintenir des pipelines de données de bout en bout (temps réel et batch), permettant l'ingestion, la transformation et l'analyse massive de données IoT industrielles en production.

Vous rejoignez une équipe agile où la culture "Build-Run-Own" prévaut, avec un accent fort sur l'excellence logicielle et l'évolutivité des infrastructures Cloud.

Missions et Livrables

Architecture & Engineering

• Pipelines de données : Concevoir et implémenter des flux de traitement distribués (Spark, Flink) pour gérer des données de séries temporelles à grande échelle.

• Modélisation IoT : Développer et opérer des modèles d'actifs (Asset Modeling via AWS SiteWise) pour assurer une intégration fluide entre les capteurs et les plateformes analytiques.

• Stockage & Accès : Optimiser les patterns de stockage pour la performance (Lakehouse architecture, Delta Lake, InfluxDB).

Développement & Backend

• Services API : Développer des microservices Python robustes avec FastAPI pour exposer et traiter les données opérationnelles.

• Qualité & Ops : Assurer la haute disponibilité, l'observabilité (Grafana) et la qualité des données sur l'ensemble de la plateforme.

Cloud & DevOps

• Streaming & Orchestration : Déployer des architectures temps réel sur AWS Kinesis et orchestrer les workflows batch via Airflow.

• Infrastructure-as-Code : Gérer l'infrastructure via Terraform et Terragrunt dans une logique d'automatisation complète (GitLab CI/CD).

Environnement Technique

• Data & Streaming : Spark, Flink, Kinesis, Databricks, Delta Lake (Lakehouse architecture).

• Backend : Python, FastAPI, Scala.

• IoT & Time-Series : MQTT, AWS SiteWise, InfluxDB.

• DevOps & IaC : Terraform, Terragrunt, GitLab CI/CD, AWS (ECS, Fargate, Lambda).

• Orchestration & Monitoring : Airflow, Grafana, Cloudwatch.

Profil Recherché

Expérience & Expertise Technique

• Logiciel : Minimum 5 ans en développement Python (Scala est un plus) avec une maîtrise des pratiques de Software Engineering (Testing, CI/CD, Microservices).

• Data Engineering : Minimum 5 ans d'expérience sur des systèmes distribués (Spark, Flink) et une solide compréhension des pipelines Batch et Streaming.

• Cloud AWS : Maîtrise de l'écosystème (S3, Lambda, ECS/Fargate, Kinesis, Cloudwatch).

• Data Stack : Expérience significative sur Databricks, Delta Lake et les bases de données SQL.

• IoT (Le "Plus") : Familiarité avec les protocoles MQTT, les services AWS IoT et la modélisation de données industrielles.

Soft Skills

• System Design : Capacité à concevoir des architectures complexes, scalables et résilientes.

• Mindset Produit : Aptitude à traduire des besoins business complexes en solutions techniques actionnables.

• Collaboration : Esprit d'équipe affirmé pour évoluer dans un environnement fast-paced avec des Data Analysts et Product Owners.