Data Engineer Senior – Azure / Python

Missions principales

Ingénierie & Développement

• Concevoir et développer des pipelines de données robustes et performants

• Construire des flux de traitement de données temps réel via Azure Event Hub

• Développer des pipelines batch exploitant les données issues d’Azure Data Lake

• Participer à la conception d’architectures data scalables et maintenables

• Implémenter les traitements de transformation et contextualisation des données en Python

• Garantir la qualité du code via les bonnes pratiques Clean Code, peer-review et tests automatisés

Industrialisation & Performance

• Mettre en place les mécanismes d’observabilité (monitoring, alerting, logging)

• Optimiser les performances des traitements et les coûts d’infrastructure (FinOps)

• Assurer la sécurité, la conformité et la gouvernance des données

• Participer à l’amélioration continue des pipelines et plateformes data

Collaboration & Expertise

• Traduire les besoins métiers en solutions techniques

• Participer activement aux cérémonies Agile

• Apporter une expertise technique lors des phases de conception

• Résoudre les incidents de production et mettre en œuvre des actions préventives

• Contribuer aux échanges techniques transverses et au partage de bonnes pratiques au sein des Chapters

Environnement technique

Cloud & Data Platform

• Microsoft Azure

• Azure Functions

• Azure Data Lake Storage Gen2 (ADLS)

• Azure Event Hub

• Azure Container Instances

• Azure Databricks

Développement & Data Engineering

• Python avancé

• Pandas

• SQL

• Traitements temps réel et batch

• Data transformation & contextualisation

Qualité & DevOps

• Git / GitHub

• Pytest

• Ruff / Black

• CI/CD

• Monitoring & observabilité

Méthodologie

• Agile / Scrum

• Peer review

• Clean Code

• Domain Driven Design (DDD)

Localisation

• Paris

• Présence sur site obligatoire : 3 jours/semaine

• Télétravail : 2 jours/semaine

Expérience

• Minimum 5 à 8 ans d’expérience en Data Engineering

• Expérience significative sur des environnements Cloud Azure

• Expérience en conception et industrialisation de pipelines de données complexes

• Expérience en environnement Agile à l’échelle

Compétences techniques indispensables

Cloud Azure

• Maîtrise des services Azure Data :

  • Azure Functions

  • Azure Data Lake Storage Gen2

  • Azure Event Hub

  • Azure Container Instances

  • Azure Databricks

• Bonne compréhension des architectures cloud data orientées scalabilité et performance

Data Engineering

• Excellente maîtrise de Python

• Très bonne maîtrise de Pandas

• Solides compétences SQL

• Expérience des traitements :

  • Near Real Time

  • Batch

  • Streaming

• Construction de pipelines de données industrialisés

Bases de données

• Maîtrise des bases relationnelles

• Bonne connaissance des bases NoSQL

Qualité logicielle

• Mise en œuvre de tests automatisés avec Pytest

• Utilisation des outils de linting et formatting (Ruff, Black)

• Pratique du Clean Code et des revues de code

• Sensibilité DevOps et observabilité

Compétences appréciées

• Connaissances en Data Science

• Expérience FinOps

• Connaissance des problématiques de gouvernance et sécurité des données

• Expérience sur des plateformes data industrielles à fort volume

Soft Skills

• Excellente communication avec les équipes métiers et techniques

• Forte capacité d’analyse et de résolution de problèmes

• Esprit d’équipe et collaboration transverse

• Autonomie et proactivité

• Capacité à évoluer dans un environnement exigeant et international