Data Engineer expérimenté

Contexte

Le département Data intervient en transverse de la DSI auprès de tous les métiers d’une grande entreprise du secteur industriel. Dans ce cadre, il porte les ambitions de la data au sein de cette entreprise avec comme principaux objectifs d’accompagner l’entreprise vers un modèle d’entreprise Data Driven et d’optimiser la performance du SI.

La Team Plateforme Data & Analytics constituée de l’équipe Data Platform et l’équipe produit Analytics œuvre pour tous les métiers dans une organisation Datamesh afin de :

• Mettre à disposition la donnée aux utilisateurs

• Modéliser les solutions applicatives selon les besoins métiers de l’entreprise

• Développer avec les métiers des reporting et datasets à haute valeur ajoutée

• Déployer les modèles d’IA/IA Gen/ML développés par l’équipe Datascience

• Assurer le cycle de vie de ses produits Data depuis cadrage du besoin jusqu’au run

• Maintenir le cadre régalien Analytics et appuyer les métiers dans la conduite du changement

• Promouvoir l’usage des outils de reporting et accompagner les métiers dans l’appropriation de leurs données

Toutes ces activités sont à assurer dans le respect du cadre technologique et cybersécurité de l’entreprise et dans un cadre d’agilité à l’échelle (SAFE) ou en SCRUM/KANBAN.

Missions

• Gouvernance, coordination et documentation :

  • Appui au pilotage des produits : conseil, expertise, accompagnement au changement, suivi stratégique et opérationnel des projets

  • Rédaction, mise à jour et maintien de l’ensemble des spécifications fonctionnelles et techniques de la plateforme

  • Animation de la communauté développeurs : diffusion des bonnes pratiques, partage de connaissances, alignement sur les standards

• Analyse avancée et modélisation statistique :

  • Capacité à effectuer des analyses complexes sur les données

  • Utilisation de méthodologies statistiques pour générer des insights exploitables

  • Compétences en modélisation de données pour créer des schémas et des structures

• Posture “Conseil” :

  • Compétences en communication et en pédagogie pour travailler conjointement avec des équipes techniques, interfonctionnelles et métier

• Développement & intégration :

  Ingestion & traitements de données

  • Maîtrise des processus d’ingestion batch et streaming, quel que soit le type de source (API, fichiers structurés/semi-structurés/non structurés, bases de données) ou le cloud provider en entrée (AWS / Azure)

  • Développement, optimisation et industrialisation des pipelines de données

  CI/CD & DevOps

  • Construction et maintenance des pipelines CI/CD, gestion des artefacts, des dépôts et des tasks automatisées

  • Création et administration d’applications, notebooks et environnements associés (Pandas, NumPy, etc.)

  Qualité, performance et bonnes pratiques

  • Optimisation de requêtes, performance applicative et factorisation du code

  • Analyse avancée d’incidents techniques ou fonctionnels, réalisation de tests unitaires et contrôle de la qualité du code

  • Revue et amélioration de code (SQL, C#, PowerShell)

  Développement applicatif & frameworks internes

  • Contribuer à l’évolution continue et l’optimisation du framework d’alimentation et de supervision de la plateforme PDA (.NET / PowerShell / JavaScript)

  • Développement de scripts d’administration, outils d’automatisation et alertes de sécurité

  • Développement de modèles tabulaires Power BI (langages M et DAX)

• Support & Monitoring

  • Support technique Niveau 3 sur les socles applicatifs et les reporting associés

  • Monitoring de l’infrastructure et supervision des flux de données

• Administration & Performance des Bases de Données (DBA)

  DBA Études

  • Revue de code, audit et validation des Pull Requests

  • Optimisation des requêtes, amélioration des performances généralisées, respect des bonnes pratiques

  • Ajustement et contrôle des performances des bases SQL Server, Snowflake et Azure SQL

  DBA Système

  • Conception et gestion des modèles de sécurité des bases de données

  • Monitoring, gestion de la performance et résolution d’incidents critiques

• Expertise Technique & Référentiels

  Expertise Snowflake

  • Expertise avancée sur Snowflake (> 3 ans) : SQL, rôles, virtual warehouses, data modeling et optimisation

  Référent métier & gouvernance

  • Maîtrise approfondie des modèles de données et rôle de référent technico-fonctionnel sur 2 à 3 domaines métiers

  Standards & bonnes pratiques

  • Mise en place, maintien et contrôle du respect des bonnes pratiques techniques, fonctionnelles et documentaires

Outils & Environnement

• Ingestions de données paramétrées en mode « delta-lake » (tables de streaming)

• Transformations et règles de gestion réalisées via procédures stockées (SQL et JavaScript) et Python avec Snowpark (pour projets Datascience/IA/ML, Features Store, Model Registry)

• Orchestration des transformations principalement via Azure Automation (à terme Snow Tasks), supervision via Log Analytics et suivi dans Power BI

• Patterns de déploiement CI/CD basés sur un framework (.net) développé en interne

• Acquisition des données via scripts Powershell/C# utilisant des services Azure managés (Blob storage, Key Vault, Log Analytics)

• Stockage des données dans une architecture en médaillon dans Snowflake (zones Bronze > Argent > Or) hébergée dans le Cloud Azure

• Zones de publication par domaine fonctionnel (ex : RH, Finance) en mode DataMesh

• Exploitation des données via modèles sémantiques Power BI, cubes multidimensionnels et apps Streamlit conteneurisées

• Déploiements gérés par la chaîne complète CI/CD d’Azure DevOps (repository GIT, méthode GITflow / GITHubflow pour Analytics) et GitLab pour applications conteneurisées et Datascience

1. Posture « Conseil » avec niveau d’expertise, force de proposition, capacité à challenger et autonomie
2. Capacité à effectuer des analyses complexes sur les données
3. Utilisation de méthodologies statistiques pour générer des insights exploitables
4. Compétences en modélisation de données pour créer des schémas et des structures
5. Compétences en communication et en pédagogie pour travailler avec des équipes techniques, interfonctionnelles et métier
6. Maîtrise des processus d’ingestion batch et streaming pour différents types de sources et cloud providers (AWS / Azure)
7. Développement, optimisation et industrialisation des pipelines de données
8. Construction et maintenance des pipelines CI/CD, gestion des artefacts, dépôts et tâches automatisées
9. Création et administration d’applications, notebooks et environnements associés (ex : Pandas, NumPy)
10. Optimisation de requêtes, performance applicative et factorisation du code
11. Analyse avancée d’incidents techniques ou fonctionnels, réalisation de tests unitaires et contrôle de la qualité du code
12. Revue et amélioration de code (SQL, C#, PowerShell)
13. Contribution à l’évolution et optimisation du framework d’alimentation et de supervision (.NET / PowerShell / JavaScript)
14. Développement de scripts d’administration, outils d’automatisation et alertes de sécurité
15. Développement de modèles tabulaires Power BI (langages M et DAX)
16. Support technique Niveau 3 sur socles applicatifs et reporting associés
17. Monitoring de l’infrastructure et supervision des flux de données
18. Revue de code, audit et validation des Pull Requests
19. Optimisation des requêtes et amélioration des performances sur bases SQL Server, Snowflake et Azure SQL
20. Conception et gestion des modèles de sécurité des bases de données
21. Monitoring, gestion de la performance et résolution d’incidents critiques
22. Expertise avancée Snowflake (> 3 ans) : SQL, rôles, virtual warehouses, data modeling et optimisation
23. Maîtrise approfondie des modèles de données et rôle de référent technico-fonctionnel sur 2 à 3 domaines métiers
24. Mise en place, maintien et contrôle du respect des bonnes pratiques techniques, fonctionnelles et documentaires