Expert Data Engineer - Datalake (IT) / Freelance

Dans le cadre d'un projet stratégique au sein d'un grand environnement bancaire, nous recherchons un Data Engineer / Data Lake Developer expérimenté pour renforcer une équipe IT Data et accompagner le déploiement d'une nouvelle plateforme Databricks.

Le consultant interviendra sur la conception, le développement et l'industrialisation des composants nécessaires à l'alimentation et à l'exploitation du Data Lake, au sein d'un environnement Agile et international.

Missions

• Concevoir et développer des pipelines d'ingestion et de transformation de données robustes et scalables, en batch et temps réel.
• Développer et maintenir les flux ETL Talend alimentant le Data Lake et les systèmes consommateurs.
• Développer des traitements Python / PySpark sur Databricks.
• Mettre en œuvre et optimiser les modèles de données cibles.
• Automatiser les transformations, la documentation et les tests avec dbt.
• Développer et configurer des flux CDC (Change Data Capture).
• Mettre en place les bonnes pratiques de Data Quality, monitoring, alerting et logging.
• Développer des composants réutilisables : templates de pipelines, librairies partagées et frameworks CI/CD.
• Réaliser les développements et tests associés.
• Participer aux mises en production et à l'industrialisation des solutions.

Compétences techniques recherchées

• Forte expertise sur Talend ETL : développement, debugging et industrialisation.
• Bonne maîtrise de Python et PySpark.
• Expérience significative sur Databricks : Jobs, Workflows, Delta Lake, Notebooks et optimisation.
• Excellente maîtrise de SQL, notamment sur les requêtes complexes et l'optimisation des performances.
• Expérience pratique de dbt pour la transformation et la modélisation des données.
• Bonne connaissance des problématiques CDC / Change Data Capture.
• Une expérience sur Qlik Replicate / Attunity est fortement appréciée.
• Connaissance de Kafka appréciée.
• Connaissances en Java.
• Expérience DevOps : Git, CI/CD, automatisation des tests et des déploiements.
• Utilisation d'outils d'IA générative pour accélérer les développements Python, PySpark et SQL, le refactoring et les tests.

Profil recherché

Vous justifiez d'au moins 3 ans d'expérience en Data Engineering / Data Lake.

Vous êtes autonome, rigoureux, proactif et disposez de solides capacités d'analyse. Vous êtes également à l'aise dans des environnements exigeants et possédez un bon relationnel client.

Anglais courant obligatoire. Profil candidat:

Dans le cadre d'un projet stratégique au sein d'un grand environnement bancaire, nous recherchons un Data Engineer / Data Lake Developer expérimenté pour renforcer une équipe IT Data et accompagner le déploiement d'une nouvelle plateforme Databricks.

Le consultant interviendra sur la conception, le développement et l'industrialisation des composants nécessaires à l'alimentation et à l'exploitation du Data Lake, au sein d'un environnement Agile et international.

Missions

• Concevoir et développer des pipelines d'ingestion et de transformation de données robustes et scalables, en batch et temps réel.
• Développer et maintenir les flux ETL Talend alimentant le Data Lake et les systèmes consommateurs.
• Développer des traitements Python / PySpark sur Databricks.
• Mettre en œuvre et optimiser les modèles de données cibles.
• Automatiser les transformations, la documentation et les tests avec dbt.
• Développer et configurer des flux CDC (Change Data Capture).
• Mettre en place les bonnes pratiques de Data Quality, monitoring, alerting et logging.
• Développer des composants réutilisables : templates de pipelines, librairies partagées et frameworks CI/CD.
• Réaliser les développements et tests associés.
• Participer aux mises en production et à l'industrialisation des solutions.

Compétences techniques recherchées

• Forte expertise sur Talend ETL : développement, debugging et industrialisation.
• Bonne maîtrise de Python et PySpark.
• Expérience significative sur Databricks : Jobs, Workflows, Delta Lake, Notebooks et optimisation.
• Excellente maîtrise de SQL, notamment sur les requêtes complexes et l'optimisation des performances.
• Expérience pratique de dbt pour la transformation et la modélisation des données.
• Bonne connaissance des problématiques CDC / Change Data Capture.
• Une expérience sur Qlik Replicate / Attunity est fortement appréciée.
• Connaissance de Kafka appréciée.
• Connaissances en Java.
• Expérience DevOps : Git, CI/CD, automatisation des tests et des déploiements.
• Utilisation d'outils d'IA générative pour accélérer les développements Python, PySpark et SQL, le refactoring et les tests.