
Nabil DJEBBAR
Lead/Senior Cloud Data AI Engineer
1 recommandation
Salaire / Taux journalier
1 personne recommande
Paris, France
Freelance
Peut venir sur site
Expertises
Langues
À propos
Introduction
Data Engineer senior avec 9 ans d'expertise en pipelines big data et architectures cloud Azure/Databricks/Snowflake . Expérience confirmée chez Sanofi, Air Liquide et InVivo : conception de pipelines PySpark complexes, optimisation Delta Lake, et automatisation CI/CD pour traiter des millions de lignes quotidiennes. J'apporte une expertise technique pointue et une approche industrielle pour transformer vos données en solutions fiables et performantes.
Expérience de travail
Senior Data Engineer
GROUPE INVIVOFreelance
oct. 2023 - Présent
3 ans 1 mois
Paris, France
InVivo Digital Factory accompagne la transformation digitale du groupe coopératif InVivo dans le secteur agricole et agroalimentaire. Au sein de l'équipe data, j'interviens sur la conception et l'industrialisation de pipelines de traitement de données pour les processus de production industrielle (malterie). Conception et réalisation : •Conception, développement, test et mise en production de pipelines de données complexes pour le suivi de production industrielle (steeping, germination, kiln) avec gestion des mesures, événements de localisation et statuts . •Développement et optimisation de transformations PySpark à grande échelle sur Databricks avec focus sur les performances et la qualité du code. •Mise en oeuvre de migrations de schémas Delta Lake (simple types vers struct) et gestion des évolutions de modèles de données. •Conception et réalisation from scratch des pipelines CI/CD avec Azure DevOps pour l'automatisation des déploiements et tests . •Implémentation de logiques métier complexes (allocation énergétique, génération de mesures par vessel, détermination de statuts ON_HOLD/PROCESSING/UNFULFILLED) •Optimisation des performances de clusters Databricks et résolution de problématiques de startup . •Développement de frameworks de tests complets pour garantir la fiabilité des traitements •Support et debugging des pipelines de données en production . •Participation aux revues de code et maintien des
Senior Data Engineer
Air Liquide
févr. 2022 - oct. 2023
1 an 9 mois
“Global Data Operator” (GDO) supporte les ambitions du Groupe en matière de gestion des données, apporte l’expertise technologique pour le développement de nouvelles solutions différentes pour le business Air Liquide, avec un focus particulier sur les sujets autour de la data dans un premier temps. GDO opère trois plateformes : Business Intelligence, Data Platforms et APIs. Au sein de la Business Line Business Intelligence j’interviens sur des projets structurants et travaille en coordination avec les product managers et le métier afin de s’assurer de la bonne réponse technologique face aux besoins exprimé. Conception, développement, test et mise en production des traitements de données dans différents contextes métier et applicatifs - Conception, mise en oeuvre et optimisation, avec les data architects et devops, les pipelines de traitement de la donnée permettant l’alimentation des applications data depuis les sources de données du Groupe - Assurer le support des traitements de données mis en oeuvre - Développement des outils d’automatisation, d'intégration et déploiement continu (CI/CD) - Participation au maintien de la cohérence et des bonnes pratiques auprès des data engineer intervenant sur différents projets - Réalisation et partager avec l’équipe la veille technologique - Participation aux instances de pilotage (AGILE)
Azure Engineer
napaqaro
juil. 2021 - mars 2022
9 mois
Déploiement d’une solution cloud de centralisation des données opérationnelles pour le compte Buffalo Grill. Cette solution inclut le stockage avec vérification de cohérence de la donnée, les pipelines de récupération des données mais aussi l’agrégat des données dans des vues et rapports à valeur ajoutée. Correction des bugs techniques dans les procédures stockées et les vues. - Audit des rapports Power BI Existants. - Optimisation des rapports power BI. - Pipelines CI/CD en Yaml pour les différentes briques techniques. - Rapport Power BI de supervision de la fabrique de données via l’analyse des logs. - Ateliers et présentations des nouvelles fonctionnalités aux métiers.
Data Engineer
Exterion Media UK
mars 2021 - juil. 2021
5 mois
Déploiement d’une solution cloud de centralisation des données opérationnelles et commerciales pour l’entreprise Exterion Media France. Cette solution inclut le stockage avec vérification de cohérence de la donnée, les pipelines de récupération des données externes et internes avec boucle de récupération en cas d’indisponibilité des services mais aussi l’agrégat des données dans des vues et rapports à valeur ajoutée, à la fois pour les unités commerciales (évaluation de la performance des campagnes, suivi de la facturation) et les dirigeants ( Pilotage RM ). - Appropriation des développements antérieurs - Création des pipelines Azure Data Factory (ADF) - Ecriture des ETL o Source -> Raw : ADF o Raw -> Snow : ADF et procédures stockées SQL o Processed -> Azure SQLDB : procédures stockées SQL o Récupération des structures des tables sources : ADF et SQL o Aplatir les tables variants en vues : procédures stockées - Sécurisation de la connexion à Snowflake par la mise en place de l’authentification AAD. -Création des rapports Power BI. - Sécurisation des rapports Power BI : mise en place du LRS.
Data Engineer
microDON
mars 2020 - janv. 2021
11 mois
Refonte de la solution « Gazelle-Retail » de collecte de dons auprès des enseignes de grande distribution, volumétrie > 20 000 lignes par enseigne/jour, 81 enseignes : - Collecte des fichiers depuis différentes sources (API, Email, SFTP) dans un Bucket Google Storage. - Parsing dynamique des différentes structures des fichiers (Nbre et nom de colonnes, délimiteur, type …) via une configuration Json contenant la structure de chaque Flux client. - Application des règles métiers sur les données transactions, dons et collecteurs de dons. - Normalisation et Enrichissement des données. - Tests lignes à lignes et tests de masse.
Data Engineer
Capgemini Engineering
sept. 2018 - mars 2020
1 an 7 mois
Projets BI sur le cloud - Collecte des fichiers - Validation techniques et métiers des données - Normalisation et Enrichissement des données.
Formation
Université Claude Bernard Lyon 1
Master 2 (M2), Technologies d'information
Licences et certifications
dbt Fundamentals
Délivré le : févr. 2025
Fondamentaux du marketing numérique
Délivré le : oct. 2018