
A. AGILYT
Data Engineer|Azure|Fabric|Databricks| DevOps
Salaire / Taux journalier
Paris, France
Mobilité : Lille
Freelance
Peut venir sur site
Expertises
Langues
À propos
Introduction
Founder – @ AGILYT DATA (collectif de consultants Data Engineering, Data Science et BI.) Data Engineer spécialisé dans les plateformes data cloud : Azure, Microsoft Fabric, Databricks. Expérience dans le développement et l’industrialisation de pipelines de données (ETL/ELT), le traitement de données à grande échelle avec PySpark / Spark et la mise en place d’architectures Data Lake / Lakehouse, gestion de versionning CI/CD via DevOps. TJM : selon missions et profils : 455€ à 600€
Expérience de travail
Alternant - Consultant Ingénieur Cloud & Data Engineering
DASRWET France
mars 2024 - Présent
2 ans 8 mois
– Mise en place d'un processus automatisé de récupération de fichiers CSV depuis différentes sources (SharePoint / SFTP / dépôt ADLS). – Paramétrisation des pipelines ADF pour gérer dynamiquement les différents répertoires (equity_stock_data, fx_data, fixed_income_zero_curve_data). – Développement de notebooks Databricks (PySpark) pour l'ingestion, le nettoyage et la transformation des données. – Contrôle du schéma et normalisation des formats (dates, devises, taux). – Chargement des données dans des tables Delta Lake (Bronze / Silver / Gold). – Orchestration des flux via Azure Data Factory (pipelines, triggers planifiés, gestion des dépendances). – Utilisation de Databricks SQL pour validation et création de vues analytiques. – Mise en place de logs d'exécution et gestion simple des erreurs (fichiers manquants, format non conforme). – Gestion des catalogues, schémas et permissions via Unity Catalog. – Versioning du code (notebooks, pipelines ADF, scripts) via Git / Azure DevOps Repos. – Mise en place d'un processus de déploiement entre environnements DEV → UAT → PROD. – Utilisation de branches dédiées et Pull Requests pour validation des évolutions. – Déploiement automatisé des pipelines ADF et artefacts Databricks via pipelines CI/CD. – Standardisation des environnements de développement via Docker/AKS lorsque nécessaire. – Gestion des images et orchestration de l'exécution des images vers les conteneurs AKS – Développement des rapports de suivi avec Power BI en utilisant le mode import. – Utilisation de Power Query et langage M pour le chargement de données dans Power BI – Création des mesures en utilisant le langage DAX. – Environnement: Azure Data Factory, ADLS Gen2, Databricks (Notebooks, SQL), PySpark, Delta Lake, Unity Catalog, Azure DevOps, Git, Docker, AKS, Power BI, DAX.
Stagiaire Développeur Web
KENN LTD
avr. 2021 - sept. 2021
6 mois
– Analyse des besoins fonctionnels et techniques en collaboration avec les parties prenantes. – Participation à la rédaction des spécifications techniques. – Conception et modélisation de bases de données relationnelles (schéma logique et physique). – Développement et optimisation des requêtes SQL (jointures, indexation, agrégations). – Développement du backend applicatif en Java. – Intégration des composants côté serveur avec la base de données. – Développement de fonctionnalités dynamiques côté front-end. – Optimisation des performances applicatives et correction des anomalies. – Réalisation de tests unitaires et validation fonctionnelle avant mise en production. – Environnement: Java, SQL, Laravel PHP, Base de données relationnelle.
Consultant Data
CENTIF
sept. 2018 - oct. 2019
1 an 2 mois
– Collecte, nettoyage et transformation de données issues de différentes sources internes. – Développement de scripts Python pour automatiser le traitement et la consolidation des données. – Conception de pipelines de traitement pour l'analyse des données et la production de reporting. – Écriture et optimisation de requêtes SQL complexes pour l'extraction et l'agrégation de données. – Structuration et normalisation des bases de données relationnelles. – Mise en place de contrôles de qualité des données (vérification de cohérence, gestion des doublons). – Création de tableaux de suivi et indicateurs pour faciliter la prise de décision. – Support technique aux équipes métiers pour l'exploitation des données. – Participation à l'amélioration des performances des requêtes et de la base PostgreSQL. – Environnement: Python (Pandas), SQL, PostgreSQL, Power BI / Tableau.
Stagiaire Développeur Informatique
MINISTERE DE L'ÉCONOMIE ET DES FINANCES
sept. 2016 - déc. 2016
4 mois
Cotonou, Bénin
– Analyse des besoins fonctionnels auprès des équipes administratives. – Modélisation de la base de données (MERISE / schéma relationnel). – Conception et développement d'une application web de gestion des marchés publics. – Implémentation des modules de gestion des projets, contrats et fournisseurs. – Développement des requêtes SQL pour la consultation et l'extraction des données. – Mise en place d'un système d'authentification et gestion des rôles utilisateurs. – Réalisation des tests fonctionnels et correction des anomalies avant déploiement. – Rédaction d'une documentation technique et guide utilisateur. – Environnement: Java EE, JSF, SQL, Base de données relationnelle, MERISE.
Formation
Digital School of Paris
Master, Data Engineering
2023 - 2025
2 ans 1 mois
Istanbul Aydin University
Master, Génie Informatique
2021 - 2023
2 ans 1 mois
IFRI UAC
Licence, Systèmes d'Information & Réseaux Informatiques
2017 - 2019
2 ans 1 mois
Licences et certifications
Python for Data Science - DataScientest
Délivré le : –
PCEP - Certified Entry-Level Python Programmer
Délivré le : –
Databricks Certified Associate Data Engineer
Délivré le : –
Portfolio
