Taha Elkarafli

Mission : Participation à un projet visant à détecter des chevauchements d’interventions en croisant des sources de données internes (ERP) et externes (BAN, Google Geocoding). Extraction, géocodage, nettoyage et calcul de distances entre adresses dans un objectif d’analytique et de gouvernance. Mise en place de pipelines PySpark dans Databricks, optimisés pour le traitement batch de gros volumes de données. Rôle : Data Engineer en charge de la conception, du développement et de l’optimisation de pipelines dans Databricks. Responsable de l’intégration d’API (Google Geocoding et BAN), du traitement et de l’enrichissement des données. Appui à l’équipe métier dans la compréhension des données et la mise en place de dashboards analytiques. Environnement de travail : Travail en méthodologie agile (Scrum), en collaboration avec un Product Owner, un Tech Lead et plusieurs développeurs. Processus CI/CD gérés via GitHub (branche dédiée, pull requests, revue de code). Réalisations : Développement et optimisation de pipelines PySpark dans Databricks, avec DLT et logique de partitionnement pour améliorer les performances. Intégration de l’API Google Geocoding pour le traitement massif d’adresses. Calculs de distances (Haversine) entre points géographiques pour détection de chevauchements d’interventions. Documentation technique des traitements dans Unity Catalog. Support à la réalisation de dashboards PowerBi analytiques à partir des données transformées. Environnement technique : Databricks, PySpark, Delta Lake, SQL, GitHub, API Google Geocoding, Unity Catalog, CI/CD GitHub Actions, Power BI.

Mise à disposition et transformation des données métiers dans un environnement AWS, en mettant en place et en maintenant des pipelines de données destinées à la BI et à l'analytique. Rôle : Data Engineer en charge du développement et de l'évolution des pipelines de traitement de données. Interlocuteur principal pour les équipes métier sur les problématiques liées à l'intégration et la transformation des données. Réalisations : Développement et maintenance de pipelines d’extraction et de transformation des données en Python et SQL, exploitant AWS Lambda, ECS et Glue. Orchestration des traitements via AWS Step Functions et MWAA (Managed Workflows for Apache Airflow). Enrichissement des données via AWS Athena, Dbt et SQL sur une base RDS PostgreSQL. Déploiement des pipelines via CI/CD (GitLab) avec des tests unitaires et d’intégration réalisés avec Pytest. Conteneurisation des applications avec Docker et déploiement des images sur AWS ECR. Mise en place d’une infrastructure as code avec Terraform pour la gestion des ressources AWS. Monitoring des traitements via AWS CloudWatch et automatisation des tâches de supervision. Environnement technique : AWS (Lambda, Glue, ECS, Athena, RDS, Redshift, MWAA, Step Functions, CloudWatch), Python, SQL, DBT, Terraform, Git, GitLab CI/CD, Docker.

Mission : Mise en place d’un Data Lab et développement de pipelines de données pour TotalEnergies Marketing France dans un environnement AWS, avec migration partielle des données d’Azure vers AWS. Rôle : Data Engineer en charge de la conception et du développement des pipelines de transformation de données sur AWS. Contribution à la migration des données et des traitements associés d’Azure vers AWS. Réalisations : Développement et optimisation d’ETL sur AWS en utilisant Lambda (Python/Boto3), Glue et Step Functions. Mise en place de pipelines de traitement des données en appliquant les bonnes pratiques FinOps. Surveillance et suivi de la qualité des données via Amazon QuickSight. Migration des données et des processus associés depuis Azure vers AWS, avec une utilisation de Databricks pour certains traitements. Développement d’une application interne en Python pour générer des tableaux de bord GCP Looker et Power BI à partir de SAP BO. Développement d’API via AWS API Gateway pour exposer les données stockées dans Amazon RDS. Environnement technique : AWS (Lambda, Glue, Step Functions, CloudWatch, S3, RDS, QuickSight, API Gateway ), Python, SQL, PostgreSQL, Databricks, Azure, LookML, GCP Looker, Power BI, Docker, Git.

-Devellopement en Python via Dash, d'une application web pour l'analyse et la modélisation de la fiabilité des véhicules. -Analyse statistique de la fiabilité de populations de véhicules.

-Devellopement de tableau de bord via Qlik Sense. -Data mining : Extraction de motif des données de ventes d'articles via pyspark en Python.

-Analyse de données. -Devellopement en vba d'application metier.