
Papa Mor Ndiaye
Data Engineer
Salaire / Taux journalier
78300 Poissy, France
Freelance, ouvert au CDI
Peut venir sur site
Expertises
Langues
À propos
Introduction
Data Engineer avec de l'expérience dans la conception de pipelines de données scalables, d'architectures Lakehouse cloud et de solutions de traitement de données à grande échelle avec Amazon Web Services, Databricks et Apache Spark. Actuellement en M2 DataScale à Paris-Saclay University, spécialisé en Big Data, IA, Cloud et Data Engineering. À la recherche d'un CDI en Data Engineering à partir d'octobre 2026.
Expérience de travail
Data Engineer
SOCOTEC
mars 2026 - Présent
8 mois
91120 Palaiseau, France
- Designed and developed end-to-end data pipelines on Databricks and Amazon Web Services, covering data ingestion, transformation, modeling, and data exposure within a Lakehouse architecture. - Built and optimized scalable ETL/ELT workflows using Apache Spark to process large-scale datasets efficiently. - Implemented and maintained data integration workflows using Airbyte, with data storage and management on Amazon S3. - Contributed to the continuous improvement of the Lakehouse by enhancing data governance, data quality, security, and pseudonymization processes. - Developed analytical dashboards and reporting solutions with Power BI, while exploring Generative AI use cases for data analytics and insight generation with Databricks.
Professeur de physique et de mathématiques
Acadomia
oct. 2025 - Présent
1 an 1 mois
InTouch
août 2024 - juil. 2025
1 an
Commune de Mermoz-Sacré-Cœur, Dakar Region, Senegal
DevOps & Data Engineer
janv. 2025 - juil. 2025
7 mois
Commune de Mermoz-Sacré-Cœur, Dakar Region, Senegal
- Designed and implemented an automated system to reconcile financial transactions between Intouch and its external partners across 28 countries. - Developed custom data matching algorithms using Python to detect inconsistencies between internal and partner datasets. - Built ETL workflows using Apache Airflow, automating data extraction, normalization, comparison, and reporting for reconciliation . - Set up the full deployment architecture on Google Kubernetes (GKE) using Terraform, Helm, and GitLab CI, to ensure reproducibility and scalability. - Stored and analyzed large volumes of transactional data in BigQuery, enabling real-time anomaly tracking and reporting. - Added unit tests to critical Airflow tasks and validation steps to ensure data quality and process reliability. - Integrated Google Cloud Storage for managing and accessing partner files in CSV format across the reconciliation pipeline.
Back-end Developer
août 2024 - juil. 2025
1 an
Commune de Mermoz-Sacré-Cœur, Dakar Region, Senegal
- Developed, maintained, and optimized a Batch Processing project to handle mass notifications for transactions using Javax Batch, ensuring high efficiency and scalability. - Worked on configuring and deploying platform services to ensure smooth integration with the backend systems and the cloud infrastructure. - Collaborated with the team to implement best practices for cloud-based infrastructure management on Google Cloud Platform (GCP). - Optimized the processing pipeline for large-scale transaction notifications, ensuring high availability and low latency.
Back-end Developer
InTouch
sept. 2023 - janv. 2024
5 mois
Commune de Mermoz-Sacré-Cœur, Dakar Region, Senegal
- Developed and maintained transactional APIs using Java EE, Spring Boot, and WildFly, ensuring smooth processing of core financial operations. - Maintained the backend of a ticketing Engine and monitoring system for the Guichet Unique. - Contributed to the development and maintenance of the company's internal payment systems, ensuring reliability and compliance with business rules and partner protocols. - Integrated unit tests for the ticketing engine, improving system robustness and facilitating continuous delivery with Java EE and WildFly-based testing frameworks.
Formation
Université Paris-Saclay
Master 2 (M2), Data Scale : Gestion de données et extraction de connaissances à large échelle
2025 - 2026
1 an 2 mois
Le Master « DataScale – Gestion des données et extraction de connaissances à large échelle » de l'Université Paris-Saclay est une Formation spécialisée centrée sur les architectures modernes de big data, des data centers jusqu’à l’edge computing. Le parcours couvre à la fois l’ingénierie des données (gestion distribuée, performances, fiabilité, sécurité) et l’analyse / extraction de connaissances (qualité des données, apprentissage automatique, data mining). La formation permet d’acquérir une double compétence data Engineering / data scientist : concevoir, déployer et exploiter des systèmes de données à grande échelle, tout en développant des services data-driven.
École Polytechnique de Thiès
Diplôme d'ingénieur, Élève ingénieur
2021 - 2025
4 ans 1 mois
Licences et certifications
Migrate MySQL data to Cloud SQL using Database Migration Service Skill Badge
Délivré le : sept. 2024
Deploy Kubernetes Applications on Google Cloud Skill Badge
Délivré le : août 2024
Develop Serverless Apps with Firebase Skill Badge
Délivré le : août 2024
Develop Serverless Applications on Cloud Run Skill Badge
Délivré le : août 2024