Papa Magatte CAMARA

Senior Data Engineer intervenant sur des plateformes Metering Data Management (MDM) B2B utilisées pour la facturation, les prévisions énergétiques et le pilotage opérationnel. Responsabilités principales : • Conception et évolution d’architectures data cloud & lakehouse • Développement de pipelines Spark / PySpark sur Databricks • Mise en place de modèles Bronze / Silver / Gold avec Delta Lake • Garantie de la qualité, traçabilité et fiabilité des données Réalisations clés : • Refonte complète d’une plateforme legacy vers une architecture AWS + Databricks plus scalable et plus simple à opérer • Optimisation des traitements Spark (partitionnement, shuffles, files) avec réduction significative des coûts et temps de calcul • Migration d’orchestrations Airflow vers une approche événementielle (AWS Step Functions + Lambda) • Mise en place d’un monitoring centralisé Splunk (fraîcheur, volumes, erreurs, SLA/SLO) • Définition de stratégies de reprocessing sécurisées et de KPIs opérationnels • Contribution aux standards CI/CD, DataOps et gouvernance data Environnements : Spark / PySpark, Databricks, Delta Lake, AWS (S3, Glue, Athena, Lambda, Step Functions, EventBridge), Python, SQL, Splunk, Terraform, GitHub Actions

Développement de prototypes et de pipelines distribués (Spark/PySpark) pour la réconciliation et l’analytique des données. Conception d’algorithmes de rapprochement entre données de valorisation et données comptables. Structuration du data lake (organisation et partitionnement des tables) et alimentation d’une base SQL. Création d’une application web pour exposer des dashboards Power BI.