Omar Ben yedir

Équipe : 1 Data Lead, 3 Data Engineers, 2 Business Analysts Projet : Suivi et contrôle qualité KYC Accélération du développement et automatisation des pipelines à l’aide d’outils d’IA (Claude, GitHub Copilot) Construction d’une Golden Source centralisée et automatisation des contrôles de qualité des données Collaboration avec les équipes métiers pour la définition des spécifications fonctionnelles Création de tests unitaires et rédaction de la documentation technique Développement et optimisation des pipelines sous Databricks et Spark Optimisation des performances des jobs Spark Maintien des pipelines en production et suivi des performances Visualisation des indicateurs de qualité des données via Power BI Collaboration avec les équipes métiers pour la remédiation et le reporting Projet : Reporting Distribution Finance Industrialisation des Business Views (BV) conformément au framework Carbon Collaboration avec les équipes métiers pour la définition des spécifications Création de tests unitaires et rédaction de la documentation technique Développement et optimisation des pipelines sous Databricks et Spark Optimisation des performances des jobs Spark Maintien des pipelines en production et suivi des performances Automatisation des tâches de développement et de refactoring à l’aide de GitHub Copilot Génération automatisée de documentation technique Génération automatisée des spécifications pour les applications existantes via Copilot Automatisation des revues de code et des mises en production conformément au framework Carbon Environnement technique : Azure Databricks, Unity Catalog, ADLS Gen2, Python, PySpark, Delta Lake, SQL, Git, Power BI, Claude AI, GitHub Copilot

Équipe : Tech Lead, 4 Data Engineers, 3 Business Analysts, 1 Product Owner, 1 Scrum Master Projet : Transformation de la chaîne de calcul RWA Migration complète des pipelines Teradata vers une architecture Databricks Lakehouse Conception, optimisation et partitionnement de pipelines Spark pour le traitement de données financières Mise en place de Unity Catalog pour la gouvernance, la sécurité et la classification des données Collaboration avec les équipes métiers pour la définition des spécifications Création de tests unitaires et rédaction de la documentation technique Optimisation des performances des jobs Spark Mise en place de contrôles de qualité des données et réduction des rejets dans le moteur de calcul Environnement technique : Databricks, Spark, Delta Lake, AWS (S3, Lambda, Step Functions, Glue), Python, Scala, SQL, Jenkins, Git

Équipe : 1 Data Lead, 2 Data Engineers, 2 Business Analysts Projet : Plateforme de collecte et analyse des données métiers Conception d’une architecture Lakehouse basée sur Databricks Développement de pipelines Bronze/Silver/Gold avec gestion du CDC Mise en place de tests unitaires avec ScalaTest et automatisation partielle des flux de traitement Collaboration avec les équipes métiers pour la définition des spécifications Création de tests unitaires et rédaction de la documentation technique Optimisation des performances des jobs Spark Collaboration avec les équipes métiers pour l’intégration et le reporting Environnement technique : Azure Data Factory, Azure Databricks, Unity Catalog, Spark, Scala, SQL, Delta Lake, Azure DevOps, Git