Bailo BARRY

• Concevoir et industrialiser des pipelines d’extraction et de transformation avec PySpark sur un cluster Cloudera Hadoop/YARN, puis publier les données via Hive et Impala. • Automatiser et orchestrer les traitements avec Airflow, notamment la soumission et les dépendances des jobs Spark, et migrer des traitements existants planifiés via Crontab. • Assurer la migration et l'optimisation de requêtes SQL dans le cadre d'un projet de transition Oracle vers PostgreSQL en garantissant la qualité et l'intégrité des données. • Activités de RUN : assurer la supervision et la disponibilité des traitements en production (correction, relance et monitoring des pipelines). • Traiter des incidents liés aux données (analyse, diagnostic et correction). • Documenter techniquement les composants et bonnes pratiques, et collaborer avec les équipes métier pour répondre aux besoins d'analyse et de consommation de la donnée

Optimisation des données par métaheuristiques : • Étudier et implémenter l'algorithme Grey Wolf Optimizer (GWO) en Python pour résoudre un problème d'optimisation combinatoire (Knapsack Problem et Knapsack Sharing Problem). • Mettre en place une solution initiale par méthode gloutonne puis intégrer une recherche locale (2-opt) pour améliorer les solutions obtenues. • Tester les algorithmes sur différentes instances (existantes et générées aléatoirement) en faisant varier taille de la population et le nombre d’itérations. • Analyser et visualiser les performances obtenues afin d'évaluer l'efficacité de l'approche