Soufiane Boustique

• Modernisation et optimisation des coûts d’une plateforme de données AWS pour une société de paiement. • Refactorisation et migration des tâches AWS Glue existantes vers un framework PySpark épuré et modulaire sur Apache Iceberg (S3/Athena). • Mise en place de pipelines d’ingestion DMS vers un lac de données Iceberg (données curées / non curées) et de flux de rapprochement pour les partenaires acquéreurs et bancaires. • Réduction des coûts liés à AWS Glue de plus de 60 % (classe d’exécution FLEX, auto-scaling, partitionnement, optimisation des requêtes et des tâches). • Orchestration des tâches avec Airflow, provisionnement de l’infrastructure en tant que code (Terraform/ CloudFormation), intégration multi-sources. • Mise en place de pipelines de détection d’anomalies (séries chronologiques d’erreurs et de ventes) et rédaction d’une documentation technique exhaustive pour faciliter la maintenance. Technologies : AWS Glue 5.1, PySpark, Apache Iceberg, Athena, S3, Lambda, DMS, AppFlow, Terraform, CloudFormation, Airflow, Python, SQL, dbt.

Participation à la modernisation et à la montée en charge des pipelines analytiques de Realytics, dans le cadre du produit BEE, mesurant l’impact des campagnes TV sur les sessions web en temps réel. • Conception de bout en bout de pipelines Big Data, de l’ingestion à la restitution (PySpark, Trino, Hive), avec prise en charge d’aspects d’administration Hadoop (gestion HDFS, monitoring des services, optimisation des jobs Spark). • Contribution directe à la migration vers Airflow sur Kubernetes avec Helm : mise en place de triggers dynamiques, configuration des workers Spark, supervision des DAGs. • Mise en place de mécanismes automatisés de reprise et redémarrage en cas d’incident (gestion fine des erreurs). • Support quotidien RUN : suivi des exécutions Airflow, analyse des logs Spark, détection et résolution des anomalies de production (corruption de partitions, erreurs SparkSQL, pertes de connectivité S3). • Interactions régulières avec les équipes Backend, Produit, Frontend et Data Analyst pour adapter les workflows à leurs contraintes et synchroniser les déploiements. • Déploiement continu via Jenkins et ArgoCD, rédaction de playbooks Ansible pour standardiser les tâches d’initialisation et de tests. • Utilisation avancée de Linux (CLI, Cron, gestion mémoire, logs système) pour analyser les comportements anormaux. • Approche proactive sur les choix techniques et l’optimisation Spark (partitionnement, tuning du shuffle, broadcast join). -> Résultats : • Réduction des temps de traitement d’environ 40%, avec un coût de calcul divisé par deux. • Amélioration de la fiabilité des traitements : 95% de taux de succès pour les DAGs critiques. • Forte autonomie dans la résolution des incidents de production et contribution à la documentation interne.

Mise en place d’un pipeline analytique sur GCP pour soutenir les recommandations clients dans le secteur de l’assurance. • Déploiement d’un pipeline complet en production : ingestion depuis Cloud Storage, traitements et alimentation de tables BigQuery. • Optimisation des performances via le partitionnement BigQuery, garantissant des temps de réponse adaptés à un moteur temps réel. • Support technique en production : résolution de problèmes de permissions cloud, erreurs de scheduling, anomalies sur les données entrantes. • Collaboration avec les équipes Produit et Backend afin d’assurer la cohérence fonctionnelle des données exposées. Mise en place de tests unitaires (Pytest), d’un système d’alerting et participation aux phases de tests fonctionnels. • Contribution à la maintenance de la CI/CD (GitHub Actions, gestion des dépendances via Poetry, contrôle qualité du code avec Ruff). -> Résultats : • Pipeline stable en production avec un SLA < 30 min. • Zéro erreur critique après la mise en place des tests automatisés.