ANASS BOUIRDI

– Développement d'un outil de mesure des émissions CO2 pour équipements pétroliers (FPSO on/offshore) – Conception et optimisation de pipelines de données avec Databricks & Spark – Implémentation de traitements métier après analyse fonctionnelle – Optimisation des coûts (stockage, parallélisme, écritures Spark) – Résolution de problématiques de throttling (erreurs 429) sur Azure Cosmos DB – Mise en place et gestion de Unity Catalog pour la gouvernance des données – Utilisation de SQL Warehouse (Databricks SQL) pour les usages analytiques – Intégration de données issues de SAP dans les pipelines data – Développement de pipelines avec Delta Live Tables (DLT) pour fiabiliser les workflows – Collaboration avec équipes produit, devops, backend et frontend

– Collaboration avec l'équipe business pour la compréhension du besoin et la conception fonctionnelle – Mise en place de pipelines de données robustes (extraction, transformation, nettoyage) – Intégration de multiples sources de données avec un focus sur la qualité et la cohérence – Optimisation des traitements via Python, SQL et Spark 3 – Exploitation des services AWS (Databricks, Glue, S3, Crawlers) – Développement de notebooks Databricks et optimisation des configurations de clusters – Participation à l'industrialisation des pipelines et à l'amélioration de la performance globale

– Conception de pipelines de données (ingestion, transformation, stockage) sur des environnements distribués – Utilisation de Databricks, Spark et AWS (S3, Glue, Crawlers) – Optimisation avancée des traitements Spark (tuning mémoire, gestion des partitions, parallélisme) – Optimisation et configuration des clusters (dimensionnement, autoscaling, performance) – Développement et refactorisation de notebooks Databricks pour améliorer la lisibilité, la maintenabilité et les performances – Mise en place de tests d'intégration et participation à l'industrialisation via des pipelines CI/CD – Amélioration de la qualité des données et fiabilité des traitements – Collaboration avec équipes métiers dans un environnement Agile

– Développement de pipelines Big Data avec Spark sur des volumes importants de données – Automatisation de workflows data (Python, SQL) et orchestration des traitements – Intégration de données issues de multiples sources (Hadoop, Oracle) – Optimisation des traitements Spark (gestion mémoire, tuning des jobs, parallélisme) – Industrialisation des pipelines et mise en place de solutions de monitoring – Mise en place de pipelines CI/CD avec Jenkins et Docker pour automatiser les déploiements – Développement de tests (unitaires et d'intégration) pour garantir la fiabilité des traitements – Amélioration de la performance et de la stabilité des pipelines en production