Ayman ELIDRISSI

– Développement de pipelines ETL/ELT distribués en PySpark pour ingérer et traiter plus de 15 canaux de communication (Emails, Teams, SMS, Bloomberg, Symphony, etc.). – Mise en place de traitements batch et streaming via Spark Structured Streaming sur un cluster Hadoop/YARN. – Normalisation des données en formats optimisés (Parquet/ORC) et gestion de la qualité (contrôles, validation, enrichissements). – Conception de parsers PySpark et Python pour convertir les e-comms structurées en formats JSON unifiés. – Développement de transformations avancées (UDF, regex distribuées, extraction d' entités, enrichissements métier). – Orchestration des pipelines via Airflow / Jenkins, incluant les workflows batch et streaming. – Mise en place de CI/CD pour les jobs PySpark, scripts Python et configurations d' ingestion. – Optimisation des index et requêtes Elasticsearch pour accélérer la recherche full-text. – Configuration et tuning des règles RQL (RedOwl Query Language) pour détecter les comportements à risque (langage trompeur, partage d' informations sensibles). – Calibration des scénarios RedOwl pour réduire les faux positifs et améliorer la pertinence des alertes. – Supervision en temps réel des flux Kafka/RabbitMQ pour garantir la résilience et la fluidité des pipelines distribués. – Mise en place de dashboards de monitoring (Kibana / Grafana) pour suivre les performances Spark et les métriques d' ingestion.

– Mise en place d' un cloud privé destiné à servir de salle de données virtuelle (VDR), facilitant la collaboration et le partage sécurisé d' informations entre les parties prenantes des projets. – Conception de l' architecture technique pour le déploiement global de Power BI (espaces de travail, sécurité, passerelles, flux de données). – Conception et Implémentaton de Datawarehouse (SSMS, SSIS, SSAS) : Modélisation dimensionnelle (étoile/snowflake), Pipelines ETL, historisation des données (SCD), contrôle de qualité, optimisation des performances et sécurité des accès. – Développement de pipelines Spark Structured Streaming consommant les données provenant des automates (PLC) et des systèmes de contrôle (SCADA) pour offrir une visibilité complète sur la chaîne de production via Azure Event Hubs (Kafka) avec une gestion avancée des offsets et du backpressure. – Implémentation de Databricks Auto Loader pour l'ingestion de fichiers de logs complexes, avec extraction automatique de métadonnées. – Mise en œuvre de la logique Medallion pour transformer les données brutes de PLC/SCADA en tables optimisées. – Intégration de Delta Live Tables et de tests de qualité (Expectations) pour filtrer les anomalies provenant des systèmes connectés en temps réel. – Automatisation des déploiements de jobs Spark CI/CD via Azure DevOps et gestion des configurations avec les Databricks Asset Bundles. – Mise en place de dashboards de monitoring haute fréquence avec Grafana pour la surveillance en temps réel des actifs critiques (PLC/SCADA). – Création de rapports décisionnels avec Power BI pour le suivi des indicateurs de performance (KPI) et de productivité du chantier. – Réalisation d' études et de benchmarks de solutions Data (ETL, stockage, orchestration, BI) pour orienter les choix techniques des projets. – Participation aux workshops techniques pour aligner les équipes IT, Data et métiers et garantir la conformité des réalisations aux besoins fonctionnels. – Conteneurisation et déploiement de services Data via Docker / Kubernetes pour améliorer la portabilité et la résilience des traitements.

– Développer et maintenir des modèles dimensionnels au niveau du datalake. – Développer des pipelines pour extraire les données à partir des différentes sources de données et mise en place et organisation des flux d'exécutions. – Développer, affiner et faire évoluer les procédures, les systèmes, les flux d'exécution et les bonnes pratiques de gestion d'analyse des données. – Établir des requêtes complexes comprenant les fonctions d'analyse et des méthodes d'optimisation. – Garantir la qualité et la sécurité des données qui sont stockées dans le datalake: Raffinage fonctionnel, nettoyage, suppression des doublons, référencement, normalisation et qualification. – Mise en place et organisation des flux d'exécutions. – Assurer le support du client durant la mise en place et le déploiement du projet.