Malik DIOUANI

En tant lead dataops au sein de la DSI, dans l'équipe DAT (Hermes), je gère le déploiement, la collecte, le traitement, le stockage et l'analyse de données. Mes responsabilités incluent: - Mise en place d’une CI/CD avec Jenkins et GitLab, intégrant des tests de non-régression (pytest), Sonar, Linter et Pre-commit pour fiabiliser les traitements et automatiser les livraisons. - Réalisation d’une étude comparative entre déclencheurs Lambda, Airflow et Step Functions, aboutissant à la validation de Step Functions pour l’orchestration des jobs. - Deploiment de services AWS via Terraform. - Mise en place de dashboards Datadog pour surveiller les API consommées, le lag des topics Kafka, les backups S3 et les performances des jobs Glue, avec configuration via Terraform des moniteurs, jobs, backups et policies S3(IAM) en appliquant le principe de moindre privilège. - Documentation sous DataLink du lineage. - Monitoring quotidien de la data quality avec Dataclean Informatica, et setup avec Athena & S3. - Exposition des données via une API sécurisée (API Gateway). - Développement de jobs Glue et ingestion/transformation de données avec PySpark, du compartiment raw vers trusted/business via refined/processed, pour agréger les données. - Mise en production de projets from scratch suivant une architecture médaillon et migration vers une architecture multi-tenant, avec implémentation d'Apache Iceberg permettant la gestion efficace des versions de données et supportant les reprises d'historique. - Obtention des accréditations GoProd et GoDataset pour l'équipe après soutenance auprès du DSI. - Contribution à une étude d’adoption de DBT pour optimiser les transformations batch à la place de Glue, avant que la DSI ne priorise une architecture de streaming pour répondre aux exigences de temps réel. - Ingestion de sources variées (Kafka, Matomo, API, SharePoint, Athena cross-account, MongoDB, SFTP) et exposition sur Athena & MongoDB

Contribution au développement d'un moteur de classification d'équipements de traitement des eaux usées, pour le compte du client SUEZ. Cela correspond à l'implémentation de scénarios NLP et d'algorithmes de classification avec les librairies Pandas et Scikit-Learn, mais aussi la connexion à un Front utilisateur grâce à la librairie Python Flask et de l'API REST, en parallèle à cela j'assure également la maintenance et l’évolution d'un système de recommandation personnalisé de contenus sur l'extranet de Davidson à destination des collaborateurs de l'entreprise. Actions : - Prédiction des classes d’équipements et des equipements d'effectueux à travers des algorithmes de classification (eg: SVM, RandomForest) - Création et modification de modèles de données - Création de blobs dans Azure Blob Storage pour le stockage des données d'entraînement, de prédiction, et mise en place d’une politique IAM - Stockage des données utilisateurs dans Azure SQL Database - Contribution au déploiement du back et du front office avec Azure Kubernetes Services - Connection du repo gitlab avec d’Azure Devops pour le test et le monitoring du déploiement continu des clusters Kubernetes. - Prédiction des classes d’équipements à travers des algorithmes de classification (eg: SVM, RandomForest) - Numérisation de variables textuelles (PCA + TFIDF) Etablissement d'endpoints Rest API sous Django et Flask Création et modification de modèles de données - Amélioration d'un modèle basé sur du collaborative filtering. - Tests de non régression. - Reverse Engineering avec des évolutions et des corrections d'anomalies - Conception d’une interface web sous flask connecté à MongoDB servant à labelliser les questions d’un chatbot. - Etablissement d'endpoints Rest API sous Django et Flask Environnement technique : Python, Azure (Blob, SQL database, Kubernetes Services, Devops), Jupyter Notebook, Flask, Django, Api REST, Pandas, Redis, Elasticsearch, MongoDB, Kibana Postman, Gitlab, méthode agile, Slack.

Intégré au centre d’expertise middleware de la direction des infrastructures, j’ai contribué à l’industrialisation de solutions Cloud Data et DataOps pour centraliser les données multi-fournisseurs (électricité & gaz) et les mettre à disposition des équipes métiers, tout en mettant en place une culture DevOps. Réalisations : - Ingestion & traitement : Développement de pipelines Spark/Scala sur Databricks pour ingérer et transformer des fichiers plats vers le Data Hub, alimentation et enrichissement du Data Lake. - Orchestration & automatisation : Automatisation des jobs Spark quotidiens via Airflow, mise en place d’un process RGPD pour la suppression des historiques clients (Java, Spring, Oracle, AWS ECS). - DevOps & Cloud : * Infrastructure as Code : Déploiement des environnements AWS (S3, ECS, RDS, EKS) via Terraform. * Kubernetes : Mise en place et gestion de clusters EKS, packaging et déploiement applicatif via Helm. * CI/CD : Industrialisation des pipelines avec GitLab CI, incluant build, tests (JUnit/PyTest), déploiement automatisé Spark, Java et Scala. * Containerisation : Création et optimisation d’images Docker pour réduire le temps de déploiement et améliorer la sécurité. * Monitoring & observabilité : Centralisation des logs avec ELK, suivi métriques et SLA avec Prometheus & Grafana, alerting automatisé. * Sécurité & gouvernance : Gestion des secrets via AWS Secrets Manager, mise en place de contrôles RGPD. * Optimisation cloud : Amélioration des performances de stockage AWS S3 (partitionnement, compression) et réduction des coûts (FinOps).

En tant que DataOps rattaché à la DIF, j’ai contribué à la mise en place et à l’industrialisation de solutions Cloud Data permettant l’automatisation, la supervision et l’optimisation des flux de données pour le suivi et la production des infrastructures réseaux du groupe. Réalisations : Ingestion et traitement des données : Développement de pipelines de données hybrides GCP ↔ Snowflake, combinant Kafka (streaming) et Dataflow (batch) pour le traitement en temps réel et différé des données réseau (trafic, topologie, routage). Snowflake : - Mise en place de data warehouses Snowflake pour centraliser et historiser les données réseau. - Optimisation des schémas et des tables (clustering, micro-partitioning, Time Travel). - Développement de procedures stockées et tasks pour automatiser les traitements récurrents. - Connexion de Snowflake à Looker Studio et Kibana pour la création de tableaux de bord temps réel. DevOps / DataOps : - Déploiement automatisé des environnements GCP et Snowflake via Terraform (infrastructure as code). - Mise en place de pipelines CI/CD (GitLab CI) pour l’intégration et le déploiement continu des jobs Spark, Dataflow et transformations Snowflake. - Surveillance et observabilité des pipelines via Prometheus, Grafana et Kibana, avec alerting proactif. - Gestion des logs applicatifs et incidents via Logstash → Elasticsearch → Kibana (ELK). Orchestration & automatisation : - Fiabilisation des workflows avec Airflow (Cloud Composer), incluant la reprise automatique en cas d’incident et la gestion des dépendances. Big Data : - Développement de jobs Spark sur Dataproc pour extraire et transformer des données Hive, alimentant Snowflake et BigQuery pour des analyses avancées. - Optimisation du stockage : Exploitation de Apache Iceberg sur GCS et intégration partielle avec Snowflake pour la gestion de données massives et le partitionnement. Animation du comité de pilotage XAP pour le suivi des livraisons.

Au sein du Département Données et Support, et plus précisément dans le Service Architecture Logiciels qui a pour mission d'accompagner les responsables d'application et les chefs de projet à intégrer leur périmètre fonctionnel dans le Système d'Information du Groupe Crédit Mutuel Arkea. Cela comprend l'aide à la conceptualisation, la validation des données, la cartographie, le paramétrage et la publication des données. mes principales missions se résument comme suit : • Accompagner le service Architecture Logiciels dans son quotidien ; • Prendre en charge les développements autour des outils administrés par le service Architecture Logiciels : cartographie, dictionnaire, publication, paramétrage... ; • Proposer des solutions innovantes pour faciliter le travail des responsables d'application et du chef de projet. Socle technologique : JAVA, D3.js, HADOOP, PIG, MCD, SGBD

Participation aux phases de conception fonctionnelle (animation d'ateliers clients, modélisation des processus métier, conception ergonomique des sites, rédaction des dossiers de spécifications), conception technique, réalisation, qualification (définition des plans de tests, animation de tests usine, remontées d'anomalies et correction, qualification des retours clients) et documentation d'un projet au forfait de refonte d'une application métier pour le compte de la DGAC. Les technologies utilisées sont : Java J2EE, HTML 5, Framework javascript type react.js, base de données relationnelles (PostgresSQL), utilisation d'un outil ALM (TFS), outils collaboratifs type slack. Toutes les couches de l'architecture technique sont abordées dans ce stage depuis la persistance jusqu'aux IHM. Participation à l'animation interne du projet, en relation avec le chef de projet, les ingénieurs, architectes et ergonomes.

L'intégration continue est un ensemble de pratique indispensable dans le cycle de développement d'un logiciel, ceci permet de détecter les défauts au plus tôt et ainsi pouvoir intégrer en continu le logiciel embarqué sur ses drones, Parrot Drones utilise l'outil open source Jenkins CI, l'objet de ce stage est d'améliorer la structure actuellement en place notamment en ajoutant de nouveau jobs nécessaire au bon déroulement du projet. Mes actions se résument comme suit : - Etude de la fonctionnalité 'pipeline' de Jenkins pour migrer les 'jobs' actuels (notamment la génération des 'releases' des logiciels des drones). - Développement et mise en place de scripts d'automatisation de tâches de déploiement des logiciels - Ajout de tâches de surveillance de conformité du processus de développement logiciel (Monitoring de l'utilisation des licences de logiciels ...). Environnement technique: Python, Bash, Linux, Groovy, GIT, Docker.

Etudes et Maintenance de l’(I.A.T)Interrupteur Aérien Télécommandé produit par Schneider