Abderrahmane Touimer

• Développement de pipelines de traitement de données pour le suivi et l'analyse des transactions de paiement à grande échelle. • Ingestion et industrialisation en production des flux de données dans BigQuery. • Mise en oeuvre d'une architecture en médaillon (Bronze/Silver/Gold) pour structurer les couches de données. • Modélisation et transformation des données avec Spark Scala, DBT et BigQuery. • Optimisation du stockage via un partitionnement des données au format Parquet sur GCS. • Automatisation des traitements d'ingestion et de transformation avec Cloud Composer (Airflow). • Automatisation des transferts de fichiers vers Azure Blob via Control-M. • Contribution active à la chaîne CI/CD : déploiements, tests et mise en production. Environnement technique : GCP (BigQuery, Composer, Dataproc, GCS, Cloud Run), Scala Spark, DBT, Python, Airflow, Azure (Data Factory, Synapse Analytics, Azure Functions), BitBucket, Terraform, XLRelease/XLDeploy, Jenkins, Control-M, SAFe / Agile Scrum.

•Développement de pipelines d'ingestion temps réel avec Kafka et Spark Structured Streaming. •Configuration de connecteurs Kafka Connect (par exemple Debezium) pour capter les changements des bases sources. •Gestion de l'évolution des schémas (ajout ou modification de colonnes) sans interrompre les flux. •Dédoublonnage et remise en ordre des événements CDC avant leur écriture dans Kudu. •Supervision de la plateforme avec Cloudera Manager et gestion des incidents de production. Environnement technique : Kafka, Kafka Connect, Spark Structured Streaming, Kudu, Cloudera Manager.

• Centralisation des données issues de sources hétérogènes vers la zone brute (Bronze). • Développement d'un ingesteur Excel avec Spark. • Développement d'un ingesteur Kafka avec Spark pour le traitement de flux de données à l'échelle. • Mise en place des pipelines d'ingestion pour différents cas d'usage métier, selon une architecture Data Vault. • Qualification des données (Silver) et création des datamarts associés (Gold). • Pilotage de la migration des composants de HDP Hortonworks vers CDP Cloudera. • Contribution active à la chaîne CI/CD sur l'ensemble des environnements. Environnement technique : PySpark, Python, SonarQube, Spark SQL, Kafka, Hadoop (Hortonworks/Cloudera), Hive (DBeaver), BitBucket, Shell, Jenkins, Sqoop, Airflow, Agile Scrum.

• Développement de fonctionnalités de centralisation de données multi-sources. • Qualification des données selon les spécifications métier et calcul des indicateurs associés. • Création du pipeline data et mise à disposition des données sur Hive/HBase pour restitution sur Power BI, selon une architecture en médaillon (Bronze/Silver/Gold). • Optimisation des jobs Spark (tuning des configurations spark-submit selon les cas d'usage). • Automatisation et ordonnancement des traitements Spark. Environnement technique : Spark, Scala, Hive, HBase, Sqoop, Hadoop (Cloudera), Hue, Spark SQL, Maven, Power BI, Agile Scrum.

•Pilotage de la migration du projet vers GCP. •Création et configuration du cluster Dataproc. •Mise en place du stockage des données brutes sur GCS et de leur mise à disposition sur BigQuery, selon une architecture en médaillon (Bronze/Silver/Gold). •Modélisation et écriture des requêtes BigQuery pour le traitement des données. •Optimisation des jobs Spark et automatisation de leur orchestration sur Cloud Composer. Environnement technique : Python, PySpark, Hadoop, Spark SQL, SQL Server, Oracle, IBM DB2, GCP (BigQuery, Dataproc, Cloud Composer/Airflow, GCS).

• Étude du dispositif Flowly et de ses perspectives d'exploitation. • Transformation et ingestion des données dans le datalake. • Développement d'un modèle de prédiction de charge par SVM. • Développement d'un modèle de prédiction par réseau LSTM Environnement technique : Python, PySpark, Hadoop, Spark SQL, Spark ML, scikit-learn, TensorFlow.

AGB CoreBanking: – Développement de fonctionnalités dans les différents modules de l'ETL. – Déploiement des branches développés et gestion du versionning . – Monitoring et release management. – Application du Processus de Vérification et Validation (V&V)