Ismail Gadhgadhi

– Conception et mise en œuvre de pipelines de préparation, transformation et ingestion de données sur Databricks, alimentant un data lake basé sur AWS S3. – Centralisation et stockage des données dans S3, utilisé comme datalake, avec exploitation via Databricks. – Optimisation des traitements Spark qui permettent d'extraire les données massives depuis les tables databricks et les stocker dans S3. – Participation à la migration de la plateforme data de Teradata vers Databricks, incluant la redéfinition des flux et du stockage sur S3. – Mise en place Des steps / Lambda fonctions et des glues jobs dans AWS afin de calculer les différentes métriques de risque de crédit. – Implémentation de contrôles de qualité de données, avec détection et traitement des anomalies dans les pipelines. – Conception de modèles sémantiques et datasets analytiques dans Microsoft Power BI à partir des données préparées dans Databricks. – Déploiement, administration et optimisation des rapports sur Power BI Service. – Mise en place de mécanismes de sécurisation des données (Row-Level Security - RLS) dans Microsoft Power BI pour le contrôle des accès utilisateurs. – Configuration et optimisation de la connexion entre Power BI Service et Databricks pour garantir performance et fraîcheur des données. – Support et traitements des anomalies remontées par les utilisateurs. Environnement Technique : Spark/PySpark, Databricks, AWS ( Step fonctions, lambda fonctions, glue job, S3), PowerBi, python, GIT, Jenkins, Postgresql, INGAAS, FTAAS, Grafana

– Développement des traitements et de composants génériques (spark scala, shell etc.) permettant l'ingestion, la transformation et la ventilation des données au sein du datalake sous plusieurs formats (parquet, avro, csv, json etc.) – Conception et développement des BDP « dernier état connu » avec Spark/Scala et le framework Delta Lake. – Participation dans les activités d'architecture, conception et développement des traitements streaming batch – Optimisation des traitements spark et des chaînes d'alimentation – Déploiement et gestion des pods tournant sur Kubernetes – Rédaction des user story et animer les réunions des estimations avec du poker planning – Gestion des incidents techniques, en passant de l'étape de pré-qualification, analyse de l'anomalie jusqu'à la livraison des correctifs – Garantie du respect des bonnes pratiques de développement Spark (Code revue, Merge request, Pair programming) ___𝐕𝐎𝐋 𝟐: 𝐌𝐢𝐠𝐫𝐚𝐭𝐢𝐨𝐧 𝐯𝐞𝐫𝐬 𝐥𝐞 𝐂𝐥𝐨𝐮𝐝 𝐀𝐖𝐒___ – Participation à l'étude d'impact et à la construction du dossier d'architecture technique. – Pilotage de la migration incrémentale de la plateforme on-premise sur Cloudera vers le cloud AWS, incluant une refonte en profondeur des architectures data et la modernisation des pipelines analytiques. – Conception et développement de traitements distribués Spark/Databricks (Scala & Python), avec déploiement d'une architecture Lakehouse s'appuyant sur S3 et Delta Lake. – Modélisation et alimentation des tables analytiques dans Amazon Redshift, avec un travail poussé sur les performances: stratégies de distribution, tri (sort keys) et optimisation du schéma. – Implémentation de flux de traitement temps réel via Amazon Kinesis (Data Streams): ingestion d'événements, intégration avec Databricks et AWS Glue Streaming. – Orchestration des workflows de données avec Databricks Jobs et Amazon MWAA (Managed Workflows for Apache Airflow), complétée par des intégrations ciblées avec AWS Glue. – Déploiement d'une stratégie de gouvernance data via AWS Lake Formation & AWS Glue Data Catalog: classification des données, structuration en domaines et définition des politiques d'accès. – Administration centralisée des accès et des métadonnées via Unity Catalog, couvrant le contrôle d'accès basé sur les rôles (RBAC), la traçabilité des données (lineage) et la conformité réglementaire. – Collaboration avec l'équipe DevOps dans l'industrialisation de l'infrastructure AWS via Terraform: provisionnement et automatisation de S3, Redshift, Databricks, Amazon EMR, Kinesis, et automatisation du déploiement des notebooks et workflows Databricks. Environnement Technique : Spark/Spark Streaming, Scala, Apache Kafka, Apache Hive, Hbase, Suite Cloudera (HDFS , Hue , Impala etc.. ), Databricks , AWS ( S3, Redshift, Kinesis, Glue Streaming, Data Catalog, EMR), FTP/SFTP, Control-M, Format de données ( Protobuf, Json, Parquet, Avro, Xml),Maven, Docker, Gitlab, GitlabCIGrafana, Docker, kubernetes , Shell.

– Parsing et analyse de logs avec la stack ELK. – Participation dans l'installation et la configuration d'un cluster Hortonworks. – Conception et implémentations des traitements Spark/Scala des données. – Conception et mise en place des dashboards Kibana. Environnement Technique : Hortonworks, Spark, Scala, Stack ELK, Kibana.