Tresor LUKAKU

Architecte / Expert Cloudera Hadoop (CDP) — Move to AWS Contexte : plateforme Big Data on-premise (Cloudera Data Platform) nommée GAIA, au service du Service Après- Vente du groupe Safran, en cours de migration vers AWS. Actions menées : Architecture et Administration : • Développer les pipelines d’ingestion de nouvelles données • Développer les pipelines de préparation des données • Industrialiser les développements (ingestions, data preps, algorithmes) • Assurer le bon fonctionnement technique de la plateforme • Assurer le support aux utilisateurs en cas d’anomalie et de questions sur l’utilisation de la plateforme • Configurer, surveiller et optimiser les systèmes de stockage et de traitement des données, tels que les clusters de serveurs et les bases de données distribuées. (Cloudera) • Effectuer les taches de MCO quotidiennes (vérification de l’état des jobs et de la plateforme) • Assurer la sécurité des données en mettant en place des mesures de protection, des politiques de contrôle • Coordonner et consolider les expertises pour définir l’architecture des systèmes. • Conception DataLake industriel sécurisé Cloudera CDP ,MongoDB,powerBI • Intégration NiFi, ETL Talend, NAS,MongoDB • Configuration et choix composant Framework Hadoop ( Hive,impala,Zeppelin,spark…..) • Référent technique pour les autres architectes et les équipes. • Intégration Ranger ACL et Kerberos Jeton accès • Conseiller, former et alerter les équipes internes et externes sur les risques. • Livraison DAT , DEX • Intégration outils cybersécurité (SIEM) • Contrôles d’intégrité scripts et autres données critiques (SHA-256) • Veille technologique sur les solutions et outils modernes d’accès et des stratégies de sauvegarde/récupération. • Assurer l’ordonnancement des chaines d’ingestion et des analytiques tournant sur les plateformes • Participer aux projets d’évolution des plateformes BigData • Gérer la performance des plateformes Big Data. • Participer à la maintenance des environnements en appliquant des mises à jour. • Automatiser les tâches récurrentes à l’aide de scripts pour optimiser la gestion des systèmes. • Produire et maintenir la documentation d’exploitation de la plateforme • Contribuer à l’amélioration continue de l’exploitabilité et de la qualité de service de la plateforme • Maintenir et améliorer les KPI de suivi du fonctionnement de la plateforme o Assurer une aide technique de niveau 1 et 2 aux utilisateurs de la plateforme (information, analyse, diagnostic et résolution). • Animer un suivi régulier d’avancement des demandes de support auprès des intervenants concernés. • Faire un reporting mensuel des KPI standards attendus sur ce type d’activité : nombre de tickets non traités à une date donnée, temps moyen de traitement des tickets, dans le reporting, proposer, le cas échéant, des améliorations permettant de réduire le backlog d’incidents, le nombre de tickets de support, ..., et tout ce qui pourra améliorer le ressenti utilisateur • Préparer les communications liées aux incidents et à la disponibilité de la plateforme • Maintenir la documentation à disposition des utilisateurs (bonnes pratiques, référentiel des tables et des KeyUsers, procédures d’accès, ...) • Mise à jours des certificats • Configuration et paramétrages des différences services ( hdfs, konx, ranger, hive , etc…) • Mise en place des réplications des données de cloudera vers AWS • Accompagner et réfléchir sur l’architecture et services AWS à utiliser Référent Technique • Accompagner et réfléchir sur l’architecture , migration et mise en place de pipeline sur DataIKU • Accompagnement des équipes sur la migration vers Snowflake GCP Data Gouvernance & Datacatalog ( Atlas) : • Mise en place des outils pour la gouvernance de la donnée ( avec Atlas) • Formation et accompagnement de l’équipe data gouvernance sur l’outil Atlas • Mise en place de la procédure et règle des gestions de la gouvernance des données • Implémentation du glossaire et du Dictionnaire (Atlas) • Mise en place des linéages Technique et fonctionnelle (Atlas) Environnement technique : Linux RedHat 8, Cloudera CDP (HDFS, YARN, Hive, Oozie, Spark, Knox, Zeppelin, NiFi), Ranger, Kerberos, TLS/SSL, LDAP, AWS, Atlas, DataIKU, Snowflake, Ansible, Python, Scala

Architecte / Expert Cloudera Hadoop (CDP) Contexte : Au sein de l'organisation de la Direction Technique Informatique, la structure appelée Gouvernance Opérationnelle de l’Edition (GOE) a pour mission d'accompagner le développement logiciel réalisé par les entités fonctionnelles, et s’appuie sur 4 entités : Socle Développement, Architecture logicielle, Centre d’expertise des performances et DBAs&Socles. Les principales missions consistent d'une part, à accompagner les équipes dans la conception des modèles de données, à administrer les bases et les moteurs de bases de données et à construire les socles SGBD, décisionnel et Big data. Actions menées : ➢ Architecture technique : • Mise en place des principes directeur sur l’utilisation de cluster Cloudera • Vérification de la bonne application des normes et des standards • Proposition d’évolution et de solution pour améliorer l’industrialisation • Mise en place de l’architecture, Installation et configuration du cluster Kafka sur cloudera • Mise en place de l’architecture, Installation et installation du ELK (Elasticsearch, Logstash et Kibana) • Installation et configuration de prometheus et grafana pour les suvis de Kpi (pour le monotoring) • Construire, mettre à jour et documenter le modèle conceptuel de données (MCD) ➢ Administration • Configuration du cluster Cloudera en fonction des besoins identifiés • Migration des cloudera CDH vers CDP • Suivi des espaces de stockage • Optimisation des chargements des données • Maintien de sécurité, gestion des habilitations (LDAP, et TLS / Kerberos) • Mise en jour de certificat ➢ Intégration • Sur de nouveau besoin, Etude et proposition de solution, Mise en OEuvre de solution validés • Migration des données ➢ Support Technique • Maintien en condition opérationnelle (MCO) des infrastructures et des composants logiciels du cluster • Assistance auprès des équipes : Optimisation des traitement, Prise en main de l’outillage • Chargement des données • Transmission du savoir-faire via la rédaction de documentation et transfert de connaissance ➢ Support Décisionnel • Assistance auprès des équipes SI décisionnel dans l’évolution de la plate-forme • Récolte et analyse des besoins • Intégration des données en temps réel avec Kafka • Nifi • Monotoring des Kpi avec Kibana • Description et analyse de la plateforme actuelle • Proposition dévolution et élaboration des dossier d’architecture technique et logicielle ➢ Gouvernance de la donnée (Cloudera – Atlas) • Accompagnement de l’équipe du gouvernance de la data sur les bonnes pratiques • Mis en place des processus d’implémentation de catalog de la donnée avec Atlas • Cadrer et implémenter les use case ( Glossaire et dictionnaire) via Atlas • Automatisation des Métadonnée dans le dictionnaire via Atlas • Mise en place de la Méthodologie des dictionnarisassions de données Environnement technique : Hadoop Cloudera, Snowflake, Kafka, NiFi, ELK, Prometheus/Grafana, LDAP, TLS/Kerberos, Atlas, Python, Scala, Ansible, Linux RedHat 8/CentOS

Architecte GCP / Expert Cloudera-Hadoop (CDP) Actions menées : • Élaboration et rédaction du Document d'Architecture Technique (DAT) couvrant les dimensions fonctionnelles, applicatives et cloud, en alignement avec les standards d'entreprise et les best practices GCP • Conception de l'architecture cible sur Google Cloud Platform : définition des composants, des flux de données, des patterns d'intégration et des choix technologiques justifiés • Modélisation des architectures applicatives et data (Cloud Run, BigQuery, Cloud Storage, Cloud Composer) avec cartographie des interactions entre services • Cadrage technique, documentation technique, chiffrage et estimation pour le restant à faire sur le projet • Construire, mettre à jour et documenter le modèle conceptuel de données (MCD) • Définition et mise en place du socle technique GCP : organisation des projets, gestion des réseaux (VPC, Shared VPC), sécurité (IAM, Secret Manager, VPC Service Controls) et gouvernance cloud • Rédaction des dossiers de choix d'architecture (ADR – Architecture Decision Records) et des schémas d'architecture (vues logiques, déploiement, flux) • Présentation et validation de l'architecture DAT auprès des parties prenantes techniques et métiers Intégration & Gouvernance des données • Intégration des données SAP facturation et commandes clients • Intégration de la donnée via Snowflake et DBT • Référent Technique sur DataIKU • Définition des principes d’architecture Cloud, standards d’intégration et patterns techniques applicables aux différents projets de la plateforme. • Conception et validation des architectures GCP / S3NS en prenant en compte les exigences de sécurité, de segmentation réseau, d’identité et d’isolation des environnements. • Supervision de l’intégration des applications avec le SI existant, notamment via les mécanismes de connectivité réseau, API et échanges de données. • Définition et revue des architectures VPC, IAM, GKE/Kubernetes, API et services Cloud, en cohérence avec les standards d’architecture de l’entreprise. • Challenge des solutions proposées par les équipes projets et les intégrateurs sur les dimensions architecture, sécurité, performance, résilience, exploitabilité et coûts. • Accompagnement des équipes dans la mise en oeuvre des architectures et résolution des problématiques techniques d’intégration rencontrées lors des phases de build et de déploiement. • Réalisation de revues d’architecture et de sécurité afin d’identifier les écarts, risques et dépendances techniques avant passage en production. • Prise en compte des contraintes SecNumCloud / S3NS et des niveaux de sensibilité des données dans les choix d’hébergement, d’accès, de stockage et de circulation des données. • Industrialisation des déploiements Cloud avec Terraform / Infrastructure as Code et intégration des contrôles dans les chaînes CI/CD. • Mise en place de standards favorisant la réutilisation des architectures, l’homogénéisation des déploiements et l’industrialisation des nouveaux workloads. • Coordination avec les équipes Architecture, Cloud, DevOps, Réseau, Cybersécurité, Data et intégrateurs pour assurer la cohérence globale des solutions. • Contribution aux dossiers d’architecture, HLD/LLD, matrices de flux, dossiers de sécurité et documents de validation technique. ➢ Infrastructure & Orchestration • Gestion des communications des services, instances, logs et monitoring avec Kubernetes Service Mesh • Contribution aux développements et définition du socle technique • Installation et configuration de l'architecture ELK (Logstash, Elasticsearch, Kibana) • Suivi et gestion des logs avec ELK ➢ Administration Cloudera • Configuration du cluster Cloudera en fonction des besoins identifiés • Migration des cloudera CDH vers CDP • Suivi des espaces de stockage • Optimisation des chargements des données • Maintien de sécurité, gestion des habilitations (LDAP, et TLS / Kerberos) • Mise en jour de certificat ➢ DevOPS / SecOPS & CI/CD • Mise en place et maintien des pipelines d'intégration continue et de déploiement continu (CI/CD) via GitHub Actions • Gestion de l'infrastructure as Code avec Terraform • Pratiques DevOPS et SecOPS : gestion des secrets, scanning de vulnérabilités, politique de conformité • Monitoring et observabilité avec DataDog ➢ Documentation & Restitution • Documentation de restitution pour le reste à faire • Rédaction des livrables d'architecture (DAT, schémas, ADR, runbooks) Environnement technique : GCP (BigQuery, Cloud Run, Cloud Storage, Cloud Composer), Cloudera CDP, Snowflake, DBT, Terraform, Kubernetes, ELK, DataDog, GitLab, SAP, GCP / S3NS – SecNumCloud – Kubernetes / GKE – Terraform – IAM – VPC – Cloud Networking – API – CI/CD – Infrastructure as Code – Cloud Security – DevOps – Architecture SI

Contexte de la mission : Dans le but d'améliorer la compréhension de données de son Data Lake et de son Data Warehouse ainsi que de faire croître la culture data au sein de l'entreprise et de faire une étude sur les indicateurs de suivis "KPI" / complétudes des données, j'ai été sollicité par BOUYGUES TELECOM afin d'apporter mon expertise sur ce sujet. Actions menées : • Frise chronologique projet • Démarche modélisation • Documentations des données • Méthodologie des dictionnarisassions de données • Data Lineage, Data Management, Data Market Place • Etudes de cas d'usages - Indicateur de suivi KPi et Complétude de donnés • Migration de données • Gestion des communication entre micro services ( Service Mesh, Istio) Environnement technique : Data Galaxy, Colibra, Service Mesh/Istio, GCP (BigQuery), Talend, Snowflake

Contexte de la mission : Dans l'un de plus grand groupe pharmaceutique mondial, ma mission était orientée sur la détection des anomalies, la maintenance prédictive des indicateurs de performances (KPIs) et les traitements du langage naturel pour des opérations de qualités dans l'industrie manufacturière et au-delà Actions menées : • Mise en place des algorithmes de classifications et régressions, • Mise en place des algorithmes d'apprentissage adaptatifs est un modèle basé sur l'IA/ML qui apprend en permanence. • Participer à la définition des nouvelles fonctionnalités de l'outil, • Collaborer à la création de la plateforme, • Pendre part à la définition des variations récurrentes, • Contribuer à l'extension du modèle qui sera mis à disposition et utiliser en production. Environnement technique : Python, AWS, R, Spark (PySpark), Snowflake, DataIKU, Docker, Kubernetes

Contexte de la mission : Atout France, agence de développement touristique de la France, est un groupement d'intérêt économique (GIE), de l'état français en matière de tourisme, dont les missions ont été définies dans le cadre de la loi tourisme de 2009 pour renforcer les positionnements de la destination France à l'international. Le but de projet était de contribuer activement au marketing international des destinat ions et filières, d'accompagner les territoires dans leur stratégie de développement, en favorisant le montage de projets d'investissement afin de stimuler l'offre touristique française en agissant sur la qualité via le pilotage des classements des hébergements touristiques marchands et proposant toute une offre de services en matière de veille/observation et de formation. Atout France met ainsi à disposition de ses 1 300 partenaires publics et privé des outils de compréhension de la demande touristique et leur propose des actions marketing et de promotion autour des marque mondiales de destination afin de renforcer leur développement à l'international. Actions menées : • Agréger des données de sources multiples, DevOPS • Structurer des indicateurs utiles à la décision (politique, institutionnels, professionnels) • Proposer et de faciliter des analyses partagées et permettre des usages à périmètre pluriel (national, régional, départementale...) • Construire, mettre à jour et documenter le modèle conceptuel de données (MCD) • Migration des données • Automatisations des Pipelines • Création et automatisation de mis à jour des data frame dans le hub (Keyrops) • Test Unitaire,Test Intégration Environnement technique : GCP (BigQuery), Python, Scala, Hadoop, DataIKU, Kubernetes, Terraform

Contexte de la mission : SNCF, Voudriez cartographier les compétences de ses collaborateurs en fonction de leurs expériences et environnement techniques pour répondre aux besoins de l'entreprises sur différents projets mais également pour cibler les compétences manquantes dans l'entreprise en termes de recrutement Actions menées : • Analyse et développement des applications pour la gestion automatique des appels d'offres • Apprentissage de l'architecture du machine Learning et conceptions des applications mobiles et du site web • Automatisations des Pipelines • Test Unitaire • DevOPS • Test Intégration • Migration des données • Construire, mettre à jour et documenter le modèle conceptuel de données (MCD) Environnement technique : Hadoop, Python, Java, Scala, AWS, Snowflake, DataIKU, Kubernetes