Usama SHAH

- Conception et exploitation d’une infrastructure cloud hautement disponible, scalable et modulaire sur GCP, avec standardisation des déploiements via Terraform (modules custom, gestion fine des environnements, politiques sécurisées). - Automatisation du déploiement d’environnements via Terraform (modules personnalisés), réduisant le temps de provisionnement de ressources (clusters MongoDB, BigQuery, IAM, Repository Github…) et garantissant leur standardisation. - Application systématique des principes Infrastructure as Code pour garantir la reproductibilité, la sécurité et la traçabilité de l’infrastructure cloud. - Développement de pipelines CI/CD avec GitHub Actions et Google Cloud Build, garantissant des déploiements d'applications fiables et sécurisés dans plusieurs environnements (DEV, QA, PROD). - Migration de pipeline ML Python/Airflow vers une pipeline Vertex AI (Kubeflow) - Migration d’applications vers Cloud Run (serverless), permettant une réduction significative des coûts d’exploitation et assurant une montée en charge automatique lors des pics de trafic. - Mise en place d’une gouvernance avancée en IAM (rôles personnalisés, moindre privilège, politiques d’accès affinées), renforçant la sécurité tout en préservant l’autonomie des équipes. - Développement et industrialisation de pipelines ETL orchestrés sur GCP, assurant la consolidation en continu de données hétérogènes (MongoDB, BigQuery, GCS/JSON) afin d’alimenter des dashboards Looker Studio pour le pilotage métier en temps réel. - Optimisation des coûts et gestion avancée des accès aux données sur BigQuery, incluant l'implémentation de Row-Level Security (RLS) pour répondre aux besoins métier tout en maintenant la sécurité et l'efficacité des données. - Supervision et journalisation avancées avec Google Cloud Monitoring, Google Cloud Logging, et autres outils de diagnostic pour garantir la fiabilité et les performances des systèmes. - Optimisation réseau avancée, incluant la gestion des VPC, PSC, pare-feu et interconnexions hybrides, afin de réduire la latence applicative, éviter les timeouts et garantir la fiabilité des communications entre services. - Rédaction et maintenance de documentations techniques détaillées sur lʼinfrastructure GCP, les modules Terraform, et les bonnes pratiques DevOps

Industrialisation de modèles de machine learning permettant de fournir des recommendations aux équipes commerciales. - Développement et maintenance de pipelines Kedro (ETL) en Python pour lʼingestion et la transformation de données depuis diverses sources (APIs, AWS S3, Redshift), avec une architecture multi-layers (raw, staging, transformation, curated). - Validation et contrôle qualité des données via DBT et Great Expectations, garantissant une conformité aux règles métiers. - Migration des données depuis AWS S3 vers Snowflake, avec une optimisation des pipelines pour des requêtes analytiques performantes et intégration de DBT pour documenter et valider les transformations dans Snowflake, assurant la traçabilité et la qualité des données. - Refonte de pipelines en migrant de PySpark vers Polars, réduisant la consommation mémoire et accélérant les temps de traitement. - Collaboration avec les équipes Data Science et DevOps pour intégrer des solutions scalables et alignées sur les besoins métier.

En tant que DataOps/Data Engineer chez EDF, j'ai joué un rôle clé dans la coordination et l'optimisation des processus de développement, de déploiement, d'industrialisation et de maintenance des solutions de données et d'intelligence artificielle pour les différentes entités de l'entreprise, y compris les domaines du nucléaire, du transport d'électricité (RTE), de l'hydroélectricité, du solaire et de l'éolien. Missions: - Contribution à la modernisation de l’infrastructure Data Science dans un contexte de migration d’environnements on-prem vers une plateforme cloud-ready, pour industrialiser et fiabiliser le cycle de vie des projets ML/IA. - Conception et automatisation de pipelines de données (Python, PySpark) alimentant les modèles ML depuis diverses sources industrielles (HDFS, S3, Oracle, PostgreSQL, API REST). - Implémentation d’une supervision qualité avec DBT + Great Expectations, intégrée aux tests continus (unitaires, intégration, non-régression) dans les pipelines. - Mise en place d’une chaîne CI/CD GitLab complète pour builder, tester et déployer les projets Data Science sur des environnements isolés (OpenShift) avec gestion des artefacts via Docker. - Industrialisation de projets ML en collaboration avec les data scientists : refactorisation de code, packaging Python (Poetry), standardisation via Cookiecutter, automatisation du déploiement. - Supervision de la qualité des données dans les pipelines via DBT + Great Expectations, avec intégration dans les workflows CI pour un suivi continu. - Orchestration de workflows batch d’inférence via Airflow, avec gestion des logs et intégration monitoring. - Mise à disposition d’outils de virtualisation (Vagrant) pour homogénéiser les environnements de dev entre data scientists et data engineer

Industrialisation d'une plateforme de calcul de prévision de taille de marchés sur GCP. Tâches réalisées: - Migration d'une pipeline Kedro (lib d'orchestration Python) vers une pipeline Vertex AI (Kubeflow) - Automatisation du déploiement de l'infrastructure du projet sur GCP avec GitHub Actions et Terraform (création des service accounts, bucket GCS, workload identity federation, cloudbuild, pipeline Vertex, table BigQuery, etc.) - ETL avec Dataproc (récupération de données pour intégration dans VertexAI) - Optimisation de code Python (réduction du temps d'exécution de la pipeline par 2) - Exposition des résultats (data viz) avec Looker Studio - Packaging avec poetry et containérisation de code - Documentation et tests avec pytest

Contexte: Mettre en oeuvre des solutions pour aider les data scientists à déployer des modèles ML distribués en production. Missions: - Développement de code Python élégant et simple pour des architectures et des applications performantes, fiables et maintenables. - Développement, packaging et déploiement de la solution interne d’AutoML distribuée avec Spark/H2O.ai - Conception et développement d’un template PySpark qui permet d’automatiser le packaging des dépendances et le déploiement des jobs Spark sur des plateformes HDP isolées avec (Shell/PEX (cluster pack)/Gitlab CI/CD) - Mise en place et maintenance des chaînes CI/CD (Gitlab CI) - Mise en place de tests continus, automatisés (unitaire, d'intégration, de non régression et de charge) et de coverage. - Migration des assets de production Spark 2.2 -> 2.4, HDP -> CDP - Débogage et optimisations des jobs Spark dans HDP Stack technique : Linux, Python, PySpark, H2O AI, Gitlab CI, Hadoop, SQL, pytest, Git, Docker, black, PEX, JFROG Artifactory, poetry, sonarqube, pre-commit, pandas

Contexte: Assurer une R&D activable en Data Science et IA : - Rechercher, tester et valider l'apport d'approches innovantes sur des problématiques métiers Data Driven (détection de la fraude, recherche sémantique, scores d'appétence, efficacité opérationnelle, interprétation de modèles) Missions: - Développement de code Python élégant et simple pour des architectures et des applications performantes, fiables et maintenables en production. - Mise en place et maintenance de la chaîne CI/CD - Mise en place de test et de coverage sur l’ensemble de l’architecture logicielle. - Mise en place de template de projets pour faciliter l'industrialisation du code des data scientists - Mise en production et run de pipeline machine learning en Python, orchestration avec Airflow et Oozie - Monitoring des modèles en production avec des webapp (streamlit/dash) - Entraînement et déploiement en production d'un modèle de détection d'usurpation d'identité dans le cadre de la lutte contre la fraude: 1) Extraction et transformation d'environ 700 Gb de données avec PySpark 2) Inférence en moins de 500 ms avec un modèle type boosting 3) Inférence en streaming avec Kafka (1 million d'events par jour) : gain de 10 millions d'euros sur 1 an - Mise en production d'un modèle de détection de fraude chèque: 1) Conversion d'un code SQL en Python pour pouvoir inférer en quasi temps réel (batch vers micro batch processing) - Optimisation : conception d'un solveur python (solution interne) permettant de résoudre un programme d'optimisation sous un grand nombre de contraintes non linéaires dans le cadre de sollicitations marketing : gain de 15 millions d'euros sur 3 ans. - Extraction, manipulation, valorisation & visualisation d'un grand volume de données (> 700 gb min)

Contexte : Activités de Data Science et Data engineering au sein du DataLab de Boursorama, j'ai participé à la mise en place, l'évolution et la maintenance : - d'une plateforme Data Lake - de l'alimentation du Data Lake - de plusieurs projets (Détection de fraudes, normalisation des logs du SI, prédiction des futurs meilleurs clients) Mission: - Système de recommandation de produits financiers en utilisant le collaborative filtering en Spark/Scala et MLlib - Détection de fraude dans les demandes de crédit personnel (MLlib, Scala) - Scoring des moments de vie des clients pour la détection de fraude en Scala (régression linéaire) - Normalisation des logs du SI - Extraction, manipulation, valorisation & visualisation d'un grand volume de données (Spark/Scala/Hadoop/SQL/Tableau/Python) Stack technique: - Hadoop ecosystem - ELK - Cassandra - SQL Server - Apache Zeppelin - Presto DB - Jenkins - Docker - Scala / Apache Spark

- Installation et maintenance d'un serveur web sur Debian qui accueille près de 1000 visiteurs par jour - Développement d'un site web e-commerce en utilisant le framework PHP CodeIgniter - Développement du back-office en utilisant Python et son framework Django - Amélioration SEO : site référencé sur la première page sur Google - Optimisation de la vitesse du site : temps de chargement réduit d'environ 50% - Intégration des réseaux sociaux

Stage de programmation. Développement d'API REST en PHP7 avec le framework Silex. Développement d'architecture de base de données en SQL. Développement d’une application web avec le framework Electron en JS.