Chen ZANG

Contexte: Conception d'une plateforme de facturation B2B pour des clients multi-sites (grandes enseignes, groupes industriels). Le système coordonne plusieurs services : CRM, plateforme de données de consommation, moteur de calcul de prix, intégration de prix, et intégration SAP. Responsabilités: – Conception et développement du Billing Orchestrator, composant central pilotant la chaîne de facturation – Mise en place d'une architecture event-driven basée sur AWS EventBridge et SQS – Orchestration des workflows de facturation via AWS Step Functions – Développement de pipelines Databricks / PySpark pour : – calcul du périmètre de facturation – transformation des données de consommation – ingestion et transformation des annexes de facturation (architecture medallion : bronze / silver / gold) – Implémentation d'un state store distribué avec DynamoDB pour suivre l'état de chaque site dans le workflow – Exposition des données via APIs (API Gateway + Lambda) pour les services de pricing et de reporting – Infrastructure gérée en Terraform et CI/CD GitHub Actions

– Conception de l'architecture cible pour les données IoT : Définition d'un Lakehouse sur AWS pour les flux capteurs (température, pression). Spécification de l'ingestion différenciée (init, fil de l'eau, rejeu) via Spark/EMR et MWAA. – Gouvernance et industrialisation de l'entrepôt de données : Réalisation d'une étude comparative Redshift Provisionné (pour les ETL planifiés) vs Serverless (pour le self-service métier). Rédaction d'un DAT détaillant la stratégie de gouvernance : contrôle d'accès fin (users, rôles, politiques IAM), configuration manuelle du Workload Management (WLM). – Accompagnement projet et alignement technique : Animation d'ateliers avec les équipes Dev, PO, Urbanisation et Métier pour traduire les besoins en spécifications techniques.

– Conception et déploiement d'un data warehouse : Modélisation en couches (ODS, DIM, DWD/DWM/DWS) pour centraliser les données métier. Développement de 30+ tables et 10+ métriques clés (taux de conversion, rétention, assiduité), avec ingestion incrémentale quotidienne automatisée via Airflow. – Mise en place d'un système de recommandation en temps réel : Pipeline Kafka → Spark Structured Streaming pour analyser les réponses élèves en micro-batch. Calcul dynamique de métriques et génération de recommandations personnalisées via un modèle ALS de Spark MLlib. Résultats exposés en MySQL pour les équipes web et BI. – Optimisation de la plateforme Cloudera Hadoop : Tuning avancé de Hive et de Spark pour traiter 300k enregistrements/jour/table sans OOM. Automatisation des ETL full/incremental (Sqoop, PySpark, Shell) sur un cluster de 10 nœuds (200 TB brut).

– Conception et mise en œuvre d'un Lakehouse moderne (Delta Lake) : Définition des couches Bronze, Silver et Gold. Migration vers une architecture ELT scalable sur Databricks. – Industrialisation de modèles ML à grande échelle : Mise en production de solutions IA critiques (product categorization, deduplication) pour 300+ clients marketplace. Conception d'une architecture Airflow générique permettant de gérer 300 modèles/client dans un seul pipeline, réduisant la complexité opérationnelle. Optimisation Spark pour traiter 5M+ produits/jour en <3h. – Développement d'un Feature Store image : Construction d'un pipeline PySpark end-to-end pour l'extraction, le prétraitement (RGB, resize, padding) et le calcul de features ResNet50 sur 50M+ images (backfill 2.5 ans en 16h). Les features sont stockées au format Delta Lake, permettant leur réutilisation future pour de nouveaux modèles CV.

– Industrialisation de systèmes d'IA à très grande échelle : Conception et mise en production de pipelines Spark/Scala pour la reconstitution d'historiques de navigation (BHR) et d'usage applicatif (AUR) sur des centaines de millions d'utilisateurs. Réduction du temps de prédiction quotidienne de plusieurs jours à ~2 heures sur AWS (EMR, S3, Data Pipeline). – Développement d'un moteur de recommandation publicitaire ML-driven : Mise en œuvre d'une architecture distribuée (Spark, Scala, AKKA) pour le training parallèle de 500 modèles logistiques/jour. Optimisation en réduisant le temps global de training de plusieurs jours à ~2 heures. Résultats servis via une API Python et stockés dans Couchbase. – Refonte du batch de targeting publicitaire : Réécriture de l'algorithme de matching en utilisant Hadoop/MapReduce, en remplaçant la logique legacy par une solution optimisée basée sur un automate. Cette approche a éliminé des milliards de comparaisons inutiles, réduisant le temps de traitement quotidien de 24h à 2h sur AWS (EMR, S3, DynamoDB), tout en améliorant la stabilité en production et le taux de conversion (+3 à 10%). – Construction du data warehouse centralisé : Développement de pipelines ETL (Python, Hive) pour le cleansing et l'intégration de données vers Redshift. Orchestration via AWS Data Pipeline, déploiement automatisé (Travis CI, Docker). – Automatisation et robustesse : Déploiement de workflows MWAA, intégration CI/CD via GitHub Actions, conteneurisation (Docker, Kubernetes). Mise en place de mécanismes de rejeu et de gestion des erreurs pour assurer la fiabilité des pipelines critiques.

– Conception et industrialisation de pipelines de traitement massif (Hadoop/Spark/Scala) pour le calcul d'indicateurs métier sur 30M+ membres, réduisant les temps de traitement de plusieurs heures à moins d'une heure. Les résultats sont indexés dans Elasticsearch et exposés via des APIs RESTful pour une consommation autonome par les équipes backend. – Migration de données à grande échelle : conception et mise en œuvre d'une stratégie de migration de tables MySQL (milliards de records) vers HBase, améliorant significativement la latence des requêtes en production. – Développement de modèles de segmentation utilisateur scalables (Spark/Scala), avec stockage des profils segmentés dans Elasticsearch pour une interrogation via API.

Développement backend sur la plateforme Viadeo, couvrant des fonctionnalités B2C et B2B via Java 8, Spring (Core, MVC, AOP, Batch), JPA/MyBatis, Elasticsearch, Solr, Maven, Git, Jenkins, Docker

Refonte du logiciel MPI (Management des Services IT) en application web à architecture 3 tiers, utilisant Java/JEE avec Spring, Struts, Hibernate, Maven et Git, et stockant les données dans Oracle.