Yangfan XIANG

PostgreSQL DBT Airflow Azure Microsoft Fabric

Databricks Pyspark Azure

Tinyclues, spécialisée dans le ciblage prédictif des campagnes marketing, compte plus de 300 clients, allant des grands comptes aux PME. Sa plateforme permet de planifier des campagnes tout en ciblant chaque consommateur avec des contenus personnalisés. L'outil intègre également une partie CDP (Customer Data Platform) qui permet aux responsables des campagnes de mieux connaître leurs consommateurs et d'avoir une vision macro/micro. Les enjeux techniques consistent à servir les 300 clients avec une seule base de code en utilisant la notion de multi-tenant. Cela entraîne naturellement les problématiques suivantes que nous avons pu résoudre : - Conformité avec le RGPD : mise en place de data masking, data retention, data deletion request... - Onboarding des nouveaux clients : gestion des clients uniquement par des fichiers de configuration YAML, auto-génération de configurations, tooling... - Notion de template et multi-tenant : pas de redondance de code, gestion des changements = modification de configuration - Efficacité, robustesse, lisibilité et extensibilité : conçu avec l'architecture Medallion, tout notre code (workflow ELT, DAG Airflow et requêtes SQL) est testé (tests unitaires + tests d'intégration) et optimisé (FinOps est un travail quotidien) - CI/CD mature : chaque changement = modification de configuration = mise en production en quelques minutes et de manière automatique. Technologies : Data : Python, DBT, PostgreSQL Plateforme : Cloud Native sur GCP, BigQuery, Airflow (Composer)... CI/CD : Git (Gitflow), GitHub, GitHub Actions, CircleCI, Terraform NoCode : Retool, Airbyte

Redesign and implementation of Data lake: - anonymization - Identify resolution - cost and performance efficient - answer tech and business oriented need [Airflow, GCP, Spark, Python]

Transformation digital des données bancaires: ingestion des données(CSV, dump oracle...) avec restructuration, traitement et construction a but de sauvegarder dans la base Hadoop et optimisation des requets et des traitements. [Scala, Hadoop: HDFS Spark Hue Ambari Yarn, IntelliJ, Jenkins, Autosys]

Encadrant: Ludovic DENOYER & Matthieu ROBERT Sujet du stage: Deep Reinforcement Learning pour le pitolage automatique des voiliers de compétition. -Charger de développer une platforme de teste pour facilité les expérimentations. (simulateur physique, scénarios personnalisable) -Analyse de système de pilotage automatique exsitant afin d'intéger du Deep Reinforcement Learning -Implémentation des algorithmes de Deep Reinforcement Learning -Comparaison des algorithmes et analyse des problèmes rencontrés [Python, Pytorch]

Dans le département SIRH. Automatisation des tâches et développement des outils d’aide à la gestion. [Powershell, IIS, HP Unified Functional Testing, VBA]

Développement d’un outil de visualisation pour des réseaux bayésiens décrit en langage O3PRM orienté objet pour la librairie pyAgrum [Python, C++, Jinja2, Graphviz, PyQt]