Yannick Ng Ping Man

Actuellement je suis en gestion d'un projet Cloud GCP au sein de l'IT Entreprise. Ce projet consiste à collecter un grand volume de données provenant de différentes sources (Partenaire, Adserver, Trafic, Acquisition, ERP). L'idée principale étant de pouvoir "réconcilier" les revenus sur le trafic des pages des sites internet de Prismamedia. Le projet nécessite le développement et la gestion d'un écosystème Cloud GCP central permettant l'agrégation des données publicitaires (Google Admanager) et des données de trafic (Google Analytics) de plus de 20 sites internes. L'essentiel de la mission consiste à récupérer, traiter, analyser grâce à une application interne (Symfony 7) et des services cloud (BigQuery, Composer Airflow, Storage) dans le but de livrer des dashboards avec KPI, ROI (Looker, SalesForce) aux collaborateurs. Mon rôle au sein de Prisma Data Ingénieur : - Écriture et mise en place de requête SQL complexes dans le service BigQuery pour traiter les données (Gestion de la volumétrie & Fenêtrage) - Mise en place d'un workflow de données via des outils ETL, comme Google Composer 3 avec Airflow 2 (Configurations, maintenance et tests de scalabilité) - Création de DAG Airflow en Python 3 pour le traitement et le calcul des données quotidiennes (Plus de 38To de données traitées par jour) - Mise en place des différentes étapes de traitement de données pour passer de données brutes à des données raffinées. - Gestion d'un DataLake de + de 500To de données - Mise en place d'un système de Cycle de vie des données pour faire en sorte de gérer le volume important de données. (Archivage) Gestion de projet et d'équipe : - Écriture des spécifications en collaboration avec le métier - Collaboration avec les équipes métier pour la mise en place de Dashboard et de nouvelles fonctionnalités - Priorisation des tâches, planification et schématisation des workflow de travail - Mise en place de réunions hebdomadaire avec le métier, les IT et les partenaires