CANH HIEU NGUYEN

• Migration de l’infrastructure Big Data de Cloudera vers TDP (Trunk Data Platform), proposer la solution “cross-trust realm Kerberos” pour l’authentification mutuelle entre 2 clusters. • Implémentation de l’impersonation Hadoop: mise en œuvre pour que les requêtes Dremio/Mathis s’exécutent sous l’identité réelle des utilisateurs finaux, garantissant la traçabilité complète et la sécurité granulaire des accès HDFS/Hive. Administration et architecture de la plateforme MATHIS (Dremio Enterprise) : analyse des logs YARN, Hadoop et Dremio pour , pilotage des montées de version trimestrielles via Git, Jenkins, Ansible et Docker. • Support de niveau 3 et diagnostic cross-stack (Hadoop/YARN, Hive, Oracle) : optimisation des requêtes SQL en utilisant la Reflections, remplacement JDBC/ODBC par Arrow. en réduction du temps de latence de 30 %. • Développement outil pour la sauvegarde/restauration entière ou partielles d’environnements (OPF vers Production…) par Python. • Développement d’outils de supervision en Python, gestion des logs via Elastic Stack. • Réalisation d’un POC (Proof of Concept) sur le format de table Apache Iceberg afin de remplacer le Hive Metastore et moderniser la gestion des métadonnées.

• Mise en place de l’architecture Médaillon (Bronze, Silver, Gold) sur GCP : ingestion des données brutes dans Cloud Storage, automatisation des traitements via Airflow orchestrant des pipelines Dataflow qui assurant la conformité RGPD (droit à l’effacement) puis consolidation et analyse dans BigQuery pour répondre aux besoins métiers. • Calcul de backfill de données et mise en place un dashboards KPI interactifs avec Looker pour le suivi et l’analyse des indicateurs clés, facilitant la prise de décision métier. • Apporter des corrections/évolutions sur les pipelines/requêtes SQL existants pour l'amélioration de performance ou détection des anomalies dans les résultats. • Construction d’un data mesh avec Dataplex pour faciliter la sécurité des données, la gouvernance et la découverte sur Google Cloud. Mise en place des tagging des assets, l’attribution des rôles IAM, et l’évaluation de la qualité des données dans BigQuery

- Design and build pipeline ETL. - Data Cleansing and transformation. - Testing and quality control of the data. - Daily batch run by Luigi. - Data viz : visualize of data by Dash Plotly - Build a model NLP question/answering by BERT technique

• Migration Apache Spark jobs vers Dataproc par approche "Lift & Shift", remplacement du stockage HDFS par Google Cloud Storage et intégration d’une architecture cloud-native, optimisant la performance et la fiabilité des traitements. Automatisation complète de l’exécution de jobs Spark sur des clusters dédiés, avec modernisation des flux analytiques grâce au chargement optimisé des données dans BigQuery. • Automatisation de copier des BigQuery tables entre different deplacements par Cloud Composer (Airflow) afin de les consolider et de les analyser tout en dégageant des insights • utilisation de BigQuery pour appliquer la méthode RFM afin de segmenter les données clients et aider l'équipe marketing à donner des decisions.

Contexte: Développement d'un système de détection d'intrusion par anomalies - Mise en place Cluster Hadoop pour stocker Apache log serveurs. - Ingestion data du HDFS au ElasticSearch, index et calcule log record pour chaque utilisateur base IP adresse. - Visualisation data par Kibana. - Conception et réalisation d'un model Machine Learning classification: . Exploratory Analysis data. . Scaling numerical attributes . Encoding categorical attributes . Feature Selection . Dataset partition (train/test) . Fitting different models and ensemble them. . Validating models. Stack Technique: Python, Numpy, Pandas, Hadoop, Random Forest, Ensemble, Classification

Research JPEG2000 format