Carlos Trabuco

• Module Observability : Calculer les niveaux de liquidité des transactions. (Long projet de +2 ans de travail) - Implémenter et appliquer règles pour le calcul de l’observabilité (liquidité) - Refactoring complet du Driver car le design technique original ne comble pas les nouveaux besoins - Création des liens entre les données d’entrée - Ajout de nouvelles catégories à calculer - Mis à jour des référentiels utilisés par le Driver - Developpement des Tests unitaires pour tester la Non régression des nouveaux développements dans chaque catégorie • Stocker tous les Business Process, et ses données input/output dans le datalake - Lecture d’un fichier XML via XPATH pour stocker dans le datalake - Maintenance et évolutions du module. - Création des classes pour mapper des données provenant de la base de données des référentiels et les stocker dans le datalake HDFS. • Ingestion de données : - Mise à jour du driver pour corriger les problèmes de mapping entre l’input et l’output • DailyStress : Ingestion de données et dataprep des données ingerées - Mise à jour du driver d’ingestion de données pour ajouter des nouveaux fichiers à ingérer - Transformation et calculs sur les données ingérées pour obtenir une vue détaillée avec une granularité par trades. - Transformation et calculs sur les données pour obtenir une vue agroupée avec une granularité par CDR. • Ingestion des référentiels dans le datalake - Création des classes pour mapper des données provenant de la base de données des référentiels et les stocker dans le datalake HDFS • Formation et supervision des nouveaux développeurs • Référent technique et fonctionnel

• L’analyse et le stockage des données avec Spark, Hive, Impala, HDFS, Drill, Teradata, spark-shell, spark-sql • Migration de distribution Big Data de Map’r vers Hortonworks/Cloudera • Mise à disposition des données sur différentes plateformes (Dataiku, Hive, Teradata, Impala) • Export des données depuis Hive vers des tables Teradata, et Teradata vers Hadoop • Automatisation et surveillance des flux d’alimentation via HUE/Oozie • Développement des scripts scala pour transformation des données • Reporting et Data visualisation avec Qlik View et Superset • Enrichissement du Framework développé chez LCL en ajoutant les fonctionnalités suivantes : - Ingestion des fichiers EBCDIC pour les stocker en Hadoop (parquet) - Ingestion des fichiers json pour les stocker en Hadoop (parquet) - Lecture des fichiers en Hadoop (parquet, orc) pour les stocker en CSV • Reporting et Data visualisation avec Qlik View et Superset • Le Co-développement d’un POC streaming pour la nouvelle plateforme Big Data : - Mise en place d’un cluster Kafka Confluent - Evaluation des Kafka Confluent connectors pour des cases d’utilisation spécifiques - Mise en place d’un cluster Kafka open source - Développement d’un kafka consumer avec Spark Streaming en Scala • Projet Segmentation : - Déploiement, tests et modifications d’une application Python développée par une entreprise externe à LCL pour classifier des clients - Mise en place de l’architecture et de l’environnement nécessaire par l’application Python pour tourner sur le cluster Mapr DEV : Installation d’un environnement anaconda, création d’environnement virtuel, installation de librairies - Création des flux d’ingestion pour alimenter l’application Python - Corrections / Evolutions sur le code Python - Création des Indicateurs Clés de Performance (KPI) pour détecter des anomalies dans le calcul des résultats - Reporting automatisé des KPI via email - Export des résultats vers Teradata

• POC Change Data Capture - CDC (Hive, Hbase, Kafka, Spark). • Installation, Testing and evaluation of the framework BlueData. • Cloud Computing – projects in GCloud and Amazon Web Service (EC2, VPC, IAM). • API Management : State of the Art of the tools for API Development. • Training in Spark Python/Scala (Udemy Certificate) , Cloudera, Hive, Impala, Beeline, HUE, Talend, Docker.

Devenir un expert Hadoop: • La compréhension et la documentation du fonctionnement d’Hadoop et de son installation dans un cluster haute disponibilité. • La réalisation d'un état de l'art sur les solutions faisant partie de l'écosystème Hadoop en identifiant leurs rôles, leurs usages, les technologies sur lesquels elles reposent. Cet état de l'art porte sur l'acquisition (batch ou temps réel), le stockage, la classification, la découverte, l'analyse et l'utilisation des données dans des processus métier. • La mise en oeuvre de deux plateformes génériques à travers l'écriture de dossiers d'architectures, le dimensionnement de l'infrastructure serveur, la réalisation des procédures d'installation des outils nécessaires, la réalisation des procédures d'exploitation et de tunning des outils nécessaires et des OS choisis pour les plateformes. Une des plateformes citées ci-dessus sera orientée au traitement batch en masse des données et l’autre au traitement en temps réel de flux de données. • Le déploiement de ces plateformes sur deux cas concrets qui serviront de Proof of Concepts (POC) sur la fiabilité et les performances des plateformes mises en oeuvre en les confrontant à deux cas métiers représentatifs.

•Worked in the area of web application development. •Mainly on php, mysql, apache configurations, with SVN for versioning and JS, HTML, CSS on clientside. •Co-Development of a multi-tenancy ERP system for churches in Zurich, Swiss ( http://www.kirche-zh.ch/i-kg/). Containing following main-modules: users, rights, cooperations, configurations, todos, events + conflictmgmt, rentals, persons, clients, rooms, devices, suppliers, collections, projects, RestAPI, etc. •Co-Development of a portal/community module used for web content management. •Co-Development of the DynPG CMS on several enhancements, bugfixes, customersupport, etc.

worked mainly on a medium size ERP project with a team of 5 to 6 people in the following activities: •Programming: UI and database triggers and stored procedures. Activities also include creating and maintaining reports. • Testing: Testing all the new components. • Deploying: The software runs on 20 servers and 80 workstations. In charge of deploying the software, also take part of the group that does release planning. • Training/Support: Preparation of manuals, dictate some training courses, do second level support as well as managing people that do the first level user support.