Lucien Fregosi

Data quality Engineer Work on monitoring and alerting around data quality issues

Dans le cadre du développement de Kayrros, entreprise d'analyse d'imagerie satellite à destination du marché boursier je suis intervenu sur l'industrialisation de la stack 3D. Cette stack permet de convertir un ensemble d'images 2D vers une image 3D pour ensuite être capable de déterminer l'altitude de chaque pixel de l'image. Cet algorithme a été developé en lien avec le CMLA (https://dataanalyticspost.com/mathematiques-donnent-relief-aux-images-de-terre/). Je suis intervenu sur 2 aspects principaux : - Mise en place de test unitaires et de tests d'intégration lors du développement local et de la phase de CI sur les modules composant la stack - Ecriture de certains modules les plus techniques. - Mise en place d'un environnement airflow basé sur l'orchestrateur Rancher. Configuration du master/slave airflow, récupération des logs, gestion des dépendances Python et C, écriture des Dags etc..

Consultant data chez Ippon Technologies. - Management Technique et encadrement de stagiaire depuis Janvier 2019 : organisation d'un journée d'équipe, suivi et entretien annuel des consultants, remontée et descente d'information entre les consultants et la direction d'Ippon - Mise en place de la communauté data au sein d'Ippon avec Arnaud Col. Organisation de divers évènements (Datapéro, Dataday, BBL, webinar..). Capitalisation sur les consultants et leurs missions (portfolio Data, suivi des compétences de la communauté, readme pour les nouveaux arrivants, Rex de mission..). En Mai 2019 1 semaine a New York pour reproduire cette communauté à Ippon USA (présentation du portfolio, transmission des supports de formation, atelier d'idéation etc..) - Participation à des actions de capitalisation: écriture d'articles de blogs, intervention dans des écoles pour partager mon expérience et développement d'un outil interne, formation sur le Big Data et Kafka, création d'une formation "from scratch" sur Kafka, speaker au JUG, speaker en interne

Intervention au sein du projet New IRP chez Euler Hermes, refonte du système legacy remplacé par une architecture "service oriented" sur AWS. 1) Réalisation des briques de base de l'infrastructure avec terraform, mise en place de la chaine de CI/CD côté applicatif et infrastructure sur Gitlab CI. Travail sur l'intégration et le déploiement automatique d'API sur API Gateway à partir d'un Swagger généré par l'applicatif dans le chaine de CI. 2) Focus ensuite sur les aspects data du projet, réalisation d'un système de synchronisation entre le legacy et le nouveau système (dynamoDB + Elasticsearch) via des mécanisme de batch (EMR/Spark) et temps réel (Kinesis + Lambda + dynamoStreams) à la fois d'un point de vue infrastructure (Terraform), applicatif (Scala pour Spark, Node pour les lambdas) et intégration (gitlabCI). 3) Ensuite focus sur les aspects monitoring de cette synchronisation (prometheus), orchestration (automatisation du process avec des lambas functions si besoin de migrer sur une autre région) et performance "at scale" (travail sur la config Spark/EMR et ouverture de case au support AWS)

Intégration dans le programme Skywise d'Airbus, la plateforme big data de Airbus. Skywise est l’un des plus gros datalake d’Europe, qui regroupe l’ensemble des données d'Airbus ainsi que de ses clients airlines. - Stabilisation, sécurisation et monitoring de la plateforme : Application de data gouvernance, utilisation de Splunk pour monitorer et détecter le data leakage - Audit de code Spark des projets travaillant sur la plateforme - Création d’outils pour la plateforme : External builder, build comparaison... - Showback model : Calcul de l’utilisation de la plateforme (CPU, Disque…) des différents projets sur la plateforme - Création d’un Kit d’API pour permettre aux projets de déployer et industrialiser une API pour exposer des données sur Mulesoft, tout en permettant du développement spécifique dans AWS Lambda pour utiliser les API Palantir Foundry. Travail sur la gestion et la délégation d’identités entre les 3 systèmes. - Industrialisation de datalake : Etude du fonctionnement du Datalake industrialisé de Skywise - création d’un REX sur l’industrialisation de Spark et du rôle du Data Engineer.

Mission au sein de l'équipe Big Data de Natixis. Développement en Spark / Scala au sein d'une équipe Agile pour la production de reporting comptables pour Natixis New York. Montée en compétences très fortes sur la programmation fonctionnelle en Scala dû à la philosophie de l'équipe. Découverte de ScalaZ et SparkZ. Utilisation de toute la chaine d'intégration continu déjà en place chez Natixis (Webhook, Jenkins, XL Deploy, Sonar, Artifactory etc..)

Mission de 8 jours répartis sur un mois d'audit d'un datalake AWS chez la Mutuelle Générale en avec Arnaud Col senior Data Architect chez Ippon. Recueil des doléances du client, session de travail avec un consultant AWS et livraison d'un ensemble de préconisations lors de la soutenance finale. Focus sur les aspects pratiques de développement dans l'écosystème AWS (Sam Framework, livrables etc) et sur les aspects architectures (préconisation d'une archi full streaming sur Kinesis)

Projet d'industrialisation d'un POC au sein de la Fab Big Data de la SNCF pour améliorer l'information voyageur en gare et permettre de donner aux métiers des indicateurs de qualité de service sur l'affichage des voies, des retards etc - Analyse du POC, compréhension des données I/O avec un dictionnaire de données entre l'équipe de dev et l'AMOA - Refonte totale du POC dans un projet Spark/Scala pour faire le calcul des différents indicateurs par train. - Mise en place d'une usine logicielle pour permettre le déploiement continu (Jenkins, Gitlab), l'analyse du code (Sonar), la gestion de dépendances (Nexus) et l'exploitation des résultats (table Hive) - Stratégie de test (Specs2) pour couvrir tous les cas de figure défini avec l'AMOA - Ordonnancement (oozie) et mise en production sur le data lake d'entreprise Le projet est maintenant en production sur le data lake et est en passe d'être un succès niveau politique (lié à la sensibilité de l'information voyageur après de nombreux incidents..) et un lot 2 est en discussion. Mon travail au sein de l'équipe de développement, ma motivation et mon leadership ont été salué par mes managers comme en témoigne la recommandation de ma directrice de mission (n+2)

3 mois de R&D au sein du Novalab - Déploiement d’architectures Big Data scalables (Spark, Kafka, Elasticsearch, Cassandra etc) conteneurisé avec Docker et mis en place en production avec Docker Swarm et Traefik. Test des infrastructures avec des outils comme Mockaroo ou Chaos Monkey. - Développement en Scala/Spark en collaboration avec l’équipe de Data Scientist pour agréger, préparer et nettoyer les données. Utilisation quotidienne des DataFrame et DataSets - Mise en place d’une architecture Spark as a Service à destination des data scientist pour entre autre nettoyage, extraction de corpus etc pour leur permettre de soumettre des Jobs via une API Rest - Rédaction de documentation et d’articles de blogs techniques pour faire connaître Novagen - Veille technologique et investigation de framework innovants comme Apache Beam ou Apache Apex

Project leader for a Grad school's final-year project for OVH, the number 1 hosting provider in Europe. With 2000 hours in hand, a team of 8 engineers and a 20K€ budget in stake. We were given a 60GB DataSet and the goal was to clean, organize, analyze and implement Machine Learning/Deep Learning models (recommendation engine, fraud detection…). We are using Scala on Spark, Zeppelin, TensorFlow, MongoDB, H20, various Python scripts and all sort of statistical analysis methods Our process is influenced by Scrum, we work in 2 weeks sprints with specific goals, context, planning and tracking of individual team members' loads. At the end of each sprint a meeting with OVH HQ is set to summarise the current sprint and anticipate the next one.

I was hired after my internship for a one year contract in part time while my last school year. Continuation of internship project and development of a web service for Orange (Biggest French Telecom Company) Taking part of Executive committee and sales meeting

6 months internship at Snype Consulting a French software editor of Big Data Solutions for Telecom & Media. - Development of a cartographic BI application with Google Maps API. Oracle Database with a PL/SQL API for the back end. - Big data project to migrate an Oracle ODS (operational data store) to a Hadoop Cluster using Cloudera Impala

4 month internship at Canary Data solutions in New Zealand. Development of an app to manage Vo/Ip devices in React.JS with a Golang API over a SQL Server Database. I also participated at one MVC VB.NET with the technical team.

Programmer at INRA (French scientific institute in agronomy). Scripting in Matlab & R to study grow length of vegetables using technical of image analysis (Convolution)