Antoine H.

Migration de l’orchestrateur airflow d’AWS à GCP Refactoring des pipelines CI/CD de tous les projets de l’équipe Gestion et Suivi des projets de migration de l’équipe

Développement de pipeline data de bout en bout pour des analyses marketing comprenant : - analyse du besoin métier, - étude de la donnée, - mise en place de l'infra terraform, - développement des jobs data, - ajout de l'orchestration pour automatiser le rafraichissement de la donnée attendue et des dashboards

La mission a eu pour but de prendre part à : - l’évolution du pipeline d’ingestion de données financières pour intégrer un nouveau scope dans la solution - l’intégration de nouveau processes dans le pipeline pour transformer la donnée financière et alimenter les différents métiers de l’entreprise. Prise en charge de la partie CI/CD de l’équipe et de l’outil d’orchestration du pipeline, Airflow (montée de version, optimisation)

Développement d'un système d'ingestion données de voiture (streaming) en Scala/Spark couplé à du Kafka

Alimentation de tables du DataWarehouse depuis le DataLake et orchestration de ces jobs.

Réalisation de 2 projets : 1. Ajout de la stack AWS Batch au catalogue de technos de la data platform d'AirLiquide. 2. Industrialisation et dockerisation d'un projet python de data analyse et orchestration avec AWS Batch et Airflow.

Believe est une entreprise spécialisée dans la distribution et dans l’accompagnement d'artistes pour "développer leurs carrières". Missions: 1) Conception d'un nouveau pipeline d'ingestion de données pour traiter les rapports envoyés par les plateformes d'écoute de musique : - Ré-implémentation des règles métier du pipeline d'ingestion déprécié incapable de suivre les évolutions de volumes de données à traiter de l'industrie de la musique. - Amélioration de la performance du processing d'ingestion et le rendre scalable. - Leader technique d'une équipe de 5 data Engineers (bonnes pratiques, clean code). - Mise en place du process de release et d'intégration continue pour déployer le pipeline sur un environnement AWS. Stack : Apache Spark, Apache Parquet, AWS EMR, AWS Lambda, Apache Airflow, Maven, GitLab-CI, Docker, AWS RDS 2) Industrialisation d'un algorithme de ML d'analyse de la performance d'un artiste : - Conception d'une solution pour prédire un score de l'impact d'un artiste à destination des découvreurs de talents - Conception de la solution pour entraîner périodiquement un modèle de ML à partir de données mises à disposition sur un datalake HDInsight 3) Conduite d'un audit sur la configuration d'un cluster Hadoop sur Azure (HDInsight) dans le but d'optimiser le temps de requêtage et la façon de stocker les données suivant les besoins métier. Stack : Azure HDInsight, Tez, Hive, LLAP, ORC 4) Référent technique Big Data en relation avec l'équipe BI pour les accompagner sur leurs besoins en données (streams journaliers et royalties) stockées sur un datalake sur Azure HDInsight. Stack : Azure HDInsight, Hive, Tez, ORC, PowerBI

Reconnaissance et validation automatique de documents administratifs (équipe de 4 data scientists). Stack : Python 3.6, scikit-learn, AWS, GCP, Git, Deep Learning, Machine Learning, Swagger

Projet cohérence de données. Stack : Hadoop 3.0 HDP, Apache Spark 1.6, Apache Kafka 0.10, Hive, HBase, Java 8, Scala 2.10, Maven, Git

Industrialisation d'algorithmes de Machine Learning. Stack : Python 3.4, Docker, Ansible, scripting shell, Git, BitBucket Pipelines

Startup Sobre : - Conception d'un pipeline d'ingestion de données (batch et streaming). - Industrialisation d'algorithmes pour l'optimisation de la performance énergétiques de bâtiments. Stack : Hadoop HortonWorks 2.1.10, Apache Spark 2.0, Apache Flume 1.7, Scala 2.11, Python 2.7, Docker, Git

PoC détection de fraudes sur titres nationaux Stack : Apache Spark 1.5, Scala 2.10, Maven, Apache Parquet, H2, MySQL, Java 8, Git

Data Offload de Teradata vers Hadoop. Pipeline d'ingestion de données pour les Data Analystes Stack : Hadoop HortonWorks 2.1.7, Hive, Apache Flume 1.6, Java 6, scripting shell, SVN

Missions : 1) Mise en place de l'exécution concurrente des tests Selenium de l'application Secutix 360° 2) Écriture d'une série de tests manuels pour la version mobile de l'application Secutix 360° Stack : Java 6, JUnit, Selenium, Jenkins, Maven, Subversion