
David T.
Data Engineer Senior | AWS & Apache Spark
Salaire / Taux journalier
Paris, France
Freelance
Peut venir sur site
Expertises
Langues
Expérience de travail
Data Engineer
SNCF Connect & Tech
déc. 2022 - Présent
3 ans 11 mois
92800 Puteaux, France
Migration d’une architecture legacy vers une architecture data lakehouse : • Migrer les tables PostgreSQL legacy vers des tables Iceberg avec dbt • Développer un processus de migration standardisé avec Airflow • Déployer un Airflow local pour l’aide au développement • Gérer le double run sur les jobs legacy • Administrer et optimiser les tables Iceberg (compaction, snapshots, fichiers orphelins) • Mettre en place la CI/CD du projet avec GitLab Build et run de pipelines de données au sein de l’équipe BICRM pour les usages métiers : • Gérer et réaliser un projet de migration de source de données sur les jobs Glue • Développer un job d’enrichissement de données sur Airflow (KubernetesExecutor) et via API • Déployer les tests unitaires sur Airflow • Déployer de bonnes pratiques sur GitLab Déploiement d’APIs pour fournir le meilleur prix sur un trajet donné : • Développer des APIs basées sur Lambda et accessibles via API Gateway • Déployer les APIs sous IaC avec Terraform • Créer un cache basé sur DynamoDB pour alimenter les APIs • Effectuer des tirs de charge pour tester la performance et la résilience Tech stack : AWS, Airflow, dbt, Iceberg, PostgreSQL, Terraform, GitLab, Gatling Langages : Python, Scala, JavaScript, SQL
Data Engineer
BOURSORAMA
janv. 2020 - déc. 2022
3 ans
92100 Boulogne-Billancourt, France
Au sein de l'équipe Data, j'interviens sur des sujets liés au traitement, à la mise à disposition de la donnée et l'industrialisation de jobs de Machine Learning : • Traitement et valorisation des données via Spark : batch & streaming • Déploiement et MCO (run) des pipelines de données • Développement d'une API backend pour l'analyse d'événement client • Développement et industrialisation d'un job de Fuzzy String Matching • Déploiement de modèles de Machine Learning (PySpark, NodeJS) • Veille technologique autour de l'écosystème Hadoop Technologies : Spark (SQL, Streaming, MLlib), PySpark, Kafka, Cassandra, Hive, NiFi, Jenkins, Zeppelin, NestJS, ONNXMLTools Langages : Scala, Python, JavaScript, SQL
Ingénieur Méthodes & Maintenance
Groupe Ponticelli Frères
déc. 2013 - août 2019
5 ans 9 mois
69340 Francheville, France
Rattaché aux services centraux, j’interviens sur l'ensemble des contrats de maintenance nationaux pour apporter une expertise Méthodes & Maintenance. • Chef de projet digital – Implémentation de Salesforce Field Service Lightning Implémentation du logiciel Salesforce - Field Service Mangement. Responsable du paramétrage, de l’évolution et du budget du projet. Déploiement et paramétrage sur site. • Responsable de contrat de maintenance Gestion sur site d’une équipe de 15 techniciens dans la cadre d’un contrat de maintenance (CA de 2,5 M€/an). • Ingénieur Méthodes & Maintenance Définition des axes d’Amélioration Continue ; mise en place des outils associés (5S, AIC, standardisation, ritualisation…).
Formation
Arts et Métiers - École Nationale Supérieure d'Arts et Métiers
Diplôme d'ingénieur, Mécanique et Productique
Spécialisation en Qualité et Maintenance des Systèmes Industriels
CentraleSupélec
Mastère Spécialisé, Ingénierie des Systèmes Informatiques Ouverts
Formation de 3ème cycle agréée par la Conférence des Grandes écoles, le Mastère Spécialisé SIO délivre un diplôme de niveau Bac+6. • Python, Base de données, Architecture des SI • Big-Data, Cloud Computing, Machine Learning • Projet industriel en partenariat avec la start-up b-cube.ai : Intégration d’un bot de trading en cryptomonnaies sur une plateforme cloud
Paris-Sud University (Paris XI)
DUT Génie Mécanique et Productique, Mécanique,Productique,Management Industrielle,Bureau d'Etude
DTU - Technical University of Denmark
Semestre d'études à l'étranger
Licences et certifications
TOEIC 855/990
Délivré le : janv. 2013
Portfolio
