Hajjej Ayoub

Mission en tant qu'AWS Data Engineer au sein de la direction data d'ENGIE, dans un contexte de modernisation et d'industrialisation des traitements de données métier. Mes responsabilités : • Conception et développement de workflows data et des pipelines ETL (Extract, Transform, Load) pour collecter, transformer et charger les données dans des data warehouses et data lakes AWS. •Développement d'API REST pour l'exposition et la récupération de données référentielles alimentant les traitements data. • Traitement et transformation de données structurées avec Pandas et Amazon Athena (requêtes SQL sur S3). • Gestion et administration de bases de données relationnelles PostgreSQL pour le stockage des données de référence. • Conteneurisation des applications et services data avec Docker pour assurer la portabilité et la reproductibilité des environnements. • Collaboration avec les data scientists, analystes et équipes métier pour comprendre les besoins en données. • Expérimentation de nouvelles technologies data et bonnes pratiques afin d'améliorer l'infrastructure et l'efficacité des workflows. • Automatisation des processus et création de pipelines CI/CD pour les déploiements continus. • Gestion du dépôt Git (branches, pull requests, merges) pour garantir une collaboration efficace au sein de l'équipe. Environnement technique : Python, Pandas, Amazon Athena, AWS Lambda, AWS Step Functions, PostgreSQL, Docker, Amazon S3

Mission au sein de Bpifrance (Banque Publique d'Investissement) dans le cadre de la construction et l'industrialisation d'une plateforme data cloud-native sur AWS. Mes responsabilités: • Développement de jobs AWS Glue en PySpark pour l'extraction, la transformation et le chargement (ETL) de données issues de topics Apache Kafka. • Conception et implémentation de workflows AWS Step Functions pour l'orchestration et l'automatisation de l'exécution des traitements de données. • Mise en place de pipelines de streaming et d'ingestion de données en temps quasi-réel depuis Kafka vers le data lake AWS (S3 + Athena). • Développement de fonctions AWS Lambda pour déclencher et orchestrer les traitements événementiels. • Requêtage et exploration des données transformées via Amazon Athena. • Participation à la définition des patterns d'architecture data et aux choix techniques de la plateforme. • Participation à des boucles de feedback continues afin d'améliorer les produits data en fonction de leur usage réel et de leurs performances. Environnement technique : Python, PySpark, AWS Glue, Apache Kafka, Amazon Athena, AWS Lambda, AWS Step Functions, Amazon S3

Mission au sein d'Air Liquide dans le cadre de la construction et l'alimentation d'un Data Lake industriel sur AWS, couvrant l'ensemble du cycle de vie des données depuis l'ingestion jusqu'à la mise à disposition analytique. Mes responsabilités : • Développement et mise en œuvre de transformations PySpark sur Amazon EMR et AWS Glue pour le traitement des données sources du Data Lake. • Création, configuration et déploiement de DAGs Apache Airflow pour la planification et l'orchestration des pipelines de données. • Monitoring et supervision des processus d'intégration des sources de données dans le Data Lake (gestion des alertes, gestion des erreurs, reprise sur incident). • Requêtage des données via Amazon Athena pour la mise à disposition des équipes analytiques. • Gestion du code source et des pipelines de déploiement avec GitLab (versioning, merge requests, CI/CD). • Contribution à l'amélioration continue des processus d'ingestion et de qualité des données. Environnement technique : Python, PySpark, Apache Airflow, AWS Glue, Amazon EMR, Amazon S3, Amazon Athena, GitLab, CI/CD

Data Engineer au sein de l'équipe data de Cdiscount (leader français du e-commerce), dans un environnement Big Data on-premise Hadoop avec traitement de volumes massifs de données produits, transactions et comportements utilisateurs. Mes responsabilités: • Développement de flux Talend Big Data pour alimenter le Data Lake HDFS à partir de multiples sources de données (bases relationnelles, APIs, fichiers plats). • Extraction et transfert de données depuis des bases SQL vers HDFS via Apache Sqoop. • Mise en place de pipelines de streaming et d'ingestion de données en temps quasi-réel depuis Kafka vers le data lake AWS (S3 + Athena). • Développement de jobs PySpark pour le traitement distribué de gros volumes de données et l'amélioration des temps d'exécution des traitements batch. • Développement et optimisation de requêtes Apache Hive pour le traitement, l'analyse et la mise à disposition des données aux équipes analytiques. • Participation à la conception des modèles de données et des schémas Hive. Environnement technique : Python, PySpark, Talend Big Data, Apache Hive, Apache Hadoop, Apache Sqoop, HDFS, SQL