
Yafet BenAbdallah
Data Engineer | AWS Glue, PySpark & SQL
Salaire / Taux journalier
Porto, Portugal
Freelance, ouvert au CDI
Peut venir sur site
Expertises
Langues
À propos
Introduction
Ingénieur Data avec 4+ ans d'expérience en solutions ETL et Big Data, actuellement chez Bpifrance. Expert en AWS Glue, PySpark et intégrations BigQuery avec automatisation complète des pipelines. Spécialisé en architectures scalables et tableaux de bord temps réel pour optimiser vos décisions data-driven.
Expérience de travail
Data Engineer
Talan Tunisie
oct. 2023 - Présent
3 ans 1 mois
Data Engineer
Bpifrance
oct. 2023 - Présent
3 ans 1 mois
Suivi des événements d’un site E-commerce
ABSHORE
oct. 2022 - janv. 2023
4 mois
• Identification des événements clés à suivre (achats, panier, recherches, clics, etc.). • Analyse approfondie des processus du site E-commerce pour identifier les événements clés tels que les achats, les ajouts au panier, les recherches et les clics. • Configuration de la collecte de données via Segment pour capturer les événements identifiés. • Intégration transparente avec BigQuery pour un stockage centralisé et évolutif des données. • Conception optimisée des tables dans BigQuery pour stocker les données d'événements. • Utilisation de SQL pour définir des schémas adaptés aux besoins d'analyses futures. • Création de rapports interactifs dans Data Studio pour une analyse approfondie des événements du site E-commerce. • Intégration fluide des données stockées dans BigQuery pour des visualisations transparentes. • Écriture de scripts Python pour extraire et transformer les données de Segment avant leur chargement dans BigQuery. • Utilisation de SQL pour des opérations de transformation côté serveur, optimisant ainsi les performances. • Automatisation des Scripts pour Mises à Jour Régulières: • Mise en place d'une automatisation robuste des scripts Python assurant des mises à jour régulières des données dans BigQuery. • Planification de tâches automatisées pour maintenir les données à jour en vue de l'analyse. • Réalisation de tests complets pour garantir la qualité des données et la performance des rapports. • Déploiement réussi du système pour permettre une analyse en temps réel des événements du site E-commerce.
PLATEFORME GET TALENT
ABSHORE
févr. 2022 - août 2022
7 mois
• Traduction des besoins fonctionnels en spécifications techniques. Conception des bases des données avec MongoDB Compass. • Développement de modules : • Extraction de profils LinkedIn avec web scraping (Python, Selenium, BeautifulSoup). • Traitement des données (compétences, formation) de CVs et offres d'emploi avec text mining (nltk, spacy). Stockage des données dans MongoDB. • Matching de profils et d'offres d'emploi en utilisant la technique Cosine Similarity. Conversion des données des candidats en CVs Template Abshore. • Mise en place de pipelines CI/CD automatisées avec GitLab. Déploiement du code source via Docker. • Documentation détaillée des modules développés.
Solution BIG DATA POUR LE SUIVI DES SYSTÈMES DE SURVEILLANCE
Poulina Group Holding
oct. 2020 - mars 2022
1 an 6 mois
Formation
Ecole Polytechnique Internationale
Engineer's degree
2017 - 2020
4 ans
Ecole Nationale d’Ingénieurs de Carthage ENICarthage
Engineer's degree
2016 - 2017
2 ans
Preparatory Institute for Engineering Studies - El-Manar (IPEIEM)
Bachelor
2013 - 2016
4 ans