Mohammed Bensaid

◼ Gestion et alimentation d'un data lake sur Cloud Storage, orchestré par Control-M. ◼ Création de ressources GCP via Terraform, incluant datasets, tables, Pub/Sub topics et Service Accounts. ◼ Développement de pipelines d'ingestion de données performants sur Apache Beam, en mode Batch et Streaming. ◼ Exécution de jobs de traitement de données sur Dataflow, assurant une transformation efficace. ◼ Configuration des dag Airflow avec des fichiers YAML. ◼ Chargement et transformation de données vers BigQuery, suivis d'une optimisation des coûts de traitement. ◼ Automatisation de lancement de requêtes BigQuery avec des pipelines Dataform. ◼ Création de pipelines de propagation de données depuis BigQuery en formats externes (JSON, XML, CSV) vers les partenaires. ◼ Conduite de migrations de flux de données. ◼ Interactions avec MongoDB pour des opérations de lecture, écriture, mise à jour et transcodification depuis BigQuery. ◼ Conception d'API REST (GET, PUT, POST) pour l'intégration et l'interopérabilité des systèmes. ◼ Maintenance et amélioration continues des flux de données existants. ◼ Gestion proactive des incidents de production, avec une participation aux astreintes bi-hebdomadaires.

◼ Participation aux réunions métier avec les business Analysts ◼ Extraction des données des portails clients sous CSV ◼ Classement des fichiers dans les buckets du data lake (Cloud Storage) ◼ Conception de Schéma des tables de données sur Terraform ◼ Création de Pipelines pour la transformation de données sur Apache Beam en Python ◼ Lancement et suivi des pipelines sur Dataflow ◼ Fenêtrage des pipelines Dataflow pour les flux Real Time en streaming (pub/sub) ◼ Configuration des DAG Airflow avec des fichiers Yaml ◼ Alimenter Bigquery avec les données chargées et transformées ◼ Optimisation et partitionnement des tables Bigquery ◼ Reduction des coûts avec des requêtes optimisées ◼ Utilisation de Cloud Functions pour lancement de dags en mode event driven

◼ Cadrage des projets avec les équipes métier ◼ Recueil des informations chez les directeurs de magasins (points réguliers) ◼ Rédaction des spécifications fonctionnelles ◼ Validation des spécifications fonctionnelles ◼ Estimation du coût de développement ◼ Approbation du budget et lancement du développement ◼ Suivi régulier de l’avancement ◼ Planification des releases en interne ◼ Validation des livrables et mise en production ◼ Suivi des incidents