Henintsoa Cela Fabrice RAZANAJATOVO

Développeur PL/SQL Ajout des fonctions Utilitaire mise à jour des packages existants développement de nouveaux Packages

En tant que Data Engineer spécialisé, je suis responsable de concevoir, développer et maintenir des solutions de gestion de données robustes et évolutives. Mon expertise approfondie en SQL Server Cloud, Databricks, Data Factory, Confluence et Azure Functions est essentielle pour garantir le flux de données efficace et la création de modèles de données optimisés. Responsabilités Principales : Conception et Développement : Je conçois et développe des pipelines de données complexes en utilisant SQL Server Cloud, Databricks, et Azure Data Factory pour garantir l'intégrité, la qualité et la sécurité des données. Optimisation des Performances : J'optimise les performances des requêtes SQL et des pipelines ETL pour assurer un traitement rapide des données et une disponibilité maximale. Intégration de Confluence : Je collabore avec les équipes métier et les parties prenantes pour intégrer efficacement les données et les rapports dans Confluence, facilitant ainsi la prise de décision basée sur des informations précises. Automatisation avec Azure Functions : Je mets en œuvre des Azure Functions pour automatiser les tâches récurrentes, améliorer l'efficacité opérationnelle et réduire les coûts. Sécurité des Données : J'implémente des mécanismes de sécurité robustes pour garantir la confidentialité et l'intégrité des données stockées dans les systèmes.

Mise en place d’un architecture Big Data from scratch Mission : - Configuration des adresses IP, ports et les règles de pare-feu pour les différents nœuds du cluster. Cela permet de garantir que les différents composants communiquent correctement entre eux. - Installation de la distribution de Hadoop choisie sur chaque nœud du cluster, en s'assurant que les versions sont compatibles entre elles. - Installation et configuration de Spark sur chaque nœud du cluster - Installation et configuration Kafka et Zookeeper sur le cluster - Configuration de Debezium pour la capture de changements dans les bases de données sources et leur envoi vers Kafka 2 - Création des connecteurs Debezium pour chaque source de données à capturer et les configurer selon les besoins spécifiques du projet - Création des topics Kafka pour chaque source de données capturée - Développement des applications de consommation de données Kafka en Python à l'aide de bibliothèques Kafka-python - Tester le flux de données en capturant des changements dans les sources de données et en vérifiant leur arrivée dans les topics Kafka correspondants - Installation et configuration de Airflow - Installation et configuration de Citus sur 3 nœuds - Configuration du stockage pour Hadoop et Spark, en utilisant un système de fichiers distribué comme HDFS. - Configuration du planificateur de tâches pour Hadoop et Spark, en utilisant YARN. - Mise en place d’un système de monitoring pour surveiller la santé et les performances du cluster avec le suite ELK pour collecter les logs et les métriques des différents composants et en les visualisant dans Kibana. - Créer un outil d'automatisation comme Ansible pour faciliter la gestion et la maintenance du cluster. (Déploiement, configuration des différentes composant). - Tester et valider le cluster en exécutant des jobs Hadoop et Spark, en planifiant des workflows Airflow, et en utilisant Citus pour le traitement de données distribué.

Collecter, stocker et gérer les données 1. Collecte de données :  Élaboration de scripts en Python pour extraire les données de différentes sources.  Utilisation de Git pour gérer les versions des scripts et les modifications apportées.  Configuration d'Airflow pour exécuter les scripts d'extraction de données à intervalles réguliers. 2. Stockage de données :  Utilisation de Citus pour gérer les données à l'aide d'un cluster de base de données PostgreSQL distribué. 3. Gestion de données : 3  Élaboration de scripts en Python pour nettoyer et préparer les données pour l'analyse.  Utilisation de Django pour développer des applications web pour la visualisation de données. Objectif 2 : Traiter et analyser les données 1. Traitement de données :  Utilisation de Pyspark, Dask, Pandas Numpy pour traiter les données à grande échelle et en temps réel.  Utilisation d'Airflow pour planifier et exécuter des tâches de traitement de données.  Utilisation de Git pour gérer les versions des scripts de traitement de données et les modifications apportées. 2. Analyse de données :  Utilisation de Python pour développer des scripts d'analyse de données et des modèles de machine Learning (en collaboration avec les data scientiste).  Utilisation de Spark pour l'analyse de données à grande échelle et en temps réel.  Utilisation de Django pour développer des applications web pour la visualisation de données. 3. Gestion des workflows de traitement de données :  Utilisation d'Airflow pour orchestrer les workflows de traitement de données.  Utilisation d'Ansible pour automatiser le déploiement et la configuration des workflows.

Support utilisateur

Saisie des données