ALI GATGOUT

– Développement de pipelines de données modulaires en SQL & Jinja (Macros). – Transformation d'un pipeline de données manuel en flux automatisé avec dbt Core. – Développement des modèles de données SQL suivant l'architecture en couches (Bronze/Silver/Gold) pour nettoyer et agréger les données. – Fiabilisation des données via la suite de tests automatisés dbt (Generic & Singular Tests). – Génération automatique de la documentation et du graphe de dépendance (DAG) pour faciliter la maintenance. – Utilisation de Git pour le versioning du code et la gestion des évolutions.

– Conception et développement d'API REST avancées pour exposer des jeux de données critiques, avec gestion d'erreurs unifiée et optimisation des temps de réponse. – Migration complète des traitements Big Data depuis CDH vers OpenShift • Kubernetes, incluant refonte du packaging, gestion des images Docker et adaptation des dépendances Spark. – Industrialisation de workflows complexes sous Airflow : monitoring, alerting, retry automatique, SLA, parallélisation. – Refonte de plusieurs pipelines Spark/Scala pour supporter une montée en données (+40% de volume), optimisation des partitions et gestion mémoire. – Passage progressif d’HDFS à S3, réduction des coûts et simplification des flux de données. – Mise en place d'une CI/CD GitLab + Jenkins totalement automatisée (tests, packaging, déploiement). – Participation aux décisions d'architecture sur la gouvernance des données et les standards techniques internes. – Déploiement et orchestration de services sur OpenShift (OCP) : gestion des quotas, des namespaces – Environnement technique: Scala, Spark, Python, Kafka, postgresql hdfs, Gitlab, Airflow, jenkins, openshift, Ansible, S3, Akka, Kubernetes

– Développement de pipelines Matillion permettant l'ingestion fiable de grandes volumétries – Création de fonctions AWS Lambda (Python) pour automatiser l'ingestion temps réel dans le datalake. – Construction de transformations avancées sous Glue et Spark pour normaliser, enrichir et rapprocher les données, avec gestion des erreurs et logs dynamiques. – Mise en place d'un environnement complet de staging sous Redshift, indexation, distribution keys et optimisation des performances. – Exposition de datasets analytiques via Athena, alignés sur les besoins data science et business. – Industrialisation CI/CD avec GitLab, incluant tests automatisés, tagging et déploiements orchestrés. – Environnement technique: AWS, Spark, Python, Scala, Matillion, postgresql,mongodb, Athena, Lambda, Gitlab, Postgres,

– Création complète de clusters Hadoop HDP via Ansible : configuration, sécurisation, monitoring. – Déploiement et configuration de l'écosystème Big Data : Spark, Hive, LLAP, Kafka, HBase, Oozie. – Mise en place de la sécurité : Kerberos, Ranger (HDFS, Hive), Knox (topologies sécurisées). – Optimisation des ressources YARN et tuning de la plateforme. – Gestion des flux de données via Apache NiFi : déploiement, migration de flux – Administration de clusters Kafka : gestion des partitions, monitoring des Consumer Groups et ajustement des offsets. – Industrialisation de bonnes pratiques Spark/Scala pour homogénéiser les développements.

– Développement de pipelines d'ingestion automatisés vers le Data Lake HDP. – Construction d'objets et vues métier dans Hive pour structurer la donnée et répondre aux exigences métier. – Optimisation des performances Spark/Hive, gestion du partitionnement et réduction des coûts cluster. – Participation à la roadmap data et amélioration des process internes. – Environnement technique: Hadoop Hortonworks (HDP 2.4.0), Java SE, YARN, HDFS, Hive, Hue, Oozie, Spark, Kafka,sqoop Méthode SCRUM Agile.

– Développement de flux Spark/Scala pour l'ingestion et la préparation des données. – Construction de modèles analytiques dans Hive pour consolider les données du Data Lake. – Participation à l'industrialisation de l'écosystème Big Data. – Environnement technique:: Hadoop Hortonworks :(HDP 2.4.0), Java SE, YARN, HDFS, Hive, Hue, Oozie, Spark,

– Responsable technique du simulateur crédit/assurance. – Conception, développement, optimisation et supervision applicative. – Maintenance évolutive et corrective de l'application NRM. – Analyse, conception et correction d'anomalies. – Environnement technique : Java/EE : JAVA 8 & JEE 6, Spring, Hibernate, Serveurs, Tomcat, JBoss