Francois Ranaivosoa

Ingénieur big data sénior à la recherche d'une mission data sur Paris ou Bordeaux. Je suis spécialiste en développement d'application Spark. Mais je suis à l'aise avec une multitude d'outils et concepts : - Data (Spark, DBT, Snowflake, Kafka, PowerBI, autres briques data) - Orchestration des tâches (Airflow, Oozie) - Déploiement simple ou CI/CD (Jenkins, Groovy, shell) - Langage de programmation : scala, python, java, etc.

Inside a core-data-team composed by data-director, data-steward, and data-engineers, my main missions were : • Migrate data pipelines from spark-databricks to dbt/snowflake • Maintain and evolve the company data pipeline, from data collection to dataviz. • Implement a self-data-service for use by other company departments. • define and propagate data policy and data culture throughout the company (international context). • maintain CI/CD pipelines Technos : . Data computing : Spark, Snowflake. . Event broker : RabbitMQ, Kafka. . Orchestration : Airflow . BDD versionning : Flyway . Restitution : PowerBi. . Microservice : Spring boot, docker, kubernetes. . Cloud data platform : Azure databricks, Azure datalake, Snowflake. . CI/CD : Git, Jenkins, docker, kubernetes. . Dev tools : Databricks Notebook, IntelliJ

• Développeur référent responsable de la migration des applications spark (avec des connecteurs hive, kafka, solr) d'une plateforme big data HDP3 vers CDP. • Développeur référent pour la stratégie et la mise en place du Plan de Reprise d'Activité sur le périmètre big data. (en étroite collaboration avec des intervenants Cloudera et des acteurs côté system team et architecture) • Faire des recherches et rédiger des comptes rendus pour aider les architectes à choisir les briques hadoop à intégrer dans la plateforme big data. • Conception d'un outils pour le suivi et la gouvernance des données qui transitent sur la plateforme big data. • Support aux PO et développeurs afin de cadrer les projets d'ingestion de données sur la plateforme big data. • Réfèrent et support niveau 3 sur les outils mis à disposition par l'équipe produit big data (moteur d'ingestions spark, catalogue de données, moteur de supervision des ingestions, etc.) • Développement et maintenance d'un ETL, (moteur spark) pour l'ingestion de données (scala spark, maven/gradle) • Développement et maintenance d'un moteur d'impression automatique de script Hive, shell, à partir d'un catalogue de données (scala spark, maven/gradle) • Alimentation du datalake (hive + spark + shell) • Mise en palce des calculs pour l'alimentation du businessLake (hive + shell) . Techno : Spark scala, hive, oozie, shell. . Outils : Ambari, Dataiku DSS, IntelliJ, Git, Jira . Distribution : HortonWorks (HDP 3)/ CDP.

Recruté sur mission afin d'intervenir comme consultant technique en big data chez la banque postale (2 ans de mission).

• Développement et maintenance d'un outil de monitoring, pour superviser l'arrivée des fichiers sur HDFS et le bon déroulement des workflows oozie d'ingestion (HDFS + Oozie Client API -> Spark scala -> Index Elastic -> Kibana) • Alimentation du datalake (Hive + Oozie + Shell) • Mise en place des calculs pour alimenter le datamart à partir du datalake (Hive + Oozie + Shell) . Techno : Spark scala, hive, oozie, shell, elastic, kibana . Outils : Hue, Knox, IntelliJ, Git, Jira . Distribution : DIOD (plateforme big data propre à Orange)

• Recueillir les besoins du client • Faire l'étude pour estimer le temps et le budget nécessaire à la réalisation du projet • Établir le cahier des charges • Recruter les développeurs • Assurer le suivi et la réalisation du projet

• Préparation/extraction des données via sql server management studio • Analyse et création de tableau de bord via un outil de BI (Biwee) • Mise en place du Trigger afin de alimenter/préparer les tables à consommer par l'outil de visualisation.