Développeur Data / IA

Pour une mission longue pour un grand groupe, nous recherchons plusieurs développeur Data

• Gestion JSON - traitement des json complexes avec multiples imbrications variables

• Gestion de format Delta (similaire JSON) sous Databricks

• Python / SQL / Databricks / Spark

- Développement et déploiement de Jobs Spark (PySpark et Scala) en CI/CD sur Azure Databricks

- Optimisation des chaines de traitements Big Data en termes de temps d'exécution et de couts des machines virtuelles (Cloud Azure)

- Migration de l’architecture des données vers une architecture médaillon (Bronze, Silver, Gold)

- Création de jobs de mise en qualité de la donnée (couche silver) : nettoyage, dédoublonnage, masquage de la donnée

- Migration code contenu dans JARs (Spark Scala) vers code en PySpark sur notebooks, compatible avec Unity Catalog

- Automatisation des déploiements et des livrables (Gitlab-Ci, Ansible, Jenkins)

- Migration de l’écosystème Databricks existant vers Unity Catalog

- Migration de parquet et orc à delta

- Passage progressivement à une lecture de table au lieu d’une lecture directe des fichiers du datalake

- Création d’une couche « silver » servant de couche de mise en qualité des données « bronze » avant

consommation dans des tables gold à valeur métier

- Orchestration de jobs Spark sur Databricks Workflows

- Modélisation et conception de nouvelles chaines de traitement, en collaboration avec les équipes métier (architecture

data)

- Refactoring global de l’application et augmentation de la couverture de test du code (de 30% à 90%)

- Revues de code et mise en place de contrôles techniques et automatisés de la qualité de la donnée (via Notebooks

Databricks)

3 - 10 ans d'experience

Technologies : Azure Databricks, Spark (Scala et PySpark), Jenkins, Airflow, Ecosysteme Databricks (Databricks Workflows, DeltaLake), Azure (Azure Data Factory, AKV, Adls, BlobStorage), GitLab CI, SQL, Terraform