Architecte Solution Databricks Senior H/F

CONTEXTE

Au sein d'un acteur du transport en commun, la mission consiste à intervenir comme référent architecture et Tech Lead auprès des squads projets. Le consultant accompagnera les projets Data de la phase de cadrage jusqu'à la mise en production, en garantissant les choix d'architecture, la qualité des développements et l'application des bonnes pratiques sur un socle AWS / Databricks.

Missions principales / Responsabilités

• Accompagner les squads métiers dès le cadrage et jusqu'à la mise en service des cas d'usage
• Challenger les choix techniques et architecturaux des projets
• Assister les Tech Leads dans la définition des architectures et la rédaction des DAT
• Concevoir et optimiser des pipelines d'ingestion et de transformation de données
• Garantir les bonnes pratiques de développement, de performance, de FinOps et d'éco-conception
• Contribuer à l'amélioration des frameworks et briques techniques de la plateforme
• Participer au MCO des applications Data et intervenir en support N3
• Réaliser des PoC, audits techniques et études d'architecture

Livrables attendus

• Architectures solution
• DAT
• Pipelines d'ingestion et de transformation de données
• PoC
• Audits techniques
• Études d'architecture

Compétences / Qualités indispensables :

Databricks, AWS, Spark / Scala, Architecture Solution Data, Data Engineering, Scrum Agile

Compétences / Qualités qui seraient un + :

Data Mesh, Power BI, FinOps, éco-conception numérique, industrialisation Data Platform, PoC et études d'architecture, accompagnement de squads Agile

Informations concernant le télétravail :

Oui — 2 jours/semaine

Architecte Solution / Tech Lead Data disposant d'une forte expertise Databricks et Data Engineering sur Cloud AWS.

Le profil doit être capable de prendre de la hauteur sur l'architecture tout en restant très opérationnel sur les sujets de développement, performance et industrialisation des traitements Data. 

Compétences et expérience requises

• Minimum 10 ans d'expérience comme développeur et Data Engineer
• Expérience de création et de monitoring de flux de données en Spark / Scala sur cloud public, idéalement AWS
• Pratique intensive de Databricks pendant au moins 6 ans sur une plateforme en production
• Minimum 2 années pleines de réalisation d'ingestions via des frameworks de développement spécifiques, hors outils natifs Databricks
• Expérience d'intégration de données multi-sources et multi-formats : JSON, CSV, Parquet
• Certification AWS
• Minimum 3 ans d'expérience de provisioning de ressources AWS
• Minimum 3 ans d'expérience en MCO de plateformes Data / Big Data en production
• Expérience des outils de monitoring tels que Grafana, Kibana ou Datadog
• Expérience significative en environnement Scrum Agile

Compétences appréciées

• Data Mesh
• Power BI
• FinOps
• Éco-conception numérique
• Cloud public AWS
• Industrialisation Data Platform
• PoC et études d'architecture
• Accompagnement de squads Agile