Senior Data Engineer Big Data

Contexte

Dans le cadre de son plan de transformation Data, un grand groupe média poursuit un objectif central : développer des applications Data permettant aux directions métiers (pilotage, marketing, commerce, etc.) de gagner en autonomie dans l'analyse de leurs données et le suivi de leurs KPI mais aussi de mettre en place des applications customer-facing.

Pour répondre à cet enjeu, ce groupe s'appuie sur un écosystème technologique étendu, comprenant notamment : AWS, GitLab, Terraform, DBT, Snowflake, GenAI, Braze, Scala, Spark, Python, Power BI, ainsi que des briques d'Intelligence Artificielle.

La plateforme repose sur des architectures robustes et évolutives (Datalake, Lakehouse, des architectures multi-tenant, des architectures event-driven et streaming) conçues pour ingérer et gérer plus de 100 To de données par jour, dont une part majoritaire en temps réel.

Les cas d'usage couverts sont variés, parmi lesquels :

• IA pour recommandation des programmes et des offres

• Plateforme agentique customer-facing

• Gender Equality Monitoring

• Feature Store

• Modernisation des flux financiers

• Content Platform

• Mise en place Kubernetes

• Plateforme pour le traitement des données CRM et usage

• Partager des informations sur les clients à des partenaires

• Piloter plus efficacement l'activité des marchés professionnels

• Mettre à disposition des applications de data-selfservice

Le consultant aura pour mission de réaliser des développements avancés sur le socle des données Big Data pour la mise en place des usecases IA. Cet environnement Big Data, fortement orienté Streaming et IA, traite quotidiennement plus de 100 To de données.

Le consultant doit maîtriser les architectures de Streaming Data, AWS (notamment Lambda, Batch, Step Function, EMR Serverless, Kinesis Stream, S3, Firehose, DynamoDB, etc.), Airflow, Scala, Spark, SQL, Snowflake, GitLab CI/CD, Terraform.

Missions

• Concevoir et développer des pipelines de données performants

• Développer en utilisant des outils tels que Scala, DBT et Spark

• Implémenter des architectures de Streaming Data robustes

• Contribuer activement aux initiatives FinOps

• Développer et optimiser des traitements d'intégration de données en streaming

• Participer activement à l'évolution continue de la plateforme IA

Outils & Environnement

• AWS (Lambda, Step Function, Kinesis Stream, S3, Batch, Firehose, EMR Serverless, DynamoDB)

• Scala, Spark, Python

• Snowflake, DBT

• Airflow

• GitLab CI/CD

• Terraform

• Méthodes Agiles (Scrum, Kanban)

Conditions de travail

• Durée : longue durée

• Début : ASAP

• Environnement de travail combinant rigueur et ambiance décontractée au sein des équipes

Rejoignez une équipe dynamique où innovation et expertise se rencontrent !

1. Vous justifiez d’une expérience de 7 ans minimum dans un environnement similaire
2. Vous maîtrisez AWS, Airflow, MLFlow, GitLab CI/CD et Terraform
3. Vous êtes fluent en Python, Scala et Spark
4. Vous disposez d'une bonne culture en Data Science et en IA générative (une familiarité avec ces domaines est attendue, sans nécessité d'en être expert)
5. Vous aimez les challenges techniques et êtes motivé par les environnements exigeants
6. Vous êtes expert dans le développement de solution d'intégration de données
7. Vous parlez Anglais couramment
8. Vous connaissez et maîtrisez les outils JIRA et les méthodes « agiles »
9. Autonome, ouvert d’esprit et bon communiquant, vous disposez d’une grande curiosité scientifique