Data Engineer Hadoop / PySpark - Freelance @ Paris

Contexte

Une DSI corporate d'un grand groupe français fait évoluer son datalake. Le poste existe pour porter les nouvelles ingestions de données et l'outillage des pipelines, en lien direct avec l'équipe de production applicative et devops.

Le datalake tourne déjà. Vous reprenez l'existant, vous l'étendez, vous le fiabilisez.

Le rôle

Vous déployez les nouvelles ingestions de données et les traitements de data prep et de transformation. Vous maintenez et faites évoluer les outils de gestion des pipelines, en PySpark et shell scripting. Vous adressez à l'équipe devops les demandes d'évolution de la plateforme. Vous rédigez les spécifications techniques des développements que vous portez.

L'équipe travaille en Scrum. Une partie de l'équipe IT est basée hors de France, l'anglais écrit et oral est utilisé au quotidien.

Les conditions

Mission freelance à temps plein, à Paris. TJM selon profil.

Environnement technique : Hadoop, Python et PySpark, Hive, SQL, Git, Jenkins, Jira, shell scripting Unix/Linux. Sont des plus : Indexima, Alteryx, Altair, GCP et BigQuery, et les bibliothèques Python orientées API.

Todai

Todai place des freelances tech, data et produit. Nous restons votre interlocuteur pendant toute la mission.

1) 3 à 6 ans d'expérience en data engineering sur écosystème Hadoop en production.

2) Maîtrise de PySpark et de Hive, avec du développement Python réel derrière, pas uniquement de l'orchestration.

3) SQL solide et shell scripting Unix/Linux au quotidien.

4) À l'aise avec Git, Jenkins et Jira dans une chaîne de livraison partagée.

5) Anglais professionnel écrit et oral, vous échangez sans friction avec des interlocuteurs non francophones.

6) Vous avez déjà travaillé en Scrum et vous savez rédiger une spécification technique claire.