Data Engineer Hadoop / PySpark

Contexte

Le client recherche un profil majeur Hadoop et mineur GCP pour intervenir sur le datalake CIO Office. Le consultant travaillera en lien avec l'équipe de production applicative et devops dans un environnement dynamique et en constante évolution.

Missions

• Mettre en œuvre de nouvelles ingestions de données, data prep et transformations
• Maintenir et faire évoluer les outils de gestion des pipelines de données (PySpark + shell scripting)
• Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme
• Éventuellement mettre en œuvre une couche d'APIs afin d'exposer les données

Outils & Environnement

• Plateforme Hadoop
• Développement en Python/PySpark et Hive
• SQL, GIT, Jenkins, Jira
• Shell scripting sous Unix/Linux
• Connaissances appréciées : Indexima, Alteryx, Altair, GCP/Big Query, bibliothèques Python orientées API
• Méthodologie agile, notamment SCRUM

Conditions de travail

• Collaboration avec une équipe IT basée notamment à Porto, nécessitant une maîtrise de l'anglais à l'écrit et à l'oral
• Travail en équipe dans un environnement agile et évolutif
• Autonomie, initiative et capacité d’analyse pour résoudre des problèmes complexes

1. Excellente maîtrise de la plateforme Hadoop, ainsi que du développement en Python/PySpark et Hive
2. Bonne connaissance de SQL, GIT, Jenkins, Jira, et du shell scripting sous Unix/Linux
3. Maîtrise de l'anglais, tant à l'écrit qu'à l'oral
4. Expérience dans des environnements agiles, en particulier avec la méthodologie SCRUM
5. Connaissances et expériences avec des outils et technologies tels que Indexima, Alteryx, Altair, GCP/Big Query, ainsi que des bibliothèques Python orientées API
6. Capacité à rédiger des spécifications techniques claires et précises
7. Dynamisme, excellent relationnel et capacité à travailler en équipe
8. Force de proposition et curiosité technique pour explorer de nouvelles solutions et technologies