Développement & Traitement de Données – Big Data / Calcul Scientifique

1. Contexte

Dans le cadre du développement et de l’industrialisation de ses capacités de traitement de données, notre client souhaite renforcer ses équipes sur des sujets de data engineering avancé, calcul distribué et traitement scientifique de données.

Les travaux s’inscrivent dans un environnement à forte volumétrie, nécessitant des compétences en Big Data, optimisation de pipelines et calcul parallèle.

2. Objectifs de la mission

Les objectifs principaux sont :

• Concevoir et optimiser des pipelines de traitement de données à grande échelle

• Gérer des volumes importants de données (Big Data)

• Mettre en place des architectures scalables et performantes

• Développer des algorithmes de traitement et d’analyse avancés

• Industrialiser les traitements et garantir leur robustesse

3. Périmètre technique

🔹 Calculs statistiques & mathématiques

• Détection de features

• Segmentation

• Reconstruction tomographique

• Analyse de diffraction / diffusion

• Tests d’hypothèses, classification

• Transformée de Fourier, algèbre linéaire

• Optimisation numérique

🔹 Formats de données & traitement

• Gestion de formats scientifiques et volumineux

• Structuration et transformation de données

🔹 Orchestration & stockage

• HDFS

• Nexus

• TIFF

🔹 Big Data & pipelines

• Gestion de gros volumes de données

• Optimisation de pipelines de traitement

🔹 Outils d’analyse open source

• ImageJ / Fiji

• SPEC

• Lima

• Bliss

• Sardana

• Tango Controls

🔹 Environnement de travail

• Notebooks (Jupyter Notebook, JupyterLab)

🔹 Développement

• Python

🔹 Calcul distribué & parallèle

• OpenMP

• OpenMPI

• ZeroMQ

• gRPC

🔹 Programmation GPU

• CUDA

• OpenCL

• OpenACC

🔹 Architecture & scalabilité

• Conception d’architectures de calcul parallèle

• Optimisation des performances

• Passage à l’échelle

4. Livrables attendus

• Pipelines de traitement optimisés et industrialisés

• Documentation technique des traitements

• Scripts et modules de calcul (Python / HPC)

• Recommandations d’architecture et de scalabilité

• Tableaux de performance et benchmarks

Profil recherché

Le prestataire devra justifier :

• D’une expérience significative en data engineering / HPC / calcul scientifique

• D’une maîtrise des environnements Big Data et distribués

• D’une capacité à travailler sur des sujets complexes et à forte volumétrie

• D’une expertise en optimisation de performance (CPU / GPU)