Mohamed amine CHHIH

Responsabilités : • Participation aux réunions de cadrage et de conception pour définir l’architecture applicative et les orientations techniques. • Animation d’ateliers avec le client pour la compréhension des besoins métiers. • Rédaction et mise à jour des spécifications fonctionnelles et techniques. • Études d’impact et chiffrage des évolutions demandées. • Conception et mise en œuvre de solutions Big Data adaptées aux besoins. • Développement de traitements distribués en Spark/Scala et PySpark/Python, ainsi que de notebooks Databricks. • Déploiement et exécution des pipelines sur clusters Databricks/sql warehouse. • Ordonnancement des jobs via Rundeck. • Intégration et chargement des données dans Elasticsearch. • Création et optimisation de dashboards dans Kibana. • Migration de flux Talend vers Azure Data Factory et Databricks, avec refonte des traitements et optimisation des performances. • Optimisation des traitements Spark (performance, scalabilité, réduction des coûts). • Application de pratiques FinOps pour optimiser les coûts liés à l’usage des clusters Databricks et des ressources cloud. • Migration vers Unity Catalog pour renforcer la gouvernance, la sécurité et la gestion centralisée des données/métadonnées. • Mise en place et utilisation des Databricks Asset Bundles pour automatiser le déploiement, standardiser les environnements et industrialiser les livrables. Environnement technique: Databricks,Elk/Kibana, Azure adls gen2, rundeck, Spark/Scala, Python/Pyspark, Azure data factory, Talend 7.3

Responsabilités : • Définition de l’architecture data cible (ingestion, transformation, exposition) et contribution aux choix techniques dans un contexte de migration vers le cloud. • Conception, développement et optimisation de traitements distribués en Spark/Scala sur Databricks. • Intégration de nouveaux flux de données depuis diverses sources (CSV, Parquet, Avro, JSON) via Azure Data Factory (ADF). • Migration et refonte des pipelines existants vers Databricks + ADF, avec amélioration de la fiabilité et des performances. • Maintenance évolutive et corrective des traitements (bug fixing, évolutions fonctionnelles). • Déploiement, supervision et maintien en conditions opérationnelles des applications data en production. • Conception et exécution des tests (unitaires, intégration, recette) dans un contexte CI/CD. • Analyse des DAG de traitements Spark et optimisation des performances (partitionnement, cache, tuning). • Rédaction des spécifications techniques et de la documentation projet. • Encadrement et accompagnement des nouveaux arrivants pour assurer leur montée en compétences sur l’écosystème Databricks & Cloud. Environnement technique : Databricks, Spark/Scala, Python/Pyspark, Azure Data Factory, AWS S3, SQL, Git

Responsabilités : Maintenance Évolutive et corrective des applications Big Data pour la pré-évaluation des entreprises et pour la catégorisation des opérations Bancaires • Suivi quotidien de la production et supervision des traitements batch. • Analyse et correction des anomalies sur les pipelines de données. • Intégration de nouveaux flux de données (CSV, Parquet) dans le data lake. • Développement des évolutions fonctionnelles sur les traitements distribués en Spark/Scala. • Alimentation des tables Hive via Talend Big Data (ingestion, contrôle qualité, historisation). • Conception et gestion des tables Hive externes pour l’exploitation des données stockées sur HDFS. • Création des tables Hive internes pour les données agrégées et exposées aux équipes métiers. • Optimisation des traitements Spark (partitionnement, parallélisation, tuning des jobs). • Ordonnancement et automatisation des traitements via Oozie. • Rédaction de documentation technique et support aux équipes fonctionnelles. Environnement technique : HDP 2.6, Hive, Spark, SQL, Shell, Oozie, Talend Big data 7, Scala et HDFS

Responsabilités : Le projet consiste à charger des fichiers de transactions, et de calculer par la suite des données statistiques et des données de facturation ● Rédaction des spécifications techniques ● Rédaction des cahiers de tests ● Rédaction des manuels d’installations ● Participation aux ateliers métiers ● Développement et conception des Jobs Talend ● Conception et développement de la chaîne quotidienne de lancement ● Développement des scripts Shell ● Développement des composants spécifiques pour lire les fichiers en entrée ● Tests unitaires et d'intégration ● Assistance à la recette Environnement technique : Talend (6.2), java et PostgreSQL 9.3

Le projet consiste à migrer des interfaces existantes depuis l’EAI Seebeyond vers l’etl talend et à archiver tous les flux vers le data lake. ● Rédaction des spécifications techniques ● Rédaction des cahiers de tests ● Rédaction des manuels d’installations ● Participation aux ateliers métiers ● Développement et conception des Jobs Talend ● Tests unitaires et d'intégration ● Assistance à la recette ● Archiver les données sur le datalake Environnement technique : Talend big data (6.1.1) ,hadoop, hive, sqlserver et oracle