Lamiss Elkhattouti

Data Engineer Conception et déploiement de pipelines sur Databricks avec PySpark, capables de traiter des volumes massifs de données et de répondre à des besoins métiers critiques. Analyse du Spark UI et optimisation des jobs PySpark, afin d’améliorer la performance des traitements, réduire les coûts et garantir la scalabilité des pipelines Databricks. Industrialisation de projets DataLab : transformation de POCs analytiques en pipelines maintenables, intégrés dans l’usine data. Développement de scripts Python packagés en Docker, déployés et orchestrés sur Kubernetes, pour assurer la portabilité et la scalabilité des traitements. Mise en place d’une automatisation CI/CD complète avec Jenkins, garantissant un déploiement fluide et sécurisé de pipelines robustes. Contribution à la création d’un socle data unifié pour centraliser, standardiser et fiabiliser les traitements au sein de la plateforme. Supervision et monitoring des flux avec Datadog, incluant la gestion proactive des alertes d’ingestion. Data Architect Conception d’architectures data fonctionnelles sur AWS adaptées aux cas d’usage métiers et alignées sur la gouvernance interne. Accompagnement des équipes métier dans la formalisation des besoins en ingestion, traitement et restitution de données. Participation à la définition et à l’application des normes de gouvernance data, garantissant la conformité et la qualité des projets. Travail en environnement Agile/Scrum, participation aux cérémonies (daily, sprint planning, rétrospectives, review...) et collaboration rapprochée avec les Product Owners et Business Analysts pour livrer des solutions alignées aux besoins métiers. Stack: PySpark, Databricks, Python, Pandas, Kafka, Docker, Kubernetes, Jenkins, Airflow, AWS (S3, Redshift, Glue, Lambda, EKS, MSK), Power BI.

Conception et développement de pipelines data dans un environnement Hadoop avec PySpark, optimisés pour répondre aux besoins métiers critiques du système GSM-R. Collaboration continue avec les équipes métier afin d’affiner les règles fonctionnelles et d’adapter les pipelines aux cas d’usage spécifiques. Mise en place de DAGs Airflow pour orchestrer et automatiser les traitements, avec intégration de mécanismes de monitoring et d’alerting pour garantir fiabilité et continuité des flux. Assurance de l’unicité et de l’alignement inter-applicatif des données entre SNCF Réseau et SNCF Voyageurs, renforçant la cohérence, la qualité et la fiabilité des échanges. Évolution dans un cadre Agile, avec itérations courtes et échanges réguliers avec les équipes fonctionnelles et techniques. Stack : Hadoop, HDFS, Hive, YARN, PySpark, Python, Pandas, Airflow, Data Engineering, Data Quality, Industrialisation.