Alycia KARA

• Développement de pipelines d’ingestion de données sur Databricks en Spark Python • Développement de notebooks Pyspark pour le traitement des données et optimisation de requêtes SQL • Déploiement, orchestration et automatisation des workflows avec Gitlab CI, AWS Lambda et Airflow • Run management et monitoring avancé des dags en production via Spark UI et CloudWatch (AWS) • Collaboration avec les PO et architectes pour intégrer des solutions Big Data adaptéess aux besoins métiers • Revue de code, démos, documentation Confluence • Tests unitaires / IT , clean code et qualité de code (SonarQube) Skills: Spark Python, AWS, Databricks, Scala, Java spring boot, Airflow, SQL, GitLab CI, Confluence, Jira

• Migration des traitements de hadoop à GCP en Spark Scala • Conception et transformation des données en PySpark • Indexation et exposition des données via des API Rest • Exploitation avancée de BigQuery pour l’analyse de données massives et l’optimisation de requêtes SQL complexes • Déploiement des traitements : Kubernetes, Rundeck, Nexus, Jenkins, Azka- ban, Ansible, Git, Terraform Skills: Python, SQL, Scala, GCP, GitLab CI, Rundeck, Nexus, Jenkins, Azkaban, Terraform, Elasticsearch, Cassandra, Kafka streams, Bash, Kubernetes

• Prédiction des transactions futures des clients Classification Multi-labels • Mise à disposition des données aux métiers via Talend depuis différentes sources sur un cluster Hadoop • Anonymisation et purge des données , règles RGPD (Spark Scala) • Développement de jobs d’ingestion de données depuis différentes sources sur un cluster Hadoop (Talend, Oozie, Hive) • Optimisation des ressources de stockage (Pyspark, suppression automatisée) Skills: Clean code · Extract, Transform, Load (ETL) · Hadoop · Hive · SQL · Apache Spark · Scala · PySpark · Talend