Bandian Conde

- Construction de pipelines robustes en Python(Polars, Pandas), Spark, Airflow - Best Practices: Clean Code, Tests Unitaires & Integrations, Linters, Type Hints - Migration de flux Spark Scala vers Polars - Conception from scratch d'une libairie de tests d'intégration pour des jobs en polars et Spark (contribution au niveau de la Data Platform) - Déploiement et CI/CD : Github Actions, AWS, EMR, Kubernetes, Databricks Environnement : Python(Polars, Pandas), Spark, Airflow, Kubernetes, Docker, Github Actions, Hive, Databricks, Python, SQL, AWS (S3, Glue, Athena, EMR, EKS), Hive, Minio, Glue, Docker, Pytest, Poetry, PyArrow, MyPy, Pylint

- Installation, configuration and monitoring d’une dizaine de clusters Kafka (Confluent Platform) et ELK. - Automatisation du déploiements des clusters avec Ansible et Docker. - Optimisation des clusters Kafka et ELK - Construction de pipelines de données avec Kafka, Kafka Connect, Schema Registry, KSQL, Logstash, Elasticsearch et Postgres. - Alimentation et monitoring des modèles de machine learning. - Construction de dashboards Kibana pour faciliter l’analyse des performances d'ordres boursiers (Transaction Cost Analysis). - Création d'un outil pour déployer automatique des clusters et des pipelines de données standard en fonction du client. - Environment : Kafka, Linux, KSQL, Schema Registry, Kafka Connect, Ansible, SQL, Python, Docker, PostGreSQL, Metricbeat, Logstash, Elastic, Kibana, Metricbeat, JMX

- Benchmark des différentes méthodes d’extraction utilisant des OCR, des systèmes à base de règles et des parseurs spécifiques à chaque format. - Implémentation d’un méthode d’extraction utilisant l’OCR Tesseract et le framework Spacy. - Utilisation d’un réseau de neurones permettant de ranger un CV par rapport à une offre d’emploi spécifique. - Environment : Scikit-learn, Keras, Tensorflow, Spacy, NLTK, Tesseract, Pandas

- Build pipelines for times series processing - Aggregate Data for different Elasticsearch indexes - Outlier detection applied to times series for application monitoring - Deployment of models in the cloud Stack : Keras,Tensorflow, Numpy, Pandas ,Pytorch, ElasticSearch, Kibana, AWS Sagemaker, AWS S3, Scikit-learn ,Docker

- Designing a Data structure for graph tasks - Visualizing dependencies in graph tasks - Optimizing parallelism between many graph tasks - Sending graphs to a supercomputer