Alpha Sahiphoulaye SY

Dans cette compétition, le défi était d'automatiser le processus de normalisation de texte via l'apprentissage automatique. La langue requise était l'Anglais. Après 11 soumissions avec l'équipe Astrakhan Data, nous avons terminé 32e sur 260 (Top 13%).

PROJET MAGNOLIA (Organisme de collecte de données dans Hadoop) Migration des données de Gares & Connexions dans Hadoop via Hue, Microsoft Azure Analyse de données issues des réseaux sociaux Twitter, Facebook (e-réputation) Croisement des données internes de la SNCF avec des Open Data Connexion de Spotfire à Hive afin de créer des tableaux de bord Utilisation des packages RHadoop (logiciel R) et simple_salesforce (Python) pour alimenter HDFS au moyen de ces sources de données (Wave, Google Analytics, Salesforce) Nettoyage des données dans Hadoop avant injection dans Wave et SAS Récupération et stockage automatique des données de Garantie des Gares, Oboto (objets trouvés), Progare (propreté des gares) Utilisation du programme cron pour planifier automatiquement des tâches de récupération et de stockage de données Utilisation de oozie pour la mise à jour automatique de requêtes hiveql Utilisation de PySpark pour le traitement massif de données PROJET INFORMATION VOYAGEURS (Qualité de l’affichage des trains) Transformation et nettoyage de données brutes stockées sous Hadoop en tables hive exploitables Calcul de nouveaux champs issus de croisements avec d’autres tables de data Chargement des tables finales dans le LASR de SAS Visual Analytics (alimentation du tableau de bord EURO 2016) PROJET WIFI Recueil et stockage automatique des données (au format json) de comptes et de connexions Wifi dans Hadoop, puis injection dans Wave (Salesforce) Alimentation automatique de fichiers dans des blobs Azure pour Microsoft Power BI PROJET PREDICTIF Prédiction du chiffre d'affaires des commerces en gare (librairie randomForest de R) Algorithme de Machine Learning utilisé : RandomForest appliqué à la régression

Traitement de données Big Data Hadoop/NoSQL Intégration avec le système d'information existant Data Mining de données à l'aide de la statistique (Machine Learning) Mise en place de solutions de visualisation (tableaux de bord, reporting)

Reporting à partir d'une plateforme Big Data dans un environnement Business Connexion de Spotfire à Hive pour récupérer les tables créées et faire par la suite des dashboards Veille à la concurrence hôtelière (Réalisation de dashboards sous Spotfire à partir de données hôtelières) Accompagnement du métier des ressources humaines (Réalisation de dashboards sous Spotfire à partir de données LinkedIn)

Data Mining sur une plateforme Big Data pour le marketing digital Écriture de requêtes Hive pour créer des tables à partir des données de réseaux sociaux Indexation de données dans Elasticsearch et réalisation de dashboards sous Kibana Connexion de Spotfire à Hive afin de créer des dashboards Analyse de données avec R et Text Mining

Formation R et TIBCO Spotfire Familiarisation avec le langage R Programmation avec le langage R Analyse statistique avec le langage R Présentation du moteur TERR (TIBCO Enterprise Runtime for R)

Mise en place de modèles statistiques d'analyse de performance Analyse et pronostics des ventes (séries chronologiques) Évaluation de typologies et de potentiels de vente Assistance et formation aux équipes Métier Collaboration avec les responsables opérationnels

Étude d'une méthode d'interférence de protéines en protéomique quantitative par spectrométrie de masse Recherche d'articles scientifiques dignes d'intérêt Test des différentes méthodes statistiques (SQL pour les requêtes) Implémentation de la méthode retenue (sous R)