baligh B.

PROJET 1 : Développement d’une solution antifraude à la base du Framework Hadoop CONTEXTE PROJET : Ma mission consiste à : • Développer une architecture dédiée à notre solution basée sur une étude comparative entre des outils Hadoop ayant les mêmes fonctions. • Contrôler les compatibilités entre les outils Hadoop. • Intégration et visualisation des données. REALISATIONS : • Collecter des données à partir de sources multiples. • Importer les fichiers dans un DataLake (HDFS). • Création des tables Hive avec HiveQL. • Charger les fichiers dans les tables. • Intégration Spark avec Hive et traitement des requêtes. • Intégration entre Hadoop et Power BI et Visualisation des données. METHODOLOGIE : Agile (SCRUM) ENVIRONNEMENT TECHNIQUE : CentOS 7, Python 3.5, XShell, Power BI, Hadoop-3.0.0, Hive-3.0.0, Spark-2.4.0, HiveQL. **************************************************************************************************************** PROJET 2 : Web Crawling, Création de spider de Web Scraping CONTEXTE PROJET : Au sein du client Databiz ma mission consiste à : • Contrôler la qualité et effectuer les réglages/configurations nécessaires pour crawler les différents sites. • Ecrire des scripts pour des sites qui ont des structures HTML difficile ainsi qu’une navigation Javascript • Former et gérer une nouvelle génération de web crawler REALISATIONS : • Récupération des éléments depuis les pages web avec CSS et Xpath. • Création des spiders de Web Scraping avec python. • Lancer les spiders de Web Scraping chaque mois. • Récupération de fichiers CSV et les Nettoyer avec Pandas et Shell. • Livraison des fichiers CSV aux analystes. • Intégration des fichiers dans la base de données. • Pousser les dernières versions de spiders dans GIT. METHODOLOGIE : Agile (SCRUM) ENVIRONNEMENT TECHNIQUE : CentOS, Python 3.5 (2.7), Git, SSH, Shell, Selenium.

PROJET 1 : Mise en place d’une solution Big Data temps réel pour l’exploitation des réseaux sociaux. REALISATIONS : • Trouver les APIs des réseaux sociaux (Twitter, Facebook, Instagram, ...) avec Python. • Utiliser les deux composants Hadoop, Kafka et Spark pour le streaming et les traitements en temps réel de données. • Exploiter, rechercher et analyser les données (structurées ou non-structurées) avec Elasticsearch. • Charger les données dans une base NoSQL avec Cassandra. • Élaborer une interface graphique avec AngularJS. METHODOLOGIE : DataOps. ENVIRONNEMENT TECHNIQUE : Facebook, Twitter, Instagram, Hadoop, HDFS, Kafka, Spark, Cassandra, Hive, Python, VMware, Cloudera Manager CDH 5.13, Elasticsearch. PROJET 2 : Conception et implémentation d’un Big Data qualité. Analyse des incidents rencontrés par les clients de Tunisie Télécom. REALISATIONS : • Récupération des fichiers des clients Tunisie Télécom (CSV). • Importer les fichiers dans un DataLake (HDFS). • Création des tables Hive avec HiveQL. • Charger les fichiers dans les tables. • Analyses des incidents et satisfactions Clients avec Pig Latin. • Visualisation des données avec Hue. • Faire une liaison entre Hue et QlickView. • Visualisation des données avec QlickView. • Exploitation d’une solution déjà développée en BI et l’ai migré vers le Framework Hadoop de Big Data. METHODOLOGIE : Agile (SCRUM) ENVIRONNEMENT TECHNIQUE : Pig Latin, Hive QL, Java, Hue, VMware, Cloudera CDH 5.13, QlickView. PROJET 3 : Réalisation d'une application de reconnaissance de visage avec OpenCV. La reconnaissance de visage consiste à identifier une ou plusieurs personnes automatiquement sur des photos ou dans des vidéos en analysant et en comparant des formes. Environnement Technique : langage Python, Python 3.6.5, IDLE

Automatisation de la réception et de l’intégration des fichiers relatifs à la masse salariale du client GEODIS dans un environnement Business Intelligence. Télécharger les fichiers de la masse salariale. Intégrer les données des fichiers reçus dans le datastore. Transformer et charger les données dans le datawarehouse. Créer des tâches planifiées qui consiste à planifier tout le processus. Environnement Technique : Windows 2008 Server, SQL Server 2008 R2, Transact-SQL, SQL, BCP, FTP, Script MSDOS, JAVA.

Comparaison de l’intégration de données sur Oracle et SQL Server. Etude de cas : Intégration des fichiers du budget de la Caisse des Dépôts. Environnement Technique : Windows 2008 Server, LINUX FEDORA 20, SQL Server 2008 R2, Transact SQL, Oracle 11g, SQL, PL/SQL.

L’application permet d’assurer la gestion des différents domaines d’activité de la compagnie aérienne à savoir : la gestion des appareils et des vols, l’’affectation des équipages, les réservations, etc… Environnement Technique : Power AMC 15.1, Oracle 11g, Microsoft Visual Studio 2012, C#

L’application permet de gérer les activités d’une magasin : les commandes, le stock, les produits, les fournisseurs, etc… Environnement Technique : langage C, dev c++