- Introduction
- Objectifs
- Schématisation du projet
- Écosystème et stack technologique
- Résultats attendus
- Ingestion de de données massives
- Description
- Caractéristiques clés des outils d’ingestion
- Solutions (packagées, cloud computing et Hadoop)
- Apache NIFI
- Apache KAFKA
- Ingestion de données en streaming NIFI on KAFKA
- Réalisation d’un workflow NIFI d’ingestion de donnée streaming dans HDFS
- Traiter des données Big Data en Batch
- Diagramme de fonctionnement/li>
- Solutions logicielles associées (MapReduce, Hive, Spark, …)/li>
- Big Data Batch scripting/li>
- Data Warehousing Big Data/li>
- Création de tables partitionnées, clusterisées et/ou transactionnelles/li>
- Écriture des scripts d’updates des différentes tables/li>
- Analytics Big Data/li>
- Traitement avancé Big Data
- L’écosystème Spark
- Schéma général de création d’un modèle de ML
- Création d’un modèle de clusterisation de données
- Création d’un modèle d’analyse prédictive supervisé
- Enrichissement d’un DWH avec Spark
- Sauvegarde d’un modèle d’apprentissage machine
- Application d’un modèle ML
- Le stockage de données distribuées
- Principes des bases de donnes distribuées
- Solutions (NoSQL, NewSQL)
- Création d’une base de données distribuée
- Ingestion de données dans une base de données distribuées
- Interrogation d’une base de données distribuées
|
- Automatisation de chaîne de traitement Batch
- L’orchestrateur Oozie
- Ordonnancement de scripts HIVE
- Combinaison avec des scripts SPARK
- Création d’un worklow Oozie complet
- Traitement de données massives en flux
- Principe de fonctionnement
- Solutions logicielles
- Le prétraitement de données en streaming
- L’inscription de streams à un Hub Streaming
- La consommation de streams auprès d’un Hub
- Le traitement avancé de données en flux (machine learning)
- Mise en oeuvre dans une architecture Big Data
- Les approches standards
- Réalisation d’une solution complète de traitement de données type Lamda
- Réalisation d’une solution complète de traitement de données type Kappa
|