Appréhender le rôle de chaque brique logcielle
Description de la formation Hadoop
Hadoop Common, HDFS, YARN, MapReduce Oozie, Pig, Hive, HBase
Les fonctionnalités du framework Hadoop. Les différentes versions. Distributions : Apache, Cloudera, Hortonworks, EMR, MapR. Spécificités de chaque distribution. Architecture et principe de fonctionnement. Terminologie : NameNode,
DataNode, ResourceManager, NodeManager Rôle des différents composants.
Bulletin d’
inscription Demande de
devis Détail du
programme
Programme de la formation Hadoop – Tour d’horizon
- Etude des fichiers de configurations
- Gestion des utilisateurs pour les daemons hdfs et yarn
- Droits d’accès sur les exécutables et répertoires
- Architecture et gestion des services généraux Hadoop
- HDFS
- YARN
- MapReduce
- HBase
- Monitoring du cluster Hadoop
- Suivi de charges journaux (jConsole)
- Gestion des noeuds Accès JM
- Mise en oeuvre d’un client JMX
- Administration HDFS
- Stockage des fichiers, fsck, dfsadmin
- Gestion centralisée de caches avec Cacheadmin
- Sécuritél
- Activation de la sécurité avec Kerberos dans core-site.xml, et dans hdfs-site.xml pour les NameNode et DataNode.
- Gestion de la sécurité avec Apache Sentry
- Exploitation
- Supervision des éléments par le NodeManage
- Monitoring graphique avec Ambari, Kibana, Cloudera Manager
- Visualisation des alertes en cas d’indisponibilité d’un noeud
- Configuration des logs avec log4j
- HDFS
- Architecture
- Commandes SHELL
- Mapreduce
- Architecture MapReduce
- Exécuter un code MapReduce
|
- HUE
- Introduction
- Fonctionnalités et utilisation
- HBASE
- Architecture
- Commandes SHELL
- Création base de données, tables, familles
- Interrogation des données
- HIVE
- Architecture
- Méthodes d’accès à Hive
- HiveQL
- Création de bases de données, tables, vues
- Interrogation des données grâce au HiveQL
- Manipulations de fonctions définies par l’utilisateur (UDF)
- Partitionner vos données
- Archivage de vos données
- PIG
- Introduction
- Méthodes d’exécution
- Pig Latin
- Communication entre Pig et Hive
- SQOOP
- Introduction
- Pour quels usages ?
- Méthodes d’utilisation
- Import et export des données
- OOZIE
- Introduction
- Planification de workflows avec paramètres
|
LA SATISFACTION DES PARTICIPANTS À CETTE FORMATION EST DE 4.3/5 :