Formation Hadoop

Appréhender le rôle de chaque brique logcielle

Description de la formation Hadoop

Hadoop Common, HDFS, YARN, MapReduce Oozie, Pig, Hive, HBase
Les fonctionnalités du framework Hadoop. Les différentes versions. Distributions : Apache, Cloudera, Hortonworks, EMR, MapR. Spécificités de chaque distribution. Architecture et principe de fonctionnement. Terminologie : NameNode,
DataNode, ResourceManager, NodeManager Rôle des différents composants.

Bulletin d’
inscription
 Demande de
devis
 Détail du
programme

Programme de la formation Hadoop – Tour d’horizon

  • Etude des fichiers de configurations
    • Gestion des utilisateurs pour les daemons hdfs et yarn
    • Droits d’accès sur les exécutables et répertoires
    • Architecture et gestion des services généraux Hadoop
    • HDFS
    • YARN
    • MapReduce
    • HBase
  • Monitoring du cluster Hadoop
    • Suivi de charges journaux (jConsole)
    • Gestion des noeuds Accès JM
    • Mise en oeuvre d’un client JMX
    • Administration HDFS
    • Stockage des fichiers, fsck, dfsadmin
    • Gestion centralisée de caches avec Cacheadmin
  • Sécuritél
    • Activation de la sécurité avec Kerberos dans core-site.xml, et dans hdfs-site.xml pour les NameNode et DataNode.
    • Gestion de la sécurité avec Apache Sentry
  • Exploitation
    • Supervision des éléments par le NodeManage
    • Monitoring graphique avec Ambari, Kibana, Cloudera Manager
    • Visualisation des alertes en cas d’indisponibilité d’un noeud
    • Configuration des logs avec log4j
  • HDFS
    • Architecture
    • Commandes SHELL
  • Mapreduce
    • Architecture MapReduce
    • Exécuter un code MapReduce
  • HUE
    • Introduction
    • Fonctionnalités et utilisation
    • HBASE
      • Architecture
      • Commandes SHELL
        • Création base de données, tables, familles
        • Interrogation des données
    • HIVE
      • Architecture
      • Méthodes d’accès à Hive
      • HiveQL
        • Création de bases de données, tables, vues
        • Interrogation des données grâce au HiveQL
        • Manipulations de fonctions définies par l’utilisateur (UDF)
        • Partitionner vos données
        • Archivage de vos données
    • PIG
      • Introduction
      • Méthodes d’exécution
      • Pig Latin
      • Communication entre Pig et Hive
    • SQOOP
      • Introduction
      • Pour quels usages ?
      • Méthodes d’utilisation
      • Import et export des données
    • OOZIE
      • Introduction
      • Planification de workflows avec paramètres
  • Niveau : Spécialisation
  • Ref : HAB
  • Durée : 3 jours
  • Prix : 1595€HT
  • Niveau : Spécialisation
  • Ref : HAB
  • Durée : 3 jours
  • Prix : à définir
organiser votre formation

Objectifs

  • Appréhender l’architecture d’un système Hadoop.
  • Détailler les services principaux, leur configuration, la sécurité au sein d’un cluster mais aussi son exploitation.
  • Passer en revue les différentes composantes logicielles pour manipuler les données big data (MapReduce, Pig, Hive Sqoop).

Public

  • Directeurs techniques
  • Chefs de projets
  • Architectes
  • Consultants
  • DBA
  • Développeurs d’applications

Pré-requis

  • La connaissance du SQL est un plus
Pré-inscription
Nous proposons
Consulting
Formation