CATALOGUE Code & Data Apprendre les fondamentaux d'Hadoop Guide de Configuration d'Hadoop

Guide de Configuration d'Hadoop

Configurer HDFS

Vidéo non disponible ! Réessayez plus tard

25min

30 leçons

3,0

Transcription

69,00€ Je commande

Formation incluse dans l'abonnement Elephorm Je m'abonne à Elephorm

PRO : J'en fait profiter mon équipe

DescriptionProgrammeAvis

25min

30 leçons

3,0

69,00€ Je commande

Formation incluse dans l'abonnement Elephorm Je m'abonne à Elephorm

PRO : J'en fait profiter mon équipe

Configurations Essentielles après le Téléchargement

Objectifs

Les objectifs de cette vidéo sont de :

Montrer comment accéder et modifier les fichiers de configuration Hadoop.
Expliquer l'ajout de configurations spécifiques dans core-site.xml et hdfs-site.xml.
Guider sur la définition de JAVA_HOME dans le fichier hadoopenv.sh.

Résumé

Apprenez à configurer Hadoop après le téléchargement, incluant les modifications de core-site.xml, hdfs-site.xml et hadoopenv.sh.

Description

Cette leçon présente un guide détaillé sur les configurations nécessaires après avoir téléchargé et dézippé les fichiers d'Hadoop. Vous apprendrez à naviguer dans le répertoire Hadoop et à modifier les fichiers core-site.xml et hdfs-site.xml pour ajouter des configurations spécifiques. Vous serez également guidé sur la manière de modifier le fichier hadoopenv.sh pour spécifier la variable JAVA_HOME. Des instructions claires et efficaces sont fournies pour obtenir et entrer l'emplacement de JAVA_HOME dans votre environnement. Ce guide est essentiel pour ceux qui débutent avec Hadoop et cherchent à s'assurer que leur installation est correctement configurée.

Questions - réponses

Comment accéder au fichier core-site.xml ?

Vous pouvez accéder au fichier core-site.xml en naviguant dans le répertoire etc/hadoop/core-site.xml à partir du répertoire d'installation de Hadoop.

Quelle commande permet de connaître le chemin vers JAVA_HOME ?

Vous pouvez utiliser la commande 'echo $JAVA_HOME' pour afficher le chemin de JAVA_HOME.

Pourquoi est-il important de définir JAVA_HOME dans hadoopenv.sh ?

Définir JAVA_HOME dans hadoopenv.sh est crucial car Hadoop utilise cette variable d'environnement pour localiser l'installation de Java nécessaire à son fonctionnement.

Programme détaillé

Accueil de la formation

Module 1 - Introduction

Paradigme Big Data 02:11

Historique d'Hadoop et présentation rapide des principaux composants 00:21

Module 2 - Installation d'Hadoop

Installer Java 00:35

Installer Hadoop 00:19

Configurer HDFS 01:37

Configuration 00:31

Initialiser un cluster Hadoop 00:11

Lancer un cluster Hadoop 00:23

Configurer YARN 00:59

Lancer YARN 00:22

Vérifier l'installation 00:08

Stopper un cluster Hadoop 00:52

Module 3 - HDFS

Présenter HDFS 00:37

Présenter l'architecture HDFS 00:48

Présenter de la réplication sur HDFS 00:34

Démo : Créer un dossier sur HDFS 00:59

Démo : Envoyer un fichier sur HDFS 00:39

Démo : Lister les fichiers présents sur HDFS et afficher leur contenu 00:37

Démo : récupérer un fichier depuis HDFS 00:39

Démo : supprimer un fichier sur HDFS 00:22

Module 4 - MapReduce

Présenter MapReduce 00:34

WordCount avec MapReduce 00:10

Fonction Map 00:44

Fonction Reduce 00:46

Démo : développer un job MapReduce 04:27

Module 5 - Yarn

Présenter YARN 00:59

Exemple 00:21

Présenter l'interface de YARN 02:08

Module 6 - Ecosystème Hadoop

Présentation rapide des autres composants de l'écosystème Hadoop (HBase, Hive, Zookeeper, Sqoop, Pig, Oozie, Kafka, Spark) 00:56

Un mot sur les distributions Hadoop (Cloudera ...) 00:48

1 commentaire

3,0

1 vote

F0BCE18F-B4CF-4428-B3BF-711FC7AA03D6@cyberlibris.studi.fr

Il y a 1 year

Commentaire

super