Il y a 1 year
Commentaire
super
DescriptionProgrammeAvis
Étapes pour créer et exécuter un programme MapReduce
Objectifs
Les objectifs de cette vidéo sont de :
- Comprendre la structure et l'exécution d'un programme MapReduce.
- Apprendre à manipuler le système de fichiers HDFS pour préparer l'environnement d'exécution.
- Savoir compiler et exécuter des programmes Java sur Hadoop.
Résumé
Apprenez comment préparer et exécuter un programme MapReduce sur Hadoop en créant et manipulant des répertoires et fichiers sur HDFS.
Description
Cette leçon vous guide étape par étape à travers le processus de création et d'exécution d'un programme MapReduce avec Hadoop. Nous commençons par la configuration initiale, où nous créons un répertoire nommé WordCount sur HDFS et y ajoutons les fichiers nécessaires. Ensuite, nous illustrons la création de fichiers texte en local qui serviront d'input pour notre programme.
Nous expliquons en détail le code source du programme, mettant en évidence les classes Map et Reduce, ainsi que la configuration nécessaire pour passer les chemins d'entrée et de sortie lors de l'exécution. Une fois le fichier Java compilé et transformé en jar, nous montrons comment le déployer et l'exécuter sur Hadoop, en spécifiant les chemins appropriés sur HDFS.
Enfin, nous présentons la méthode pour vérifier et afficher les résultats de notre programme via l'interface du NameNode et l'utilisation des commandes HDFS. Cette approche pratique garantit que vous pouvez appliquer ce savoir-faire à vos propres projets.
Questions - réponses
Questions réponses
Quel est le répertoire principal créé sur HDFS pour le projet?
Le répertoire principal créé sur HDFS pour le projet est nommé WordCount.
Quels fichiers texte sont utilisés dans l'exemple?
Deux fichiers texte, Input1 et Input2, sont utilisés dans l'exemple pour démontrer le programme WordCount.
Que se passe-t-il si le répertoire de sortie n'existe pas avant l'exécution du programme?
Le programme MapReduce crée automatiquement le répertoire de sortie s'il n'existe pas avant l'exécution.
Programme détaillé
Module 1 - Introduction
Module 2 - Installation d'Hadoop
Installer Java
00:35
Installer Hadoop
00:19
Configurer HDFS
01:37
Configuration
00:31
Lancer un cluster Hadoop
00:23
Configurer YARN
00:59
Lancer YARN
00:22
Vérifier l'installation
00:08
Module 3 - HDFS
Présenter HDFS
00:37
Module 4 - MapReduce
Module 5 - Yarn
1 commentaire
3,0
1 vote
5
4
3
2
1
Formation ajoutée au panier
Apprendre les fondamentaux d'Hadoop
Formateur expert
Accès sur tous vos appareils
Fichiers de travail téléchargeables