Il y a 1 year
Commentaire
super
DescriptionProgrammeAvis
Architecture MapReduce et gestion des containers
Objectifs
Les objectifs de cette vidéo sont de :
- Comprendre le rôle du Resource Manager dans MapReduce
- Apprendre comment les Application Masters sont instanciés et gérés
- Explorer la gestion des containers pour les applications distribuées
Résumé
Cette leçon explique comment deux clients soumettent des jobs MapReduce au Resource Manager, qui instancie des Application Masters et leur assigne des containers.
Description
Dans cette leçon, nous examinons en détail le processus par lequel deux clients soumettent des jobs MapReduce distincts au Resource Manager. Le Resource Manager, élément crucial de l'architecture Hadoop, se charge de gérer les ressources et de coordonner les applications. Chaque job soumis génère une Application Master spécifique chargée de la gestion et de l'exécution du job. Dans notre exemple, le Resource Manager instancie deux Application Masters sur deux nodes managers différents pour exécuter deux jobs séparés. La première Application Master, illustrée en violet, requiert un seul container pour fonctionner, tandis que la seconde, en rouge, en nécessite trois. Cette structure modulaire permet une gestion fine et efficace des ressources disponibles, optimisant ainsi les performances des tâches distribuées.
Questions - réponses
Questions réponses
Quel est le rôle du Resource Manager dans MapReduce ?
Le Resource Manager est responsable de la gestion et de l'allocation des ressources nécessaires pour exécuter les tâches MapReduce.
Comment sont instanciés les Application Masters dans cet exemple ?
Le Resource Manager instancie deux Application Masters sur deux nodes managers différents pour exécuter deux jobs MapReduce distincts.
Combien de containers la seconde Application Master nécessite-t-elle ?
La seconde Application Master nécessite trois containers pour exécuter l'application.
Programme détaillé
Module 1 - Introduction
Module 2 - Installation d'Hadoop
Installer Java
00:35
Installer Hadoop
00:19
Configurer HDFS
01:37
Configuration
00:31
Lancer un cluster Hadoop
00:23
Configurer YARN
00:59
Lancer YARN
00:22
Vérifier l'installation
00:08
Module 3 - HDFS
Présenter HDFS
00:37
Module 4 - MapReduce
Module 5 - Yarn
1 commentaire
3,0
1 vote
5
4
3
2
1
Formation ajoutée au panier
Apprendre les fondamentaux d'Hadoop
Formateur expert
Accès sur tous vos appareils
Fichiers de travail téléchargeables