Fonctionnement du Resource Manager dans MapReduce

Exemple
Vidéo non disponible ! Réessayez plus tard
Cette vidéo fait partie de la formation
Apprendre les fondamentaux d'Hadoop
Revoir le teaser Je m'abonne
3,0
Transcription

69,00€ Je commande

Formation incluse dans l'abonnement Elephorm Je m'abonne à Elephorm

DescriptionProgrammeAvis
3,0
69,00€ Je commande

Formation incluse dans l'abonnement Elephorm Je m'abonne à Elephorm

Les objectifs de cette vidéo sont de :
- Comprendre le rôle du Resource Manager dans MapReduce
- Apprendre comment les Application Masters sont instanciés et gérés
- Explorer la gestion des containers pour les applications distribuées

Cette leçon explique comment deux clients soumettent des jobs MapReduce au Resource Manager, qui instancie des Application Masters et leur assigne des containers.

Dans cette leçon, nous examinons en détail le processus par lequel deux clients soumettent des jobs MapReduce distincts au Resource Manager. Le Resource Manager, élément crucial de l'architecture Hadoop, se charge de gérer les ressources et de coordonner les applications. Chaque job soumis génère une Application Master spécifique chargée de la gestion et de l'exécution du job. Dans notre exemple, le Resource Manager instancie deux Application Masters sur deux nodes managers différents pour exécuter deux jobs séparés. La première Application Master, illustrée en violet, requiert un seul container pour fonctionner, tandis que la seconde, en rouge, en nécessite trois. Cette structure modulaire permet une gestion fine et efficace des ressources disponibles, optimisant ainsi les performances des tâches distribuées.

Voir plus
Questions réponses
Quel est le rôle du Resource Manager dans MapReduce ?
Le Resource Manager est responsable de la gestion et de l'allocation des ressources nécessaires pour exécuter les tâches MapReduce.
Comment sont instanciés les Application Masters dans cet exemple ?
Le Resource Manager instancie deux Application Masters sur deux nodes managers différents pour exécuter deux jobs MapReduce distincts.
Combien de containers la seconde Application Master nécessite-t-elle ?
La seconde Application Master nécessite trois containers pour exécuter l'application.
1 commentaire
3,0
1 vote
5
4
3
2
1
F0BCE18F-B4CF-4428-B3BF-711FC7AA03D6@cyberlibris.studi.fr
Il y a 1 year
Commentaire
super