Architecture MapReduce et gestion des containers
Objectifs
Les objectifs de cette vidéo sont de :
- Comprendre le rôle du Resource Manager dans MapReduce
- Apprendre comment les Application Masters sont instanciés et gérés
- Explorer la gestion des containers pour les applications distribuées
Résumé
Cette leçon explique comment deux clients soumettent des jobs MapReduce au Resource Manager, qui instancie des Application Masters et leur assigne des containers.
Description
Dans cette leçon, nous examinons en détail le processus par lequel deux clients soumettent des jobs MapReduce distincts au Resource Manager. Le Resource Manager, élément crucial de l'architecture Hadoop, se charge de gérer les ressources et de coordonner les applications. Chaque job soumis génère une Application Master spécifique chargée de la gestion et de l'exécution du job. Dans notre exemple, le Resource Manager instancie deux Application Masters sur deux nodes managers différents pour exécuter deux jobs séparés. La première Application Master, illustrée en violet, requiert un seul container pour fonctionner, tandis que la seconde, en rouge, en nécessite trois. Cette structure modulaire permet une gestion fine et efficace des ressources disponibles, optimisant ainsi les performances des tâches distribuées.