Introduction et Fonctionnement de Yarn
Objectifs
L'objectif de cette vidéo est d'expliquer le rôle de Yarn dans le cadre de Hadoop, de présenter ses composants clés et de démontrer comment il alloue des ressources de manière dynamique pour les applications.
Résumé
Yarn est le cluster manager intégré à Hadoop. Son rôle est d'allouer les ressources aux applications de façon dynamique.
Description
Yarn, introduit en 2013, est le gestionnaire de clusters intégré à Hadoop. Avant son intégration, Hadoop ne pouvait exécuter que des applications MapReduce. Yarn dynamise la gestion des ressources, permettant ainsi une allocation optimale en fonction des besoins des applications.
Les composants essentiels de Yarn sont le Resource Manager, qui accepte les tâches soumises, les programme et répartit les ressources. Chaque nœud du cluster possède un Node Manager, lequel accède aux ressources de la machine et communique avec le Resource Manager pour équilibrer la charge. Lorsqu'un job est soumis, une Application de Master est créée pour négocier les ressources avec le Resource Manager et gérer conjointement les containers. Enfin, le Container est une ressource qui contient la RAM et les vCores nécessaires aux traitements. Il exécute les tâches et transmet les informations à l'Application de Master.