Installation d'Hadoop
HDFS
MapReduce
Yarn
Détails de la leçon
Description de la leçon
Cette leçon plonge dans les détails de l'interface de Yarn. Elle débute par l'onglet About qui fournit des informations sur la version du cluster Hadoop et de votre Resource Manager. Ensuite, l'onglet Nodes est abordé, offrant une vue d'ensemble sur les nœuds composant le cluster, incluant des données sur la mémoire et les cœurs disponibles et utilisés. La section la plus importante, l'onglet Applications, est également détaillée. On y voit les applications soumises, en cours de traitement, terminées ou échouées.
Un exemple pratique avec une application de type MapReduce nommée WordCount est présenté. Vous verrez étape par étape comment soumettre une application et suivre son statut depuis 'Accepted' jusqu’à 'Running' puis 'Finished'. En cliquant sur chaque application, il est possible d’accéder à des informations supplémentaires et aux logs détaillés, incluant les logs de sortie, d’erreur et système.
Objectifs de cette leçon
Les objectifs de cette vidéo sont de familiariser les utilisateurs avec l'interface de Yarn et d'aider à la gestion des nœuds et des applications au sein d’un cluster Hadoop.
Prérequis pour cette leçon
Connaissance basique de Hadoop et de Yarn est nécessaire pour suivre cette vidéo.
Métiers concernés
Cette vidéo est particulièrement utile pour les métiers de data engineer et d'administrateur système, qui nécessitent une gestion avancée des ressources et des applications dans un environnement Big Data.
Alternatives et ressources
Parmi les alternatives à Yarn, on trouve les gestionnaires de ressources tels que Mesos et les orchestrateurs de conteneurs comme Kubernetes.
Questions & Réponses
Je m'abonne