Comprendre l'Architecture HDFS

Présenter l'architecture HDFS
Vidéo non disponible ! Réessayez plus tard
Cette vidéo fait partie de la formation
Apprendre les fondamentaux d'Hadoop
Revoir le teaser Je m'abonne
3,0
Transcription

69,00€ Je commande

Formation incluse dans l'abonnement Elephorm Je m'abonne à Elephorm

DescriptionProgrammeAvis
3,0
69,00€ Je commande

Formation incluse dans l'abonnement Elephorm Je m'abonne à Elephorm

L'objectif de cette vidéo est d'expliquer le fonctionnement interne de HDFS, notamment la répartition et la gestion des blocs par le NameNode et les DataNodes.

Cette leçon explore l'architecture de HDFS en détaillant le rôle des NameNodes et DataNodes dans la gestion de fichiers.

Voyons un peu plus en détail l'architecture d'HDFS. Dans cet exemple, nous avons un cluster composé de cinq machines, où une machine fonctionne comme NameNode et les quatre autres comme DataNodes. Nous allons illustrer cela avec un fichier de 300 MHz que nous souhaitons envoyer à HDFS. Ce fichier sera découpé en trois blocs : deux blocs de 128 MHz chacun et un troisième bloc de 44 MHz.

Le NameNode se charge de la répartition des blocs entre les différents DataNodes. Il est important de noter que nous ne pouvons pas choisir à l'avance sur quels DataNodes les blocs finiront, cette information est stockée uniquement dans le NameNode. Lors de la lecture d'un fichier stocké sur HDFS, le NameNode rassemble les blocs et nous renvoie le fichier complet.

Voir plus
Questions réponses
Quel est le rôle principal du NameNode dans HDFS ?
Le NameNode se charge de la répartition des blocs de fichiers entre les différents DataNodes et conserve les informations de localisation des blocs.
Pourquoi ne peut-on pas choisir les DataNodes où finiront les blocs à l'avance ?
Parce que seul le NameNode conserve cette information pour assurer une gestion optimale des ressources et éviter les conflits.
Que se passe-t-il lorsque l'on souhaite lire un fichier stocké sur HDFS ?
Le NameNode rassemble les blocs du fichier répartis sur les DataNodes et envoie le fichier complet à l'utilisateur.
1 commentaire
3,0
1 vote
5
4
3
2
1
F0BCE18F-B4CF-4428-B3BF-711FC7AA03D6@cyberlibris.studi.fr
Il y a 1 year
Commentaire
super