CATALOGUE Code & Data Apprendre les fondamentaux d'Hadoop Le Système de Fichiers Distribués Hadoop (HDFS)

Le Système de Fichiers Distribués Hadoop (HDFS)

Présenter HDFS

Vidéo non disponible ! Réessayez plus tard

25min

30 leçons

3,0

Transcription

69,00€ Je commande

Formation incluse dans l'abonnement Elephorm Je m'abonne à Elephorm

PRO : J'en fait profiter mon équipe

DescriptionProgrammeAvis

25min

30 leçons

3,0

69,00€ Je commande

Formation incluse dans l'abonnement Elephorm Je m'abonne à Elephorm

PRO : J'en fait profiter mon équipe

Introduction à HDFS

Objectifs

Les objectifs de cette vidéo sont de :

Comprendre le rôle d’HDFS dans l’écosystème Hadoop.
Appréhender l’architecture maître-esclave de HDFS.
Explorer les mécanismes de tolérance aux pannes d’HDFS.

Résumé

HDFS, ou Hadoop Distributed File System, est conçu pour stocker et lire des fichiers de grand volume en utilisant une architecture distribuée maître-esclave.

Description

Nous allons maintenant examiner en détail ce qu'est HDFS et son utilité. HDFS, pour Hadoop Distributed File System, est le système de fichiers distribués d'Hadoop. Il permet de stocker et de lire des fichiers de grande taille. Basé sur une architecture maître-esclave, chaque cluster comporte un mNode et plusieurs dataNodes. HDFS découpe les fichiers à stocker en plusieurs parties de plus petite taille, par défaut de 128 mégaoctets. Cette caractéristique permet de gérer des fichiers de grande taille avec efficacité. En outre, HDFS est tolérant aux pannes, car il réplique les données sur différentes machines du cluster. Cela garantit une haute disponibilité et une fiabilité accrue de l'accès aux données.

Questions - réponses

Qu'est-ce que HDFS et à quoi sert-il ?

HDFS, ou Hadoop Distributed File System, est le système de fichiers distribués d'Hadoop conçu pour stocker et lire des fichiers de grande taille de manière robuste et efficace.

Quelle est l'architecture de HDFS ?

HDFS est basé sur une architecture maître-esclave comprenant un nœud maître appelé mNode et plusieurs nœuds de données appelés dataNodes.

Comment HDFS gère-t-il la tolérance aux pannes ?

HDFS assure la tolérance aux pannes en répliquant les données sur plusieurs machines du cluster, garantissant ainsi la disponibilité et la fiabilité des données.

Programme détaillé

Accueil de la formation

Module 1 - Introduction

Paradigme Big Data 02:11

Historique d'Hadoop et présentation rapide des principaux composants 00:21

Module 2 - Installation d'Hadoop

Installer Java 00:35

Installer Hadoop 00:19

Configurer HDFS 01:37

Configuration 00:31

Initialiser un cluster Hadoop 00:11

Lancer un cluster Hadoop 00:23

Configurer YARN 00:59

Lancer YARN 00:22

Vérifier l'installation 00:08

Stopper un cluster Hadoop 00:52

Module 3 - HDFS

Présenter HDFS 00:37

Présenter l'architecture HDFS 00:48

Présenter de la réplication sur HDFS 00:34

Démo : Créer un dossier sur HDFS 00:59

Démo : Envoyer un fichier sur HDFS 00:39

Démo : Lister les fichiers présents sur HDFS et afficher leur contenu 00:37

Démo : récupérer un fichier depuis HDFS 00:39

Démo : supprimer un fichier sur HDFS 00:22

Module 4 - MapReduce

Présenter MapReduce 00:34

WordCount avec MapReduce 00:10

Fonction Map 00:44

Fonction Reduce 00:46

Démo : développer un job MapReduce 04:27

Module 5 - Yarn

Présenter YARN 00:59

Exemple 00:21

Présenter l'interface de YARN 02:08

Module 6 - Ecosystème Hadoop

Présentation rapide des autres composants de l'écosystème Hadoop (HBase, Hive, Zookeeper, Sqoop, Pig, Oozie, Kafka, Spark) 00:56

Un mot sur les distributions Hadoop (Cloudera ...) 00:48

1 commentaire

3,0

1 vote

F0BCE18F-B4CF-4428-B3BF-711FC7AA03D6@cyberlibris.studi.fr

Il y a 1 year

Commentaire

super