CATALOGUE Code & Data Apprendre les fondamentaux d'Hadoop Introduction à la Fonction Map et Split en Informatique

Introduction à la Fonction Map et Split en Informatique

Fonction Map
Vidéo non disponible ! Réessayez plus tard
Cette vidéo fait partie de la formation
Apprendre les fondamentaux d'Hadoop
Revoir le teaser Je m'abonne
3,0
Transcription
69,00€ Je commande
Formation incluse dans l'abonnement Elephorm Je m'abonne à Elephorm
DescriptionProgrammeAvis
3,0
69,00€ Je commande
Formation incluse dans l'abonnement Elephorm Je m'abonne à Elephorm

Fonctionnement des Fonctions Map et Split

Objectifs

Les objectifs de cette vidéo sont de comprendre le fonctionnement de la fonction split, d'apprendre à utiliser la fonction map pour le comptage de mots, et de saisir l'importance de l'exécution parallèle.

Résumé

Cette vidéo explique comment la fonction split découpe un fichier par lignes et comment la fonction map compte les occurrences de chaque mot en parallèle.

Description

A travers un exemple concret, cette leçon détaille le processus de découpe d'un fichier en plusieurs lignes à l'aide de la fonction split, ensuite la fonction map distribue ces lignes aux mapeurs pour compter les occurrences de chaque mot. Les mapeurs fonctionnant indépendamment les uns des autres permettent l'exécution parallèle des tâches.

Le processus commence par la découpe du fichier, chaque ligne étant envoyée à un mapeur distinct. Chaque mapeur comptabilise les occurrences de mots dans la ligne qui lui est assignée. Lorsqu'un mot comme « bus » apparaît deux fois dans une ligne, le mapeur le compte deux fois. Cela illustre l'avantage de la parallélisation puisque les tâches se réalisent indépendamment et simultanément.

Voir plus

Questions - réponses

Que fait la fonction split sur un fichier?
La fonction split découpe le fichier en plusieurs lignes, chacun étant ensuite traité individuellement par les mapeurs.
Quelle est l'utilité des mapeurs dans ce processus?
Les mapeurs comptent le nombre d'occurrences de chaque mot dans les lignes qui leur sont attribuées, permettant une analyse en parallèle.
Pourquoi les mapeurs peuvent-ils fonctionner en parallèle?
Les mapeurs fonctionnent en parallèle car les lignes de texte et leurs traitements sont indépendants les uns des autres.
1 commentaire
3,0
1 vote
5
4
3
2
1
F0BCE18F-B4CF-4428-B3BF-711FC7AA03D6@cyberlibris.studi.fr
Il y a 1 year
Commentaire
super