CATALOGUE Code & Data Formation Hadoop Apprendre les fondamentaux d'Hadoop

Exemple de WordCount avec MapReduce

Retour à la formation
Chapitre 4 Leçon 2
Précédent
Suivant

Le WordCount est le Hello World de la programmation parallèle. L'objectif est de compter le nombre d'occurrences de chaque mot dans un fichier en utilisant MapReduce.

Détails de la leçon

Description de la leçon

Le programme WordCount est un exemple classique pour illustrer l'utilisation de MapReduce. Il s'agit d'un processus en deux étapes : Map et Reduce. D'abord, la fonction Map lit les données d'entrée, les divise en morceaux plus petits, et associe chaque mot à une clé (le mot lui-même) et à une valeur (1). Ensuite, la fonction Reduce agrège toutes les valeurs associées à chaque clé et calcule leur somme pour obtenir le nombre total d'occurrences de chaque mot. Cette méthode est particulièrement efficace pour le traitement de grandes quantités de données distribuées. Dans cet exemple, chaque instance de Map traite une partie du fichier en parallèle, tandis que Reduce combine les résultats partiels obtenus.

Objectifs de cette leçon

Comprendre le principe de MapReduce à travers un exemple simple : le WordCount.

Prérequis pour cette leçon

Connaissances de base en programmation et en manipulation de données.

Métiers concernés

Les concepts présentés dans cette vidéo sont utiles pour les Data Engineers et les Data Scientists.

Alternatives et ressources

D'autres frameworks de traitement de données comme Apache Spark et Flink peuvent être utilisés pour des tâches similaires.

Questions & Réponses

L'étape Map lit les données d'entrée, les divise en morceaux plus petits, et associe chaque mot à une clé (le mot lui-même) et à une valeur (1).
L'étape Reduce agrège toutes les valeurs associées à chaque clé et calcule leur somme pour obtenir le nombre total d'occurrences de chaque mot.
Parce qu'il est simple et illustratif du mode de fonctionnement de MapReduce, ce qui en fait un exemple idéal pour comprendre les bases de la programmation parallèle.