Chargement et Manipulation de Fichiers JSON avec Pandas

La gestion des fichiers JSON
Vidéo non disponible ! Réessayez plus tard
Cette vidéo fait partie de la formation
Maîtrisez Python : Analyse et visualisations des données
Revoir le teaser Je m'abonne
3,5
Transcription

Description Programme Avis
3,5

Les objectifs de cette vidéo sont de vous enseigner comment charger des fichiers JSON, les manipuler dans un DataFrame, et exporter les données dans différents formats. Vous apprendrez également à utiliser des API REST pour récupérer des informations dynamiques.

Découvrez comment charger et manipuler des fichiers JSON en utilisant la bibliothèque pandas pour une gestion efficace des données.

Cette leçon aborde l'utilisation de fichiers JSON pour manipuler des données dans un DataFrame avec pandas. JSON, ou JavaScript Object Notation, est un format de données largement utilisé pour échanger des informations, notamment via des API REST. Vous apprendrez comment récupérer des données JSON à partir d'API telles que Twitter ou CodeMarketCap, les enregistrer et les charger dans pandas. Nous explorerons également comment sauvegarder localement ces données pour les manipuler hors ligne et convertir des DataFrames en différents formats de fichiers. La leçon couvrira les implications de travailler avec des liens URL directement dans les fonctions pandas et les bonnes pratiques pour garantir la fiabilité de vos processus de données.

Voir plus
Questions réponses
Pourquoi le format JSON est-il populaire ?
Le format JSON est populaire car il est lié au langage JavaScript et est facile à manipuler. Il est également très utilisé pour les API REST.
Quels sont les deux principaux problèmes de l'utilisation d'un lien URL pour charger des données JSON ?
Les deux principaux problèmes sont la disponibilité du site web et les modifications potentielles du format des données retournées par l'URL.
Comment pandas peut-il exporter un DataFrame en différents formats ?
Pandas peut exporter un DataFrame en différents formats en utilisant des fonctions telles que toExcel pour les fichiers Excel et toCSV pour les fichiers CSV.
Cette fois nous allons aborder le chargement de fichiers JSON, donc pourquoi le format JSON parce que parfois les données ne sont pas accessées directement sous forme de fichiers plat mais elles sont exposées par les entreprises sous forme d'API REST dans ce format. Donc le format JSON pour JavaScript Object Notation c'est très populaire pour deux raisons, déjà parce que ça dépend d'un langage JavaScript qui est très populaire auprès des entreprises et la deuxième raison c'est que c'est un format très facile à manipuler. Par exemple si vous voulez récupérer une liste de tweets, Twitter va fournir une API au format JSON et donc pourrait récupérer ses tweets au format JSON. Si vous voulez récupérer les valorisations quotidiennes de crypto actifs, CodeMarketCap fournit une API pour cela. Et si vous voulez obtenir la liste de toutes les villes de France, le gouvernement français fournit une API au format JSON pour ça. Alors le JSON ça ressemble à quoi ? Ça ressemble à ça, ça va être mis entre crochets avec des accolades, ça va ressembler très fortement à un dictionnaire Python dans la structure et pour sauvegarder cette URL, cette API sous forme de fichiers, il suffira de faire un clic droit et enregistrer sous en garantissant bien d'utiliser l'extension .json pour le nom du fichier. Alors comme d'habitude on va utiliser une fonction particulière de Panda, la fonction readJSON qui va permettre de charger ces données dans un data frame. On va donc devoir télécharger ce fichier et le synchroniser dans Google Drive. Tout cela pour obtenir ce résultat, donc des informations sur la population, sur les noms des villes et les codes postaux. Alors jusque là on a parlé de fichiers qu'on devait mettre en ligne sur Google Drive, je profite de cette vidéo pour parler de l'utilisation de liens internet. La fonction readJSON mais aussi toutes les fonctions précédentes acceptent en paramètre des URL ou plutôt des URI en paramètre de chargement pour ces fonctions. Ainsi le lien que nous avons vu précédemment, si nous l'utilisons en paramètre d'entrée de la fonction, vous remarquez que le rendu est exactement le même. Alors ça pose deux soucis, le premier c'est que si le site web devient indisponible, la fonction va être en échec. Le deuxième problème qui n'en est peut-être pas un, c'est que vu que le contenu d'un site web peut bouger, il se pourrait très bien qu'à un moment le résultat de cette URL ne retourne pas des données qui soient compréhensibles par la fonction que vous utilisez. Typiquement si c'est plus du JSON qui est retourné mais peut-être du XML, à ce moment là la fonction sera en échec. Un troisième problème qui n'en est plus vraiment un aujourd'hui, c'est le fait que si vous travaillez en local en installant Jupyter par exemple et que vous n'avez pas accès à internet, à ce moment là évidemment la fonction sera en échec. Ce que je veux dire par là c'est que c'est plutôt une bonne pratique d'avoir la main sur ces données et en tout cas d'en conserver une trace. Dernier sujet abordé dans cette vidéo, c'est un sujet qui est aussi général à toutes les fonctions que nous avons vu précédemment, c'est le fait qu'une fois que l'on est un DataFrame, on a la possibilité de convertir le DataFrame obtenu dans un autre format. Cette fonctionnalité est très utile, on vient de voir que Panda est capable finalement de lire beaucoup de types de formats de fichiers différents, il est également capable d'exporter un DataFrame dans beaucoup de formats différents. Alors je n'aborde que les principaux, la fonction toExcel va vous permettre d'exporter votre DataFrame au format Excel, d'obtenir un fichier xls, la fonction toCSV va vous permettre d'obtenir un fichier .csv et pourquoi pas, si le coeur vous en dit, utiliser la fonction toJSON dans notre contexte actuel ça n'aurait aucun intérêt mais ça peut être utile dans le cas de certaines applications web ou mobile. Alors une fois que vous avez exécuté cette instruction, vous vous demandez peut-être où est le fichier à télécharger. Dans ce cas vous pouvez accéder ici dans la barrière latérale à gauche à l'icône fichier et vous verrez apparaître ici le fichier et trois petits points qui vous permettent soit de le renommer soit de le supprimer et évidemment de le télécharger sur votre poste.
4 commentaires
3,5
4 votes
5
4
3
2
1
elephorm-1464076@addviseo.com
Il y a 3 months
Commentaire
Bonne formation mais vraiment dommage de ne pas avoir au moins les liens des supports de cours.
nicolasmichaux1
Il y a 1 year
Commentaire
Bonnne formation mais aucun support de cours
lebris.gilles76
Il y a 2 years
Commentaire
Très bien , mais il manque les supports de cours
antoinem
Il y a 2 years
Commentaire
Bien mais il manque les supports de cours
Nos dernières formations Python
  • Pack 5 formations
    Pack Python : Des bases aux techniques avancées
    Découvrir
    Réputé pour être le langage de programmation le plus populaire au monde, Python est très plébiscité pour ses différentes utilisations.  A travers ce pack de 5 formations, vous apprenez les fondamentaux de la programmation Python, vous maîtrisez les techniques avancées et vous découvrez comment utiliser Python pour le web et pour l’analyse et la visualisation des données. Apprendre à programmer en Python : Apprendre les fondamentaux du langage de programmation Python. Apprendre Python : Qualité de code et maintenance : Maîtriser Python avec une qualité de code et de maintenance optimales. Maîtriser Python : Techniques avancées : Formez-vous aux différentes fonctionnalités avancées de python. Apprendre le web avec Python/ Django : Découvrez la programmation Web : Apprendre les principes fondamentaux de la programmation Web Maîtriser Python : Analyse et visualisations des données : Apprendre à utiliser Python pour l’analyse et la visualisation des données
    22h52 154 leçons
  • Apprendre Python   - Qualité de code et maintenance
    Découvrir
    Maîtriser Python avec une qualité de code et de maintenance optimales
    3h09 23 leçons
  • Maîtriser Python  - Techniques avancées
    Découvrir
  • Apprendre à programmer en Python
    Découvrir
    Apprendre les fondamentaux du langage de programmation Python
    6h33 60 leçons 4,75 / 5
  • Apprendre le Web avec Python/Django - Découvrez la programmation web
    Découvrir
    Apprendre les principes fondamentaux de la programmation Web
    4h38 32 leçons 3,50 / 5