CATALOGUE Code & Data Formation Python Maîtriser Python - Techniques avancées Utilisation du module HeapQ en Python pour le tri de grandes quantités de données

Utilisation du module HeapQ en Python pour le tri de grandes quantités de données

Trier au fur et à mesure avec heapq
Vidéo non disponible ! Réessayez plus tard
Cette vidéo fait partie de la formation
Maîtriser Python - Techniques avancées
Revoir le teaser Je m'abonne
5,0
Transcription
Cette leçon fait partie de la formation
99,00€ Ajouter au panier

Formation incluse dans l'abonnement Elephorm

Je m'abonne à Elephorm
DescriptionProgrammeAvis
5,0
Cette leçon fait partie de la formation
99,00€ Ajouter au panier

Formation incluse dans l'abonnement Elephorm

Je m'abonne à Elephorm

Optimisation et gestion de la mémoire avec HeapQ

Objectifs

L'objectif de cette vidéo est de présenter le module HeapQ, d'expliquer son fonctionnement et ses avantages pour le tri de grandes quantités de données en Python.

Résumé

Apprenez à utiliser le module HeapQ pour le tri efficace de grandes quantités de données en Python.

Description

HeapQ est un module souvent méconnu dans le monde de Python, mais qui peut être extrêmement utile pour le tri de grandes quantités de données. Lorsque nous souhaitons trier des éléments en Python, nous utilisons habituellement des listes ou d'autres itérables, que nous trions ensuite en mémoire grâce à des fonctions comme sort. Cependant, cette méthode peut être inefficace si la RAM disponible est insuffisante. Dans de tels cas, des solutions comme pandas ou NumPy sont envisageables, mais elles nécessitent beaucoup de ressources et des installations supplémentaires.

Le module HeapQ, quant à lui, permet de maintenir un arbre binaire où chaque élément a des enfants plus petits ou égaux à lui-même, garantissant ainsi que l'élément en tête de l'arbre est toujours le plus petit. Cette structure est implémentée de manière transparente pour l'utilisateur. En ajoutant des éléments, ils sont insérés dans l'ordre de tri de manière efficace. HeapQ se base sur les listes et offre des fonctions comme heapify pour transformer une liste en arbre binaire.

Bien que la performance de HeapQ puisse être inférieure à celle des listes standards pour certaines opérations, elle répartit la charge du tri au fur et à mesure des insertions, ce qui peut être avantageux dans des situations où de nouveaux éléments sont fréquemment ajoutés.

Voir plus

Questions fréquentes

Comment HeapQ garantit-il l'ordre des éléments ajoutés ?
HeapQ utilise une structure en arbre binaire où chaque élément a des enfants plus petits ou égaux. Ainsi, l'ordre de tri est maintenu automatiquement au fur et à mesure des insertions.
Quels sont les principaux avantages de HeapQ par rapport à d'autres modules comme pandas ou NumPy ?
HeapQ est léger et intégré dans Python, évitant ainsi l'installation de modules supplémentaires. Il est également efficace pour le tri dynamique d'éléments sans charger toute la structure en mémoire.
Quelle est la fonction principale de HeapQ pour transformer une liste en arbre binaire ?
La fonction principale est heapify, qui transforme une liste ordinaire en une structure d'arbre binaire.

Programme détaillé

3 commentaires
5,0
3 votes
5
4
3
2
1
LELEU X.
Il y a 6 mois
Bonjour,
Les thèmes variés agrémentés d'exemples simples et clairs enrichissent toutes les notions exposées de façon particulièrement pédagogique. 👍
L'approche didactique m'a permis de beaucoup mieux comprendre tout un tas de concepts plus ou moins bien assimilés auparavant avec une vue d'ensemble nettement plus limpide aujourd'hui. 🤓
Merci pour cette belle prestation. 🙏
Profile picture for user michelkreutner
Michel K.
Il y a 1 an
Les explications sont claires et concises. Ce cours sur l'utilisation avancée de Python est tres intéressant. Il vous apportera des connaissances que vous pourrez ensuite approfondir.
Je suis vraiment tres satisfait par cette première formation suivie sur Python.
Yvan V.
Il y a 3 ans
Hello, sur la video autour de asyncio, vous utilisez python 2.7.12. J'utilise python 3.10, aussi je souhaite faire partager mon code (qui fonctionne) selon ma vision et compréhension sur le sujet d'étude que vous avez proposé. Yvan Vogel.

#CODE en python 3.10.0 64 bits (VScode 1.62.3)
import datetime
import asyncio
import aiohttp
import requests


# ----------------------------------------------------------------------------------------------------------------------------
def req_bloquante(num):
print(f"Get {num}")
uid = requests.get("https://httpbin.org/uuid").json()["uuid"]
print(f"Res {num}: {uid}")


def faire_toutes_les_requetes():
for x in range(51):
req_bloquante(x)


print("=====> ### Bloquant : ")
start = datetime.datetime.now()
faire_toutes_les_requetes()
exec_time = (datetime.datetime.now() - start).seconds
print(f"Downloading all take {exec_time} seconds\n")

# ----------------------------------------------------------------------------------------------------------------------------


async def requeteSansBloquer(semaphore, num, session):
print(f"Get {num}")
# await semaphore.acquire() # putting this await semaphore commande the Res is ordering but process very slow ~60 sec
async with session.get("https://httpbin.org/uuid") as response:
uid = (await response.json())["uuid"]
# await asyncio.sleep(delay=3) #delay = number of seconds
# semaphore.release()
print(f"Res {num}: {uid}")
# return uid # ?


async def main():
semaphore = asyncio.Semaphore(value=1)
tasks = []
async with aiohttp.ClientSession(
loop=loop, connector=aiohttp.TCPConnector(ssl=False)
) as session:
for x in range(51):
tasks.append(requeteSansBloquer(semaphore, x, session))
await asyncio.gather(*tasks)
print("This is after the loop...")


if __name__ == "__main__":
print("=====> ### Non Bloquant : ")
start = datetime.datetime.now()
loop = asyncio.get_event_loop()
loop.run_until_complete(main())
exec_time = (datetime.datetime.now() - start).microseconds
print(f"Downloading all take {exec_time} micro seconds\n")