Optimisation et gestion de la mémoire avec HeapQ
Objectifs
L'objectif de cette vidéo est de présenter le module HeapQ, d'expliquer son fonctionnement et ses avantages pour le tri de grandes quantités de données en Python.
Résumé
Apprenez à utiliser le module HeapQ pour le tri efficace de grandes quantités de données en Python.
Description
HeapQ est un module souvent méconnu dans le monde de Python, mais qui peut être extrêmement utile pour le tri de grandes quantités de données. Lorsque nous souhaitons trier des éléments en Python, nous utilisons habituellement des listes ou d'autres itérables, que nous trions ensuite en mémoire grâce à des fonctions comme sort. Cependant, cette méthode peut être inefficace si la RAM disponible est insuffisante. Dans de tels cas, des solutions comme pandas ou NumPy sont envisageables, mais elles nécessitent beaucoup de ressources et des installations supplémentaires.
Le module HeapQ, quant à lui, permet de maintenir un arbre binaire où chaque élément a des enfants plus petits ou égaux à lui-même, garantissant ainsi que l'élément en tête de l'arbre est toujours le plus petit. Cette structure est implémentée de manière transparente pour l'utilisateur. En ajoutant des éléments, ils sont insérés dans l'ordre de tri de manière efficace. HeapQ se base sur les listes et offre des fonctions comme heapify pour transformer une liste en arbre binaire.
Bien que la performance de HeapQ puisse être inférieure à celle des listes standards pour certaines opérations, elle répartit la charge du tri au fur et à mesure des insertions, ce qui peut être avantageux dans des situations où de nouveaux éléments sont fréquemment ajoutés.
Les thèmes variés agrémentés d'exemples simples et clairs enrichissent toutes les notions exposées de façon particulièrement pédagogique. 👍
L'approche didactique m'a permis de beaucoup mieux comprendre tout un tas de concepts plus ou moins bien assimilés auparavant avec une vue d'ensemble nettement plus limpide aujourd'hui. 🤓
Merci pour cette belle prestation. 🙏
Je suis vraiment tres satisfait par cette première formation suivie sur Python.
#CODE en python 3.10.0 64 bits (VScode 1.62.3)
import datetime
import asyncio
import aiohttp
import requests
# ----------------------------------------------------------------------------------------------------------------------------
def req_bloquante(num):
print(f"Get {num}")
uid = requests.get("https://httpbin.org/uuid").json()["uuid"]
print(f"Res {num}: {uid}")
def faire_toutes_les_requetes():
for x in range(51):
req_bloquante(x)
print("=====> ### Bloquant : ")
start = datetime.datetime.now()
faire_toutes_les_requetes()
exec_time = (datetime.datetime.now() - start).seconds
print(f"Downloading all take {exec_time} seconds\n")
# ----------------------------------------------------------------------------------------------------------------------------
async def requeteSansBloquer(semaphore, num, session):
print(f"Get {num}")
# await semaphore.acquire() # putting this await semaphore commande the Res is ordering but process very slow ~60 sec
async with session.get("https://httpbin.org/uuid") as response:
uid = (await response.json())["uuid"]
# await asyncio.sleep(delay=3) #delay = number of seconds
# semaphore.release()
print(f"Res {num}: {uid}")
# return uid # ?
async def main():
semaphore = asyncio.Semaphore(value=1)
tasks = []
async with aiohttp.ClientSession(
loop=loop, connector=aiohttp.TCPConnector(ssl=False)
) as session:
for x in range(51):
tasks.append(requeteSansBloquer(semaphore, x, session))
await asyncio.gather(*tasks)
print("This is after the loop...")
if __name__ == "__main__":
print("=====> ### Non Bloquant : ")
start = datetime.datetime.now()
loop = asyncio.get_event_loop()
loop.run_until_complete(main())
exec_time = (datetime.datetime.now() - start).microseconds
print(f"Downloading all take {exec_time} micro seconds\n")