Exemples et Applications Pratiques de Threading en Python
Objectifs
Comprendre le fonctionnement du threading en Python et son impact sur les performances
Apprendre à utiliser les threads pour des tâches non bloquantes
Découvrir comment le GIL affecte le threading en Python
Résumé
Découvrez pourquoi le threading en Python fonctionne différemment des autres langages et comment utiliser les threads pour des tâches non bloquantes.
Description
En Python, le threading fonctionne différemment des autres langages de programmation en raison du Global Interpreter Lock (GIL). Ce verrou global empêche les threads d'être exécutés sur plusieurs CPU, limitant ainsi le véritable parallélisme. Cependant, les threads peuvent être utilisés pour éviter les blocages dans les tâches longues, comme les interfaces graphiques, où une tâche intensive peut bloquer l'interface utilisateur.
Nous explorons ici un exemple concret illustrant pourquoi le threading ne peut pas accélérer le traitement des programmes Python pour des tâches intensives en CPU. Nous détaillons ensuite une solution pratique pour utiliser les threads afin de maintenir la réactivité de l'interface utilisateur en Python.
En utilisant deux gros fichiers à zipper en parallèle, nous démontrons que le threading peut même ralentir le programme. Toutefois, pour des cas d'utilisation non bloquante, surtout dans les interfaces graphiques, le threading est extrêmement utile.
Apprenez également à gérer les threads de manière plus efficace avec le ThreadPoolExecutor, une approche qui permet de distribuer le travail entre plusieurs threads sans avoir à gérer la création et la destruction de chaque thread individuellement.
Questions - réponses
Programme détaillé
Module 1 - Les fonctions, des objets comme les autres
Module 2 - Structures de données avancées
Module 3 - L'itération en pratique
Module 4 - Partager le travail
Module 5 - Persistence
Je suis vraiment tres satisfait par cette première formation suivie sur Python.
#CODE en python 3.10.0 64 bits (VScode 1.62.3)
import datetime
import asyncio
import aiohttp
import requests
# ----------------------------------------------------------------------------------------------------------------------------
def req_bloquante(num):
print(f"Get {num}")
uid = requests.get("https://httpbin.org/uuid").json()["uuid"]
print(f"Res {num}: {uid}")
def faire_toutes_les_requetes():
for x in range(51):
req_bloquante(x)
print("=====> ### Bloquant : ")
start = datetime.datetime.now()
faire_toutes_les_requetes()
exec_time = (datetime.datetime.now() - start).seconds
print(f"Downloading all take {exec_time} seconds\n")
# ----------------------------------------------------------------------------------------------------------------------------
async def requeteSansBloquer(semaphore, num, session):
print(f"Get {num}")
# await semaphore.acquire() # putting this await semaphore commande the Res is ordering but process very slow ~60 sec
async with session.get("https://httpbin.org/uuid") as response:
uid = (await response.json())["uuid"]
# await asyncio.sleep(delay=3) #delay = number of seconds
# semaphore.release()
print(f"Res {num}: {uid}")
# return uid # ?
async def main():
semaphore = asyncio.Semaphore(value=1)
tasks = []
async with aiohttp.ClientSession(
loop=loop, connector=aiohttp.TCPConnector(ssl=False)
) as session:
for x in range(51):
tasks.append(requeteSansBloquer(semaphore, x, session))
await asyncio.gather(*tasks)
print("This is after the loop...")
if __name__ == "__main__":
print("=====> ### Non Bloquant : ")
start = datetime.datetime.now()
loop = asyncio.get_event_loop()
loop.run_until_complete(main())
exec_time = (datetime.datetime.now() - start).microseconds
print(f"Downloading all take {exec_time} micro seconds\n")