Utiliser le 'computer use' de Claude pour automatiser les tâches sur ordinateur

Découvrez comment Claude peut prendre le contrôle de votre ordinateur grâce à la fonctionnalité computer use, en automatisant des actions telles que la création de to-do lists dans l'application Note, tout en respectant les règles de confidentialité et d'accessibilité.

Détails de la leçon

Description de la leçon

Dans cette leçon, nous abordons en détail la fonctionnalité innovante appelée computer use proposée par Claude. Contrairement aux plugins traditionnels, qui opèrent dans un cadre restreint (par exemple, au sein d'un navigateur comme Chrome), le computer use permet à Claude d'interagir avec l'ensemble des applications de votre ordinateur, sans nécessiter de connecteurs ou de plugins additionnels. Ce contrôle se manifeste par la capacité du système à effectuer des captures d'écran, déplacer la souris, cliquer ou encore saisir du texte via le clavier, étape par étape, comme le ferait un utilisateur humain.


La réalisation de cette automatisation requiert d'accorder à Claude diverses permissions : l'accès au contrôle de l'ordinateur, à l'accessibilité, ainsi qu'à l'enregistrement d’écran. Le processus d'attribution de ces autorisations peut nécessiter un redémarrage de l'application pour être pleinement opérationnel. L'exemple illustré dans la vidéo consiste à demander à Claude d'ouvrir l'application Note et de créer une nouvelle liste de tâches (to-do) intitulée "Aurelia Cosmétiques" avec des cases à cocher, démontrant ainsi la puissance et la flexibilité de cette fonctionnalité sur des applications natives sans intervention manuelle.


Il convient toutefois de souligner l'importance des aspects de confidentialité inhérents à cette méthode, chaque action de contrôle s'effectuant sous la validation explicite de l'utilisateur. Cette fonctionnalité ouvre la voie à un large éventail d’automatisations productives, mettant à disposition des utilisateurs de nouveaux leviers d’efficacité au quotidien.

Objectifs de cette leçon

Les objectifs principaux de la vidéo sont d'expliquer le fonctionnement de la fonctionnalité computer use de Claude, de détailler les étapes nécessaires à son activation, de démontrer un cas d'usage concret (création automatisée d'une to-do list) et de sensibiliser sur les aspects liés à la confidentialité et à la sécurité lors de l'utilisation de cette technologie.

Prérequis pour cette leçon

Connaissances de base en informatique, familiarité avec l'utilisation de Claude et des applications bureautiques, ainsi que la capacité à gérer les paramètres système liés à la confidentialité et à l’accessibilité sur son système d'exploitation.

Métiers concernés

Les cas d’usage concernent les métiers de l'assistanat, de la gestion de projet, du support technique, de l’informatique décisionnelle, de l’automatisation des tâches administratives et, plus largement, tout professionnel souhaitant optimiser son efficacité grâce à l’automatisation intelligente.

Alternatives et ressources

D'autres solutions d'automatisation comme AutoHotkey, Automator (sur macOS), Power Automate (Microsoft), ou des outils dédiés aux macros et scripts peuvent remplir des fonctions similaires, bien qu'elles ne proposent pas toutes une interaction directe via l'IA.

Questions & Réponses

Les plugins restent cantonnés à une application spécifique (par exemple, un navigateur), tandis que la fonctionnalité 'computer use' permet d’agir sur n’importe quelle application installée sur l’ordinateur sans connecteurs additionnels. Ainsi, Claude accède à l’ensemble du système pour exécuter des tâches humaines automatisées.
Il faut d'abord accepter que Claude utilise l’ordinateur par l’application dédiée, puis accorder les droits d’accessibilité et d’enregistrement d’écran via les paramètres système. Ces autorisations peuvent nécessiter la fermeture et la réouverture de l’application Claude afin que toutes les fonctionnalités soient actives.
Lorsque vous activez le 'computer use', vous donnez à Claude un accès complet à votre environnement de travail. Il est donc crucial de toujours valider manuellement les demandes d’autorisation et d’être conscient des informations qui pourraient être accessibles durant la session d’automatisation.