Comment Codex d'OpenAI a appris à utiliser les logiciels Adobe

Comment Codex d'OpenAI a appris à utiliser les logiciels Adobe

Peter Gostev, responsable des capacités en IA chez Arena.ai, a récemment partagé une expérience intéressante. Il a créé ce que j'appelle le test de défécation, officiellement connu sous le nom de BullshitBench. Cependant, un autre aspect de son témoignage a particulièrement retenu mon attention.

C'est un exemple frappant d'agents d'IA en action. Alors qu'il éditait des photos dans Adobe Lightroom, il avait 50 images à débruiter, une tâche fastidieuse généralement effectuée une par une. Au lieu de le faire manuellement, ou même de savoir comment le faire en lot, Gostev a laissé le service de codage d'OpenAI, Codex, trouver une solution.

« Vous devez cliquer sur chacune pour débruiter 50 photos. Cela semble être un travail difficile, alors j'ai juste demandé à Codex de trouver comment faire cela », m'a expliqué Gostev. « Cela a simplement fonctionné. »

Ce qui est remarquable, c'est la manière dont Codex a réussi cet exploit : non pas par le biais d'une API officielle, d'un plugin ou d'un contournement de navigateur, mais en interagissant directement avec l'application de bureau, malgré l'absence de support clair pour cela.

Gostev possède des compétences techniques avancées et ce qu'il a réalisé ici est quelque chose que je ne pourrais probablement pas faire. Néanmoins, cela offre un aperçu de la direction que prennent les agents d'IA : non seulement pour assister, mais pour naviguer et opérer de manière autonome dans des logiciels comme le ferait un humain (ou, dans ce cas, le faire plus rapidement et mieux qu'un humain intelligent).