Microsoft Copilot Premium : une IA prometteuse mais décevante

Les agents Copilot à l'épreuve

Les agents Copilot de Microsoft, conçus pour faciliter la recherche et l'analyse, ont été testés pour évaluer leur efficacité. Cependant, les résultats n'ont pas été à la hauteur des attentes, car les agents n'ont pas réussi à fournir des solutions utiles. Le processus de dépannage avec Copilot s'est avéré être une perte de temps, sans apporter de résolution concrète aux problèmes rencontrés.

Microsoft a investi massivement dans ses fonctionnalités d'IA, construisant des centres de données et acquérant des licences de grands modèles de langage auprès d'OpenAI, Anthropic, entre autres. En parallèle, l'entreprise s'efforce de développer ses propres alternatives internes aux modèles de langage. L'objectif affiché par Microsoft est de transformer Windows et Microsoft 365 en un "système d'exploitation agentique", capable d'automatiser des tâches professionnelles fastidieuses telles que la rédaction de mémos, la création de présentations, l'organisation de réunions ou encore l'automatisation de tâches routinières.

Les résultats décevants

Au cours des dernières semaines, l'utilisation des fonctionnalités d'IA intégrées dans Microsoft 365 et Windows pour des tâches professionnelles quotidiennes a été testée. Bien que Copilot ait montré des capacités prometteuses par moments, les résultats ont souvent été entachés de désinformation, d'hallucinations et de fausses pistes, entraînant une perte de temps significative.

Une expérience frustrante avec l'agent Analyst

Microsoft m'a harcelé pendant des mois pour que je passe à son nouveau plan Microsoft 365 Premium, qui offre des limites d'utilisation de l'IA plus élevées et des agents exclusifs. Dans un souci scientifique, j'ai payé 10 $ pour mettre à niveau un compte inutilisé pendant un mois afin de les essayer moi-même. L'agent Analyst a été testé avec un tableau de calcul utilisé pour suivre les revenus et dépenses, dans le but d'améliorer son design.

Après plusieurs échanges, l'agent a proposé des suggestions pour optimiser les formules et consolider les tables en double. Il a même proposé de créer un tableau de bord en utilisant uniquement des formules et des tableaux croisés dynamiques. Copilot m'a dit : "Si vous le souhaitez, je peux esquisser une mise en page de tableau de bord propre (cellules et sections exactes) adaptée à vos données pour que vous puissiez la construire en ~15 minutes." Cependant, il y avait juste une petite limitation : je devrais créer un des tableaux croisés moi-même, mais cette tâche prendrait moins de 10 secondes. Lorsque demandé de construire le fichier Excel, l'agent a échoué à fournir un lien fonctionnel pour télécharger le fichier modifié. Copilot a informé qu'il avait créé un classeur modifié et a donné un lien qui n'était pas cliquable. Après plusieurs tentatives infructueuses, Copilot a admis que le lien n'était pas fonctionnel dans l'interface de l'utilisateur.

Une recherche peu concluante

L'agent Researcher de Microsoft 365 Premium a été sollicité pour fournir une explication concise des avantages et inconvénients de Microsoft 365 Premium. La réponse obtenue a été confuse, demandant des précisions sur le plan spécifique en question, sans fournir d'informations claires.

Une confiance mal placée

Les chatbots IA de Microsoft, malgré leur confiance apparente, n'ont pas réussi à résoudre les problèmes rencontrés. Lors d'une tentative de connexion à un ordinateur via Remote Desktop, Copilot a proposé des solutions qui se sont avérées inefficaces. La solution a finalement été trouvée en inspectant manuellement les paramètres de connexion.

Conclusion

Bien que Copilot puisse un jour atteindre l'intelligence artificielle générale, pour l'instant, même un bon sens général artificiel semble hors de portée. Les attentes envers ces outils d'IA restent élevées, mais les résultats actuels montrent qu'il reste encore beaucoup de chemin à parcourir pour atteindre une efficacité optimale.