L’avertissement de Karpathy sur les agents : construire d’abord le modèle, pas seulement la démo

Introduction

Les agents d’IA sont partout en ce moment. Chaque semaine, un nouvel outil promet de naviguer sur le web, de contrôler un ordinateur, de réserver quelque chose, d’écrire du code ou de mener à bien un flux de travail à partir d’une simple instruction de l’utilisateur.

Cet enthousiasme est bien réel. Mais le récent message d’Andrej Karpathy aux concepteurs d’agents a marqué les esprits parce qu’il va à contre-courant de l’ambiance du moment : avant de pousser les agents à tout faire, les concepteurs devraient d’abord comprendre et améliorer le modèle sous-jacent.

L’idée n’est pas que les agents d’IA soient inutiles. Elle est plus tranchante que cela. Une démo spectaculaire peut masquer des fondations fragiles. Un véritable produit doit survivre à des entrées désordonnées, à des tâches longues, à des cas limites, à des problèmes de mémoire, à des changements d’interface et à la question de la confiance des utilisateurs. C’est dans cet écart que beaucoup de projets d’agents se brisent.

Le message qui a stoppé les concepteurs d’agents

La discussion est partie d’un court extrait vidéo et d’une publication largement partagée résumant la vision de Karpathy. L’idée centrale était simple : le domaine de l’IA est peut-être en train de commettre une erreur en forçant les agents à fonctionner avant d’avoir pleinement maîtrisé les modèles sur lesquels ils reposent.

Cette phrase met mal à l’aise, car elle remet en cause la course actuelle aux agents. De nombreuses équipes essaient de transformer les LLM d’aujourd’hui en travailleurs autonomes le plus rapidement possible. Elles entourent les modèles d’outils, de mémoire, de contrôle du navigateur, d’accès aux fichiers, de tâches planifiées et de flux de travail en plusieurs étapes.

Ces couches peuvent aider. Mais elles ne suppriment pas la question fondamentale : le modèle peut-il raisonner de manière suffisamment fiable, planifier de façon suffisamment claire, se remettre de ses erreurs, et comprendre la tâche avec suffisamment de profondeur ?

Si la réponse est non, ajouter davantage d’échafaudage agentique peut donner au système une apparence de plus grande compétence dans une démo, tout en le rendant plus difficile à déboguer en production.

La leçon de 2016 : World of Bits

L’avertissement de Karpathy n’est pas seulement théorique. L’article source renvoie à un projet de 2016 : World of Bits, une plateforme d’agents web construite autour de l’idée que des agents pourraient interagir avec Internet à l’aide d’actions au clavier et à la souris.

À l’époque, l’objectif paraissait futuriste. Un agent utiliserait les pages web comme le ferait une personne : cliquer sur des boutons, remplir des formulaires, naviguer entre les pages et accomplir des tâches comme réserver des vols ou commander de la nourriture. Cela ressemble de très près aux promesses de produits fondés sur des agents que l’on entend aujourd’hui.

Le projet est devenu un effort de recherche sérieux et a été

publié à l’ICML 2017 sous le titre « World of Bits: An Open-Domain Platform for Web-Based Agents. » Mais la vision produit plus ambitieuse ne s’est pas pleinement concrétisée à cette époque.

La leçon importante n’est pas que l’idée était mauvaise. C’est que les outils disponibles n’étaient pas prêts. Le domaine des agents ne disposait pas encore des modèles fondamentaux d’aujourd’hui, des systèmes multimodaux, des schémas d’usage d’outils ou des LLM capables de coder. L’apprentissage par renforcement était l’un des principaux marteaux, et cela ne suffisait pas à transformer l’idée en un produit général robuste.

C’est pourquoi le message de Karpathy est important aujourd’hui. Une direction techniquement séduisante peut tout de même arriver trop tôt si les capacités de base ne sont pas assez solides.

D’une démo d’agent ratée à des fondations plus solides

Une manière utile de lire l’histoire de World of Bits est d’y voir une leçon de timing.

L’équipe travaillait sur quelque chose qui ressemblait à l’avenir, mais le domaine n’avait pas encore construit les fondations nécessaires pour le soutenir. Avec le recul, l’argument de Karpathy est qu’il aurait mieux valu moins chercher à forcer les agents à accomplir des tâches et davantage se concentrer sur l’amélioration des modèles de langage et de l’apprentissage de représentations sous-jacents.

C’est aussi ce qui rend le moment présent intéressant. Les outils ont changé. Les LLM peuvent désormais raisonner en langage naturel, appeler des outils, écrire du code, interpréter des captures d’écran et conserver un contexte plus long que les systèmes précédents. La pile technologique des agents est bien plus plausible qu’elle ne l’était en 2016.

Cela dit, des outils plus puissants n’effacent pas la difficulté du produit. Ils ne font que repousser la frontière.

Jim Fan et la continuité de la recherche sur les agents

L’article source relie également World of Bits à des travaux ultérieurs sur les agents incarnés par l’intermédiaire de chercheurs comme Jim Fan. C’est important, car l’histoire des agents n’a pas disparu après l’enlisement des premiers projets d’agents web. Elle a évolué vers des domaines de recherche plus riches : environnements de simulation, agents Minecraft, apprentissage ouvert et intelligence incarnée.

Des projets comme MineDojo et Voyager montrent une voie différente de « cliquer sur quelques pages web et espérer que l’agent fonctionne ». Ils explorent des agents dans des environnements où les objectifs, la mémoire, les actions, les compétences et le retour d’information peuvent être étudiés de manière plus systématique.

Cela ne signifie pas que les agents Minecraft résolvent directement l’automatisation des entreprises. Cela signifie que les progrès sérieux sur les agents proviennent généralement de meilleurs environnements, de meilleures évaluations, d’un meilleur comportement des modèles et de boucles de rétroaction plus claires.

La démo est facile ; le produit prend des années

L’un des points les plus pratiques de l’article est l’écart entre une démo et un produit.

Une démo n’a besoin de fonctionner qu’une seule fois, souvent dans des conditions préparées. Un produit doit fonctionner de façon répétée, pour différents utilisateurs, dans différentes situations, tout en rendant les échecs compréhensibles et récupérables.

La conduite autonome est une comparaison utile. Une voiture qui fait le tour d’un pâté de maisons peut sembler impressionnante. Un système de conduite autonome prêt pour la production doit gérer des événements rares, de mauvaises conditions

la visibilité, les comportements routiers inhabituels, les contraintes réglementaires, les attentes en matière de sécurité et des années d’itération.

La VR a suivi un schéma similaire. Une démonstration avec un casque peut être impressionnante en cinq minutes. Un produit durable exige du matériel, des logiciels, du contenu, de l’ergonomie, une tarification, une distribution et une valeur d’usage répétée.

Les agents appartiennent à cette catégorie. Ils sont faciles à imaginer et faciles à démontrer, mais difficiles à commercialiser comme des produits durables.

Trois leçons pratiques pour les concepteurs d’agents

1. Comprendre le modèle avant d’élargir l’enveloppe de l’agent

Avant d’ajouter davantage d’outils, demandez-vous ce que le modèle peut et ne peut pas faire de manière fiable. Peut-il suivre de longues instructions ? Peut-il reconnaître quand il est incertain ? Peut-il se rétablir après un appel d’API échoué ? Peut-il vérifier son propre travail ?

Si le modèle est faible en son centre, davantage d’orchestration peut rendre le système plus fragile, et non plus utile.

2. Considérer la démo comme le début, et non comme la ligne d’arrivée

Une bonne démonstration a de la valeur parce qu’elle valide une direction. Mais elle ne constitue ni une adéquation produit-marché, ni la fiabilité, ni la confiance.

Pour les produits fondés sur des agents, le vrai travail commence après la démonstration : journalisation, évaluation, retour arrière, revue humaine, conception des permissions, limites de mémoire et gestion des défaillances.

3. Construire des fondations qui permettent aux agents d’émerger

La leçon produit la plus forte de Karpathy est que l’agent lui-même n’est peut-être pas le produit. Le produit plus profond peut être la capacité du modèle, la conception de l’environnement, le pipeline de données, le système d’évaluation et l’interface des outils qui rendent le comportement de l’agent fiable.

Des fondations plus solides peuvent rendre possibles de nombreux comportements d’agent. Des fondations faibles transforment chaque flux de travail en patchwork de cas particuliers.

Le retour de Karpathy au préentraînement

L’article note également le passage de Karpathy dans l’équipe de préentraînement d’Anthropic. C’est pertinent, car cela renforce le même message : la frontière reste encore profondément liée au travail fondamental sur les modèles.

Le préentraînement peut sembler moins spectaculaire que les agents, mais il façonne la capacité brute dont tout le reste dépend. De meilleurs modèles peuvent améliorer le raisonnement, la compréhension du langage, l’usage des outils, le codage, la planification et la perception multimodale.

Pour les concepteurs d’agents, cela ne signifie pas que tout le monde doit entraîner des modèles de pointe. La plupart des équipes ne le peuvent pas. Mais elles doivent comprendre suffisamment bien le comportement du modèle pour concevoir autour de lui.

Une équipe qui construit des agents devrait savoir quelles défaillances proviennent du prompting, lesquelles proviennent de la conception des outils, lesquelles viennent d’un contexte manquant et lesquelles découlent des limites sous-jacentes du modèle.

Apprendre du cerveau

Après la leçon produit, l’article source se tourne vers les neurosciences. Karpathy aurait encouragé les concepteurs à réfléchir à ce que les systèmes d’agents pourraient apprendre du cerveau.

La comparaison ne consiste pas à copier littéralement la biologie. Il s’agit de poser de meilleures questions structurelles.

Quel élément joue le rôle de la mémoire ? Qu’est-ce qui sélectionne

des actions ? Qu’est-ce qui stocke les compétences ? Qu’est-ce qui décide quelle pensée ou quel plan retient l’attention ? Qu’est-ce qui empêche les objectifs à long terme d’être écrasés par le bruit à court terme ?

Ces questions sont utiles parce que les produits d’agents échouent souvent précisément sur ces points. Ils oublient le contexte. Ils choisissent la mauvaise action suivante. Ils réagissent de manière excessive à des informations non pertinentes. Ils ne parviennent pas à conserver un plan stable. Ils échouent en silence.

Une architecture d’agent plus mature pourrait nécessiter une séparation plus nette entre la mémoire, la planification, l’action, la réflexion, la récupération d’informations et la vérification.

Pourquoi les créateurs indépendants comptent toujours

La partie la plus encourageante du message de Karpathy n’est pas la critique. C’est le rappel que la frontière des agents reste encore ouverte.

Les grands laboratoires ont une vaste expérience dans l’entraînement de modèles de langage de pointe. Ils ont vu de nombreuses idées d’entraînement de modèles des années avant que le public ne les découvre. Dans ce domaine, l’écart d’expérience est énorme.

Les produits d’agents sont différents. Le domaine est encore jeune. Les meilleurs flux de travail, interfaces, schémas de mémoire, systèmes d’autorisation, boucles de revue et catégories de produits ne sont pas encore pleinement établis.

Cela donne aux développeurs indépendants, aux startups et aux petites équipes de recherche une véritable chance. Ils peuvent tester des idées plus affûtées, parler aux utilisateurs plus rapidement, changer de direction vite et explorer des flux de travail produit que les grands laboratoires ne jugent peut-être pas prioritaires.

L’avertissement n’est donc pas « ne construisez pas d’agents ». C’est « ne sautez pas les fondations ».

Notes sur la source et les images

Cet article est une adaptation originale en anglais fondée sur la page source publique de BAAI Hub : https://hub.baai.ac.cn/view/56135.

La page source comprend plusieurs images. Cette version Markdown ne conserve que les images qui soutiennent le sens de l’article, comme des captures d’écran de X, des captures d’écran de papiers, des mises à jour de recherche et la couverture du livre mentionné. Les images contenant uniquement des logos, les QR codes, les bannières promotionnelles et les images décoratives sans rapport n’ont pas été incluses.

FAQ

Quel est le principal avertissement de Karpathy au sujet des agents d’IA ?

Le principal avertissement est que les concepteurs se précipitent peut-être pour faire exécuter aux agents des tâches complexes avant que les modèles sous-jacents ne soient suffisamment fiables. Les enveloppes d’agents peuvent aider, mais elles ne peuvent pas compenser pleinement un raisonnement faible, une mauvaise récupération après erreur ou une compréhension superficielle des tâches.

Qu’était World of Bits ?

World of Bits était une plateforme de recherche pour des agents web, publiée à l’ICML 2017. Elle explorait des agents capables d’interagir avec des sites web au moyen d’actions de bas niveau, comme l’entrée au clavier et l’usage de la souris.

Pourquoi la différence entre une démo et un produit est-elle si importante pour les agents ?

Une démo peut être préparée et testée dans un cadre restreint. Un produit doit fonctionner pour de nombreux utilisateurs, de nombreuses tâches, erreurs, autorisations et cas limites. C’est pourquoi les produits d’agents exigent généralement un travail de long terme sur la fiabilité et l’évaluation.

Cela signifie-t-il que les agents d’IA ne valent pas la peine d’être construits ?

Non.

l’argument n’est pas contre les agents. Il est contre le fait de construire des agents sans comprendre le modèle, l’environnement, le processus d’évaluation et les contraintes produit sous-jacentes.

Pourquoi le préentraînement est-il important pour les produits à base d’agents ?

Le préentraînement influence le raisonnement du modèle de base, sa compréhension du langage, son utilisation des outils et sa capacité de généralisation. Des modèles de base plus performants rendent le comportement des agents plus facile à concevoir, à évaluer et à fiabiliser.

Que peuvent apprendre les concepteurs d’agents des neurosciences ?

Les neurosciences peuvent inspirer des questions sur la mémoire, la sélection des actions, l’attention, la planification et l’auto-surveillance. Les systèmes d’agents peuvent avoir besoin d’une architecture plus claire autour de ces fonctions, au lieu de s’appuyer sur une seule longue invite ou une seule boucle générique.

Les petites équipes sont-elles en retard sur les grands laboratoires d’IA dans le développement d’agents ?

Pas nécessairement. Les grands laboratoires disposent d’un énorme avantage pour entraîner des modèles de pointe, mais les schémas de produits fondés sur des agents restent encore incertains. Les petites équipes peuvent avancer rapidement et découvrir des flux de travail utiles avant qu’ils ne deviennent évidents.

Outils associés

• Claude : l’assistant IA d’Anthropic, souvent utilisé pour le raisonnement, la rédaction, le codage et l’aide aux workflows.
• Documentation de l’API Claude : documentation officielle pour créer des applications avec les modèles Claude d’Anthropic.
• World of Bits : une plateforme de recherche pour étudier des agents web capables d’effectuer des actions au clavier et à la souris.
• MineDojo : un cadre basé sur Minecraft pour la recherche ouverte sur les agents incarnés.
• Voyager : un projet d’agent incarné alimenté par des LLM pour l’apprentissage tout au long de la vie dans Minecraft.

Liens associés

• Source originale BAAI Hub : l’article source utilisé comme base factuelle pour cette adaptation en anglais.
• Article World of Bits : page officielle PMLR de l’article présenté à l’ICML 2017.
• PDF de World of Bits : version PDF directe de l’article de recherche.
• Mise à jour de Karpathy sur Anthropic : publication publique de Karpathy à propos de son arrivée chez Anthropic.
• Site officiel d’Anthropic : site officiel d’Anthropic et des annonces liées à Claude.
• Article sur Voyager : article arXiv sur Voyager, un agent incarné ouvert reposant sur de grands modèles de langage.
• Article sur MineDojo : article arXiv sur le cadre ouvert d’agents incarnés de MineDojo.
• Brain and Behavior : page d’Oxford University Press pour l’ouvrage de neurosciences mentionné dans la discussion.

Résumé

Cet article explique l’avertissement de Karpathy face à l’engouement actuel pour les agents d’IA : les agents sont enthousiasmants, mais des fondations fragiles les rendent vulnérables. La leçon de World of Bits est qu’une idée forte peut tout de même arriver avant que le domaine ne dispose des bons outils.

Pour les concepteurs d’aujourd’hui, la voie pratique n’est pas d’abandonner les agents. Il s’agit de comprendre le modèle, de construire de meilleurs systèmes d’évaluation, de concevoir des boucles d’action plus sûres et de considérer les démonstrations comme le début du travail produit plutôt que comme sa finalité.

que la ligne d’arrivée.

La leçon utile est simple : construisez d’abord les fondations, puis laissez-en émerger de meilleurs agents.