La advertencia de Karpathy sobre los agentes: construye primero el modelo, no solo la demo
Este artículo explica la advertencia de Karpathy sobre la actual fiebre por los agentes de IA: los agentes son emocionantes, pero unas bases débiles los vuelven frágiles. La lección de World of Bits es que una idea sólida aún puede llegar antes de que el campo cuente con las herramientas adecuadas. Para quienes construyen hoy, el camino práctico no es abandonar los agentes. Es comprender el modelo, crear sistemas de evaluación más sólidos, diseñar bucles de acción más seguros y tratar las demos como el inicio del trabajo de producto, no como la meta final. **La conclusión útil es simple: primero construye la base y luego deja que surjan mejores agentes a partir de ella.**
La advertencia de Karpathy sobre los agentes: primero construye el modelo, no solo la demo
Introducción
Los agentes de IA están por todas partes en este momento. Cada semana, una nueva herramienta promete navegar por la web, controlar una computadora, reservar algo, escribir código o completar un flujo de trabajo con solo una breve instrucción del usuario.
Ese entusiasmo es real. Pero el mensaje reciente de Andrej Karpathy para quienes construyen agentes tuvo impacto porque va en contra del ánimo del momento: antes de impulsar a los agentes para que lo hagan todo, los desarrolladores deberían comprender y mejorar primero el modelo subyacente.
La idea no es que los agentes de IA sean inútiles. La idea es más precisa que eso. Una demo llamativa puede ocultar cimientos débiles. Un producto real tiene que sobrevivir a entradas desordenadas, tareas largas, casos límite, problemas de memoria, cambios en la interfaz y la confianza del usuario. Esa diferencia es donde muchos proyectos de agentes se rompen.
El mensaje que hizo detenerse a los constructores de agentes
La discusión comenzó a partir de un clip corto y una publicación muy compartida que resumía la visión de Karpathy. La idea central era simple: el campo de la IA podría estar cometiendo un error al forzar a los agentes a funcionar antes de dominar por completo los modelos que tienen debajo.
Esa frase resulta incómoda porque desafía la carrera actual por los agentes. Muchos equipos están intentando convertir los LLM actuales en trabajadores autónomos lo más rápido posible. Envuelven los modelos con herramientas, memoria, control del navegador, acceso a archivos, tareas programadas y flujos de trabajo de varios pasos.
Esas capas pueden ayudar. Pero no eliminan la pregunta básica: ¿puede el modelo razonar con suficiente fiabilidad, planificar con suficiente claridad, recuperarse de los errores y comprender la tarea con suficiente profundidad?
Si la respuesta es no, añadir más andamiaje de agente puede hacer que el sistema parezca más capaz en una demo, mientras se vuelve más difícil de depurar en producción.
La lección de 2016: World of Bits
La advertencia de Karpathy no es solo teórica. El artículo original remite a un proyecto de 2016: World of Bits, una plataforma de agentes basada en la web construida en torno a la idea de que los agentes podían interactuar con internet mediante acciones de teclado y ratón.
En aquel momento, el objetivo parecía futurista. Un agente usaría páginas web de la misma manera que una persona: haría clic en botones, rellenaría formularios, navegaría entre páginas y completaría tareas como reservar vuelos o pedir comida. Eso suena muy parecido a las propuestas de productos de agentes que la gente escucha hoy.
El proyecto se convirtió en un esfuerzo de investigación serio y fue
publicado en ICML 2017 como “World of Bits: An Open-Domain Platform for Web-Based Agents.” Pero el gran sueño de producto no llegó a materializarse plenamente en ese momento.
La lección importante no es que la idea estuviera equivocada. Es que las herramientas disponibles no estaban listas. El campo de los agentes aún no contaba con los modelos fundacionales actuales, los sistemas multimodales, los patrones de uso de herramientas ni los LLM capaces de programar. El aprendizaje por refuerzo era uno de los principales martillos, y no bastaba para convertir la idea en un producto general sólido.
Por eso el mensaje de Karpathy importa ahora. Una dirección técnicamente atractiva aún puede llegar demasiado pronto si la capacidad base no es lo bastante fuerte.
De una demo fallida de agentes a fundamentos más sólidos
Una forma útil de interpretar la historia de World of Bits es como una lección sobre el momento oportuno.
El equipo estaba trabajando en algo que parecía el futuro, pero el campo aún no había construido la base necesaria para sostenerlo. Mirando atrás, el argumento de Karpathy es que la mejor decisión habría sido centrarse menos en forzar a los agentes a realizar tareas y más en mejorar los modelos de lenguaje y el aprendizaje de representaciones subyacentes.
Eso es también lo que hace interesante el momento actual. Las herramientas han cambiado. Los LLM ahora pueden razonar en lenguaje natural, usar herramientas, escribir código, interpretar capturas de pantalla y mantener más contexto que los sistemas anteriores. La pila de agentes es mucho más plausible de lo que era en 2016.
Aun así, unas herramientas más potentes no eliminan la dificultad del producto. Solo desplazan la frontera hacia adelante.
Jim Fan y la continuidad de la investigación sobre agentes
El artículo fuente también conecta World of Bits con trabajos posteriores sobre agentes incorporados a través de investigadores como Jim Fan. Esto importa porque la historia de los agentes no desapareció después de que los primeros proyectos de agentes web se estancaran. Evolucionó hacia áreas de investigación más ricas: entornos de simulación, agentes en Minecraft, aprendizaje abierto y inteligencia incorporada.
Proyectos como MineDojo y Voyager muestran un camino distinto al de “hacer clic por unas cuantas páginas web y esperar que el agente funcione”. Exploran agentes en entornos donde los objetivos, la memoria, las acciones, las habilidades y la retroalimentación pueden estudiarse de manera más sistemática.
Eso no significa que los agentes de Minecraft resuelvan directamente la automatización empresarial. Significa que el progreso serio en agentes suele venir de mejores entornos, mejor evaluación, mejor comportamiento de los modelos y bucles de retroalimentación más claros.
La demo es fácil; el producto lleva años
Uno de los puntos más prácticos del artículo es la brecha entre una demo y un producto.
Una demo solo tiene que funcionar una vez, a menudo en condiciones preparadas. Un producto tiene que funcionar repetidamente, para distintos usuarios, en diferentes situaciones, y además hacer que los fallos sean comprensibles y recuperables.
La conducción autónoma es una comparación útil. Un coche dando una vuelta a la manzana puede parecer impresionante. Un sistema de conducción autónoma listo para producción tiene que manejar eventos raros, condiciones deficientes,
visibilidad, comportamiento extraño en la carretera, restricciones regulatorias, expectativas de seguridad y años de iteración.
La realidad virtual siguió un patrón similar. Una demostración con visor puede ser increíble durante cinco minutos. Un producto sostenible requiere hardware, software, contenido, ergonomía, precio, distribución y un valor continuo para el usuario.
Los agentes pertenecen a esta categoría. Son fáciles de imaginar y fáciles de mostrar en una demo, pero difíciles de lanzar como productos duraderos.
Tres lecciones prácticas para quienes construyen agentes
1. Comprende el modelo antes de ampliar la capa envolvente del agente
Antes de añadir más herramientas, pregúntate qué puede y qué no puede hacer el modelo de forma fiable. ¿Puede seguir instrucciones largas? ¿Puede darse cuenta de cuándo no está seguro? ¿Puede recuperarse después de una llamada fallida a una API? ¿Puede verificar su propio trabajo?
Si el modelo es débil en el núcleo, más orquestación puede hacer que el sistema sea más frágil, no más útil.
2. Trata la demo como el comienzo, no como la meta
Una buena demo es valiosa porque demuestra una dirección. Pero no es ajuste producto-mercado, fiabilidad ni confianza.
En los productos con agentes, el trabajo real empieza después de la demo: registro, evaluación, reversión, revisión humana, diseño de permisos, límites de memoria y manejo de fallos.
3. Construye bases que permitan que los agentes emerjan
La lección de producto más sólida de Karpathy es que el agente en sí puede no ser el producto. El producto más profundo puede ser la capacidad del modelo, el diseño del entorno, la canalización de datos, el sistema de evaluación y la interfaz de herramientas que hacen fiable el comportamiento del agente.
Una base más sólida puede hacer posibles muchos comportamientos de agentes. Una base débil convierte cada flujo de trabajo en un mosaico de casos especiales.
El regreso de Karpathy al preentrenamiento
El artículo también menciona el paso de Karpathy al equipo de preentrenamiento de Anthropic. Esto es relevante porque refuerza el mismo mensaje: la frontera sigue estando profundamente ligada al trabajo fundacional sobre modelos.
El preentrenamiento puede sonar menos llamativo que los agentes, pero moldea la capacidad bruta de la que depende todo lo demás. Mejores modelos pueden mejorar el razonamiento, la comprensión del lenguaje, el uso de herramientas, la programación, la planificación y la percepción multimodal.
Para quienes construyen agentes, esto no significa que todo el mundo deba entrenar modelos de frontera. La mayoría de los equipos no pueden. Pero sí necesitan entender lo bastante bien el comportamiento del modelo como para diseñar en torno a él.
Un equipo que construye agentes debería saber qué fallos provienen del prompting, cuáles provienen del diseño de herramientas, cuáles provienen de la falta de contexto y cuáles provienen de los límites subyacentes del modelo.
Aprender del cerebro
Después de la lección de producto, el artículo original se orienta hacia la neurociencia. Según se informa, Karpathy animó a los constructores a pensar en lo que los sistemas de agentes podrían aprender del cerebro.
La comparación no consiste en copiar literalmente la biología. Se trata de plantear mejores preguntas estructurales.
¿Qué cumple el papel de la memoria? ¿Qué selecciona
¿acciones? ¿Qué almacena las habilidades? ¿Qué decide qué pensamiento o plan recibe atención? ¿Qué evita que los objetivos a largo plazo sean sobrescritos por el ruido a corto plazo?
Estas preguntas son útiles porque los productos basados en agentes suelen fallar precisamente en estas áreas. Olvidan el contexto. Eligen la siguiente acción equivocada. Reaccionan de forma exagerada ante información irrelevante. No pueden mantener un plan estable. Fallan en silencio.
Una arquitectura de agentes más madura quizá necesite una separación más clara entre memoria, planificación, acción, reflexión, recuperación y verificación.
Por qué los desarrolladores independientes siguen siendo importantes
La parte más alentadora del mensaje de Karpathy no es la crítica. Es el recordatorio de que la frontera de los agentes sigue abierta.
Los grandes laboratorios tienen una profunda experiencia en el entrenamiento de modelos lingüísticos de vanguardia. Han visto muchas ideas de entrenamiento de modelos años antes de que el público las conozca. En ese ámbito, la brecha de experiencia es enorme.
Los productos basados en agentes son diferentes. El campo sigue siendo joven. Los mejores flujos de trabajo, interfaces, patrones de memoria, sistemas de permisos, ciclos de revisión y categorías de producto todavía no están completamente definidos.
Eso les da a los desarrolladores independientes, las startups y los pequeños equipos de investigación una oportunidad real. Pueden probar ideas más precisas, hablar con los usuarios más rápido, cambiar de dirección con rapidez y explorar flujos de producto que los grandes laboratorios quizá no prioricen.
La advertencia, entonces, no es “no construyan agentes”. Es “no se salten los cimientos”.
Notas sobre la fuente y las imágenes
Este artículo es una adaptación original al inglés basada en la página fuente pública de BAAI Hub: https://hub.baai.ac.cn/view/56135.
La página fuente incluye varias imágenes. Esta versión en Markdown conserva solo las imágenes que respaldan el significado del artículo, como capturas de pantalla de X, capturas de artículos, actualizaciones de investigación y la portada del libro mencionada. No se incluyeron imágenes que solo contienen logotipos, imágenes con códigos QR, banners promocionales ni imágenes decorativas no relacionadas.
Preguntas frecuentes
¿Cuál es la principal advertencia de Karpathy sobre los agentes de IA?
La advertencia principal es que los desarrolladores podrían estar apresurándose a hacer que los agentes realicen tareas complejas antes de que los modelos subyacentes sean lo bastante fiables. Los envoltorios de agentes pueden ayudar, pero no pueden compensar por completo un razonamiento débil, una mala recuperación o una comprensión superficial de las tareas.
¿Qué fue World of Bits?
World of Bits fue una plataforma de investigación para agentes basados en la web, presentada en ICML 2017. Exploraba agentes que interactuaban con sitios web mediante acciones de bajo nivel como la entrada por teclado y ratón.
¿Por qué es tan importante para los agentes la diferencia entre una demo y un producto?
Una demo puede prepararse y probarse en un entorno limitado. Un producto tiene que funcionar con muchos usuarios, tareas, errores, permisos y casos extremos. Por eso, los productos basados en agentes suelen requerir trabajo a largo plazo en fiabilidad y evaluación.
¿Significa esto que no vale la pena construir agentes de IA?
No.
el argumento no va en contra de los agentes. Va en contra de construir agentes sin comprender el modelo, el entorno, el proceso de evaluación y las limitaciones del producto subyacentes.
¿Por qué es importante el preentrenamiento para los productos basados en agentes?
El preentrenamiento afecta el razonamiento, la comprensión del lenguaje, el uso de herramientas y la generalización del modelo base. Los modelos base más sólidos hacen que el comportamiento de los agentes sea más fácil de diseñar, evaluar y considerar fiable.
¿Qué pueden aprender los desarrolladores de agentes de la neurociencia?
La neurociencia puede inspirar preguntas sobre la memoria, la selección de acciones, la atención, la planificación y el automonitoreo. Los sistemas de agentes pueden necesitar una arquitectura más clara en torno a estas funciones, en lugar de depender de un único prompt largo o de un único bucle genérico.
¿Están los equipos pequeños por detrás de los grandes laboratorios de IA en el desarrollo de agentes?
No necesariamente. Los grandes laboratorios tienen una enorme ventaja en el entrenamiento de modelos de frontera, pero los patrones de producto para agentes todavía no están definidos. Los equipos pequeños pueden moverse con rapidez y descubrir flujos de trabajo útiles antes de que se vuelvan evidentes.
Herramientas relacionadas
- Claude: El asistente de IA de Anthropic, usado con frecuencia para razonamiento, redacción, programación y apoyo a flujos de trabajo.
- Documentación de la API de Claude: Documentación oficial para crear aplicaciones con los modelos Claude de Anthropic.
- World of Bits: Una plataforma de investigación para estudiar agentes basados en la web que realizan acciones con teclado y ratón.
- MineDojo: Un marco basado en Minecraft para la investigación abierta de agentes incorporados.
- Voyager: Un proyecto de agente incorporado impulsado por LLM para aprendizaje continuo en Minecraft.
Enlaces relacionados
- Fuente original en BAAI Hub: El artículo fuente utilizado como base factual para esta adaptación al inglés.
- Artículo de World of Bits: Página oficial de PMLR para el artículo de ICML 2017.
- PDF de World of Bits: Versión PDF directa del artículo de investigación.
- Actualización de Karpathy sobre Anthropic: Publicación pública de Karpathy sobre su incorporación a Anthropic.
- Sitio oficial de Anthropic: Sitio web oficial de Anthropic y de los anuncios relacionados con Claude.
- Artículo de Voyager: Artículo en arXiv sobre Voyager, un agente incorporado abierto impulsado por grandes modelos de lenguaje.
- Artículo de MineDojo: Artículo en arXiv sobre el marco abierto de agentes incorporados de MineDojo.
- Brain and Behavior: Página de Oxford University Press del libro de neurociencia citado en la discusión.
Resumen
Este artículo explica la advertencia de Karpathy sobre la actual fiebre por los agentes de IA: los agentes son emocionantes, pero unos cimientos débiles los hacen frágiles. La lección de World of Bits es que incluso una idea sólida puede llegar antes de que el campo disponga de las herramientas adecuadas.
Para quienes construyen hoy, el camino práctico no es abandonar los agentes. Es comprender el modelo, crear sistemas de evaluación más sólidos, diseñar bucles de acción más seguros y tratar las demos como el comienzo del trabajo de producto, no como su versión final.
que la línea de meta.
La conclusión útil es sencilla: primero construye la base y luego deja que surjan de ella agentes mejores.