O Aviso de Karpathy sobre Agentes: Construa Primeiro o Modelo, Não Apenas a Demo

Introdução

Os agentes de IA estão por toda parte neste momento. Toda semana, uma nova ferramenta promete navegar na web, controlar um computador, fazer uma reserva, escrever código ou concluir um fluxo de trabalho com apenas uma instrução curta do usuário.

Esse entusiasmo é real. Mas a mensagem recente de Andrej Karpathy aos criadores de agentes ganhou força porque vai contra o espírito do momento: antes de pressionar os agentes a fazer tudo, os desenvolvedores deveriam primeiro entender e melhorar o modelo subjacente.

A questão não é que os agentes de IA sejam inúteis. A questão é mais precisa do que isso. Uma demo chamativa pode esconder bases frágeis. Um produto real precisa sobreviver a entradas desorganizadas, tarefas longas, casos extremos, problemas de memória, mudanças de interface e à confiança do usuário. É nessa diferença que muitos projetos de agentes fracassam.

A Mensagem Que Fez os Criadores de Agentes Pararem

A discussão começou a partir de um clipe curto e de uma publicação amplamente compartilhada que resumiu a visão de Karpathy. A ideia central era simples: o campo da IA pode estar cometendo um erro ao forçar os agentes a funcionar antes de dominar plenamente os modelos que estão por baixo deles.

Essa frase soa desconfortável porque desafia a corrida atual pelos agentes. Muitas equipes estão tentando transformar os LLMs de hoje em trabalhadores autônomos o mais rápido possível. Elas envolvem os modelos com ferramentas, memória, controle de navegador, acesso a arquivos, tarefas agendadas e fluxos de trabalho de múltiplas etapas.

Essas camadas podem ajudar. Mas elas não eliminam a pergunta básica: o modelo consegue raciocinar com confiabilidade suficiente, planejar com clareza suficiente, se recuperar de erros e compreender a tarefa com profundidade suficiente?

Se a resposta for não, adicionar mais estruturas de suporte para agentes pode fazer o sistema parecer mais capaz em uma demo, ao mesmo tempo em que se torna mais difícil de depurar em produção.

A Lição de 2016: World of Bits

O aviso de Karpathy não é apenas teórico. O artigo de origem remete a um projeto de 2016: World of Bits, uma plataforma de agentes baseada na web construída em torno da ideia de que agentes poderiam interagir com a internet por meio de ações de teclado e mouse.

Na época, o objetivo parecia futurista. Um agente usaria páginas da web da mesma forma que uma pessoa: clicaria em botões, preencheria formulários, navegaria entre páginas e concluiria tarefas como reservar voos ou pedir comida. Isso soa muito próximo das propostas de produtos com agentes que as pessoas ouvem hoje.

O projeto tornou-se um esforço sério de pesquisa e foi

publicado na ICML 2017 como “World of Bits: An Open-Domain Platform for Web-Based Agents.” Mas o sonho de um produto maior não se concretizou plenamente naquele momento.

A lição importante não é que a ideia estava errada. É que as ferramentas disponíveis não estavam prontas. O campo dos agentes ainda não tinha os modelos fundacionais de hoje, sistemas multimodais, padrões de uso de ferramentas nem LLMs capazes de programar. O aprendizado por reforço era um dos principais martelos, e não bastava para transformar a ideia em um produto geral robusto.

É por isso que a mensagem de Karpathy importa agora. Uma direção tecnicamente atraente ainda pode chegar cedo demais se a capacidade de base não for forte o suficiente.

De uma demonstração fracassada de agente a fundamentos mais sólidos

Uma forma útil de interpretar a história do World of Bits é como uma lição sobre timing.

A equipe estava trabalhando em algo que parecia o futuro, mas o campo ainda não havia construído a base necessária para sustentá-lo. Olhando em retrospecto, o argumento de Karpathy é que o melhor movimento teria sido focar menos em forçar agentes a executar tarefas e mais em melhorar os modelos de linguagem e o aprendizado de representações subjacentes.

É isso também que torna o momento atual interessante. As ferramentas mudaram. Os LLMs agora conseguem raciocinar em linguagem natural, chamar ferramentas, escrever código, interpretar capturas de tela e manter um contexto mais longo do que os sistemas anteriores. A pilha de agentes é muito mais plausível do que era em 2016.

Ainda assim, ferramentas mais fortes não eliminam a dificuldade do produto. Elas apenas empurram a fronteira adiante.

Jim Fan e a continuidade da pesquisa em agentes

O artigo de origem também conecta o World of Bits a trabalhos posteriores com agentes incorporados por meio de pesquisadores como Jim Fan. Isso importa porque a história dos agentes não desapareceu depois que os primeiros projetos de agentes web estagnaram. Ela evoluiu para áreas de pesquisa mais ricas: ambientes de simulação, agentes de Minecraft, aprendizado aberto e inteligência incorporada.

Projetos como MineDojo e Voyager mostram um caminho diferente de “clicar em algumas páginas da web e torcer para que o agente funcione”. Eles exploram agentes em ambientes nos quais objetivos, memória, ações, habilidades e feedback podem ser estudados de forma mais sistemática.

Isso não significa que agentes de Minecraft resolvam diretamente a automação empresarial. Significa que o progresso sério em agentes geralmente vem de ambientes melhores, avaliação melhor, comportamento de modelo melhor e ciclos de feedback mais claros.

Fazer uma demo é fácil; transformar em produto leva anos

Um dos pontos mais práticos do artigo é a diferença entre uma demo e um produto.

Uma demo só precisa funcionar uma vez, muitas vezes em condições preparadas. Um produto precisa funcionar repetidamente, para usuários diferentes, em situações diferentes, ao mesmo tempo em que torna as falhas compreensíveis e recuperáveis.

A direção autônoma é uma comparação útil. Um carro dando uma volta no quarteirão pode parecer impressionante. Um sistema de direção autônoma pronto para produção precisa lidar com eventos raros, condições ruins,

visibilidade, comportamento estranho na estrada, restrições regulatórias, expectativas de segurança e anos de iteração.

A VR seguiu um padrão semelhante. Uma demonstração com headset pode ser impressionante durante cinco minutos. Um produto sustentável exige hardware, software, conteúdo, ergonomia, preços, distribuição e valor recorrente para o utilizador.

Os agentes pertencem a esta categoria. São fáceis de imaginar e fáceis de demonstrar, mas difíceis de lançar como produtos duradouros.

Três Lições Práticas para Quem Constrói Agentes

1. Compreenda o modelo antes de expandir a camada de agente

Antes de adicionar mais ferramentas, pergunte-se o que o modelo consegue e não consegue fazer de forma fiável. Consegue seguir instruções longas? Consegue perceber quando está incerto? Consegue recuperar após uma chamada de API falhada? Consegue verificar o próprio trabalho?

Se o modelo for fraco no centro, mais orquestração pode tornar o sistema mais frágil, e não mais útil.

2. Trate a demonstração como o começo, não como a linha de chegada

Uma boa demonstração é valiosa porque prova uma direção. Mas não é product-market fit, fiabilidade nem confiança.

Nos produtos baseados em agentes, o verdadeiro trabalho começa depois da demonstração: registo de logs, avaliação, reversão, revisão humana, desenho de permissões, limites de memória e tratamento de falhas.

3. Construa bases que permitam o surgimento de agentes

A lição de produto mais forte de Karpathy é que o próprio agente pode não ser o produto. O produto mais profundo pode ser a capacidade do modelo, o desenho do ambiente, o pipeline de dados, o sistema de avaliação e a interface de ferramentas que tornam o comportamento do agente fiável.

Uma base mais sólida pode tornar possíveis muitos comportamentos de agentes. Uma base fraca transforma cada fluxo de trabalho numa colcha de retalhos de casos especiais.

O Regresso de Karpathy ao Pretraining

O artigo também menciona a mudança de Karpathy para a equipa de pretraining da Anthropic. Isto é relevante porque reforça a mesma mensagem: a fronteira continua profundamente ligada ao trabalho fundamental com modelos.

O pretraining pode parecer menos chamativo do que os agentes, mas molda a capacidade bruta da qual tudo o resto depende. Modelos melhores podem melhorar o raciocínio, a compreensão da linguagem, o uso de ferramentas, a programação, o planeamento e a perceção multimodal.

Para quem constrói agentes, isto não significa que toda a gente tenha de treinar modelos de fronteira. A maioria das equipas não pode. Mas precisam, sim, de compreender o comportamento do modelo suficientemente bem para conceber à sua volta.

Uma equipa que constrói agentes deve saber quais falhas vêm do prompting, quais vêm do desenho das ferramentas, quais vêm de contexto em falta e quais vêm dos limites subjacentes do modelo.

Aprender com o Cérebro

Depois da lição de produto, o artigo original volta-se para a neurociência. Segundo consta, Karpathy incentivou os construtores a pensar no que os sistemas de agentes podem aprender com o cérebro.

A comparação não se trata de copiar literalmente a biologia. Trata-se de fazer melhores perguntas estruturais.

O que desempenha o papel da memória? O que seleciona

ações? O que armazena habilidades? O que decide qual pensamento ou plano recebe atenção? O que impede que objetivos de longo prazo sejam sobrescritos por ruído de curto prazo?

Essas perguntas são úteis porque os produtos baseados em agentes frequentemente falham exatamente nessas áreas. Eles esquecem o contexto. Escolhem a próxima ação errada. Reagem de forma exagerada a informações irrelevantes. Não conseguem manter um plano estável. Falham em silêncio.

Uma arquitetura de agentes mais madura pode precisar de uma separação mais clara entre memória, planejamento, ação, reflexão, recuperação de informações e verificação.

Por que os construtores independentes ainda importam

A parte mais encorajadora da mensagem de Karpathy não é a crítica. É o lembrete de que a fronteira dos agentes ainda está aberta.

Grandes laboratórios têm vasta experiência no treinamento de modelos de linguagem de ponta. Eles já viram muitas ideias de treinamento de modelos anos antes de o público vê-las. Nessa área, a diferença de experiência é enorme.

Os produtos baseados em agentes são diferentes. O campo ainda é jovem. Os melhores fluxos de trabalho, interfaces, padrões de memória, sistemas de permissão, ciclos de revisão e categorias de produto ainda não estão totalmente definidos.

Isso dá aos desenvolvedores independentes, startups e pequenas equipes de pesquisa uma chance real. Eles podem testar ideias mais precisas, falar com os usuários mais rapidamente, mudar de direção com agilidade e explorar fluxos de trabalho de produto que grandes laboratórios talvez não priorizem.

O alerta, portanto, não é “não construam agentes”. É “não pulem as fundações”.

Notas sobre a fonte e as imagens

Este artigo é uma adaptação original em inglês baseada na página-fonte pública do BAAI Hub: https://hub.baai.ac.cn/view/56135.

A página-fonte inclui várias imagens. Esta versão em Markdown mantém apenas as imagens que apoiam o significado do artigo, como capturas de tela do X, capturas de artigos, atualizações de pesquisa e a capa do livro mencionada. Imagens contendo apenas logotipos, códigos QR, banners promocionais e elementos decorativos sem relação não foram incluídas.

FAQ

Qual é o principal alerta de Karpathy sobre agentes de IA?

O principal alerta é que os construtores podem estar se apressando para fazer agentes executarem tarefas complexas antes que os modelos subjacentes sejam suficientemente confiáveis. Envoltórios de agentes podem ajudar, mas não conseguem compensar totalmente raciocínio fraco, recuperação deficiente ou compreensão superficial da tarefa.

O que foi World of Bits?

World of Bits foi uma plataforma de pesquisa para agentes baseados na web, publicada na ICML 2017. Ela explorava agentes que interagiam com sites por meio de ações de baixo nível, como entrada por teclado e mouse.

Por que a diferença entre uma demonstração e um produto é tão importante para agentes?

Uma demonstração pode ser preparada e testada em um contexto restrito. Um produto precisa funcionar com muitos usuários, tarefas, erros, permissões e casos extremos. É por isso que produtos baseados em agentes normalmente exigem trabalho de longo prazo em confiabilidade e avaliação.

Isso significa que agentes de IA não valem a pena ser desenvolvidos?

Não.

o argumento não é contra agentes. É contra construir agentes sem compreender o modelo, o ambiente, o processo de avaliação e as restrições do produto subjacentes.

Por que o pré-treinamento é importante para produtos com agentes?

O pré-treinamento afeta o raciocínio, a compreensão da linguagem, o uso de ferramentas e a capacidade de generalização do modelo base. Modelos base mais fortes tornam o comportamento dos agentes mais fácil de projetar, avaliar e tornar confiável.

O que os criadores de agentes podem aprender com a neurociência?

A neurociência pode inspirar perguntas sobre memória, seleção de ações, atenção, planejamento e automonitoramento. Sistemas de agentes podem precisar de uma arquitetura mais clara em torno dessas funções, em vez de depender de um único prompt longo ou de um único loop genérico.

Equipes pequenas estão atrás dos grandes laboratórios de IA no desenvolvimento de agentes?

Não necessariamente. Grandes laboratórios têm uma enorme vantagem no treinamento de modelos de fronteira, mas os padrões de produtos com agentes ainda não estão consolidados. Equipes pequenas podem se mover rapidamente e descobrir fluxos de trabalho úteis antes que eles se tornem óbvios.

Ferramentas Relacionadas

• Claude: Assistente de IA da Anthropic, frequentemente usado para raciocínio, escrita, programação e suporte a fluxos de trabalho.
• Documentação da API Claude: Documentação oficial para criar aplicações com os modelos Claude da Anthropic.
• World of Bits: Uma plataforma de pesquisa para estudar agentes baseados na web que executam ações com teclado e mouse.
• MineDojo: Uma estrutura baseada em Minecraft para pesquisa aberta sobre agentes incorporados.
• Voyager: Um projeto de agente incorporado impulsionado por LLM para aprendizado contínuo no Minecraft.

Links Relacionados

• Fonte original no BAAI Hub: O artigo-fonte usado como base factual para esta adaptação em inglês.
• Artigo World of Bits: Página oficial da PMLR para o artigo da ICML 2017.
• PDF do World of Bits: Versão em PDF do artigo de pesquisa.
• Atualização de Karpathy sobre a Anthropic: Publicação de Karpathy sobre sua entrada na Anthropic.
• Site oficial da Anthropic: Site oficial da Anthropic e de anúncios relacionados ao Claude.
• Artigo do Voyager: Artigo no arXiv sobre o Voyager, um agente incorporado aberto com grandes modelos de linguagem.
• Artigo do MineDojo: Artigo no arXiv sobre a estrutura aberta de agentes incorporados do MineDojo.
• Brain and Behavior: Página da Oxford University Press para o livro de neurociência mencionado na discussão.

Resumo

Este artigo explica o alerta de Karpathy sobre a atual corrida pelos agentes de IA: agentes são empolgantes, mas fundamentos fracos os tornam frágeis. A lição do World of Bits é que uma ideia forte ainda pode surgir antes que a área disponha das ferramentas certas.

Para os criadores de hoje, o caminho prático não é abandonar os agentes. É compreender o modelo, construir sistemas de avaliação mais robustos, projetar loops de ação mais seguros e tratar as demos como o início do trabalho de produto, e não como o fim.

do que a linha de chegada.

A conclusão útil é simples: construa primeiro a base e, depois, deixe que agentes melhores surjam a partir dela.