Comment les traces de raisonnement de l'IA peuvent être extraites : une étude de cas sur la distillation en deux étapes et la sécurité des API

Introduction

La distillation de modèles d'IA a toujours été l'un des sujets les plus sensibles de l'industrie des LLM. Lorsqu'un nouveau modèle devient soudainement beaucoup plus puissant, ou que ses réponses commencent à présenter des comportements caractéristiques des modèles leaders, les chercheurs se demandent naturellement s'il existe une forme de transfert de connaissances ou de raisonnement.

Un récent article de recherche de 116 pages apporte un type de preuve différent à cette discussion. Les chercheurs rapportent que les états de raisonnement cachés exposés dans des flux de travail API spécifiques peuvent, dans les conditions qu'ils ont étudiées, être récupérés à l'aide d'un autre modèle. La même étude soulève également des préoccupations de sécurité plus larges : si les traces de raisonnement et les trajectoires de comportement des agents sont stockées, partagées ou rejouées sans isolation suffisamment stricte, elles peuvent contenir des informations sensibles.

Ces conclusions doivent être considérées comme un résultat de recherche, et non comme une réponse définitive sur la distillation de l'IA. Les auteurs ne prétendent pas que chaque similarité entre modèles prouve l'existence d'une distillation. Au contraire, leurs expériences fournissent de nouvelles preuves sur la manière dont les traces de raisonnement peuvent être transférées, reproduites et exposées.

Dévoiler le processus de raisonnement d'Opus en deux appels API

Des chercheurs du MATS Research, de l'ELLIS Institute Tübingen et d'autres institutions ont étudié si le raisonnement habituellement caché derrière les API pouvait être récupéré.

Le dispositif expérimental rapporté utilise un modèle plus puissant pour générer des états de raisonnement, et un modèle plus petit de la même famille de modèles pour interpréter ces états. Dans l'exemple décrit dans l'article source, Opus 4.8 génère le raisonnement, tandis que Haiku 4.5 est utilisé pour exposer le processus de raisonnement caché.

La même idée générale a également été rapportée comme appliquée à d'autres écosystèmes de modèles, y compris les modèles d'OpenAI et de Google. Le point clé n'est pas que les modèles plus petits peuvent intrinsèquement lire les états internes de tous les modèles plus puissants, mais que l'infrastructure API partagée et les formats d'état de raisonnement compatibles peuvent créer des interfaces d'interaction inattendues.

Le processus décrit dans l'article source est étonnamment simple.

Première étape : faire résoudre le problème au modèle plus puissant

La première requête demande à Opus 4.8 de résoudre un problème, par exemple trouver le plus grand facteur premier de 8 139 881.

Selon l'article source, la réponse de l'API contient deux informations pertinentes : un résumé de raisonnement traité et une longue chaîne de caractères apparemment illisible. L'article identifie cette dernière comme une représentation chiffrée de la chaîne de pensée complète du modèle.

Deuxième étape : rejouer le bloc de raisonnement vers un autre modèle

L'attaque rapportée place ensuite ce bloc chiffré dans une nouvelle requête et change le modèle en Claude Haiku 4.5.

L'invite demande au modèle plus petit de continuer et de reproduire, dans les balises <thinking-copy>, le raisonnement associé à l'état fourni.

Selon les expériences rapportées, Haiku a pu reproduire le processus de raisonnement caché. La trace prétendument récupérée comprend des opérations telles que l'essai de division, l'exclusion, la factorisation et la vérification.

Le nombre de jetons rapporté est également frappant. L'article source affirme que la quantité de jetons de raisonnement extraits est proche du nombre de jetons de réflexion facturés par l'API, ce qui indique que le matériel récupéré n'est pas simplement un résumé succinct.

Pourquoi un modèle plus petit peut-il lire les états cachés d'un modèle plus puissant ?

C'est la question technique centrale.

Les modèles de raisonnement doivent généralement effectuer un travail en plusieurs étapes. Dans les tâches agentiques, le modèle peut rechercher sur le web, exécuter du code, appeler des outils, vérifier les résultats, puis continuer à raisonner à partir de l'état obtenu.

Cet état doit être préservé entre les appels API.

Une architecture possible consiste à stocker l'état côté client, plutôt que de tout conserver sur les serveurs du fournisseur. L'état de raisonnement du modèle peut être empaqueté dans un bloc chiffré, renvoyé au client, puis fourni à nouveau lors des requêtes suivantes. Le serveur peut déchiffrer le bloc, permettant au modèle de reprendre là où il s'est arrêté.

Cette conception peut réduire les besoins de stockage côté serveur et prendre en charge des flux de travail soucieux de la confidentialité. Mais elle crée également une frontière de sécurité qui doit être mise en œuvre avec prudence.

Le problème rapporté est que les blocs de raisonnement chiffrés ne sont pas toujours suffisamment liés à leur contexte d'origine. Dans les conditions étudiées par les chercheurs, cela a produit trois formes d'interopérabilité :

1. Inter-sessions : des blocs de raisonnement d'une session précédente peuvent être réutilisés dans une nouvelle session.
2. Inter-utilisateurs : des blocs de raisonnement exposés publiquement peuvent être soumis par un autre utilisateur.
3. Inter-modèles : des blocs de raisonnement générés par un modèle plus puissant peuvent être traités par d'autres modèles du même fournisseur.

Ces comportements peuvent avoir des motivations d'ingénierie légitimes. Le changement de modèle, les systèmes de repli, la compression de contexte et les flux de travail agentiques de longue durée bénéficient tous d'états réutilisables.

Le problème est que si l'état n'est pas strictement limité à l'utilisateur, à la session, au modèle et au contexte d'autorisation d'origine, cette même interopérabilité peut devenir une surface d'attaque.

Un décodeur à faible coût peut modifier l'économie de la question

Une autre découverte importante concerne les coûts.

L'article source estime que, sur la base des hypothèses de tarification API de Haiku 4.5 citées, lorsque chaque trace contient environ 12 000 jetons d'entrée et de sortie, le coût nominal pour décoder 10 000 traces de raisonnement est d'environ 720 dollars américains.

Cela modifie l'économie de l'extraction des traces de raisonnement. Si les modèles coûteux ne sont utilisés que pour générer l'état initial, tandis que des modèles moins chers effectuent le décodage, une attaque qui nécessiterait un accès coûteux à des modèles de pointe pourrait devenir plus pratique.

C'est particulièrement important pour les fournisseurs de modèles, car les traces de raisonnement peuvent représenter une part significative de la valeur créée au cours du processus de raisonnement. Si ces traces peuvent être récupérées et réutilisées en dehors de leurs limites prévues, elles pourraient devenir une nouvelle forme de fuite de propriété intellectuelle des modèles.

L'énigme de la distillation obtient ses premières preuves

Une fois les chercheurs en possession de traces de raisonnement plus complètes, ils les ont utilisées pour explorer une question plus large : les schémas de raisonnement spécifiques à un modèle peuvent-ils révéler des preuves de distillation ?

Les chercheurs ont mené deux expériences.

Expérience 1 : Reproduire des jetons de raisonnement consécutifs

Dans la première expérience, les chercheurs ont sélectionné 16 jetons consécutifs issus d'une trace de raisonnement d'Opus et ont demandé à plusieurs modèles de continuer à résoudre le même problème.

L'idée est simple : si un modèle peut reproduire exactement la même suite plus facilement qu'un autre modèle, cela peut indiquer qu'il a appris quelque chose d'anormalement proche des schémas de raisonnement du modèle source.

Les différences rapportées sont considérables.

Un modèle aurait théoriquement besoin d'environ 10 milliards de tentatives pour reproduire par hasard la phrase d'Opus sélectionnée. Deux autres modèles auraient besoin d'environ 100 000 milliards et 1 000 000 milliards de tentatives, respectivement.

En d'autres termes, dans la comparaison rapportée, un modèle a reproduit le même schéma de raisonnement d'Opus environ un million de fois plus facilement que les modèles alternatifs.

Expérience 2 : Injecter uniquement le début du raisonnement

La deuxième expérience n'a fourni à un autre modèle que le début de la trace de raisonnement d'Opus, puis a observé comment sa réponse évoluait.

Dans un exemple, seuls cinq jetons ont été fournis.

Selon les rapports, même cette quantité minime d'informations a fait dériver le style de formulation, la réponse et le rythme de résolution du problème du modèle cible vers la trace d'Opus. Le score de similarité rapporté est passé de 0,17 à 0,33.

Les chercheurs ont ensuite étendu le test à 30 questions. Selon l'article source, 29 de ces questions ont montré le même effet global : donner au modèle un point de départ de style Opus a rendu les réponses ultérieures plus proches d'Opus que lorsqu'un point de départ d'un autre modèle était utilisé.

Cela peut-il prouver la distillation ?

Pas à lui seul.

L'article source souligne que les chercheurs ne déclarent pas avoir résolu le problème de la distillation. La similarité des sorties ou des schémas de raisonnement est une preuve qui mérite d'être étudiée, mais elle ne prouve pas automatiquement qu'un modèle a été entraîné directement sur les données de raisonnement privées d'un autre modèle.

Ces expériences offrent une manière plus concrète d'étudier les caractéristiques de raisonnement spécifiques à un modèle, car il est désormais possible d'analyser des traces de raisonnement plus longues.

GitHub et les traces agentiques publiques créent un autre problème de sécurité

Cette question ne se limite pas aux entreprises de modèles.

Selon les rapports, les chercheurs ont collecté 6 708 traces agentiques publiquement disponibles sur GitHub et Hugging Face, et ont reconstruit 315 320 blocs de raisonnement.

Parmi ces traces, 328 contenaient au moins un élément sensible, soit environ 4,9 % des traces collectées.

L'article source rapporte que les chercheurs ont trouvé :

• 62 clés API
• 33 mots de passe
• 24 jetons d'accès
• 7 clés privées
• 30 adresses e-mail personnelles
• 130 noms personnels
• 36 adresses postales

C'est un avertissement pratique pour les développeurs qui construisent des systèmes agentiques.

Une trace peut ressembler à une sortie de débogage ordinaire, mais elle peut contenir des paramètres d'outils, des variables d'environnement, des identifiants, des informations personnelles, des URL internes ou d'autres données qui ne devraient jamais faire partie d'un ensemble d'entraînement public ou d'un dépôt.

Si des traces agentiques doivent être enregistrées, partagées ou publiées, les développeurs devraient les considérer comme des données potentiellement sensibles, et non comme des journaux d'application ordinaires.

Questions fréquentes

Qu'est-ce qu'une trace de raisonnement en IA ?

Une trace de raisonnement en IA est constituée des états intermédiaires ou des sorties liées au raisonnement générés par un modèle au cours de l'exécution d'une tâche. Selon la conception de l'API, l'utilisateur peut recevoir un résumé, un état de raisonnement structuré ou une représentation chiffrée, plutôt que le calcul interne brut du modèle.

Qu'est-ce que la distillation de modèles d'IA ?

La distillation de modèles est une technique qui permet à un modèle plus petit ou différent d'apprendre du comportement d'un modèle plus grand ou plus puissant. Elle est largement utilisée pour transférer des capacités utiles vers des modèles dont l'exécution est moins coûteuse ou plus rapide.

La récupération d'une trace de raisonnement peut-elle prouver qu'un modèle a été distillé ?

Non.

Restaurer la trace de raisonnement peut fournir des preuves de similarité entre modèles, mais cela ne détermine pas en soi comment un modèle a été entraîné. Pour établir une attribution plus solide, il faut des sources de données d'entraînement, des expériences contrôlées et d'autres éléments de preuve.

Pourquoi les états de raisonnement chiffrés constituent-ils un risque de sécurité ?

Le chiffrement protège le contenu du bloc d'état, mais il ne garantit pas automatiquement que ce bloc est lié au bon utilisateur, à la bonne session, au bon modèle ou au bon contexte d'autorisation. Si ces frontières sont faibles, un état chiffré valide peut être rejoué dans un contexte non prévu.

Pourquoi les traces d'agent sont-elles sensibles ?

Les traces d'agent peuvent contenir des appels d'outils, des invites, des variables d'environnement, des identifiants API, des données personnelles, des chemins de fichiers internes et d'autres informations collectées pendant l'exécution. Par conséquent, si elles sont publiées sans nettoyage approprié, même si l'application d'origine semble inoffensive, elles peuvent exposer des informations confidentielles.

Les développeurs devraient-ils publier des traces d'agent brutes sur GitHub ?

Sauf après un examen et un nettoyage minutieux, il faut éviter de publier des traces brutes. Avant de partager des traces, il convient de supprimer les informations confidentielles, les jetons, les identifiants, les informations personnelles, les URL privées et les données exclusives.

Les modèles plus petits sont-ils toujours capables de décoder le raisonnement des modèles plus grands ?

Non. Les résultats rapportés dépendent du comportement spécifique de l'API, de la famille de modèles, du format de l'état de raisonnement et des conditions expérimentales. Cela ne doit pas être interprété comme une règle générale selon laquelle les modèles plus petits peuvent toujours récupérer le raisonnement des modèles plus grands.

Outils associés

• Documentation API Anthropic : Documentation officielle pour le développement avec l'API et les modèles Claude.
• Documentation de la plateforme OpenAI : Documentation officielle pour l'API OpenAI et l'intégration des modèles.
• Documentation API Google Gemini : Documentation officielle pour créer avec les modèles Gemini.
• GitHub : Plateforme courante pour consulter et partager du code source et des traces d'agent.
• Hugging Face : Plateforme principale pour les modèles, les ensembles de données et les ressources de recherche en apprentissage automatique.

Liens associés

• Documentation Anthropic : Documentation officielle de l'API et des développeurs Claude.
• Documentation OpenAI : Documentation officielle de l'API OpenAI.
• Google AI pour développeurs : Ressources officielles pour les développeurs Gemini et Google AI.
• GitHub : Plateforme d'hébergement et de collaboration pour le code source lié aux traces d'agent publiques.
• Hugging Face : Centre des modèles et ensembles de données cités dans l'article source.
• Référence source sur la plateforme X : Publication de référence citée dans l'article original.

Résumé

La recherche rapportée met en lumière une frontière de sécurité subtile mais importante autour des états de raisonnement de l'IA. Si les blocs de raisonnement peuvent être rejoués entre sessions, utilisateurs ou modèles sans liaisons d'autorisation strictes, une fonctionnalité conçue pour une gestion efficace des états pourrait devenir un canal d'extraction imprévu.

Cette recherche propose également une nouvelle méthode pour enquêter sur la similarité entre modèles et une éventuelle distillation (distillation) en examinant des traces de raisonnement plus longues plutôt qu'en s'appuyant uniquement sur les réponses finales. Dans le même temps, ces résultats ne constituent pas une conclusion définitive quant à savoir si un modèle particulier a été entraîné par distillation non autorisée.

Pour les développeurs, la leçon la plus directe est pratique : traitez les états de raisonnement et les traces d'agent comme des données sensibles et appliquez strictement les liaisons d'identité, de session, de modèle et de frontière d'accès avant de les stocker ou de les partager.