Ouvrir le cerveau de Claude ne suffit pas : pourquoi l'ingénierie ontologique est cruciale pour une IA explicable

Introduction

Les récentes recherches d’Anthropic sur l’explicabilité offrent aux chercheurs une nouvelle méthode pour observer l’activité interne de Claude. Grâce à une approche appelée lentille jacobienne (ou J-lens), l’équipe de recherche a identifié un ensemble restreint de représentations internes linguistiquement exprimables, appelé J-Space.

Cette découverte est significative. Elle montre que certains concepts au sein des modèles de langage peuvent être utilisés de manière globale pour le reporting, le raisonnement et le contrôle comportemental. Les chercheurs peuvent observer ces représentations et les manipuler dans des expériences contrôlées pour tester si elles ont un impact causal sur les sorties du modèle.

Mais observer une représentation interne ne signifie pas l’expliquer complètement.

Un état d’activation lisible peut nous dire que le modèle suit un concept, comme compter, tromper, la France ou terminer. Mais cela ne nous dit pas automatiquement : pourquoi ce concept est-il pertinent ? Les informations sous-jacentes sont-elles fiables ? Quels faits externes soutiennent la conclusion ? Ou encore, la décision finale est-elle raisonnable ?

Cette distinction pointe vers une approche plus large de l’IA explicable. Au lieu de considérer les états internes du modèle comme le seul objet à expliquer, nous pouvons également examiner les informations traitées par le modèle : d’où viennent-elles, comment sont-elles constituées, quels concepts et relations sont utilisés, comment les preuves circulent dans le système, et comment la sortie finale se connecte à un système de connaissances externe.

C’est précisément là que l’ingénierie ontologique entre en jeu.

De la neuroscience à l’épistémologie : deux voies pour comprendre l’explicabilité

L’article d’Anthropic, « Les représentations linguistiquement exprimables constituent un espace de travail global dans les modèles de langage », introduit le concept J-Space en s’appuyant sur la théorie de l’espace de travail global issue des sciences cognitives.

En neuroscience et sciences cognitives, l’espace de travail global est souvent décrit comme une scène à capacité limitée où les informations sélectionnées sont largement accessibles à divers processus cognitifs. Anthropic a découvert qu’un sous-ensemble petit et clairsemé des représentations internes de Claude semble jouer un rôle fonctionnellement similaire.

Les chercheurs ont utilisé des vecteurs J-lens associés à des lexèmes pour examiner les états internes du modèle. Leurs expériences montrent que les informations représentées dans J-Space peuvent :

• être rapportées lorsque le modèle est interrogé sur ce à quoi il pense
• être utilisées dans différentes tâches
• être maintenues lors du traitement silencieux intermédiaire du modèle
• être manipulées de manière à modifier causalement la réponse finale
• être corrélées à des signaux comportementaux liés à la sécurité du modèle

Ces résultats font progresser l’explicabilité de la simple observation des comportements de sortie. Ils fournissent une méthode pour tester la fonctionnalité de certaines représentations internes.

Anthropic reste prudent à cet égard.

On ne peut prétendre que Claude reproduit l’architecture cognitive complète du cerveau humain ou possède une conscience subjective. J-Space est une structure fonctionnelle dans un système mathématique, non une preuve d’activité mentale humaine.

Cette prudence est cruciale, car une similarité fonctionnelle peut facilement être confondue avec une équivalence psychique.

Un modèle peut contenir un espace de travail interne partagé sans posséder de sentiments, d’expériences, d’intentions ou de conscience au sens humain. Le motif d’activation associé au mot « peur » n’est pas la peur elle-même, mais un état computationnel participant à la génération de comportements.

Perspective internaliste

J-Space appartient à une tradition large de l’explicabilité, dont le point de départ est une question :

Que se passe-t-il à l’intérieur du modèle ?

Cette approche internaliste examine les motifs d’activation, les circuits, les caractéristiques, les motifs d’attention, les représentations et les chemins causaux. Son objectif est de rendre les mécanismes cachés des réseaux neuronaux plus observables et testables.

Ce travail a une valeur claire, aidant les chercheurs à :

• localiser les caractéristiques associées à des concepts spécifiques
• tester si les représentations influencent le comportement
• détecter des objectifs cachés ou des signaux contradictoires
• comparer les processus internes sous différentes sollicitations
• explorer les défaillances de sécurité avant qu’elles n’apparaissent dans les sorties
• développer des techniques de surveillance et d’intervention

Sa limite n’est pas que l’explicabilité interne soit inutile, mais que la visibilité interne ne couvre qu’un seul niveau de l’explication.

Un motif neuronal peut être associé à une réponse sans résoudre la question de sa signification et de son fondement.

Supposons que le modèle dise « Paris est la capitale de la France ». La détection interne pourrait identifier des représentations liées à Paris, à la France, à la géographie et à la capitale, mais plusieurs questions externes restent en suspens :

• Sur quelle source de connaissance repose cette affirmation ?
• Cette déclaration est-elle temporellement et contextuellement appropriée ?
• Que signifie « capitale » dans le système de connaissances pertinent ?
• À quelle entité « Paris » fait-il référence ?
• La réponse est-elle basée sur des preuves autoritaires ou des corrélations statistiques ?
• Comment traiter les sources conflictuelles ?
• Le système peut-il indiquer pourquoi ce fait a été choisi plutôt qu’un autre ?

Ces questions ne résident pas entièrement dans les motifs d’activation, mais concernent la relation entre les représentations du modèle et les faits externes, le langage, les concepts humains et les critères de justification.

L’observabilité n’est pas toute l’explication

L’explicabilité orientée ingénierie considère souvent qu’un système est explicable lorsque les chercheurs peuvent observer et manipuler ses mécanismes internes.

Cette définition, bien qu’utile, est trop étroite.

En philosophie des sciences et en épistémologie, l’explication peut également nécessiter de fournir :

• les raisons d’une conclusion
• le lien avec les preuves
• des règles générales ou des explications causales
• le fondement d’une décision
• une méthode pour distinguer une justification valide d’une justification invalide
• une base pour la responsabilité et l’examen

J-Space peut révéler quelles informations sont activées dans une tâche, mais ne peut en lui-même déterminer si ces informations sont vraies, pertinentes, éthiques ou suffisantes pour justifier le résultat.

Ainsi, la question plus profonde est la suivante :

Ce n’est pas seulement que les réseaux neuronaux eux-mêmes sont opaques, mais que les informations entourant ces systèmes sont souvent mal structurées et difficiles à tracer.

Déplacer le problème du modèle vers l’écosystème d’information

Les grands modèles de langage sont des systèmes de traitement de l’information. Ils reçoivent du texte, des images, des fichiers, des réponses d’outils, des résultats de bases de données et d’autres signaux, puis génèrent des informations en réponse.

La signification de ces entrées et sorties dépend des relations extérieures au modèle.

Un terme médical renvoie à un concept clinique, un identifiant d’entreprise correspond à une entité légale, une règle politique appartient à une juridiction et une période de validité spécifiques, des chiffres financiers incluent des sources, des unités, des dates et des définitions comptables, et une affirmation scientifique repose sur des preuves, des méthodes et des hypothèses.

Si ces relations ne sont pas explicitement présentées, le modèle doit les déduire à travers le langage et le contexte. Cela fonctionne parfois, mais peut aussi produire ambiguïté, contradictions, hallucinations, ou des réponses qui semblent raisonnables mais ne peuvent être auditées.

Une approche de l’explicabilité centrée sur l’information pose donc les questions suivantes :

1. Quels types d’entités et de concepts existent ?
2. Comment ces entités sont-elles liées les unes aux autres ?
3. Quelle source soutient chaque affirmation ?
4. Quelles hypothèses et règles sont en cours d’application ?
5. Comment l’information circule-t-elle de la recherche au raisonnement, puis à la sortie ?
6. Quelles parties de la conclusion peuvent être vérifiées extérieurement ?
7. Qui est responsable de la définition et de la maintenance des connaissances pertinentes ?

Cela étend l’objet de l’explicabilité du réseau neuronal à l’ensemble de l’environnement informationnel dans lequel le modèle opère.

Cet environnement comprend :

• les données d’entraînement et de référence
• les systèmes de recherche
• les graphes de connaissances
• les ontologies et vocabulaires
• les sorties d’outils
• les enregistrements de provenance
• les règles de validation
• les instructions des utilisateurs
• les politiques organisationnelles
• les processus de révision et d’approbation humaine

Un modèle peut être interne explicable mais fonctionner sur des informations mal définies ou peu fiables. Inversement, les mécanismes d’un modèle peuvent être opaques, mais son résultat peut être hautement traçable car chaque affirmation est liée à des preuves structurées et des règles explicites.

Les systèmes les plus puissants combineront probablement ces deux formes de transparence.

Ontologie : le fondement philosophique de l’information compréhensible

Le terme ontologie a deux significations connexes.

En philosophie, l’ontologie traite de la question de l’existence et de la manière de classer les choses. En informatique, une ontologie est une formalisation des entités, catégories, propriétés, relations et contraintes dans un domaine.

L’article source relie l’explicabilité de l’IA à la théorie des catégories d’Emmanuel Kant.

Kant soutenait que la compréhension humaine ne se contente pas de recevoir des données sensorielles brutes, mais organise l’expérience à travers des formes conceptuelles. Il a réduit douze catégories à :

• Quantité
• Qualité
• Relation
• Modalité

L’article utilise ce cadre pour illustrer un point plus large : l’information ne devient compréhensible qu’après avoir été organisée par une structure conceptuelle.

Cette image est étroitement liée au contexte.

Le contexte mentionne les douze catégories de Kant, et ce diagramme présente ces quatre catégories de manière visuelle, en écho à l'introduction de la théorie kantienne dans l'article. Pour un système d'intelligence artificielle, l'intérêt pratique ne réside pas dans l'obligation pour le modèle de langage de posséder réellement les douze catégories de Kant. L'idée la plus utile est la suivante : l'explicabilité nécessite un cadre partagé pour identifier le type d'entités que le modèle traite et le type de relations qu'il affirme.

Par exemple, considérons la phrase suivante :

Le système a rejeté la demande car le requérant ne satisfaisait pas aux exigences de revenu.

Une explication utile ne peut pas se contenter de s'appuyer sur une carte d'activation. Elle doit peut-être identifier :

• Le requérant en tant qu'entité.
• La demande en tant qu'objet de processus.
• Les exigences de revenu en tant que contrainte politique.
• La valeur de revenu soumise et sa source.
• La règle utilisée pour comparer la valeur numérique au seuil.
• La relation de causalité ou de preuve entre la non-satisfaction de la condition et le rejet.
• La version de la politique en vigueur.
• La procédure de recours ou de révision.

Une ontologie peut définir formellement ces éléments et ces relations.

Elle fournit une structure sémantique permettant d'interpréter, de vérifier et de contester la sortie du modèle.

Contribution de l'ontologie

Une ontologie de domaine bien conçue peut spécifier :

• Catégories : Client, compte, transaction, médicament, symptôme, contrat.
• Instances : Un client spécifique, un paiement, un diagnostic ou un document.
• Attributs : Titulaire du compte, date de transaction, dosage, état du contrat.
• Relations : Emploie, cause, autorise, contredit, dépend de.
• Contraintes : Valeurs autorisées, cardinalité, champs obligatoires, catégories incompatibles.
• Sources : Origine, auteur, date de publication, version, niveau de confiance.
• Règles : Conditions régissant la classification, la validation ou l'opération.

Cette structure crée un système de coordonnées sémantiques stable.

L'évaluateur n'a pas besoin de dire que le modèle « semble comprendre la causalité », mais peut demander si la sortie contient une relation de cause à effet bien définie, si les entités impliquées sont correctement identifiées et si les preuves citées soutiennent cette relation.

Cela ne rend pas chaque décision du modèle automatiquement correcte, mais rend l'information utilisée dans la décision plus facile à vérifier.

De la théorie à la pratique : Ingénierie ontologique et modèles de langage

L'ontologie philosophique fournit des concepts. L'ingénierie ontologique transforme ces concepts en systèmes utilisables par les logiciels.

En pratique, l'ingénierie ontologique implique la définition du domaine, la collecte des exigences, l'identification des concepts, la modélisation des relations, la formalisation des contraintes, les tests de cohérence, la documentation des sources et la maintenance de l'ontologie lorsque le domaine évolue.

Le développement ontologique traditionnel est souvent coûteux et lent, car il dépend fortement d'experts du domaine et d'ingénieurs de la connaissance.

Les modèles de langage peuvent accélérer plusieurs phases du processus.

Ils peuvent aider à :

• Extraire des concepts candidats à partir de documents.
• Identifier des catégories et attributs potentiels.
• Suggérer des taxonomies.
• Détecter des synonymes et des termes apparentés.
• Extraire des relations.
• Mapper un vocabulaire à un autre.
• Générer des définitions préliminaires.
• Convertir des exigences en langage naturel en structures formelles.
• Découvrir des lacunes ou des incohérences lors de l'examen humain.
• Générer de la documentation pour les utilisateurs de l'ontologie.

Cela crée une relation bidirectionnelle.

Les modèles de langage peuvent accélérer la construction d'ontologies, tandis que les ontologies peuvent rendre les systèmes de modèles de langage plus structurés, vérifiables et traçables.

Que les LLM peuvent-ils améliorer dans l'ingénierie ontologique ?

Les experts du domaine peuvent fournir des dizaines de rapports, politiques, manuels, schémas de bases de données et vocabulaires. Un LLM peut analyser ces documents et générer une première liste de concepts et de relations.

Par exemple, il pourrait identifier que :

• "Client", "acheteur" et "titulaire du compte" sont parfois utilisés comme synonymes.
• "Approbation" est un processus ayant des états définis.
• "Transaction à haut risque" dépend de plusieurs attributs.
• Certains documents définissent des seuils contradictoires.
• Un ensemble de données utilise une terminologie obsolète.
• Un concept manque de définition formelle.
• Deux départements utilisent le même mot pour des entités différentes.

Cela peut réduire le travail de découverte manuelle.

Cependant, les résultats doivent encore être examinés par des experts du domaine. Les modèles de langage peuvent inventer des relations, fusionner des concepts qui devraient rester distincts, ou reproduire des incohérences à partir des documents sources.

Par conséquent, l'ingénierie ontologique assistée par LLM doit être considérée comme une modélisation des connaissances sous supervision humaine, et non comme une extraction automatique de la vérité.

Quels aspects des systèmes LLM peuvent être améliorés par les ontologies ?

Les ontologies peuvent soutenir les applications de modèles de langage de plusieurs manières.

Approvisionnement structuré en connaissances

L'ontologie fournit au modèle un vocabulaire contrôlé et des relations explicites. Cela peut réduire l'ambiguïté lors de la récupération et de la génération.

Résolution d'entités et de récupération

Le système peut relier le langage de l'utilisateur à des entités standard, identifier des synonymes, et effectuer des recherches d'informations basées sur la signification plutôt que sur les mots de surface.

Validation de la sortie

Les sorties peuvent être vérifiées par rapport aux contraintes de l'ontologie. Par exemple, un dosage médical doit avoir une unité, une transaction doit inclure un compte, ou une décision politique doit se référer à une règle valide.

Vérification de cohérence

Les raisonneurs et les systèmes de validation peuvent détecter des classifications incompatibles, des attributs manquants ou des contradictions dans les données structurées.

Provenance et traçabilité

Les déclarations générées peuvent être liées aux documents sources, aux concepts de l'ontologie, aux règles et aux versions. Cela rend l'examen plus pratique que d'exiger de l'utilisateur qu'il se fie à des explications opaques générées a posteriori.

Interface stable entre modèles et systèmes

L'ontologie peut servir de contrat sémantique entre le LLM, les bases de données, les outils, les applications métier et les équipes humaines.

Le modèle reste flexible sur le plan linguistique, tandis que les systèmes environnants conservent une représentation contrôlée des concepts clés.

L'explication par la chaîne de traçabilité des connaissances

La valeur d'une explication de modèle augmente considérablement lorsqu'elle peut être présentée sous la forme d'une chaîne de traçabilité :

1. Le système identifie une entité spécifique dans la requête.
2. Il mappe ces entités à des concepts définis.
3. Il récupère des preuves associées à ces concepts.
4. Il applique les politiques, relations ou contraintes spécifiées.
5. Il génère une conclusion.
6. Il valide la conclusion par rapport à des règles structurées.
7. La sortie finale conserve des liens vers les preuves et les définitions.

Cela diffère d'une approche où l'on demande au modèle de générer un paragraphe fluide décrivant le "pourquoi" de sa réponse.

L'explication générée peut elle-même être biaisée. Une chaîne de traçabilité ancrée dans des connaissances structurées peut être examinée indépendamment.

Concevoir des ontologies adaptées à l'IA

Les ontologies traditionnelles sont souvent conçues pour des moteurs de raisonnement formels, avec des axiomes complexes construits pour soutenir un raisonnement symbolique déterminé.

Les ontologies destinées aux grands modèles de langage peuvent nécessiter un équilibre différent.

L'ontologie doit rester précise, mais doit être plus facile à récupérer, à référencer et à appliquer pour le modèle.

Le document source propose : une ontologie adaptée à l'IA doit se concentrer sur la fourniture d'un squelette sémantique clair, plutôt que d'essayer de coder toutes les étapes de raisonnement possibles.

Cette division du travail est précieuse :

• L'ontologie définit les objets, relations, comportements, contraintes et terminologies du domaine.
• Le modèle de langage gère les tâches flexibles d'interprétation, de planification, de raisonnement et de composition.
• Les outils de validation vérifient que les sorties critiques respectent les règles formelles.
• Les experts humains traitent l'incertitude, les exceptions et les décisions majeures.

Cette approche évite deux extrêmes.

Le premier extrême est un flux de travail de modèle de langage entièrement non structuré, où les concepts importants sont définis uniquement par des invites et des documents. Le second extrême est un système symbolique sur-ingénierisé qui tente de formaliser chaque détail, le rendant difficile à maintenir.

Principes de conception pratiques

Une ontologie adaptée à l'IA devrait viser les objectifs suivants :

Définition claire

Chaque catégorie et relation importante doit avoir une description concise et sans ambiguïté.

Identifiants stables

Les entités et concepts clés doivent utiliser des identifiants canoniques, et non se fier uniquement aux noms.

Traçabilité explicite

Les définitions, faits et règles doivent enregistrer leur source, propriétaire, version et période de validité.

Étiquettes lisibles par le modèle de langage

Les concepts doivent inclure des étiquettes, descriptions, synonymes et exemples d'utilisation lisibles par l'humain.

Structure modulaire

L'ontologie doit être divisée en modules gérables, permettant au modèle de ne récupérer que les parties pertinentes.

Règles de validation

Les données et sorties à haute valeur doivent être vérifiées via des contraintes explicites (comme les formes SHACL ou des validateurs au niveau de l'application).

Gestion des changements

Étant donné que les changements d'ontologie peuvent affecter le comportement du modèle, les mises à jour doivent être examinées, versionnées et testées.

Récupération traçable

Les applications doivent conserver un enregistrement des concepts et faits fournis au modèle.

Mécanisme d'escalade humaine

L'ontologie doit identifier les scénarios où les règles sont incomplètes, les concepts sont ambigus, ou une approbation humaine est nécessaire.

Nécessaire.

Une couche sémantique n'a de valeur que si elle est maintenue.

Des ontologies obsolètes peuvent amener un système à commettre des erreurs de manière répétée, sous une apparence de haute organisation.

L'avenir de l'explicabilité : Expliquer le modèle ou expliquer son impact ?

Le débat autour de J-Space met en lumière deux objectifs distincts.

Le premier est d'expliquer le modèle lui-même : ses représentations internes, ses circuits, ses calculs et ses mécanismes comportementaux.

Le second est d'expliquer l'impact du modèle : quelles informations ont façonné la sortie, quelles règles ont autorisé une action, quelles preuves soutiennent un résultat, et qui peut l'examiner ou le contester.

Ces objectifs se chevauchent, mais ne sont pas identiques.

L'explicabilité mécaniste pourrait révéler qu'un modèle a représenté intérieurement la tromperie avant même de produire une sortie trompeuse. Une traçabilité fondée sur l'ontologie pourrait révéler quelle affirmation était fausse, quelle source l'a réfutée, et quel processus en aval a été affecté.

Le premier objectif aide les chercheurs à comprendre le comportement interne. Le second aide les organisations à gouverner les conséquences dans le monde réel.

Par conséquent, une solution d'explicabilité complète peut comporter plusieurs niveaux :

1. Couche mécaniste : Quelles caractéristiques et chemins internes ont influencé le comportement ?
2. Couche comportementale : Comment le modèle répond-il sous des tests contrôlés ?
3. Couche informationnelle : Quelles preuves, concepts et relations ont façonné la sortie ?
4. Couche système : Quels outils, bases de données, instructions (prompts) et stratégies sont impliqués ?
5. Couche d'impact : Quelles actions ont eu lieu, qui a été affecté et comment cela peut-il être examiné ?
6. Couche de gouvernance : Qui possède les règles, qui approuve les changements, qui est responsable ?

L'ingénierie ontologique renforce principalement les couches informationnelle et système. Elle peut également soutenir l'analyse d'impact et la gouvernance en clarifiant les concepts, les règles et les sources.

Elle ne remplace pas l'explicabilité neuronale.

Un graphe de connaissances structuré ne peut pas révéler les objectifs cachés encodés dans les poids du modèle. J-Space ne peut pas prouver qu'un document source est faisant autorité ou qu'une règle métier est équitable.

Les deux approches résolvent différentes parties du problème.

De « l'ouverture de la boîte noire » à la construction de systèmes responsables

La métaphore de l'ouverture de la boîte noire de l'IA peut fixer un objectif irréaliste : une transparence totale, jusqu'au moindre poids et calcul interne.

Pour les modèles de pointe, cela pourrait ne jamais être aussi réalisable qu'on l'imagine.

Un objectif plus atteignable est de rendre le fonctionnement du système suffisamment compréhensible, traçable, testable et gouvernable dans son contexte d'utilisation.

Cela implique de concevoir des systèmes où :

• Les concepts importants sont clairement définis.
• Les preuves sont liées aux affirmations.
• Les règles sont versionnées.
• Les appels d'outils sont enregistrés.
• Les sorties sont vérifiées.
• Les actions à fort impact nécessitent une autorisation.
• L'incertitude est préservée.
• Les humains peuvent reconstruire le chemin de l'entrée à la décision.
• Des moyens de surveillance sont utilisés lorsque la technologie le permet.

Le changement fondamental est le suivant : ne plus traiter l'explicabilité comme un simple problème de visualisation, mais comme un problème d'ingénierie et de gouvernance.

Nous ne pourrons peut-être jamais traduire complètement chaque calcul de réseau de neurones en une histoire compréhensible par un humain. Mais nous pouvons néanmoins construire une architecture d'information qui rend les sorties à fort impact plus faciles à comprendre et à contester.

L'ingénierie ontologique traduit cet objectif en travail concret :

• Définir le domaine.
• Formaliser les relations importantes.
• Tracer les sources.
• Valider les données.
• Relier les affirmations aux preuves.
• Documenter les règles et les versions.
• Conserver les pistes de décision.
• Établir la propriété et les mécanismes d'examen.

C'est moins spectaculaire que de « lire dans l'esprit du modèle », mais probablement plus utile dans la production réelle.

Cas commerciaux mentionnés dans la source

L'article chinois original se termine par une mention promotionnelle de LegionSpace (un produit lié à Tongfu Shield). La source le décrit comme une infrastructure d'IA d'entreprise construite autour de l'ingénierie ontologique et du raisonnement traçable.

Cette adaptation n'a pas évalué ces affirmations de manière indépendante et ne les utilise donc pas comme preuve pour un argument plus large.

La leçon pertinente est universelle : toute plateforme prétendant offrir une explicabilité basée sur une ontologie doit être évaluée à l'aide de questions spécifiques.

• Les utilisateurs peuvent-ils examiner l'ontologie ?
• Les définitions et les règles sont-elles versionnées ?
• Les informations sur la source sont-elles conservées ?
• Les affirmations générées peuvent-elles être retracées jusqu'au matériel source ?
• Les échecs de validation sont-ils visibles ?
• Les experts du domaine peuvent-ils éditer le modèle de connaissance ?
• Le raisonnement du modèle et la validation formelle sont-ils clairement séparés ?
• Le système peut-il exporter ses données structurées dans un format standard ?
• Un audit indépendant est-il possible ?

Un produit ne doit pas être considéré comme explicable simplement parce qu'il utilise un graphe de connaissances ou affiche un graphe de raisonnement.

Questions fréquentes

Qu'est-ce que J-Space dans Claude ?

J-Space est le nom donné par Anthropic à un petit sous-ensemble de représentations internes identifiées via la lentille Jacobienne. La recherche suggère que ces représentations peuvent contenir des concepts linguistiquement exprimables utilisables pour le rapport, le raisonnement et l'intervention causale.

J-Space prouve-t-il que Claude a une conscience ?

Non. Anthropic ne prétend pas que son modèle reproduit la conscience humaine ou l'expérience subjective. J-Space montre des similitudes fonctionnelles partielles avec la théorie de l'espace de travail global, mais une analogie fonctionnelle n'est pas une preuve d'un esprit de type humain.

Pourquoi l'explicabilité interne ne suffit-elle pas ?

Les outils internes peuvent montrer quelles représentations ou mécanismes ont influencé le comportement, mais ils ne peuvent pas déterminer automatiquement si l'information du modèle est vraie, fiable, pertinente ou raisonnable. L'explicabilité nécessite également des preuves, des définitions sémantiques, des sources, des règles et un compte rendu de l'impact sur le monde réel.

Qu'est-ce que l'ingénierie ontologique ?

L'ingénierie ontologique est la pratique de la définition formelle des entités, catégories, propriétés, relations et contraintes dans un domaine. Dans les systèmes logiciels, les ontologies sont souvent représentées à l'aide de normes comme RDF et OWL, et peuvent être validées via SHACL.

Comment une ontologie rend-elle les sorties des grands modèles de langage plus explicables ?

Une ontologie fournit des concepts normatifs et des relations explicites, ancrant les processus de recherche, de génération et de validation. Elle aide à relier les affirmations à des concepts définis, des preuves à l'appui, des règles formelles et des versions documentées.

Les grands modèles de langage peuvent-ils construire automatiquement une ontologie fiable ?

Les grands modèles de langage peuvent accélérer l'extraction de concepts, la découverte de relations, le mappage et la rédaction de documentation, mais leurs suggestions nécessitent une révision par des experts. La génération automatique d'ontologies peut reproduire les erreurs des données sources, fusionner des concepts différents ou créer des relations sans fondement.

Une ontologie peut-elle éliminer les hallucinations de l'IA ?

Non. Une ontologie peut contraindre les sorties importantes et améliorer la traçabilité, mais elle ne peut pas éliminer toutes les erreurs du modèle. Les systèmes fiables nécessitent également un contrôle qualité de la recherche, une validation, des tests, une gestion des autorisations, une surveillance et une révision humaine.

Les organisations devraient-elles choisir l'ingénierie ontologique ou l'explicabilité mécaniste ?

Elles traitent différents aspects de l'explicabilité et sont mieux utilisées comme compléments. L'explicabilité mécaniste étudie le comportement interne du modèle, tandis que l'ingénierie ontologique rend les informations externes, les règles et les chemins de décision plus faciles à examiner.

Outils associés

• Protégé : Un éditeur d'ontologies OWL gratuit et open source développé par l'Université de Stanford.
• WebProtégé : Un environnement de développement d'ontologies collaboratif basé sur un navigateur.
• Apache Jena : Un framework Java open source pour RDF, SPARQL, les données liées et les applications sémantiques.

Eclipse RDF4J : Un framework Java modulaire pour créer, stocker, interroger, inférer et valider des données RDF.

• GraphDB : Base de données RDF prenant en charge SPARQL, l'inférence, la visualisation et les outils de données sémantiques.

Liens connexes

• Anthropic : Espace de travail global dans les modèles de langage : Présentation officielle d'Anthropic sur J-Space et la lentille jacobienne.
• Formation d'un espace de travail global par des représentations verbalisables dans les modèles de langage : Article de recherche complet à l'origine de la découverte de J-Space.
• Vue d'ensemble de W3C OWL 2 : Présentation officielle du langage d'ontologie Web.
• Noyau W3C SHACL 1.2 : Dernière spécification pour la définition et la validation de contraintes sur les graphes RDF.
• Introduction à W3C RDF 1.1 : Introduction au modèle de données en graphe RDF pour les débutants.
• Grands modèles de langage pour l'ingénierie ontologique : Revue systématique de l'application des grands modèles de langage aux tâches d'ingénierie ontologique.
• Accélération du développement des graphes de connaissances et des ontologies avec les LLMs : Article de recherche présentant les opportunités d'utilisation des grands modèles de langage pour assister le développement des graphes de connaissances et des ontologies.

Résumé

La recherche J-Space d'Anthropic constitue une avancée majeure dans le domaine de l'interprétabilité mécaniste. Elle offre aux chercheurs une nouvelle méthode pour observer et tester causalement un petit nombre de représentations internes concrètes dans Claude.

Cette recherche ne résout pas le problème plus large de l'interprétabilité. Comprendre un système d'IA nécessite également d'élucider les informations qu'il utilise, la signification des concepts, les preuves sous-tendant ses affirmations, les règles régissant son comportement et l'impact de ses résultats.

L'ingénierie ontologique offre une voie viable pour formaliser ces structures externes. Elle peut soutenir la recherche sémantique, la validation, la traçabilité, le suivi et la responsabilité, surtout lorsqu'elle est combinée à un examen humain et à des recherches sur l'interprétabilité interne.

La véritable clé de l'IA interprétable ne réside peut-être pas dans le choix entre "ouvrir le modèle" ou "construire un cadre externe", mais dans la capacité à faire les deux.