打开Claude的大脑还不够：为什么本体工程对可解释AI至关重要

引言

Anthropic最近的可解释性研究为研究人员提供了一种观察克劳德内部活动的新方法。通过一种名为雅可比透镜（或J-lens）的方法，研究团队识别出了一组小规模、可语言化的内部表征，称为J-Space。

这一发现意义重大。它表明语言模型内部的某些概念可以全局性地用于报告、推理和行为控制。研究人员可以观察这些表征，并在受控实验中对其进行干预，测试它们是否对模型输出产生因果影响。

但观察到内部表征并不等于完全解释了它。

一个可读的激活状态或许能告诉我们模型正在追踪某个概念，比如计数、欺骗、法国或完成。但这并不能自动告诉我们：为什么该概念是相关的？所依据的信息是否可靠？哪些外部事实支撑了结论？或者最终做出的决策是否合理？

这一区别指向了一种更广泛的可解释AI方法。我们不必将模型的内部状态视为唯一需要被解释的对象，而是可以同时审视模型所处理的信息：这些信息来自何处、如何构成、使用了哪些概念和关系、证据如何在系统中流动，以及最终输出如何与外部知识体系相连接。

这正是本体工程发挥作用的地方。

从神经科学到认识论：理解可解释性的两种途径

Anthropic的论文《语言模型中可语言化表征构成全局工作空间》通过借鉴认知科学中的全局工作空间理论引入了J-Space概念。

在神经科学和认知科学中，全局工作空间通常被描述为一个容量有限的舞台，选定的信息在此能被多种认知过程广泛获取。Anthropic发现，克劳德内部表征中一个小型、稀疏的子集似乎发挥着功能上类似的作用。

研究人员使用与词汇项关联的J-lens向量来检查模型内部状态。他们的实验表明，J-Space中表征的信息可以：

• 在模型被询问其正在思考什么时进行汇报
• 在不同任务中被使用
• 在模型执行静默中间处理时得以维持
• 以因果方式改变最终响应的方式被操控
• 与模型安全性相关的行为信号相关联

这些结果将可解释性从简单的输出行为观察推进了一步。它们提供了一种测试某些内部表征功能的方法。

Anthropic对此持谨慎态度。

不能声称Claude复制了人脑完整的认知架构或拥有主观意识。J-Space是数学系统中的功能性结构，并非类人内心活动的证据。

这种谨慎至关重要，因为功能相似性很容易被误认为心理等同性。

模型可能包含共享的内部工作空间，却不具备人类意义上的感受、体验、意图或觉知。与"恐惧"一词对应的激活模式本身并非恐惧，而是参与生成行为的计算状态。

内在主义视角

J-Space属于一个广泛的可解释性传统，其起点是一个问题：

模型内部正在发生什么？

这种内在主义方法考察激活模式、电路、特征、注意力模式、表征和因果路径，目标在于使神经网络隐藏的机制更可观察、可测试。

这项工作具有明确价值，可帮助研究者：

• 定位与特定概念相关的特征
• 测试表征是否影响行为
• 检测隐藏目标或矛盾信号
• 比较不同提示下的内部处理过程
• 在安全故障显现在输出前即予探查
• 开发监控与干预技术

其局限不在于内部可解释性毫无用处，而在于内部可见性仅覆盖解释的一个层面。

神经模式可能与某个答案相关联，却无法解决该答案的意义与依据问题。

假设模型说"巴黎是法国的首都"。内部探测可能识别出与巴黎、法国、地理和首都相关的表征，但仍有几个外部问题悬而未决：

• 该论断基于何种知识来源？
• 该陈述是否具有时效性和语境适当性？
• 在相关知识体系中，"首都"指什么？
• "巴黎"指向哪个实体？
• 答案是依据权威证据还是统计关联？
• 冲突来源应如何处理？
• 系统能否表明为何选择此事实而非彼事实？

这些问题并不完全存在于激活模式内部，而是关乎模型表征与外部事实、语言、人类概念及理由标准之间的关系。

可观察性并非解释的全部

面向工程的可解释性通常认为，当研究者能够观察并干预系统内部机制时，该系统就是可解释的。

这一定义虽有用，却过于狭隘。

在科学哲学和认识论中，解释可能还需要提供：

• 结论的理由
• 与证据的关联
• 一般规则或因果说明
• 决策的依据
• 区分正当理由与不当理由的方法
• 责任与审查的基础

J-Space或许能揭示某项任务中哪些信息被激活，但它本身无法确定这些信息是否真实、相关、合乎伦理，或足以证明输出结果的合理性。

因此，更深层的问题在于——

不仅在于神经网络本身不透明，更在于围绕这些系统的信息往往结构混乱、难以追溯。

将问题从模型转向信息生态系统

大语言模型是信息处理系统。它们接收文本、图像、文件、工具响应、数据库结果及其他信号，随后生成信息作为回应。

这些输入和输出的意义取决于模型外部的关联关系。

一个医学术语指向临床概念，企业标识对应法律实体，政策规则属于特定管辖区域和有效期，财务数字包含来源、单位、日期和会计定义，科学主张则依赖证据、方法和假设。

如果这些关联关系未被明确呈现，模型就必须通过语言和上下文进行推断。这有时奏效，有时却会产生歧义、矛盾、幻觉，或看似合理却无法审计的答案。

以信息为中心的可解释性方法因此提出以下问题：

1. 存在哪些类型的实体和概念？
2. 这些实体如何相互关联？
3. 每个主张由哪个来源支持？
4. 正在应用哪些假设和规则？
5. 信息如何从检索到推理再到输出流转？
6. 结论中哪些部分可被外部验证？
7. 谁负责定义和维护相关知识？

这便将可解释性的对象从神经网络扩展至模型运行的整个信息环境。

该环境包括：

• 训练与参考数据
• 检索系统
• 知识图谱
• 本体与词汇表
• 工具输出
• 溯源记录
• 验证规则
• 用户指令
• 组织政策
• 人工审核与批准流程

一个模型可能在内部具备可解释性，但仍会基于定义模糊或不可靠的信息运行。反之，模型机制可能不透明，却因其每个主张都与结构化证据和明确规则关联而高度可追溯。

最强大的系统将可能结合这两种透明度形式。

本体论：可理解信息的哲学基础

本体论一词具有两层相关含义。

在哲学中，本体论探讨存在问题及事物分类方式。在计算机科学中，本体论是对某一领域内实体、类别、属性、关系和约束的形式化表达。

源文章将人工智能可解释性与伊曼努尔·康德的范畴理论联系起来。

康德认为，人类的理解并非简单接收原始感官数据，而是通过概念形式组织经验。他将十二个范畴归纳为：

• 量
• 质
• 关系
• 模态

文章运用这一框架阐述了更宏观的观点：信息只有在被纳入概念结构组织后，才能成为可理解之物。

该图片与上下文紧密相关。上下文提及康德的十二范畴，此图以直观形式呈现了这四个范畴，与文章中对康德理论的介绍相呼应。对于人工智能系统而言，实际意义并不在于语言模型必须真正具备康德的十二范畴。更有用的理念是：可解释性需要一个共享框架，用以识别模型正在讨论的事物类型及其断言的关系类型。

例如，考虑以下句子：

系统拒绝了申请，因为申请人未满足收入要求。

有用的解释不能仅依赖激活图。它可能需要识别：

• 申请人作为实体
• 申请作为流程对象
• 收入要求作为政策约束
• 提交的收入值及其来源
• 用于比较数值与阈值的规则
• 条件未满足与拒绝之间的因果或证明关系
• 生效的政策版本
• 申诉或复审程序

本体可以正式定义这些元素和关系。

它提供了一种语义结构，使模型的输出能够被解读、核查和质疑。

本体的贡献

设计良好的领域本体可以指定：

• 类别： 客户、账户、交易、药物、症状、合同
• 实例： 特定客户、付款、诊断或文档
• 属性： 账户持有人、交易日期、剂量、合同状态
• 关系： 雇佣、导致、授权、矛盾、依赖
• 约束： 允许值、基数、必填字段、不兼容类别
• 来源： 来源、作者、发布日期、版本、置信度
• 规则： 支配分类、验证或操作的条件

这种结构创建了一个稳定的语义坐标系。

评估者无需说模型“似乎理解因果关系”，而是可以询问输出是否包含定义明确的因果关系，所涉及的实体是否被正确识别，以及引用的证据是否支持该关系。

这并不会使每个模型决策自动正确，但会使决策中所使用的信息更易于核查。

从理论到实践：本体工程与大语言模型的结合

哲学本体提供概念。本体工程将这些概念转化为软件可用的系统。

在实践中，本体工程涉及定义领域、收集需求、识别概念、建模关系、形式化约束、测试一致性、记录来源，并在领域变化时维护本体。

传统的本体开发往往成本高昂且进展缓慢，因为它高度依赖领域专家和知识工程师。

大语言模型可以加速流程的多个阶段。

它们能够帮助：

• 从文档中提取候选概念
• 识别潜在类别和属性
• 提出分类体系
• 检测同义词和相关术语
• 提取

关系

• 将一个词汇表映射到另一个
• 生成草拟定义
• 将自然语言需求转换为正式结构
• 发现人类审查中的空白或不一致之处
• 为本体用户生成文档

这形成了一种双向关系。

语言模型可以加快本体构建速度，而本体则能使语言模型系统更加结构化、可验证和可追溯。

LLM在本体工程中能改进什么？

领域专家可能会提供数十份报告、政策、手册、数据库模式和词汇表。LLM可以扫描这些材料，生成概念和关系的初版清单。

例如，它可能识别出：

• "客户"、"顾客"和"账户持有人"有时被用作同义词
• "审批"是一个具有定义状态的流程
• "高风险交易"依赖于多个属性
• 某些文档定义了冲突的阈值
• 某个数据集使用了过时的术语
• 某个概念缺乏正式定义
• 两个部门对不同的实体使用同一个词

这可以减少人工发现的工作量。

然而，输出结果仍需由领域专家审查。语言模型可能会编造关系、合并本应保持独立的概念，或从源文档中复现不一致之处。

因此，LLM辅助的本体工程应被视为人类监督下的知识建模，而非自动的真实性提取。

本体能改进LLM系统的哪些方面？

本体可以通过多种方式支持语言模型应用。

结构化知识供给

本体为模型提供受控词汇和明确关系。这可以在检索和生成过程中减少歧义。

检索与实体解析

系统可以将用户语言连接到标准实体，识别同义词，并基于含义而非表面词汇进行信息检索。

输出验证

输出结果可以对照本体约束进行检查。例如，医疗剂量可能需要单位，交易必须包含账户，或政策决策必须引用有效规则。

一致性检查

推理器和验证系统可以检测结构化数据中的不兼容分类、缺失属性或矛盾。

出处与可追溯性

生成的声明可以链接到源文档、本体概念、规则和版本。这使得审查比要求用户相信事后生成的、不透明的解释更加实用。

模型与系统间的稳定接口

本体可以作为LLM、数据库、工具、业务应用和人类团队之间的语义契约。

模型在语言上保持灵活，而周围系统则保留对以下内容的受控表示：

关键概念。

以知识追溯为路径的解释

当模型解释能够以追溯链的形式呈现时，其价值会显著提升：

1. 系统识别到请求中的特定实体。
2. 将这些实体映射至已定义概念。
3. 检索与这些概念相关联的证据。
4. 应用指定的策略、关系或约束条件。
5. 生成结论。
6. 依据结构化规则对结论进行验证。
7. 最终输出保留与证据和定义的关联。

这与要求模型生成流畅段落来描述"为何"给出答案的方式截然不同。

生成的解释本身可能存在偏差。而锚定于结构化知识的追溯链则可独立接受审查。

设计AI友好型本体

传统本体往往针对形式化推理引擎设计，包含大量为支持确定性符号推理而构建的复杂公理。

用于大语言模型的本体可能需要不同的平衡点。

本体仍需保持精确性，但更应便于模型检索、引用和应用。

源文提出：AI友好型本体应聚焦于提供清晰的语义骨架，而非试图编码所有可能的推理步骤。

这种分工模式颇具价值：

• 本体定义领域的对象、关系、行为、约束和术语。
• 语言模型处理灵活的解释、规划、推理和组合任务。
• 验证工具检查关键输出是否符合形式化规则。
• 人类专家处理不确定性、例外情况和重大决策。

这种方法规避了两个极端。

第一个极端是完全非结构化的语言模型工作流，仅通过提示词和文档定义重要概念。第二个极端是过度工程的符号系统，试图形式化每个细节而导致难以维护。

实用设计原则

AI友好型本体应追求以下目标：

清晰定义

每个重要类别和关系都应具备简洁无歧义的描述。

稳定标识符

关键实体和概念应使用规范标识符，而非仅依赖名称。

显式溯源

定义、事实和规则应记录其来源、所有者、版本及有效期。

语言模型可读标签

概念需包含人类可读的标签、描述、同义词及使用范例。

模块化结构

本体应划分为可管理的模块，便于模型仅检索相关部分。

验证规则

高价值数据与输出需通过显式约束（如SHACL形状或应用层验证器）进行校验。

变更管理

因本体变更可能影响模型行为，更新需经审核、版本管理和测试。

可追溯检索

应用应保留向模型提供的概念和事实记录。

人工升级机制

本体应标识规则不完整、概念模糊或需人工审批的场景。

必要的。

语义层只有在得到维护时才有价值。过时的本体论可能使系统以看似高度组织化的方式持续犯错。

可解释性的未来：解释模型还是解释其影响？

关于J-Space的争论凸显了两个不同目标。

第一个是解释模型本身：其内部表征、回路、计算和行为机制。

第二个是解释模型的影响：哪些信息塑造了输出，哪些规则授权了行动，哪些证据支持了结果，以及谁可以审查或质疑它。

这些目标有所重叠，但并不完全相同。

机制可解释性可能揭示模型在产生误导性输出之前已在内部表征了欺骗。基于本体论的追溯性可能揭示哪个声明是虚假的，哪个来源反驳了它，以及哪个下游流程受到了影响。

第一个帮助研究人员理解内部行为。第二个帮助组织治理现实世界的后果。

因此，一个完整的可解释性方案可能包含多个层面：

1. 机制层： 哪些内部特征和路径影响了行为？
2. 行为层： 模型在受控测试下如何回应？
3. 信息层： 哪些证据、概念和关系塑造了输出？
4. 系统层： 涉及哪些工具、数据库、提示词和策略？
5. 影响层： 发生了什么行动，谁受到影响，以及如何被审查？
6. 治理层： 谁拥有规则，谁批准变更，谁承担责任？

本体论工程主要强化信息层和系统层。它也可以通过明确概念、规则和来源来支持影响分析和治理。

它并不能取代神经可解释性。

结构化的知识图谱无法揭示嵌入在模型权重中的隐藏目标。J-Space无法证明源文档是权威的，或业务规则是公平的。

这两种方法解决了问题的不同部分。

从“打开黑箱”到构建可问责系统

打开AI黑箱的比喻可能设定了一个不切实际的目标：完全透明，直至每一个内部权重和计算。

对于前沿模型而言，这可能永远无法像人们想象的那样实际可行。

一个更可实现的目标是让系统的操作在其使用场景中足够可理解、可追溯、可测试和可治理。

这意味着设计系统时需要：

• 重要概念具有明确定义
• 证据与声明相关联
• 规则具有版本管理
• 工具调用被记录
• 输出经过验证
• 高影响力行动需要授权
• 不确定性得以保留
• 人类能够重建从输入到决策的路径
• 内部

在技术可行的前提下，我们会使用监控手段。

核心转变在于：不再将可解释性视为单一的可视化问题，而是将其作为工程与治理问题来对待。

我们或许永远无法将每一次神经网络计算都完整地翻译成人类可理解的故事。但我们仍然可以构建一个信息架构，使那些影响重大的输出更容易被理解和质疑。

本体工程将这一目标转化为具体工作：

• 定义领域
• 形式化重要的关系
• 追踪来源
• 验证数据
• 将主张与证据关联
• 记录规则和版本
• 保留决策轨迹
• 确立所有权和审查机制

这不如“读懂模型的思想”那样引人注目，但在实际生产中可能更有用。

来源中提到的商业案例

原始中文文章以对LegionSpace（同富盾相关产品）的推广性提及作为结尾。来源将其描述为围绕本体工程和可追溯推理构建的企业级AI基础设施。

本次改编并未独立评估这些产品宣称，因此不将其用作更广泛论证的证据。

相关的教训具有普遍性：任何声称提供基于本体的可解释性的平台，都应通过具体问题来评估。

• 用户能否审查本体？
• 定义和规则是否有版本控制？
• 来源信息是否得以保留？
• 生成的主张能否追溯到原始材料？
• 验证失败是否可见？
• 领域专家能否编辑知识模型？
• 模型推理与形式化验证是否明确分离？
• 系统能否以标准格式导出其结构化数据？
• 是否支持独立审计？

一个产品不应仅仅因为使用了知识图谱或展示了推理图，就被认为是可解释的。

常见问题

Claude中的J-Space是什么？

J-Space是Anthropic为其通过雅可比透镜识别出的一小部分内部表征所起的名称。研究表明，这些表征可以包含那些可用于报告、推理和因果干预的、可语言化的概念。

J-Space能证明Claude有意识吗？

不能。Anthropic并未声称其模型能再现人类意识或主观体验。J-Space显示出与全局工作空间理论部分功能上的相似性，但功能上的类比并非拥有类人思维的证据。

为什么内部可解释性还不够？

内部工具可以显示哪些表征或机制影响了行为，但它们无法自动确定模型的信息是否真实、来源可靠、相关或合理。可解释性还需要证据、语义定义、来源、规则以及对现实世界影响的说明。

什么是本体工程？

本体

本体工程是指在一个领域中，对实体、类别、属性、关系和约束进行形式化定义的实践。在软件系统中，本体通常以RDF和OWL等标准表示，并可通过SHACL进行验证。

本体如何让大语言模型输出更具可解释性？

本体提供规范的概念和明确的关系，能锚定检索、生成和验证过程。它们有助于将主张与定义好的概念、支撑证据、形式化规则以及记录版本联系起来。

大语言模型能否自动构建可靠的本体？

大语言模型可以加速概念提取、关系发现、映射和文档编写，但其建议需要专家审核。全自动的本体生成可能重现源数据错误、合并不同概念或创建无依据的关系。

本体能消除AI幻觉吗？

不能。本体可以约束重要输出并提升可追溯性，但无法消除所有模型错误。可靠的系统还需要检索质量控制、验证、测试、权限管理、监控和人工审核。

组织应该选择本体工程还是机械可解释性？

它们解决的是可解释性的不同层面，最好作为互补手段。机械可解释性研究模型内部行为，而本体工程则让外部信息、规则和决策路径更易于审查。

相关工具

• Protégé：斯坦福大学开发的免费开源OWL本体编辑器。
• WebProtégé：基于浏览器的协作式本体开发环境。
• Apache Jena：用于RDF、SPARQL、关联数据和语义应用的开源Java框架。
• Eclipse RDF4J：用于创建、存储、查询、推理和验证RDF数据的模块化Java框架。
• GraphDB：支持SPARQL、推理、可视化和语义数据工具的RDF图数据库。

相关链接

• Anthropic：语言模型中的全局工作空间：Anthropic关于J-Space和雅可比透镜的官方介绍。
• 语言模型中可言语化表征形成全局工作空间：J-Space发现背后的完整技术研究论文。
• W3C OWL 2概述：Web本体语言的官方概述。
• W3C SHACL 1.2核心：关于RDF图约束定义和验证的最新规范。
• W3C RDF 1.1入门：面向初学者的RDF图数据模型介绍。
• 大语言模型用于本体工程：大语言模型在本体工程任务中应用情况的系统综述。
• [加速知识图谱与本体

《与LLM共同开发工程》](https://arxiv.org/abs/2411.09601)：一篇研究论文，概述了利用大语言模型辅助知识图谱与本体开发的机会。

总结

Anthropic的J-Space研究是机械可解释性领域的重要进展。它为研究者提供了一种新方法，用以观察并因果检验Claude中少量可具象化的内部表征。

这项研究并未解决更广泛的解释性问题。理解AI系统还需要阐明其使用的信息、概念的含义、主张背后的证据、行为遵循的规则以及输出结果带来的影响。

本体工程为形式化这些外部结构提供了可行路径。它能支持语义检索、验证、溯源、追踪和问责，尤其在结合人工审查与内部可解释性研究时效果更佳。

可解释AI的真正关键或许不在于选择"打开模型"或"构建外部世界框架"，而在于学会两者兼顾。