Открыть мозг Клода недостаточно: почему онтологическая инженерия критически важна для объяснимого ИИ

Введение

Недавнее исследование объяснимости Anthropic предоставило исследователям новый способ наблюдения за внутренней деятельностью Клода. С помощью метода, названного якобианской линзой (или J-lens), исследовательская группа выявила небольшой набор языковых внутренних репрезентаций, названный J-Space.

Это открытие значимо. Оно показывает, что некоторые концепты внутри языковой модели могут глобально использоваться для отчётов, рассуждений и контроля поведения. Исследователи могут наблюдать эти репрезентации и вмешиваться в них в контролируемых экспериментах, проверяя, оказывают ли они причинное влияние на выводы модели.

Но наблюдение внутренних репрезентаций не равно полному их объяснению.

Читаемое состояние активации может сказать нам, что модель отслеживает какой-то концепт, например, подсчёт, обман, Францию или завершение. Но это не говорит автоматически: почему этот концепт релевантен? Достоверна ли информация, на которой он основан? Какие внешние факты подкрепляют вывод? Или обосновано ли окончательное решение?

Это различие указывает на более широкий подход к объяснимому ИИ. Вместо того чтобы рассматривать внутренние состояния модели как единственный объект, требующий объяснения, мы можем одновременно изучать информацию, обрабатываемую моделью: откуда она поступает, как она организована, какие концепты и отношения используются, как доказательства протекают в системе и как конечный вывод соединяется с внешней системой знаний.

Именно здесь вступает в действие онтологическая инженерия.

От нейронауки к эпистемологии: два пути понимания объяснимости

Статья Anthropic «Языковые репрезентации образуют глобальное рабочее пространство в языковых моделях» вводит концепт J-Space, опираясь на теорию глобального рабочего пространства из когнитивной науки.

В нейронауке и когнитивной науке глобальное рабочее пространство описывается как сцена с ограниченной вместимостью, где избранная информация становится широко доступной для множества когнитивных процессов. Anthropic обнаружила, что небольшое, разрежённое подмножество внутренних репрезентаций Клода, по-видимому, выполняет функционально схожую роль.

Исследователи использовали векторы J-lens, связанные с лексическими единицами, для проверки внутренних состояний модели. Их эксперименты показали, что информация, представленная в J-Space, может:

• Сообщаться, когда модель спрашивают, о чём она думает
• Использоваться в различных задачах
• Сохраняться во время тихой промежуточной обработки модели
• Изменяться причинным образом для изменения конечного ответа
• Быть связана с сигналами поведения, касающимися безопасности модели

Эти результаты продвигают объяснимость от простого наблюдения выходного поведения на шаг вперёд. Они предоставляют метод для тестирования функции некоторых внутренних репрезентаций.

Anthropic относится к этому с осторожностью.

Нельзя утверждать, что Клод воспроизводит полную когнитивную архитектуру человеческого мозга или обладает субъективным сознанием. J-Space — это функциональная структура в математической системе, а не свидетельство человекоподобной внутренней жизни.

Эта осторожность критически важна, так как функциональное сходство легко спутать с психологической эквивалентностью.

Модель может содержать общее внутреннее рабочее пространство, не обладая человеческими чувствами, переживаниями, намерениями или осознанием. Паттерн активации, связанный со словом «страх», сам по себе не является страхом, а лишь вычислительным состоянием, участвующим в генерации поведения.

Интроспективная перспектива

J-Space принадлежит к широкой традиции объяснимости, отправной точкой которой является вопрос:

Что происходит внутри модели?

Этот интроспективный подход изучает паттерны активации, схемы, признаки, паттерны внимания, репрезентации и причинные пути, с целью сделать скрытые механизмы нейронных сетей более наблюдаемыми и тестируемыми.

Эта работа имеет явную ценность, помогая исследователям:

• Локализовывать признаки, связанные с определёнными концептами
• Проверять, влияют ли репрезентации на поведение
• Обнаруживать скрытые цели или противоречивые сигналы
• Сравнивать внутреннюю обработку при разных подсказках
• Исследовать сбои безопасности до их проявления в выводе
• Разрабатывать методы мониторинга и вмешательства

Её ограничение не в том, что внутренняя объяснимость бесполезна, а в том, что внутренняя видимость покрывает лишь один уровень объяснения.

Нейронный паттерн может быть связан с определённым ответом, но не решает вопроса о значении и обоснованности этого ответа.

Предположим, модель говорит: «Париж — столица Франции». Внутреннее обнаружение может выявить репрезентации, связанные с Парижем, Францией, географией и столицей, но остаётся несколько внешних вопросов:

• На каком источнике знаний основано это утверждение?
• Является ли утверждение актуальным и контекстуально уместным?
• Что означает «столица» в соответствующей системе знаний?
• На какой сущность указывает «Париж»?
• Ответ основан на авторитетных доказательствах или статистической корреляции?
• Как следует обрабатывать конфликтующие источники?
• Может ли система указать, почему выбран именно этот факт, а не другой?

Эти вопросы не полностью находятся внутри паттернов активации; они касаются отношений между репрезентациями модели и внешними фактами, языком, человеческими концептами и стандартами обоснования.

Наблюдаемость — это не всё объяснение

Инженерно ориентированная объяснимость часто считает, что система объяснима, когда исследователи могут наблюдать и вмешиваться в её внутренние механизмы.

Это определение, хотя и полезно, слишком узко.

В философии науки и эпистемологии объяснение может также требовать предоставления:

• Причин для вывода
• Связи с доказательствами
• Общих правил или причинных объяснений
• Оснований для решения
• Метода различения обоснованных и необоснованных причин
• Основы для ответственности и проверки

J-Space может выявить, какая информация активируется в задаче, но сама по себе не может определить, является ли эта информация истинной, релевантной, этичной или достаточной для обоснования вывода.

Поэтому более глубокий вопрос заключается в том —

не только в непрозрачности самой нейронной сети, но и в том, что информация, окружающая эти системы, часто плохо структурирована и трудно отслеживаема.

Перенос проблемы с модели на информационную экосистему

Большие языковые модели — это системы обработки информации. Они получают текст, изображения, файлы, ответы инструментов, результаты баз данных и другие сигналы, а затем генерируют информацию в ответ.

Значение этих вводов и выводов зависит от внешних связей.

Медицинский термин ссылается на клинический концепт, корпоративный идентификатор — на юридическую сущность, политические правила относятся к определённой юрисдикции и сроку действия, финансовые цифры содержат источник, единицу, дату и бухгалтерское определение, а научные утверждения зависят от доказательств, методов и гипотез.

Если эти связи не явно представлены, модель должна делать выводы через язык и контекст. Это иногда срабатывает, но иногда порождает двусмысленность, противоречия, галлюцинации или ответы, которые кажутся разумными, но не поддаются аудиту.

Информационно-центрированный подход к объяснимости поэтому ставит следующие вопросы:

1. Какие типы сущностей и концептов существуют?
2. Как эти сущности связаны друг с другом?
3. Какое утверждение поддерживается каким источником?
4. Какие гипотезы и правила применяются?
5. Как информация движется от поиска к рассуждению и выводу?
6. Какие части вывода могут быть внешне проверены?
7. Кто отвечает за определение и поддержание соответствующих знаний?

Это расширяет объект объяснимости с нейронной сети на всю информационную среду, в которой работает модель.

Эта среда включает:

• Обучающие и справочные данные
• Системы поиска
• Графы знаний
• Онтологии и словари
• Выводы инструментов
• Записи прослеживаемости
• Правила проверки
• Инструкции пользователей
• Политики организации
• Процессы ручного просмотра и утверждения

Модель может быть внутренне объяснима, но всё ещё работать на основе плохо определённой или ненадёжной информации. И наоборот, механизмы модели могут быть непрозрачны, но она может быть высоко прослеживаемой, поскольку каждое её утверждение связано со структурированными доказательствами и чёткими правилами.

Наиболее мощные системы, вероятно, будут сочетать обе формы прозрачности.

Онтология: философская основа понятной информации

Термин онтология имеет два связанных значения.

В философии онтология исследует проблемы бытия и способы классификации вещей. В компьютерной науке онтология — это формальное представление сущностей, категорий, свойств, отношений и ограничений в определённой области.

Исходная статья связывает объяснимость ИИ с категориальной теорией Иммануила Канта.

Кант утверждал, что человеческое понимание не просто принимает сырые сенсорные данные, а организует опыт через концептуальные формы. Он обобщил двенадцать категорий в:

• Количество
• Качество
• Отношение
• Модальность

Статья использует эту рамку для изложения более широкой точки зрения: информация становится понятной только после того, как она организована в концептуальную структуру.

Это изображение тесно связано с контекстом.

В контексте упоминаются двенадцать категорий Канта. Данная схема наглядно представляет эти четыре категории, что перекликается с описанием теории Канта в статье. Для систем искусственного интеллекта практическое значение не в том, что языковая модель обязательно должна обладать двенадцатью категориями Канта. Более полезной является идея: объяснимость требует общей структуры для распознавания типов сущностей, которые обсуждает модель, и типов отношений, которые она утверждает.

Например, рассмотрим следующее предложение:

Система отклонила заявку, поскольку заявитель не соответствовал требованиям по доходу.

Полезное объяснение не может полагаться только на карты активации. Возможно, потребуется распознать:

• заявителя как сущность
• заявку как объект процесса
• требование по доходу как политическое ограничение
• представленное значение дохода и его источник
• правила для сравнения числовых значений с порогом
• причинно-следственную или доказательную связь между невыполнением условия и отказом
• действующую версию политики
• процедуру апелляции или пересмотра

Онтология может формально определить эти элементы и отношения.

Она предоставляет семантическую структуру, позволяющую интерпретировать, проверять и оспаривать выходные данные модели.

Вклад онтологии

Хорошо спроектированная доменная онтология может задавать:

• Категории: клиент, счет, транзакция, лекарство, симптом, контракт
• Экземпляры: конкретный клиент, платеж, диагноз или документ
• Свойства: держатель счета, дата транзакции, дозировка, статус контракта
• Отношения: нанимает, вызывает, авторизует, противоречит, зависит
• Ограничения: допустимые значения, мощность, обязательные поля, несовместимые категории
• Источники: происхождение, автор, дата публикации, версия, степень достоверности
• Правила: условия, управляющие классификацией, проверкой или операцией

Такая структура создает стабильную семантическую систему координат.

Оценщику не нужно говорить, что модель «кажется, понимает причинно-следственные связи». Вместо этого можно спросить, содержит ли вывод четко определенное причинно-следственное отношение, правильно ли распознаны задействованные сущности и подтверждают ли используемые свидетельства это отношение.

Это не делает каждое решение модели автоматически правильным, но делает информацию, используемую в решении, более проверяемой.

От теории к практике: инженерия онтологий в сочетании с большими языковыми моделями

Философские онтологии предоставляют концепции. Инженерия онтологий преобразует эти концепции в системы, пригодные для использования программным обеспечением.

На практике инженерия онтологий включает определение домена, сбор требований, выявление концепций, моделирование отношений, формализацию ограничений, тестирование непротиворечивости, документирование источников и поддержку онтологии при изменении домена.

Традиционная разработка онтологий часто оказывается дорогостоящей и медленной, поскольку она сильно зависит от доменных экспертов и инженеров-знаний.

Большие языковые модели могут ускорить многие этапы процесса.

Они могут помочь:

• извлекать потенциальные концепты из документов
• выявлять возможные категории и свойства
• предлагать таксономии
• обнаруживать синонимы и связанные термины
• извлекать отношения
• отображать один словарь на другой
• генерировать черновики определений
• преобразовывать требования на естественном языке в формальные структуры
• обнаруживать пробелы или несоответствия при ручной проверке
• генерировать документацию для пользователей онтологии

Это формирует двустороннюю связь.

Языковые модели могут ускорить создание онтологий, а онтологии могут сделать системы языковых моделей более структурированными, проверяемыми и прослеживаемыми.

Что LLM может улучшить в инженерии онтологий?

Доменные эксперты могут предоставить десятки отчетов, политик, руководств, схем баз данных и словарей. LLM может сканировать эти материалы и генерировать начальный список концепций и отношений.

Например, она может определить, что:

• «Клиент», «покупатель» и «держатель счета» иногда используются как синонимы
• «Одобрение» — это процесс с определенными статусами
• «Высокорисковая транзакция» зависит от нескольких свойств
• Некоторые документы определяют конфликтующие пороговые значения
• В одном наборе данных используется устаревшая терминология
• Для некоторого понятия отсутствует формальное определение
• Два отдела используют одно и то же слово для разных сущностей

Это может снизить объем ручного обнаружения.

Однако результаты все равно требуют проверки доменным экспертом. Языковая модель может выдумывать отношения, объединять понятия, которые следовало бы оставить независимыми, или воспроизводить несоответствия из исходных документов.

Таким образом, LLM-ассистированную инженерию онтологий следует рассматривать как моделирование знаний под контролем человека, а не как автоматическое извлечение истины.

Какие аспекты систем LLM может улучшить онтология?

Онтология может поддерживать приложения языковых моделей различными способами.

Структурированное снабжение знаниями

Онтология предоставляет модели контролируемый словарь и четкие отношения. Это может уменьшить неоднозначность в процессах поиска и генерации.

Поиск и разрешение сущностей

Система может связывать пользовательский язык со стандартными сущностями, распознавать синонимы и осуществлять информационный поиск на основе смысла, а не поверхностной лексики.

Верификация вывода

Выходные данные могут быть проверены на соответствие ограничениям онтологии. Например, для медицинских дозировок могут требоваться единицы измерения, транзакция должна содержать счет, или политическое решение должно ссылаться на действующее правило.

Проверка непротиворечивости

Средства логического вывода и системы проверки могут обнаруживать несовместимые классификации, отсутствующие свойства или противоречия в структурированных данных.

Происхождение и прослеживаемость

Сгенерированные утверждения могут быть связаны с исходными документами, концептами онтологии, правилами и версиями. Это делает проверку более практичной, чем требование к пользователю доверять непрозрачным объяснениям, созданным постфактум.

Стабильный интерфейс между моделями и системами

Онтология может служить семантическим контрактом между LLM, базами данных, инструментами, бизнес-приложениями и человеческими командами.

Модель остается гибкой в языке, в то время как окружающие системы сохраняют контролируемое представление ключевых понятий.

Объяснение как трассируемая цепочка знаний

Ценность объяснений модели значительно возрастает, когда они представлены в виде трассируемой цепочки:

1. Система распознает конкретные сущности в запросе.
2. Сопоставляет эти сущности с определенными концептами.
3. Извлекает доказательства, связанные с этими концептами.
4. Применяет заданные политики, отношения или ограничения.
5. Формирует вывод.
6. Проверяет вывод на соответствие структурированным правилам.
7. Конечный вывод сохраняет связь с доказательствами и определениями.

Это отличается от подхода, при котором модель генерирует плавный абзац, описывающий «почему» был дан ответ.

Сами сгенерированные объяснения могут быть предвзятыми. Трассируемые цепочки, привязанные к структурированным знаниям, могут быть независимо проверены.

Разработка AI-дружественных онтологий

Традиционные онтологии часто проектируются для формальных механизмов логического вывода и содержат большое количество сложных аксиом, построенных для поддержки детерминированного символьного вывода.

Онтологии для больших языковых моделей могут потребовать иного баланса.

Онтологии по-прежнему должны быть точными, но в большей степени удобными для поиска, цитирования и применения моделью.

В исходном тексте предлагается: AI-дружественная онтология должна быть сосредоточена на предоставлении четкого семантического скелета, а не пытаться кодировать все возможные шаги вывода.

Такое разделение труда весьма ценно:

• Онтология определяет объекты, отношения, поведение, ограничения и терминологию домена.
• Языковая модель обрабатывает гибкое объяснение, планирование, рассуждение и комбинаторные задачи.
• Инструменты проверки проверяют ключевые выходные данные на соответствие формальным правилам.
• Человек-эксперт занимается неопределенностью, исключениями и важными решениями.

Этот подход позволяет избежать двух крайностей.

Первая крайность — полностью неструктурированный рабочий процесс языковой модели, где важные понятия определяются только через подсказки и документы. Вторая крайность — чрезмерно инженерная знаковая система, которая пытается формализовать каждую деталь, становясь трудно поддерживаемой.

Практические принципы проектирования

AI-дружественная онтология должна стремиться к следующим целям:

Четкие определения

Каждая важная категория и отношение должны иметь лаконичное и однозначное описание.

Стабильные идентификаторы

Ключевые сущности и концепты должны использовать канонические идентификаторы, а не только имена.

Явное происхождение

Для определений, фактов и правил должны быть задокументированы их источник, владелец, версия и срок действия.

Читаемые для языковой модели метки

Концепты должны включать читаемые человеком метки, описания, синонимы и примеры использования.

Модульная структура

Онтология должна быть разделена на управляемые модули, позволяя модели извлекать только релевантные части.

Правила проверки

Высокоченные данные и выходные данные должны проверяться с помощью явных ограничений (таких как SHACL-формы или валидаторы на уровне приложений).

Управление изменениями

Поскольку изменения онтологии могут повлиять на поведение модели, обновления должны быть проверены, версионированы и протестированы.

Прослеживаемый поиск

Приложение должно сохранять записи о концептах и фактах, предоставленных модели.

Механизм эскалации человеку

Онтология должна идентифицировать сценарии, где правила неполны, понятия неоднозначны или требуется одобрение человека. Это необходимо.

Семантический слой ценен только в том случае, если он поддерживается.

Устаревшая онтология может заставить систему систематически ошибаться, причём таким образом, который выглядит как высокоорганизованный.

Будущее интерпретируемости: объяснять модель или её влияние?

Споры вокруг J-Space высветили две разные цели.

Первая — объяснение самой модели: её внутренних представлений, контуров, вычислений и механизмов поведения.

Вторая — объяснение влияния модели: какая информация формирует вывод, какие правила санкционируют действия, какие доказательства подтверждают результат, и кто может его проверить или оспорить.

Эти цели пересекаются, но не совпадают полностью.

Механистическая интерпретируемость может выявить, что модель уже внутренне представляла обман до генерации вводящего в заблуждение вывода. Ретроспектива на основе онтологии может показать, какое утверждение ложно, какой источник его опровергает и какой нижестоящий процесс затронут.

Первое помогает исследователям понять внутреннее поведение. Второе помогает организациям управлять реальными последствиями.

Следовательно, полное решение для интерпретируемости может включать несколько уровней:

1. Механистический уровень: Какие внутренние признаки и пути повлияли на поведение?
2. Поведенческий уровень: Как модель реагирует на контролируемые тесты?
3. Информационный уровень: Какие доказательства, концепции и связи формируют вывод?
4. Системный уровень: Какие инструменты, базы данных, промпты и стратегии задействованы?
5. Уровень влияния: Какие действия произошли, кто пострадал и как это проверяется?
6. Управленческий уровень: Кто владеет правилами, кто утверждает изменения, кто несёт ответственность?

Онтологический инжиниринг в основном усиливает информационный и системный уровни. Он также может поддерживать анализ влияния и управление за счёт уточнения концепций, правил и источников.

Он не заменяет нейроинтерпретируемость.

Структурированный граф знаний не может раскрыть скрытые цели, встроенные в веса модели. J-Space не может доказать, что исходный документ является авторитетным или что бизнес-правила справедливы.

Эти два подхода решают разные части проблемы.

От «вскрытия чёрного ящика» к построению подотчётных систем

Метафора «вскрытия чёрного ящика» ИИ может задавать нереалистичную цель: полная прозрачность до каждого внутреннего веса и вычисления.

Для передовых моделей это может никогда не стать столь же практичным, как можно было бы представить.

Более достижимая цель — сделать операции системы достаточно понятными, отслеживаемыми, тестируемыми и управляемыми в контексте её использования.

Это означает проектирование систем, где:

• Важные концепции чётко определены
• Доказательства связаны с утверждениями
• Правила версионируются
• Вызовы инструментов регистрируются
• Результаты верифицируются
• Высоковлиятельные действия требуют авторизации
• Неопределённость сохраняется
• Люди могут восстановить путь от ввода до решения
• Внутренние процессы

Там, где это технически осуществимо, мы используем средства мониторинга.

Ключевой сдвиг заключается в том, чтобы рассматривать интерпретируемость не как единую проблему визуализации, а как задачу инжиниринга и управления.

Мы, возможно, никогда не сможем полностью перевести каждое вычисление нейронной сети в понятную человеку историю. Но мы всё ещё можем построить информационную архитектуру, которая сделает важные для влияния выходные данные более лёгкими для понимания и оспаривания.

Онтологический инжиниринг превращает эту цель в конкретную работу:

• Определение домена
• Формализация важных связей
• Отслеживание источников
• Верификация данных
• Связывание утверждений с доказательствами
• Запись правил и версий
• Сохранение траекторий принятия решений
• Установление права собственности и механизмов проверки

Это менее захватывающе, чем «читать мысли модели», но может быть более полезным на практике.

Бизнес-кейсы, упомянутые в источнике

Оригинальная китайская статья заканчивается рекламным упоминанием LegionSpace (продукта, связанного с TongFu Shield). Источник описывает его как корпоративную ИИ-инфраструктуру, построенную на онтологическом инжиниринге и отслеживаемых рассуждениях.

Данная адаптация не проводила независимую оценку этих заявлений о продукте и поэтому не использует их в качестве доказательств для более широких аргументов.

Соответствующий урок универсален: любую платформу, претендующую на обеспечение интерпретируемости на основе онтологии, следует оценивать по конкретным вопросам:

• Может ли пользователь проверить онтологию?
• Есть ли версионный контроль определений и правил?
• Сохраняется ли информация об источнике?
• Можно ли проследить сгенерированные утверждения до исходного материала?
• Видимы ли сбои верификации?
• Могут ли эксперты в предметной области редактировать модель знаний?
• Чётко ли разделены рассуждения модели и формальная верификация?
• Может ли система экспортировать свои структурированные данные в стандартных форматах?
• Поддерживается ли независимый аудит?

Продукт не следует считать интерпретируемым только потому, что он использует граф знаний или отображает схему рассуждений.

Часто задаваемые вопросы

Что такое J-Space в Claude?

J-Space — это название, которое Anthropic дала небольшой части внутренних представлений, идентифицированных с помощью якобиевой линзы. Исследования показывают, что эти представления могут содержать вербализуемые концепции, которые можно использовать для отчётов, рассуждений и каузальных вмешательств.

Может ли J-Space доказать, что Claude обладает сознанием?

Нет. Anthropic не утверждает, что их модели воспроизводят человеческое сознание или субъективный опыт. J-Space демонстрирует частичное функциональное сходство с теорией глобального рабочего пространства, но функциональная аналогия не является доказательством обладания человеческим мышлением.

Почему внутренней интерпретируемости недостаточно?

Внутренние инструменты могут показать, какие представления или механизмы повлияли на поведение, но они не могут автоматически определить, является ли информация модели правдивой, надёжной по источнику, релевантной или обоснованной. Интерпретируемость также требует доказательств, семантических определений, источников, правил и описания влияния на реальный мир.

Что такое онтологический инжиниринг?

Онтологический инжиниринг — это практика формального определения сущностей, категорий, свойств, отношений и ограничений в некоторой области. В программных системах онтологии обычно представляются с помощью стандартов, таких как RDF и OWL, и могут проверяться с помощью SHACL.

Как онтологии делают выводы языковых моделей более интерпретируемыми?

Онтологии предоставляют нормативные концепции и явные связи, которые могут привязывать процессы поиска, генерации и верификации. Они помогают связать утверждения с определёнными концепциями, подтверждающими доказательствами, формальными правилами и задокументированными версиями.

Могут ли языковые модели автоматически создавать надёжные онтологии?

Языковые модели могут ускорить извлечение концепций, обнаружение связей, сопоставление и написание документации, но их предложения требуют экспертной проверки. Полностью автоматическое создание онтологии может воспроизводить ошибки исходных данных, объединять различные концепции или создавать необоснованные связи.

Могут ли онтологии устранить галлюцинации ИИ?

Нет. Онтологии могут ограничивать важные выходные данные и повышать отслеживаемость, но не могут устранить все ошибки модели. Надёжные системы также требуют контроля качества при поиске, верификации, тестирования, управления разрешениями, мониторинга и проверки человеком.

Должна ли организация выбирать онтологический инжиниринг или механистическую интерпретируемость?

Они решают разные аспекты интерпретируемости, и их лучше всего использовать как взаимодополняющие. Механистическая интерпретируемость изучает внутреннее поведение модели, в то время как онтологический инжиниринг делает внешнюю информацию, правила и пути принятия решений более доступными для проверки.

Связанные инструменты

• Protégé: Бесплатный редактор онтологий OWL с открытым исходным кодом, разработанный Стэнфордским университетом.
• WebProtégé: Среда совместной разработки онтологий на базе браузера.
• Apache Jena: Фреймворк с открытым исходным кодом на Java для RDF, SPARQL, связанных данных и семантических приложений.

Eclipse RDF4J：Модульный Java-фреймворк для создания, хранения, запросов, вывода и проверки RDF-данных.

• GraphDB：RDF-графовая база данных с поддержкой SPARQL, логического вывода, визуализации и инструментов для семантических данных.

Связанные ссылки

• Anthropic: Глобальное рабочее пространство в языковых моделях：Официальное введение Anthropic в J-Space и якобианский объектив.
• Формирование глобального рабочего пространства вербализуемыми представлениями в языковых моделях：Полная техническая исследовательская работа, лежащая в основе открытия J-Space.
• Обзор W3C OWL 2：Официальный обзор веб-онтологического языка.
• Ядро W3C SHACL 1.2：Новейшая спецификация по определению и проверке ограничений RDF-графов.
• Введение в W3C RDF 1.1：Обзор модели данных RDF-графов для начинающих.
• Большие языковые модели в онтологическом инжиниринге：Систематический обзор применения больших языковых моделей в задачах онтологического инжиниринга.
• Ускорение разработки графов знаний и онтологий с помощью LLM：Исследовательская работа, описывающая возможности использования больших языковых моделей для помощи в разработке графов знаний и онтологий.

Заключение

Исследование J-Space от Anthropic является значительным продвижением в области механической интерпретируемости. Оно предоставляет исследователям новый метод для наблюдения и каузальной проверки небольшого числа реифицируемых внутренних представлений в Claude.

Это исследование не решает более широкую проблему интерпретируемости. Понимание AI-систем также требует выяснения того, какую информацию они используют, каково значение понятий, какие доказательства лежат в основе утверждений, каким правилам следует поведение и каковы последствия выходных результатов.

Онтологический инжиниринг предлагает осуществимый путь для формализации этих внешних структур. Он может поддерживать семантический поиск, проверку, отслеживание происхождения, трассировку и подотчётность, особенно в сочетании с ручной проверкой и исследованиями внутренней интерпретируемости.

Ключ к по-настоящему интерпретируемому AI, возможно, заключается не в выборе между «вскрытием модели» или «построением внешнего каркаса мира», а в умении сочетать оба подхода.