Abrir el cerebro de Claude no es suficiente: por qué la ingeniería ontológica es crucial para la IA explicable
La reciente investigación en explicabilidad de Anthropic ha proporcionado a los investigadores una nueva forma de observar la actividad interna de Claude. Mediante un método llamado lente jacobiana (o J-lens), el equipo de investigación identificó un conjunto pequeño y verbalizable de representaciones internas, conocido como J-Space.
Abrir el cerebro de Claude no es suficiente: por qué la ingeniería ontológica es crucial para la IA explicable
Introducción
La reciente investigación en explicabilidad de Anthropic ha proporcionado a los investigadores una nueva forma de observar la actividad interna de Claude. Mediante un método llamado lente jacobiana (o J-lens), el equipo de investigación identificó un conjunto pequeño y verbalizable de representaciones internas, conocido como J-Space.
Este hallazgo es significativo. Sugiere que ciertos conceptos dentro de los modelos de lenguaje pueden utilizarse de manera global para informar, razonar y controlar el comportamiento. Los investigadores pueden observar estas representaciones e intervenir sobre ellas en experimentos controlados para probar si tienen un impacto causal en las salidas del modelo.
Pero observar una representación interna no equivale a explicarla por completo.
Un estado de activación legible puede indicarnos que el modelo está rastreando un concepto, como contar, engañar, Francia o completar. Pero no nos dice automáticamente: ¿por qué es relevante ese concepto? ¿Es fiable la información subyacente? ¿Qué hechos externos respaldan la conclusión? ¿O si la decisión final es razonable?
Esta distinción apunta a un enfoque más amplio de la IA explicable. No es necesario considerar el estado interno del modelo como el único objeto a interpretar; también podemos examinar la información que procesa el modelo: de dónde proviene, cómo está estructurada, qué conceptos y relaciones utiliza, cómo fluye la evidencia a través del sistema y cómo la salida final se conecta con sistemas de conocimiento externos.
Aquí es donde la ingeniería ontológica entra en juego.
De la neurociencia a la epistemología: dos enfoques para entender la explicabilidad
El artículo de Anthropic “Representaciones verbalizables constituyen un espacio de trabajo global en modelos de lenguaje” introduce el concepto de J-Space tomando prestada la teoría del espacio de trabajo global de la ciencia cognitiva.
En neurociencia y ciencia cognitiva, el espacio de trabajo global se describe a menudo como un escenario de capacidad limitada donde la información seleccionada puede ser ampliamente accesible para múltiples procesos cognitivos. Anthropic descubrió que un subconjunto pequeño y disperso de las representaciones internas de Claude parece desempeñar un papel funcionalmente similar.
Los investigadores utilizaron vectores J-lens asociados con elementos léxicos para examinar los estados internos del modelo. Sus experimentos muestran que la información representada en J-Space puede:
- Informar cuando se le pregunta al modelo en qué está pensando
- Utilizarse en diferentes tareas
- Mantenerse mientras el modelo realiza procesamiento intermedio silencioso
- Manipularse de manera causal para cambiar la respuesta final
- Asociarse con señales de comportamiento relacionadas con la seguridad del modelo
Estos resultados avanzan un paso más allá de la simple observación del comportamiento de salida en términos de explicabilidad. Proporcionan un método para probar la función de ciertas representaciones internas.
Anthropic aborda esto con cautela.
No se puede afirmar que Claude replica la arquitectura cognitiva completa del cerebro humano o posee conciencia subjetiva. J-Space es una estructura funcional dentro de un sistema matemático, no evidencia de una actividad mental similar a la humana.
Esta precaución es crucial, porque la similitud funcional puede confundirse fácilmente con la equivalencia psicológica.
Un modelo puede contener un espacio de trabajo interno compartido sin poseer sensaciones, experiencias, intenciones o conciencia en el sentido humano. Un patrón de activación correspondiente a la palabra “miedo” no es miedo en sí mismo, sino un estado computacional que participa en la generación de comportamiento.
Perspectiva internalista
J-Space pertenece a una tradición amplia de explicabilidad cuyo punto de partida es una pregunta:
¿Qué está sucediendo dentro del modelo?
Este enfoque internalista examina patrones de activación, circuitos, características, patrones de atención, representaciones y rutas causales, con el objetivo de hacer más observables y comprobables los mecanismos ocultos de las redes neuronales.
Este trabajo tiene un valor claro y puede ayudar a los investigadores a:
- Localizar características asociadas con conceptos específicos
- Probar si las representaciones afectan el comportamiento
- Detectar objetivos ocultos o señales contradictorias
- Comparar procesos internos bajo diferentes indicaciones
- Investigar fallos de seguridad antes de que se manifiesten en la salida
- Desarrollar técnicas de monitoreo e intervención
Su limitación no radica en que la explicabilidad interna sea inútil, sino en que la visibilidad interna solo cubre un nivel de la explicación.
Un patrón neuronal puede estar asociado con una respuesta, pero no resuelve la cuestión del significado y la base de esa respuesta.
Supongamos que el modelo dice “París es la capital de Francia”. La detección interna podría identificar representaciones relacionadas con París, Francia, geografía y capital, pero varias preguntas externas quedan sin respuesta:
- ¿En qué fuente de conocimiento se basa esta afirmación?
- ¿Es la declaración oportuna y contextualmente apropiada?
- ¿Qué significa “capital” en el sistema de conocimiento relevante?
- ¿A qué entidad se refiere “París”?
- ¿La respuesta se basa en evidencia autorizada o en una asociación estadística?
- ¿Cómo deberían manejarse las fuentes en conflicto?
- ¿Puede el sistema indicar por qué elige este hecho en lugar de otro?
Estas preguntas no residen completamente dentro de los patrones de activación, sino que se refieren a la relación entre las representaciones del modelo y los hechos externos, el lenguaje, los conceptos humanos y los estándares de razonamiento.
La observabilidad no es toda la explicación
La explicabilidad orientada a la ingeniería a menudo sostiene que un sistema es explicable cuando los investigadores pueden observar e intervenir en sus mecanismos internos.
Esta definición, aunque útil, es demasiado estrecha.
En filosofía de la ciencia y epistemología, la explicación puede requerir además proporcionar:
- Razones para la conclusión
- Vínculos con la evidencia
- Reglas generales o explicaciones causales
- La base de la decisión
- Un método para distinguir entre justificaciones válidas e inválidas
- Bases para la rendición de cuentas y el escrutinio
J-Space puede revelar qué información se activa en una tarea determinada, pero por sí mismo no puede determinar si esa información es verdadera, relevante, ética o suficiente para justificar el resultado.
Por lo tanto, la cuestión más profunda radica en—
No solo en que la red neuronal en sí misma sea opaca, sino en que la información que rodea a estos sistemas a menudo está mal estructurada y es difícil de rastrear.
Trasladar el problema del modelo al ecosistema de información
Los grandes modelos de lenguaje son sistemas de procesamiento de información. Reciben texto, imágenes, archivos, respuestas de herramientas, resultados de bases de datos y otras señales, y generan información como respuesta.
El significado de estas entradas y salidas depende de relaciones externas al modelo.
Un término médico se refiere a un concepto clínico, un identificador corporativo corresponde a una entidad legal, una regla política pertenece a una jurisdicción y período de validez específicos, un número financiero incluye fuente, unidad, fecha y definición contable, y una afirmación científica depende de evidencia, métodos y supuestos.
Si estas relaciones no se presentan explícitamente, el modelo debe inferirlas a través del lenguaje y el contexto. Esto a veces funciona, pero otras veces genera ambigüedad, contradicción, alucinaciones o respuestas que parecen razonables pero no son auditables.
El enfoque de explicabilidad centrado en la información plantea, por tanto, las siguientes preguntas:
- ¿Qué tipos de entidades y conceptos existen?
- ¿Cómo se relacionan estas entidades entre sí?
- ¿Qué fuente respalda cada afirmación?
- ¿Qué supuestos y reglas se están aplicando?
- ¿Cómo fluye la información desde la recuperación hasta el razonamiento y la salida?
- ¿Qué partes de la conclusión pueden ser verificadas externamente?
- ¿Quién es responsable de definir y mantener el conocimiento relevante?
Esto expande el objeto de la explicabilidad de la red neuronal a todo el entorno informativo en el que opera el modelo.
Este entorno incluye:
- Datos de entrenamiento y referencia
- Sistemas de recuperación
- Grafos de conocimiento
- Ontologías y vocabularios
- Salidas de herramientas
- Registros de procedencia
- Reglas de validación
- Instrucciones de usuario
- Políticas organizacionales
- Procesos de revisión y aprobación humanos
Un modelo puede ser internamente explicable pero seguir operando con información mal definida o no fiable. A la inversa, los mecanismos del modelo pueden ser opacos, pero ser altamente rastreables porque cada afirmación está vinculada a evidencia estructurada y reglas explícitas.
Los sistemas más potentes probablemente combinarán ambas formas de transparencia.
Ontología: la base filosófica de la información comprensible
El término ontología tiene dos significados relacionados.
En filosofía, la ontología estudia la naturaleza del ser y cómo se clasifican las cosas. En informática, la ontología es una formalización de entidades, categorías, atributos, relaciones y restricciones dentro de un dominio.
El artículo fuente vincula la explicabilidad de la IA con la teoría de las categorías de Immanuel Kant.
Kant sostenía que la comprensión humana no recibe simplemente datos sensoriales en bruto, sino que organiza la experiencia a través de formas conceptuales. Agrupó doce categorías en:
- Cantidad
- Cualidad
- Relación
- Modalidad
El artículo utiliza este marco para exponer una idea más amplia: la información solo se vuelve comprensible cuando se organiza dentro de una estructura conceptual.
Esta imagen está estrechamente relacionada con el contexto.
El contexto menciona las doce categorías de Kant, y este diagrama presenta estas cuatro categorías de forma visual, en consonancia con la introducción a la teoría kantiana en el artículo. Para un sistema de inteligencia artificial, el significado práctico no radica en que el modelo lingüístico deba poseer realmente las doce categorías de Kant. La idea más útil es que la explicabilidad requiere un marco compartido para identificar los tipos de cosas sobre las que el modelo está discutiendo y los tipos de relaciones que afirma.
Por ejemplo, considere la siguiente oración:
El sistema rechazó la solicitud porque el solicitante no cumplió con los requisitos de ingresos.
Una explicación útil no puede depender únicamente de mapas de activación. Puede necesitar identificar:
- El solicitante como entidad
- La solicitud como objeto de proceso
- Los requisitos de ingresos como restricción de política
- El valor de ingresos presentado y su fuente
- Las reglas utilizadas para comparar el valor numérico con el umbral
- La relación causal o probatoria entre el incumplimiento de la condición y el rechazo
- La versión de la política vigente
- El procedimiento de apelación o revisión
Una ontología puede definir formalmente estos elementos y relaciones.
Proporciona una estructura semántica que permite interpretar, verificar y cuestionar las salidas del modelo.
La contribución de la ontología
Una ontología de dominio bien diseñada puede especificar:
- Clases: Cliente, cuenta, transacción, medicamento, síntoma, contrato
- Instancias: Cliente específico, pago, diagnóstico o documento
- Atributos: Titular de cuenta, fecha de transacción, dosis, estado del contrato
- Relaciones: Emplea, causa, autoriza, contradice, depende
- Restricciones: Valores permitidos, cardinalidad, campos obligatorios, clases incompatibles
- Fuente: Origen, autor, fecha de publicación, versión, nivel de confianza
- Reglas: Condiciones que rigen la clasificación, validación o acción
Esta estructura crea un sistema de coordenadas semántico estable.
Los evaluadores no necesitan decir que el modelo "parece entender la causalidad", sino que pueden preguntar si la salida contiene una relación causal bien definida, si las entidades involucradas están correctamente identificadas y si la evidencia citada respalda dicha relación.
Esto no hace que cada decisión del modelo sea automáticamente correcta, pero hace que la información utilizada en la decisión sea más fácil de verificar.
De la teoría a la práctica: La combinación de la ingeniería ontológica y los grandes modelos de lenguaje
La ontología filosófica proporciona conceptos. La ingeniería ontológica transforma estos conceptos en sistemas utilizables por el software.
En la práctica, la ingeniería ontológica implica definir el dominio, recopilar requisitos, identificar conceptos, modelar relaciones, formalizar restricciones, probar la coherencia, documentar fuentes y mantener la ontología a medida que el dominio cambia.
El desarrollo ontológico tradicional suele ser costoso y lento, ya que depende en gran medida de expertos en el dominio e ingenieros del conocimiento.
Los grandes modelos de lenguaje pueden acelerar múltiples etapas del proceso.
Pueden ayudar a:
- Extraer conceptos candidatos de documentos
- Identificar clases y atributos potenciales
- Proponer taxonomías
- Detectar sinónimos y términos relacionados
- Extraer relaciones
- Mapear un vocabulario a otro
- Generar definiciones preliminares
- Convertir requisitos en lenguaje natural en estructuras formales
- Descubrir vacíos o inconsistencias en la revisión humana
- Generar documentación para los usuarios de la ontología
Esto forma una relación bidireccional.
Los modelos lingüísticos pueden acelerar la construcción de ontologías, mientras que las ontologías pueden hacer que los sistemas de modelos lingüísticos sean más estructurados, verificables y trazables.
¿Qué puede mejorar el LLM en la ingeniería ontológica?
Los expertos en el dominio pueden proporcionar docenas de informes, políticas, manuales, esquemas de bases de datos y vocabularios. Un LLM puede escanear estos materiales y generar un primer borrador de conceptos y relaciones.
Por ejemplo, podría identificar que:
- "Cliente", "consumidor" y "titular de cuenta" a veces se usan como sinónimos
- "Aprobación" es un proceso con estados definidos
- "Transacción de alto riesgo" depende de múltiples atributos
- Ciertos documentos definen umbrales conflictivos
- Un conjunto de datos utiliza terminología obsoleta
- Un concepto carece de una definición formal
- Dos departamentos usan la misma palabra para entidades diferentes
Esto puede reducir el trabajo de descubrimiento manual.
Sin embargo, los resultados aún deben ser revisados por expertos en el dominio. Los modelos lingüísticos pueden inventar relaciones, fusionar conceptos que deberían permanecer separados o reproducir inconsistencias de los documentos fuente.
Por lo tanto, la ingeniería ontológica asistida por LLM debe considerarse como modelado de conocimiento bajo supervisión humana, no como una extracción automática de la verdad.
¿Qué aspectos de los sistemas LLM puede mejorar la ontología?
La ontología puede apoyar las aplicaciones de modelos lingüísticos de múltiples maneras.
Suministro estructurado de conocimiento
La ontología proporciona al modelo un vocabulario controlado y relaciones explícitas. Esto puede reducir la ambigüedad durante la recuperación y la generación.
Recuperación y resolución de entidades
El sistema puede conectar el lenguaje del usuario con entidades estándar, identificar sinónimos y realizar recuperación de información basada en el significado, no solo en palabras superficiales.
Validación de salidas
Las salidas pueden verificarse contra las restricciones de la ontología. Por ejemplo, una dosis médica puede requerir una unidad, una transacción debe incluir una cuenta, o una decisión política debe citar una regla válida.
Verificación de coherencia
Los razonadores y sistemas de validación pueden detectar clasificaciones incompatibles, atributos faltantes o contradicciones en datos estructurados.
Procedencia y trazabilidad
Las afirmaciones generadas pueden vincularse a documentos fuente, conceptos ontológicos, reglas y versiones. Esto hace que la revisión sea más práctica que exigir a los usuarios que confíen en explicaciones opacas generadas a posteriori.
Interfaz estable entre modelos y sistemas
La ontología puede actuar como un contrato semántico entre el LLM, las bases de datos, las herramientas, las aplicaciones empresariales y los equipos humanos.
El modelo permanece flexible en el lenguaje, mientras que los sistemas circundantes mantienen una representación controlada de conceptos clave.
Explicación a través de la trazabilidad del conocimiento
El valor de una explicación del modelo aumenta significativamente cuando se presenta como una cadena de trazabilidad:
- El sistema identifica entidades específicas en la solicitud.
- Mapea estas entidades a conceptos definidos.
- Recupera evidencia asociada a estos conceptos.
- Aplica las políticas, relaciones o restricciones especificadas.
- Genera una conclusión.
- Valida la conclusión contra reglas estructuradas.
- La salida final conserva los vínculos con la evidencia y las definiciones.
Esto difiere de pedir al modelo que genere párrafos fluidos describiendo "por qué" dio una respuesta.
Las explicaciones generadas pueden tener sesgos. Las cadenas de trazabilidad ancladas en conocimiento estructurado pueden ser examinadas de forma independiente.
Diseño de ontologías amigables para la IA
Las ontologías tradicionales suelen estar diseñadas para motores de razonamiento formal, con abundantes axiomas complejos construidos para soportar el razonamiento simbólico determinista.
Las ontologías para grandes modelos de lenguaje pueden necesitar un equilibrio diferente.
La ontología aún debe ser precisa, pero debe ser más fácil de recuperar, citar y aplicar para el modelo.
El documento fuente propone que las ontologías amigables para la IA deben centrarse en proporcionar un esqueleto semántico claro, en lugar de intentar codificar todos los pasos de razonamiento posibles.
Este modelo de división del trabajo es valioso:
- La ontología define objetos, relaciones, comportamientos, restricciones y terminología del dominio.
- El modelo lingüístico maneja tareas flexibles de interpretación, planificación, razonamiento y composición.
- Las herramientas de validación verifican si las salidas clave cumplen con las reglas formales.
- Los expertos humanos manejan la incertidumbre, las excepciones y las decisiones importantes.
Este enfoque evita dos extremos.
El primer extremo son los flujos de trabajo completamente no estructurados de modelos lingüísticos, que definen conceptos importantes solo a través de indicaciones y documentos. El segundo extremo son los sistemas simbólicos sobreingenierizados que intentan formalizar cada detalle, volviéndolos difíciles de mantener.
Principios de diseño práctico
Las ontologías amigables para la IA deben perseguir los siguientes objetivos:
Definiciones claras
Cada clase y relación importante debe tener una descripción concisa e inequívoca.
Identificadores estables
Las entidades y conceptos clave deben usar identificadores canónicos, no solo nombres.
Trazabilidad explícita
Las definiciones, hechos y reglas deben registrar su fuente, propietario, versión y período de validez.
Etiquetas legibles por modelos lingüísticos
Los conceptos deben incluir etiquetas legibles por humanos, descripciones, sinónimos y ejemplos de uso.
Estructura modular
La ontología debe dividirse en módulos manejables, facilitando que el modelo recupere solo las partes relevantes.
Reglas de validación
Los datos y salidas de alto valor deben verificarse mediante restricciones explícitas (como formas SHACL o validadores a nivel de aplicación).
Gestión de cambios
Dado que los cambios en la ontología pueden afectar el comportamiento del modelo, las actualizaciones deben ser revisadas, versionadas y probadas.
Recuperación trazable
Las aplicaciones deben mantener un registro de los conceptos y hechos proporcionados al modelo.
Mecanismo de escalado humano
La ontología debe identificar escenarios donde las reglas son incompletas, los conceptos son ambiguos o se requiere aprobación humana.
Es necesario.
La capa semántica solo tiene valor si se mantiene.
Una ontología obsoleta puede hacer que un sistema cometa errores de forma repetida, aunque parezca altamente organizado.
El futuro de la explicabilidad: ¿explicar el modelo o explicar su impacto?
El debate sobre J-Space pone de relieve dos objetivos diferentes.
El primero es explicar el modelo en sí mismo: sus representaciones internas, circuitos, cálculos y mecanismos de comportamiento.
El segundo es explicar el impacto del modelo: qué información moldea los resultados, qué reglas autorizan las acciones, qué evidencia respalda los resultados y quién puede revisarlos o cuestionarlos.
Estos objetivos se superponen, pero no son idénticos.
La explicabilidad mecánica puede revelar que un modelo ya ha representado internamente un engaño antes de generar una salida engañosa. El rastreo basado en ontologías puede revelar qué afirmación es falsa, qué fuente la refuta y qué proceso posterior se ha visto afectado.
El primero ayuda a los investigadores a comprender el comportamiento interno. El segundo ayuda a las organizaciones a gobernar las consecuencias en el mundo real.
Por lo tanto, un esquema completo de explicabilidad puede incluir múltiples niveles:
- Capa de mecanismos: ¿Qué características y trayectorias internas influyen en el comportamiento?
- Capa de comportamiento: ¿Cómo responde el modelo bajo pruebas controladas?
- Capa de información: ¿Qué evidencia, conceptos y relaciones moldean la salida?
- Capa del sistema: ¿Qué herramientas, bases de datos, indicaciones y estrategias están involucradas?
- Capa de impacto: ¿Qué acciones ocurren, quién se ve afectado y cómo se revisa?
- Capa de gobernanza: ¿Quién posee las reglas, quién aprueba los cambios, quién asume la responsabilidad?
La ingeniería ontológica fortalece principalmente las capas de información y del sistema. También puede apoyar el análisis de impacto y la gobernanza al aclarar conceptos, reglas y fuentes.
No reemplaza la explicabilidad neuronal.
Un grafo de conocimiento estructurado no puede revelar los objetivos ocultos incrustados en los pesos del modelo. J-Space no puede probar que un documento fuente sea autoritario o que las reglas de negocio sean justas.
Ambos métodos abordan diferentes partes del problema.
De "abrir la caja negra" a construir sistemas responsables
La metáfora de abrir la caja negra de la IA puede establecer un objetivo poco realista: la transparencia total, hasta cada peso y cálculo interno.
Para los modelos de vanguardia, esto puede que nunca sea tan factible como se imagina.
Un objetivo más alcanzable es hacer que las operaciones del sistema sean lo suficientemente comprensibles, rastreables, comprobables y gobernables en su contexto de uso.
Esto significa diseñar sistemas que requieran:
- Conceptos importantes con definiciones claras
- Evidencia vinculada a afirmaciones
- Reglas con gestión de versiones
- Llamadas a herramientas registradas
- Resultados verificados
- Autorización para acciones de alto impacto
- Incertidumbre preservada
- Humanos capaces de reconstruir la ruta desde la entrada hasta la decisión
- Interna
Cuando sea técnicamente factible, utilizaremos medios de monitoreo.
El cambio fundamental es este: ya no tratar la explicabilidad como un problema singular de visualización, sino abordarlo como un problema de ingeniería y gobernanza.
Quizás nunca podamos traducir por completo cada cálculo de una red neuronal en una historia humana comprensible. Pero aún podemos construir una arquitectura de información que haga que aquellos resultados de gran impacto sean más fáciles de entender y cuestionar.
La ingeniería ontológica traduce este objetivo en trabajo concreto:
- Definir el dominio
- Formalizar relaciones importantes
- Rastrear fuentes
- Verificar datos
- Vincular afirmaciones con evidencia
- Documentar reglas y versiones
- Preservar las trayectorias de decisión
- Establecer propiedad y mecanismos de revisión
Esto no es tan llamativo como "leer la mente del modelo", pero puede ser más útil en la producción real.
Casos comerciales mencionados en la fuente
El artículo original en chino concluye con una mención promocional de LegionSpace (un producto relacionado con Dunfu). La fuente lo describe como una infraestructura de IA empresarial construida en torno a la ingeniería ontológica y el razonamiento rastreable.
Esta adaptación no ha evaluado de forma independiente estas afirmaciones del producto, por lo que no las utiliza como evidencia para un argumento más amplio.
La lección relevante es universal: cualquier plataforma que afirme proporcionar explicabilidad basada en ontologías debe evaluarse mediante preguntas específicas.
- ¿Pueden los usuarios revisar la ontología?
- ¿Las definiciones y reglas tienen control de versiones?
- ¿Se conserva la información de la fuente?
- ¿Se pueden rastrear las afirmaciones generadas hasta el material original?
- ¿Son visibles los fallos de verificación?
- ¿Pueden los expertos en el dominio editar el modelo de conocimiento?
- ¿Están claramente separados el razonamiento del modelo y la verificación formal?
- ¿Puede el sistema exportar sus datos estructurados en un formato estándar?
- ¿Se admite la auditoría independiente?
Un producto no debe considerarse explicable solo porque utiliza un grafo de conocimiento o muestra un gráfico de razonamiento.
Preguntas frecuentes
¿Qué es J-Space en Claude?
J-Space es el nombre que Anthropic le ha dado a un pequeño subconjunto de representaciones internas identificadas a través de la lente jacobiana. La investigación sugiere que estas representaciones pueden contener conceptos verbalizables que pueden usarse para informes, razonamiento e intervención causal.
¿Puede J-Space probar que Claude tiene conciencia?
No. Anthropic no afirma que sus modelos reproduzcan la conciencia humana o la experiencia subjetiva. J-Space muestra similitudes funcionales parciales con la teoría del espacio de trabajo global, pero las analogías funcionales no son evidencia de una mente similar a la humana.
¿Por qué no es suficiente la explicabilidad interna?
Las herramientas internas pueden mostrar qué representaciones o mecanismos influyeron en el comportamiento, pero no pueden determinar automáticamente si la información del modelo es verdadera, de fuente confiable, relevante o razonable. La explicabilidad también requiere evidencia, definiciones semánticas, fuentes, reglas y una explicación del impacto en el mundo real.
¿Qué es la ingeniería ontológica?
La ontología
La ingeniería ontológica es la práctica de formalizar la definición de entidades, categorías, propiedades, relaciones y restricciones dentro de un dominio. En los sistemas de software, las ontologías suelen representarse en estándares como RDF y OWL, y pueden validarse mediante SHACL.
¿Cómo hacen las ontologías que las salidas de los modelos de lenguaje grandes sean más explicables?
Las ontologías proporcionan conceptos estandarizados y relaciones claras que pueden anclar los procesos de recuperación, generación y verificación. Ayudan a vincular las afirmaciones con conceptos definidos, evidencia de apoyo, reglas formales y versiones documentadas.
¿Pueden los modelos de lenguaje grandes construir ontologías fiables de forma automática?
Los modelos de lenguaje grandes pueden acelerar la extracción de conceptos, el descubrimiento de relaciones, el mapeo y la redacción de documentos, pero sus sugerencias requieren revisión de expertos. La generación ontológica totalmente automática puede reproducir errores de datos fuente, fusionar conceptos diferentes o crear relaciones sin fundamento.
¿Pueden las ontologías eliminar las alucinaciones de la IA?
No. Las ontologías pueden restringir las salidas importantes y mejorar la rastreabilidad, pero no pueden eliminar todos los errores del modelo. Los sistemas fiables también necesitan control de calidad en la recuperación, verificación, pruebas, gestión de permisos, monitoreo y revisión humana.
¿Deberían las organizaciones elegir la ingeniería ontológica o la explicabilidad mecánica?
Abordan diferentes aspectos de la explicabilidad y es mejor utilizarlas como complementos. La explicabilidad mecánica estudia el comportamiento interno del modelo, mientras que la ingeniería ontológica hace que la información, las reglas y las trayectorias de decisión externas sean más fáciles de revisar.
Herramientas relacionadas
- Protégé: Editor de ontologías OWL gratuito y de código abierto desarrollado por la Universidad de Stanford.
- WebProtégé: Entorno de desarrollo de ontologías colaborativo basado en navegador.
- Apache Jena: Framework Java de código abierto para RDF, SPARQL, datos vinculados y aplicaciones semánticas.
Eclipse RDF4J: Un marco de trabajo modular en Java para crear, almacenar, consultar, inferir y validar datos RDF.
- GraphDB: Una base de datos de grafos RDF que admite SPARQL, inferencia, visualización y herramientas de datos semánticos.
Enlaces relacionados
- Anthropic: Espacio de trabajo global en modelos de lenguaje: Introducción oficial de Anthropic sobre J-Space y la lente jacobiana.
- Representaciones verbalizables en modelos de lenguaje forman un espacio de trabajo global: El artículo técnico completo detrás del descubrimiento de J-Space.
- Resumen de W3C OWL 2: Resumen oficial del lenguaje de ontologías web.
- Núcleo de W3C SHACL 1.2: La especificación más reciente sobre la definición y validación de restricciones en grafos RDF.
- Introducción a W3C RDF 1.1: Una introducción al modelo de datos de grafos RDF para principiantes.
- Modelos de lenguaje grandes para ingeniería de ontologías: Una revisión sistemática de la aplicación de modelos de lenguaje grandes en tareas de ingeniería de ontologías.
- Acelerando el desarrollo de grafos de conocimiento y ontologías con LLMs: Un artículo de investigación que describe oportunidades para utilizar modelos de lenguaje grandes en el desarrollo de grafos de conocimiento y ontologías.
Resumen
La investigación de J-Space de Anthropic representa un avance significativo en el campo de la interpretabilidad mecánica. Proporciona a los investigadores un nuevo método para observar y probar causalmente un pequeño conjunto de representaciones internalizables en Claude.
Este estudio no resuelve el problema más amplio de la interpretabilidad. Comprender un sistema de IA también requiere dilucidar la información que utiliza, el significado de los conceptos, la evidencia detrás de las afirmaciones, las reglas que rigen su comportamiento y el impacto de sus resultados.
La ingeniería de ontologías ofrece un camino viable para formalizar estas estructuras externas. Puede apoyar la recuperación semántica, la validación, el rastreo de origen, el seguimiento y la rendición de cuentas, especialmente cuando se combina con la revisión humana y la investigación de interpretabilidad interna.
La verdadera clave de la IA explicable quizás no radica en elegir entre "abrir el modelo" o "construir un marco externo del mundo", sino en aprender a hacer ambas cosas.