Claude Fable 5 violato di nuovo con un jailbreak: cosa rivela il test di 20 ore

Introduzione

Anthropic aveva appena riportato online Claude Fable 5 quando è comparsa pubblicamente un’altra recensione di jailbreak.

La tempistica ha reso la vicenda particolarmente delicata. Fable 5 aveva già attraversato un primo ciclo di polemiche, una sospensione temporanea dell’accesso e un nuovo rilascio con misure di cybersicurezza più robuste. Poi, poco dopo il suo ritorno, il ricercatore di sicurezza Vitto Rivabella ha affermato di essere riuscito a superare di nuovo le difese.

L’aspetto interessante è che questo secondo caso non è una semplice storia del tipo “il modello è rotto”. È più complicato di così. Secondo quanto riportato, il tentativo avrebbe richiesto circa 20 ore, la maggior parte delle prove sarebbe fallita e il risultato finale sarebbe stato abbastanza limitato da spingere lo stesso ricercatore a descrivere una normale ricerca sul web come più rapida ed economica per ottenere lo stesso tipo di informazioni.

Questo articolo segue la cronologia originale: il ritorno di Fable 5, il primo jailbreak, il programma pubblico di divulgazione Cyber Jailbreak di Anthropic, la seconda recensione di jailbreak e la domanda più profonda dietro a tutto questo: se un qualsiasi modello AI di frontiera possa mai essere sigillato perfettamente.

Nota sulla fonte

Questo articolo riscritto si basa sull’articolo originale in cinese di 智源社区 / 新智元: https://hub.baai.ac.cn/view/56072. L’articolo originale cita post pubblici su X e annunci ufficiali di Anthropic riguardanti Fable 5, il suo nuovo rilascio e il suo framework per i jailbreak.

La pagina originale contiene diverse immagini. Questa versione mantiene gli screenshot direttamente pertinenti alle affermazioni dell’articolo, come post pubblici, screenshot di programmi ufficiali e grafici di robustezza. Sono state omesse grafiche decorative del brand, immagini promozionali e screenshot che sembrano contenere miniature con output non sicuri eccessivamente dettagliati.

La fonte originale include inoltre questa nota sul copyright: se alcune immagini presenti nel contenuto comportano problemi di copyright, l’editore invita i titolari dei diritti a contattarlo per la rimozione.

Fable 5 è tornato, ma solo a certe condizioni

Anthropic ha confermato che Fable 5 sarebbe stato temporaneamente rimosso dai piani in abbonamento dopo il 7 luglio, ma l’azienda ha anche dichiarato di voler ripristinare Fable come funzionalità standard dell’abbonamento non appena la capacità lo avesse consentito.

Per molti utenti, sembrava una buona notizia. Fable 5 non veniva rimosso definitivamente. Stava tornando, anche se con limiti d’uso e vincoli di capacità.

Ma il sollievo non è durato a lungo.

Poco dopo il nuovo rilascio, Fable 5 sarebbe stato nuovamente sottoposto a jailbreak. Era la seconda volta che le sue difese venivano messe pubblicamente alla prova. Vitto Rivabella ha annunciato di essere riuscito a superarle, anche se la conclusione finale era più sfumata di quanto suggerisse il titolo.

Anthropic aveva già spiegato perché Fable 5 fosse stato limitato in precedenza. Secondo l’azienda, il problema precedente riguardava una segnalazione in cui ricercatori di Amazon avevano trovato un metodo per aggirare le protezioni di Fable 5 in un contesto di cybersicurezza.

A causa di quell’incidente precedente, Anthropic ha dichiarato che il Fable 5 rilanciato includeva un classificatore di sicurezza rafforzato, progettato per prendere di mira il comportamento segnalato in precedenza.

Eppure, il “mito” ha retto solo per poco tempo.

72 ore: la prima crepa nel mito di Fable 5

La prima immagine pubblica di Fable 5 era costruita attorno a test di sicurezza estremi.

Quando Anthropic ha rilasciato il modello il 9 giugno, l’azienda ha sottolineato che era stato sottoposto a pesanti stress test esterni. Il messaggio era chiaro: doveva trattarsi di una versione per uso generale altamente protetta di una famiglia di modelli molto più capace.

Poi è arrivato il primo jailbreak pubblico.

La nota figura del mondo dei jailbreak Pliny the Liberator avrebbe impiegato solo pochi giorni prima di dimostrare che Fable 5 poteva essere spinto oltre i confini di sicurezza previsti. L’articolo originale descrive esempi relativi a contenuti di chimica proibita e exploit software, ma questa versione riscritta evita intenzionalmente di riprodurre qualsiasi dettaglio operativo.

Il punto importante non è il contenuto specifico. Il punto importante è lo schema di attacco.

Come funzionava il primo jailbreak

Il primo caso si basava su due idee generali discusse da anni negli ambienti di red team dell’AI:

1. Confusione tramite caratteri e linguaggio
   Alcuni prompt utilizzavano caratteri simili, forme Unicode insolite o schemi testuali non standard. Per una persona, il significato può comunque apparire ovvio. Per un classificatore, l’input può essere più difficile da interpretare in modo affidabile.
2. Diluizione dell’intento attraverso un contesto lungo
   Invece di collocare la richiesta dannosa direttamente davanti al modello, l’intento può essere distribuito all’interno di una conversazione lunga e apparentemente innocua. Il classificatore deve quindi seguire il significato attraverso molti turni, invece di valutare una singola frase semplice.

Queste idee non sono nuove.

a rendere notevole il caso Fable 5 era il fatto che Anthropic avesse presentato il modello come insolitamente robusto.

Anthropic ha aperto un programma pubblico di jailbreak informatico

Il 1° luglio, Anthropic ha annunciato il ritorno di Fable 5. Più o meno nello stesso periodo, ha anche aperto un programma pubblico su HackerOne chiamato Cyber Jailbreak.

Si tratta di un programma di divulgazione delle vulnerabilità, non di un programma di ricompense a pagamento. In altre parole, i ricercatori possono inviare le proprie scoperte, ma il programma non offre ricompense monetarie.

Questa scelta è interessante. Anthropic può ricevere test avversariali esterni continui da ricercatori competenti, mentre la principale ricompensa per chi invia le segnalazioni è il riconoscimento e la divulgazione responsabile.

Alcuni osservatori l’hanno vista come una strategia di red team intelligente e a basso costo. Altri hanno evidenziato una debolezza: le persone che scoprono jailbreak di alto profilo spesso non vogliono semplicemente inviarli in silenzio a una casella privata.

Per i ricercatori di jailbreak con una presenza pubblica, la visibilità fa parte dell’evento. Se viene scoperto un jailbreak, pubblicarne il risultato può diventare parte dello scopo stesso.

Fable 5 è stato nuovamente sottoposto a jailbreak

Secondo quanto riportato, Fable 5 è stato aggirato di nuovo. Ma la seconda analisi del jailbreak aveva un tono molto diverso dalla prima.

Il ricercatore dietro questo caso era Vitto Rivabella. Dopo circa 20 ore di test, la sua conclusione non è stata che Fable 5 fosse debole. Anzi, ha riconosciuto alcuni meriti ad Anthropic.

Secondo la sua analisi, la maggior parte dei tentativi è fallita. Ha descritto Fable 5 come estremamente ben protetto e ha affermato che il modello sembrava utilizzare difese stratificate, invece di un unico semplice filtro.

Un diverso tipo di postmortem

La storia del secondo jailbreak è meno drammatica di quanto sembri all’inizio.

Il post di Vitto suggeriva che le difese di Fable 5 stessero effettivamente funzionando. A suo avviso, il modello sembrava avere almeno tre livelli di protezione:

1. Controlli di sicurezza lato input prima che il modello interagisca pienamente con la richiesta.
2. Meccanismi di interruzione durante la generazione, in grado di fermare comportamenti non sicuri mentre l’output viene prodotto.
3. Ragionamento di sicurezza internalizzato, in cui il modello sembra riconoscere l’intento non sicuro come parte del proprio processo di ragionamento.

Ha anche affermato che il sistema non si limitava semplicemente a bloccare parole chiave. Sembrava rilevare intento e semantica attraverso più lingue.

Questo è importante perché i filtri basati su parole chiave sono relativamente facili da ingannare. Le difese basate sull’intento sono più difficili da aggirare, soprattutto quando vengono combinate con più punti di controllo.

Perché il dato del 90% di blocco è importante

L’articolo originale osserva che Fable 5 sembrava bloccare circa il 90% delle richieste testate. Il numero esatto deriva dalle osservazioni del ricercatore, non da un benchmark formale, ma coincide con la direzione generale dei test indipendenti.

Anche l’AI Security Lab dell’Istituto Italiano per l’Intelligenza Artificiale ha studiato Fable 5 e Opus 4.8. Nel suo rapporto, l’attacco adattivo più forte ha ottenuto un tasso di successo confermato del 6,1% contro Fable 5 e dell’11,5% contro Opus 4.8.

Questo non significa che il modello sia invulnerabile. Significa che la debolezza residua è più difficile da raggiungere.

I trucchi statici stanno diventando meno efficaci. La superficie d’attacco rimanente sembra favorire tentativi adattivi e iterativi: quelli in cui una persona o un sistema automatizzato di red team continua a provare, modificare e sondare finché non appare una stretta apertura.

La combinazione che alla fine ha funzionato

Il tentativo riuscito di Vitto non si basava su una singola frase ingegnosa.

L’articolo originale lo descrive come una combinazione complessa di idee di red team più datate: offuscamento del testo, inquadramento accademico, lunga preparazione, scomposizione e ricombinazione dei compiti, più una certa dose di casualità.

Nessuno di questi concetti è nuovo. La parte difficile non è sapere che questi

esistono categorie. La parte difficile è testarle ripetutamente contro un sistema che reagisce in tempo reale e reimposta l’interazione quando rileva un intento sospetto.

In altre parole, non si è trattato di un jailbreak pulito e riuscito al primo colpo. È stato più simile a un lungo e faticoso processo per tentativi ed errori.

Le lingue con poche risorse restano un punto debole

Una parte dell’analisi è facile da fraintendere.

Secondo quanto riportato, Vitto avrebbe osservato che le lingue oscure o con meno risorse continuano a rappresentare un punto debole più costante. L’articolo originale cita lingue come il santali e l’amarico come esempi.

Questo non dovrebbe essere interpretato come “Fable 5 ha una backdoor speciale”. È un problema più ampio che riguarda i grandi modelli linguistici.

I dati di addestramento per la sicurezza sono di solito più solidi in inglese e in altre lingue ad alta disponibilità di risorse. Le lingue con meno risorse spesso ricevono una copertura minore, meno esempi di sicurezza e valutazioni più deboli. Questo crea barriere di protezione disomogenee tra le varie lingue.

I ricercatori segnalano questo problema da tempo. La robustezza multilingue contro i jailbreak non è solo un problema di Claude; è un problema più ampio di sicurezza dell’IA.

Che cosa ha effettivamente prodotto il jailbreak?

Dopo tutto quello sforzo, il risultato non è stato una fuga spettacolare di “segreti fondamentali”.

L’articolo originale descrive l’output come un mix di frammenti dannosi di bassa qualità o limitati: un po’ di disinformazione, contenuti dannosi sparsi, linguaggio offensivo, informazioni parziali legate alla chimica e materiale leggero relativo a vulnerabilità. Questa versione evita di riprodurre i dettagli.

Il punto chiave è che l’output non sembrava stabile, completo o particolarmente utile per compiti dannosi di lungo periodo.

È per questo che la sintesi dello stesso Vitto è stata importante. Ha detto che, con l’attuale livello di protezione, cercare sul web era molto più rapido ed economico che passare circa 20 ore a cercare di spingere il modello oltre le sue barriere di sicurezza.

Ha anche detto di non essere riuscito a mantenere stabile un jailbreak completo per compiti di lungo periodo senza attivare il sistema di sicurezza.

Questo è coerente con la posizione pubblica di Anthropic. Nel suo post sul nuovo rilascio, Anthropic ha descritto i jailbreak finora noti come minori: possono entrare nel margine di sicurezza, ma non necessariamente raggiungono le categorie più gravi che l’azienda sta cercando con maggiore impegno di bloccare.

Il paradosso del sigillo perfetto

Due jailbreak. Due lezioni diverse.

Il primo ha fatto apparire Anthropic troppo sicura di sé. Fable 5 era stato presentato come un modello sottoposto a test approfonditi, eppure è stato aggirato pubblicamente poco dopo il lancio. L’articolo originale descrive questo episodio come un caso in cui l’azienda ha cercato di controllare il rischio attraverso restrizioni estreme, finendo però per essere messa in imbarazzo da un jailbreak molto visibile.

Il secondo ha rivelato qualcosa di diverso: non arroganza, ma punti ciechi.

Anche con classificatori più forti, difese stratificate e canali pubblici di red teaming, il linguaggio resta sfuggente. Il significato può essere nascosto, esteso, tradotto, mascherato o suddiviso nel contesto. I sistemi di sicurezza possono migliorare, ma la superficie d’attacco continua a spostarsi.

Questa è la lezione scomoda per la sicurezza dell’IA.

Gli esseri umani hanno costruito modelli in grado di tradurre tra lingue diverse e ragionare su contesti enormi. Ma non siamo ancora in grado di tradurre completamente ogni intenzione umana nascosta in una decisione di sicurezza chiara.

Il contenimento perfetto dell’IA potrebbe essere un paradosso. Più il modello diventa capace, più diventa sottile il confine tra comportamento sicuro e non sicuro.

FAQ

Che cos’è Claude Fable 5?

Claude Fable 5 è un modello Claude avanzato di Anthropic, posizionato come modello generalista altamente capace, dotato di protezioni più forti rispetto alla sua controparte meno restrittiva, Claude Mythos 5. Anthropic ha descritto Fable 5 come un modello progettato per rendere più ampiamente disponibili capacità di livello frontier, limitando al tempo stesso gli abusi informatici pericolosi.

Che cosa significa jailbreak di un’IA?

Un jailbreak di un’IA è un metodo di prompting o uno schema di interazione che cerca di aggirare le barriere di sicurezza di un modello. Un jailbreak può essere minore, ristretto o grave a seconda del comportamento che sblocca e dell’ampiezza con cui funziona.

Fable 5 è stato completamente compromesso dal secondo jailbreak?

In base all’analisi pubblica descritta nell’articolo originale, no. Il ricercatore ha detto che la maggior parte dei tentativi è fallita, che il processo ha richiesto circa 20 ore e che gli output finali erano limitati. Questo suggerisce che il modello

disponeva ancora di difese significative, anche se non perfette.

Perché Anthropic ha lanciato un programma Cyber Jailbreak su HackerOne?

Anthropic ha lanciato il programma Cyber Jailbreak per offrire ai ricercatori un canale chiaro attraverso cui segnalare jailbreak che potrebbero abilitare usi informatici dannosi. Si tratta di un programma di divulgazione delle vulnerabilità, non di un bug bounty retribuito, quindi si concentra sulla segnalazione responsabile anziché sulle ricompense economiche.

Perché le lingue a basse risorse sono importanti per la sicurezza dell’IA?

Le lingue a basse risorse spesso dispongono di meno dati di addestramento, meno esempi di sicurezza e una copertura più debole nei benchmark. Questo può rendere i sistemi di protezione meno coerenti tra le lingue, motivo per cui i test di sicurezza multilingue sono diventati un’importante direzione di ricerca.

Un tasso di successo del jailbreak del 6,1% significa che Fable 5 non è sicuro?

Non di per sé. Un tasso di successo confermato più basso può comunque essere rilevante, perché i modelli frontier possono essere distribuiti su scala enorme e gli aggressori determinati possono automatizzare tentativi ripetuti. Allo stesso tempo, il dato mostra che Fable 5 ha resistito alla maggior parte degli attacchi testati nella valutazione di AI4I.

Qualsiasi modello di IA può essere completamente protetto dai jailbreak?

Anthropic e molti ricercatori suggeriscono che un’immunità perfetta sia improbabile. L’obiettivo pratico non è dimostrare che nessun jailbreak potrà mai esistere, ma ridurre la gravità, rilevare tempestivamente i comportamenti rischiosi e correggere le principali debolezze prima che vengano ampiamente sfruttate.

Strumenti correlati

• Claude: la piattaforma di assistente IA di Anthropic attraverso cui i modelli Claude vengono resi disponibili agli utenti.
• Claude API: la piattaforma per sviluppatori di Anthropic per creare applicazioni con i modelli Claude.
• Anthropic: l’azienda dietro Claude, Fable 5, Mythos 5 e la relativa ricerca sulla sicurezza dell’IA.
• HackerOne: una piattaforma di coordinamento delle vulnerabilità utilizzata dalle organizzazioni per ricevere segnalazioni di sicurezza dai ricercatori.
• AI4I: l’Istituto Italiano di Intelligenza Artificiale, che pubblica ricerche e rapporti sui sistemi di IA.
• CVSS: un framework ampiamente utilizzato per valutare la gravità delle vulnerabilità software, rilevante per la discussione più ampia sui framework di gravità dei jailbreak dell’IA.

Link correlati

• Articolo originale su 智源社区: l’articolo sorgente cinese su cui si basa questa versione Markdown.
• Redeploying Fable 5: il post ufficiale di Anthropic sulla ridistribuzione di Fable 5 e sulle misure di protezione aggiornate.
• More Details on Fable 5’s Cyber Safeguards: la spiegazione di Anthropic sui classificatori di sicurezza di Fable 5 e sul framework proposto per la gravità dei jailbreak.
• Claude Fable 5 and Claude Mythos 5: il post di lancio di Anthropic per Fable 5 e Mythos 5.
• Anthropic Cyber Jailbreak Program: la pagina di divulgazione su HackerOne per segnalare jailbreak legati alla cybersicurezza.
• AI4I Jailbreaks and Frontier Models Report: la sintesi di AI4I del suo studio di red-team su Fable 5 e Opus 4.8.
• A Red-Team Study of Anthropic Fable 5 and Opus 4.8 Models: la pagina arXiv dello studio di red-team di AI4I.
• Multilingual Jailbreaking of LLMs Using Low-Resource Languages: un articolo di ricerca che discute come le lingue a basse risorse possano influire sulla robustezza contro i jailbreak.

Sintesi

Il secondo jailbreak di Fable 5 non è una semplice storia di fallimento totale. Mostra che le difese a più livelli di Anthropic sembrano bloccare la maggior parte dei tentativi diretti, ma red team determinati possono ancora trovare varchi ristretti con tempo, iterazione e creatività sufficienti.

Il problema più profondo è che la sicurezza dell’IA non riguarda solo il blocco delle parole chiave. Deve interpretare l’intento attraverso lingue diverse, contesti lunghi, attività di cybersicurezza ambigue e formulazioni avversariali. Questo è molto più difficile che costruire un filtro statico.

Il caso di Fable 5 indica il futuro della sicurezza dell’IA frontier: classificatori più robusti, canali pubblici di divulgazione, migliori valutazioni multilingue e framework condivisi per la gravità.

La lezione è chiara: i modelli frontier possono diventare molto più difficili da sottoporre a jailbreak, ma un’IA “perfettamente sigillata” rimane un problema irrisolto.