Allucinazioni AI: perché ChatGPT inventa risposte e come riconoscerle

Non è andato storto un recupero di informazioni. Non c'era niente da recuperare: quella citazione è stata costruita, un pezzo alla volta, perché le citazioni hanno una forma molto regolare e un modello linguistico la riproduce benissimo — anche quando il contenuto sotto non c'è.

Ed è qui il punto che rende il fenomeno scomodo: nel testo non c'era niente che segnalasse il problema. Una risposta falsa può arrivare con la stessa scorrevolezza, la stessa precisione apparente e la stessa sicurezza di una risposta corretta — quindi la qualità della scrittura non permette di distinguerle. Vediamo perché succede, quali risposte sono più a rischio, e soprattutto come accorgersene — perché «verifica sempre le fonti» è un consiglio inutile se non dice quando sospettare e cosa controllare.

Cosa sono le allucinazioni dell'AI

Nel linguaggio tecnico si chiama allucinazione un output che appare plausibile ma è falso, oppure non è supportato dalle fonti o dal contesto che il modello aveva a disposizione. La parola è una metafora, e conviene sgomberare subito il campo: il modello non «vede» niente che non esista, non sta avendo un'esperienza, non c'è nessuna percezione alterata. Il termine descrive un problema dell'output, non uno stato del sistema. È una metafora infelice che è rimasta.

Nella ricerca la categoria viene di solito divisa in due. Ci sono gli output che contraddicono i fatti del mondo — un'informazione falsa, un evento mai avvenuto, un riferimento inesistente. E ci sono quelli che contraddicono il materiale fornito: se allegho un contratto e chiedo cosa dice l'articolo 4, una risposta che aggiunge una clausola che non c'è è un'allucinazione anche se quella clausola esiste in altri contratti. Il primo tipo si verifica cercando fuori; il secondo si verifica rileggendo dentro.

Ma nell'uso quotidiano «allucinazione» finisce per indicare quattro cose molto diverse, e distinguerle è la parte più utile di tutto l'articolo, perché si riconoscono e si verificano in modi diversi:

• un fatto inventato — la citazione che non esiste, la statistica senza origine;
• un'informazione vera ma superata — un'aliquota cambiata, un prezzo aggiornato, una funzione che ora si chiama diversamente: non è un'invenzione, è una data;
• un errore di ragionamento — dati corretti, fonte reale, conclusione sbagliata;
• una risposta a una domanda diversa da quella che avevi in mente — che non è un errore del modello, ma una specifica mancante.

Le prime due si smontano cercando la fonte. La terza si smonta rileggendo il passaggio. La quarta si smonta riformulando la domanda. Trattarle come un unico problema è il motivo per cui il consiglio «controlla sempre le fonti» lascia le persone dove le ha trovate.

Perché ChatGPT può inventare una risposta

Serve una descrizione onesta di come nasce il testo, e sta in poche righe.

Un modello linguistico genera la risposta un pezzo alla volta — tecnicamente, un token alla volta: frammenti che possono essere una parola, una parte di parola o un segno. A ogni passo calcola una distribuzione di probabilità su cosa potrebbe venire dopo, ne estrae un token, lo aggiunge a quello che ha già scritto e ripete. Non pesca una frase pronta da un archivio: la costruisce.

Due precisazioni, perché è qui che si annidano le semplificazioni sbagliate.

La prima: non è vero che scelga sempre la continuazione più probabile. La generazione include un elemento di campionamento — è il motivo per cui la stessa domanda può ricevere risposte formulate diversamente. Non è un difetto: serve a produrre testo che non sia piatto e ripetitivo.

La seconda, più importante: il fatto che generi in modo probabilistico non significa che produca testo casuale. Durante l'addestramento su enormi quantità di testo il modello ha appreso strutture, relazioni, rappresentazioni del linguaggio e una quantità notevole di informazione sul mondo. È il motivo per cui su moltissime domande è competente, e spesso più preciso di una persona che risponde a memoria. Le due letture opposte — «è solo un autocomplete che non sa nulla» e «ha una base dati di fatti» — sono sbagliate entrambe, e sbagliate nella stessa direzione: assumono che ci sia un archivio, per dire che è vuoto o che è pieno.

Quello che c'è è diverso. Molta informazione è codificata nei parametri del modello — nel modo in cui le sue rappresentazioni interne si sono organizzate durante l'addestramento — non conservata come voci consultabili una per una.

Da qui la conseguenza che conta, e va formulata con precisione perché è il cuore della questione. Non è vero che dentro il modello non ci sia niente: la ricerca degli ultimi anni mostra che i suoi stati interni contengono segnali correlati all'incertezza e alla veridicità di quello che sta scrivendo — segnali che si possono estrarre con strumenti costruiti appositamente, e che vengono studiati proprio per rilevare gli errori. Il problema è un altro: non esiste oggi un sistema di autoverifica affidabile e generalizzabile che trasformi quei segnali in una garanzia, visibile a te, di quando una risposta è vera. Il modello ha imparato a produrre continuazioni plausibili, e su una domanda a cui la risposta corretta non è solidamente rappresentata, una continuazione plausibile può comunque arrivare — senza che nulla, nell'output che leggi, lo distingua dal resto.

Ecco perché il rischio si concentra su richieste specifiche: un dettaglio raro, un riferimento preciso, un numero puntuale, una persona poco nota. Non perché il modello «non abbia i dati», ma perché su quel punto specifico non c'è nulla di abbastanza solido da vincere sulla forma.

Perché una risposta falsa può sembrare vera

Questo è il punto che rende il fenomeno pericoloso, e vale più di tutta la parte tecnica.

Noi valutiamo l'affidabilità di un testo con indizi imparati leggendo testi scritti da persone: la scorrevolezza, la struttura, la presenza di dettagli concreti, l'uso corretto del lessico tecnico, la forma di una citazione, l'assenza di esitazioni. Sono indizi che funzionano abbastanza bene fra esseri umani, perché per un umano produrre quella forma richiede di solito di sapere le cose.

Un modello linguistico produce quella forma direttamente. È esattamente la cosa in cui è più bravo. Il risultato è che tutti i nostri indizi di affidabilità perdono valore in un colpo: la sicurezza del tono è una proprietà del testo, non una misura della probabilità che quello che c'è scritto sia vero.

E vale anche al contrario, in un modo meno intuitivo: una risposta con «probabilmente», «se ricordo bene», «andrebbe verificato» non è meno affidabile di una scritta con piglio sicuro. Sono scelte stilistiche, non stime di confidenza. Il che porta a una cosa concreta: se chiedi al modello quanto è sicuro e ti risponde «al 90%», quel numero non è una probabilità calibrata. È un'altra parte di testo generato. Esiste ricerca serissima sulla calibrazione dell'incertezza nei modelli linguistici, ed è un problema aperto, non risolto da una domanda in chat.

ChatGPT mente?

No, e non è un cavillo terminologico.

Mentire significa sapere una cosa e affermarne un'altra con l'intenzione di ingannare. Un modello che genera un'affermazione falsa non sta facendo questo: sta producendo la continuazione che il suo addestramento rende plausibile in quel contesto. Non c'è un fatto conservato da qualche parte che vengano deliberatamente contraddetto.

Nel linguaggio comune «inventa» funziona: descrive bene l'effetto, ed è il verbo che tutti usano — compreso il titolo di questo articolo. Ma se si passa da «inventa» a «mente» si sposta il problema nel posto sbagliato. Uno che mente si smaschera cercando la contraddizione, il movente, l'incoerenza. Un'allucinazione non ha movente e non ha incoerenza: la sola cosa che la smonta è la fonte.

Questa è anche la risposta al fastidio di chi si sente preso in giro. Non ti stava prendendo in giro. Ti stava dando una risposta ben formata, che è la cosa per cui è stato costruito, in un caso in cui il contenuto giusto non era abbastanza solido per venire fuori.

Le fonti inventate: il caso più facile da riconoscere

C'è un tipo di allucinazione che merita una sezione a sé, perché è uno dei casi più riconoscibili e più rilevanti in ambito professionale e, per fortuna, uno dei più semplici da smascherare.

I riferimenti bibliografici hanno una forma estremamente regolare: autori, anno, titolo, rivista, volume, pagine, identificativo. È esattamente il tipo di struttura che un modello linguistico riproduce alla perfezione — e riprodurre la struttura non richiede che esista il contenuto. Da qui l'intera famiglia di casi:

• lo studio scientifico che non esiste, con autori reali del campo giusto;
• il DOI perfettamente formato che non risolve;
• il titolo reale attribuito alla rivista sbagliata, o all'anno sbagliato;
• il libro inesistente di un autore esistente;
• l'articolo di giornale mai pubblicato, con testata e data plausibili;
• l'URL costruito secondo la struttura giusta del sito, che restituisce una pagina inesistente;
• la sentenza con un numero e un tribunale credibili, che non è mai stata pronunciata.

L'ultima non è un'ipotesi teorica: negli ultimi anni tribunali di diversi paesi hanno sanzionato professionisti che avevano depositato atti contenenti riferimenti giurisprudenziali generati e mai esistiti — un tipo di caso che si è ripetuto abbastanza volte da diventare un tema noto nella professione legale. Il meccanismo è sempre lo stesso: qualcuno ha letto una citazione ben formata e non l'ha aperta.

Non è un'ipotesi teorica nemmeno nella sua forma più costosa: nel giugno 2023 un giudice federale di New York ha sanzionato due avvocati e il loro studio per aver depositato un atto che citava sei sentenze inesistenti, prodotte da ChatGPT, complete di nomi delle parti, riferimenti al repertorio, citazioni interne e ragionamenti attribuiti a giudici reali che non li avevano mai scritti. Nel provvedimento il giudice ha precisato che non c'è nulla di improprio nell'usare uno strumento di intelligenza artificiale come supporto: il problema era che nessuno aveva aperto le citazioni. Da allora il caso si è ripetuto in forme analoghe in più giurisdizioni.

La buona notizia è che questa categoria si verifica in trenta secondi. Copia il titolo o il DOI e cercalo. Esiste o non esiste. È l'unico caso in cui la verifica è binaria e immediata — e il fatto che sia così facile rende ancora meno giustificabile non farla.

Anche una fonte vera può essere usata male

Il problema successivo è più insidioso, perché la difesa abituale — «ho controllato, il link esiste» — non funziona.

Che una fonte esista non dice nulla su cosa contiene. I casi ricorrenti:

• la fonte parla dell'argomento ma non contiene il dato che le viene attribuito;
• lo studio esiste, ma riguarda un campione, un paese o un periodo diversi;
• il documento cita a sua volta un'altra fonte, e il dato originale sta lì — con eventuali cautele che sono state perse per strada;
• una correlazione descritta nello studio diventa un rapporto di causa nel riassunto;
• una percentuale corretta viene riportata senza il contesto che la rendeva sensata;
• il documento è quello giusto ma in una versione superata.

Da qui il principio operativo che vale la pena mandare a memoria: la verifica si fa sulla fonte, non sul fatto che una fonte sia stata citata. Aprire il link e cercare dentro la frase che dovrebbe supportare l'affermazione. Se non la trovi in una forma riconoscibile, l'affermazione non è supportata — indipendentemente da quanto sia autorevole il dominio.

Ricerca web e documenti riducono il problema, non lo eliminano

Molte persone credono che ChatGPT cerchi su Internet ogni volta che risponde. Non è così, e la confusione è comprensibile, perché dipende da cosa è attivo: nelle configurazioni in cui la ricerca è disponibile e viene usata, il sistema recupera pagine e ci lavora sopra; in tutti gli altri casi la risposta viene dal modello e dal contesto della conversazione. Sono due situazioni diverse che si presentano nella stessa interfaccia, e vale la pena saperle distinguere — anche perché il modo più semplice di ridurre un certo tipo di errore è chiedere esplicitamente di cercare.

Va chiarita anche una confusione ricorrente: quando un modello cerca sul web non sta imparando. Recupero e addestramento sono due processi separati. Quello che trova gli serve per rispondere in quella conversazione, non entra nei suoi parametri e non lo rende più informato la volta dopo.

Lo stesso principio vale per i documenti che carichi e per i sistemi che recuperano automaticamente materiale pertinente prima di rispondere — l'approccio che nel settore si chiama retrieval-augmented generation, generazione con recupero di informazioni. In tutti questi casi la risposta non dipende più solo da quello che il modello ha appreso, ma da un testo concreto che può essere controllato.

È un miglioramento reale, e riduce in particolare la categoria delle fonti inventate: se una risposta cita una pagina che è stata effettivamente recuperata, quella pagina esiste. Ma non è una garanzia di correttezza, e introduce una famiglia di errori nuova:

• il recupero pesca la fonte sbagliata, o una mediocre, e la risposta è fedele a un documento che non valeva;
• il documento recuperato è obsoleto;
• la fonte è giusta ma viene interpretata male;
• due fonti vengono fuse, e ne esce un'affermazione che nessuna delle due fa;
• la risposta va oltre quello che i documenti dicono, aggiungendo un pezzo per completare il discorso;
• il link citato è reale ma pertinente solo a metà.

La conseguenza pratica è che con la ricerca attiva la verifica cambia di natura ma non scompare: non devi più chiederti se la fonte esista, devi chiederti se dice quello che le viene attribuito. È una domanda diversa, non una domanda in meno.

I modelli più recenti allucinano ancora?

Sì, meno di prima, e la parte interessante è perché.

Sui modelli recenti sono stati fatti progressi su più fronti insieme. L'addestramento successivo alla fase iniziale — quella in cui un modello impara a seguire istruzioni e a comportarsi in modo utile — comprende anche l'insegnare a rifiutare quando non si sa, a esprimere incertezza, e a usare strumenti esterni invece di rispondere a memoria. I modelli cosiddetti di ragionamento, che dedicano più elaborazione a un problema prima di rispondere, sbagliano meno su compiti che richiedono passaggi. E la disponibilità di ricerca e di strumenti di calcolo sposta fuori dal modello proprio le domande su cui la memoria è meno affidabile.

Tre avvertenze, però, e sono quelle che contano.

Il ragionamento visibile non è una prova. Un modello può produrre una catena di passaggi ordinata, leggibile e convincente, e arrivare a una conclusione sbagliata — magari perché uno dei passaggi contiene un dato inventato. Leggere il ragionamento aiuta a trovare l'errore; la sua presenza non ne dimostra l'assenza. Chiedere «ragiona passo passo» migliora molte cose, non certifica nessuna.

«Più capace» non significa «affidabile». Un modello migliore sa più cose, segue meglio le istruzioni, usa meglio gli strumenti. Ma resta il fatto strutturale: non dispone di un'autoverifica affidabile che ti dica quando non sa. E c'è un effetto secondario poco intuitivo — un modello più bravo produce testo più convincente anche quando sbaglia, quindi i suoi errori sono più difficili da notare, non più facili.

Attenzione ai numeri che circolano. Esistono benchmark seri che misurano l'accuratezza fattuale e la tendenza ad allucinare, e servono a confrontare modelli su compiti definiti. Ma una percentuale letta su un benchmark non è la probabilità che la tua prossima risposta sia sbagliata: dipende dal modello, dalla versione, dal test, da come è stata misurata la risposta, dal fatto che gli strumenti fossero attivi o no. Chi ti dice «ChatGPT sbaglia nel X% dei casi» senza specificare tutto questo sta riportando un numero che non significa niente per il tuo caso.

Quando il rischio aumenta

Non è distribuito uniformemente, e conoscere i punti di concentrazione è metà del lavoro.

Il dettaglio raro. «Chi ha vinto il premio Nobel per la fisica nel 2020» è una domanda su un fatto ripetuto migliaia di volte. «Il titolo esatto della terza relazione tecnica di quel gruppo di lavoro nel marzo 2013» è una domanda su un fatto che potrebbe non essere solidamente rappresentato da nessuna parte. La forma della domanda è identica; l'affidabilità della risposta no.

Il numero preciso. Percentuali con il decimale, cifre di mercato, classifiche, prezzi, quote. Sono fra le cose da trattare con maggiore cautela, perché un numero plausibile è facilissimo da produrre e impossibile da valutare a occhio. Questo non vuol dire che ogni numero sia falso: vuol dire che un numero senza fonte non è un dato, è un'ipotesi ben scritta.

La persona o l'azienda poco nota. Più una biografia dettagliata riguarda qualcuno di cui si parla poco, più è prudente controllarla. Ruoli, date, premi, appartenenze e composizioni di team sono esattamente il genere di dettagli che si generano bene.

Il dato che cambia. Normative, aliquote, prezzi, versioni di prodotto, funzioni disponibili. Qui il problema spesso non è nemmeno un'invenzione: è un'informazione che era vera. Va trattata come una questione di data, chiedendo a quando risale e verificando la fonte corrente.

Le premesse false. Questa è particolarmente insidiosa. Se chiedi «perché Einstein vinse il Nobel per la relatività?», la domanda contiene un errore — il Nobel gli fu assegnato per il lavoro sull'effetto fotoelettrico. Un modello robusto corregge la premessa; uno meno robusto può accettarla e costruire una spiegazione articolata di una cosa mai avvenuta. Una premessa sbagliata può trascinare l'intera risposta, e siccome la premessa l'hai fornita tu, è l'errore che si nota meno. Vale anche in forma più sottile: quando insisti su una tua convinzione, un modello tende a venirti incontro più di quanto sarebbe giustificato. Se ti sembra che ti stia dando ragione con troppa facilità, è un buon momento per chiedere l'argomento contrario.

Calcoli e codice. Un modello può sbagliare un'operazione o un passaggio logico. Sui calcoli la soluzione esiste ed è semplice: fargli usare uno strumento di calcolo invece della memoria, cosa che i sistemi attuali fanno in molte configurazioni. Sul codice il rischio ha una forma sua: il codice può funzionare ed essere logicamente sbagliato, oppure chiamare funzioni che non esistono, o usare parametri inventati, o riferirsi a una versione diversa della libreria. Un nome di funzione plausibile è facile da generare quanto un DOI plausibile.

Diritto, medicina, finanza. Non perché il modello sia particolarmente scarso in questi campi, ma perché sono i campi in cui un errore costa più caro, i dati cambiano, e le fonti primarie esistono e sono consultabili. Per una norma serve il testo normativo corrente; per una questione clinica servono le fonti mediche e un professionista; per un dato societario serve il documento ufficiale.

Quando invece non è un'allucinazione

Vale la pena l'inverso, perché la parola viene usata anche a sproposito.

Se la domanda era ambigua e il modello ha scelto un'interpretazione diversa dalla tua, non ha allucinato: ha risposto a una delle domande possibili. La correzione è nella specifica.

Se il tema è controverso — un'interpretazione, una previsione, una valutazione — una risposta con cui non sei d'accordo non è per questo falsa. Discutibile e inventato sono due cose diverse.

Se l'informazione era vera e non lo è più, il problema è la data, non l'invenzione. Distinguere serve, perché la verifica è diversa: non «esiste?», ma «è ancora così?».

Come riconoscere una risposta sospetta

Non sono prove, sono campanelli. Nessuno di questi segnali dimostra che una risposta sia falsa; ciascuno è un buon motivo per controllare prima di usarla.

1. Dettagli molto specifici senza una fonte. Date, numeri di pagina, nomi propri, cifre precise che arrivano dal nulla.
2. Citazioni, DOI o URL perfettamente formattati. La perfezione della forma non è una garanzia: è la cosa che il modello produce meglio.
3. Statistiche precise senza metodologia. Un «73% delle aziende» senza chi, quando, su quale campione.
4. Una biografia ricca su una persona o un'azienda di cui si parla poco.
5. La tua premessa accettata senza obiezioni, quando non eri del tutto sicuro di quello che stavi affermando.
6. Contraddizioni interne. Un numero che cambia fra due paragrafi, una data incompatibile con un'altra.
7. Una fonte citata che, aperta, non contiene la frase.
8. Una sicurezza netta su una questione che sai essere aperta.
9. Un'informazione molto recente in una risposta che non ha cercato niente.
10. Termini tecnici, nomi di funzione, sigle o norme che non trovi da nessun'altra parte.
11. Una risposta che ti dà ragione esattamente come speravi, su una cosa su cui avevi insistito.

Come verificare davvero una risposta

Il metodo sta in sei domande, ed è più rapido di quanto sembri perché la maggior parte delle risposte si ferma alla prima o alla seconda.

1. Qual è la fonte primaria di questa affermazione? Non «una fonte»: quella da cui il dato ha origine.
2. Posso aprirla? Se no, il resto non conta.
3. Contiene davvero questa informazione, in una forma riconoscibile? Non un tema affine: l'affermazione.
4. È abbastanza recente, e riguarda il mio paese, la mia versione, il mio contesto?
5. Il dato è originale o è a sua volta citato? Se è citato, la fonte vera è più a monte, e le cautele si perdono spesso a ogni passaggio.
6. La risposta ha aggiunto qualcosa che la fonte non dice — un'inferenza, una generalizzazione, un «quindi»?

E la domanda che decide quanto essere rigorosi: cosa succede se questa informazione è sbagliata? Un'imprecisione in una bozza interna si corregge; la stessa imprecisione in un preventivo, in un atto, in una comunicazione pubblica o in una decisione sanitaria è un'altra cosa. Il livello di verifica va calibrato sulla conseguenza, non sull'impressione che la risposta fa.

Cosa non è verifica

Alcuni metodi diffusi non funzionano, e vale la pena sapere perché:

• Chiedere «sei sicuro?». Ottieni un'altra risposta generata, che può confermare l'errore con più enfasi o cambiare idea senza motivo. Non è un controllo, è un'altra estrazione.
• Rifare la stessa domanda al modello. Stessa conoscenza, stessa lacuna: se la risposta è sbagliata per come è rappresentata l'informazione, viene sbagliata anche la seconda volta.
• Fidarsi perché la risposta è lunga e articolata. La lunghezza è una scelta di formato.
• Fidarsi perché ci sono i link. Vedi la sezione precedente: il link va aperto.
• Fidarsi perché ha ragionato passo passo. Il ragionamento aiuta a trovare l'errore, non ne dimostra l'assenza.
• Confrontare due AI diverse e considerare vero ciò su cui concordano. È l'errore più elegante fra quelli diffusi, quindi vale mezzo paragrafo in più. Due modelli possono convergere sulla stessa risposta plausibile, e la convergenza non aggiunge nulla su quanto sia vera. Ma la ragione principale è più semplice: l'output di un secondo modello non è evidenza esterna. È un'altra risposta, non una fonte indipendente. Una conferma vale solo se arriva da fuori — da un documento aperto e letto.
• Cercare su un motore di ricerca la frase generata e fermarsi al primo risultato. Rischi di trovare qualcuno che ha pubblicato la stessa affermazione con la stessa origine — o, sempre più spesso, un testo a sua volta generato.

Come ridurre il rischio con il prompt

Si può fare parecchio, a patto di sapere cosa si sta ottenendo: un prompt migliore riduce la probabilità di certi errori, non cambia la natura di come il testo viene prodotto. Chi vende il prompt che elimina le allucinazioni sta vendendo qualcosa che non esiste.

Le cose che funzionano davvero:

Dare tu le fonti. Se il compito riguarda un contratto, un report, un manuale o una documentazione, allegarli cambia il problema: la risposta si appoggia a un testo verificabile invece che alla memoria del modello. Con due accortezze — chiedere esplicitamente di non usare conoscenza esterna, se il compito è documentale, e sapere che il modello può comunque saltare un passaggio, fondere due sezioni o inferire oltre il testo. Ma la verifica diventa molto più rapida, perché il materiale ce l'hai davanti.

Chiedere di separare i piani. «Distingui quello che è documentato, quello che è una tua inferenza e quello che va verificato» produce risposte molto più utili di una richiesta secca, e soprattutto rende visibile dove guardare.

Chiedere citazioni puntuali. «Per ogni affermazione importante indica il punto preciso della fonte» è meglio di «dammi qualche fonte» — con il solito seguito: le citazioni si aprono.

Chiedere di dichiarare l'incertezza. «Se non hai informazioni affidabili su un punto, dillo invece di completare» aiuta, e sui modelli recenti aiuta più di quanto aiutasse qualche anno fa. Non è una garanzia e non va trattata come tale.

Chiedere le parti, non la percentuale. Invece di «quanto sei sicuro», che produce un numero non calibrato: «quali parti di questa risposta sono solide, quali sono ricostruzioni, quali richiedono che io controlli». Ottieni una mappa invece di un punteggio.

Chiedere di cercare, quando il dato è recente. E chiedere a quando risale l'informazione: una risposta che non può datarsi va trattata come non datata.

Usare gli strumenti per quello che sanno fare. Per 397 × 864 uno strumento di calcolo è preferibile alla memoria; per una norma in vigore, il testo normativo corrente; per un dato di mercato, la fonte che lo pubblica. Il principio: sposta fuori dal modello le domande su cui il modello è meno affidabile.

Posso fidarmi di ChatGPT?

La domanda così posta non ha risposta, e non per prudenza: perché «fidarsi» dipende da cosa stai chiedendo e da cosa succede se la risposta è sbagliata. Un criterio utile, invece di un sì o un no:

Il che porta a una formulazione più utile di «fidarsi»: un modello linguistico è affidabile come strumento e non come autorità. Per capire, organizzare, riformulare, ottenere una spiegazione, esplorare un problema, sapere cosa andare a controllare — è ottimo, e chi lo tiene a distanza per timore delle allucinazioni si sta privando di qualcosa di utile per il motivo sbagliato. Come ultima fonte di un fatto che ha conseguenze, no. E la differenza fra i due usi non sta nel modello: sta in cosa fai della risposta.

In conclusione

Le allucinazioni non sono un semplice difetto con un interruttore da spegnere. Non sono nemmeno una fatalità logica: un modello può astenersi, e i sistemi recenti lo fanno molto più di prima. Nascono da pressioni strutturali che stanno in tre punti diversi — nel modo in cui il testo viene generato, un pezzo plausibile alla volta; nel modo in cui i modelli vengono addestrati; e negli incentivi delle procedure con cui vengono valutati, che storicamente premiano una risposta tentata più di un'ammissione di incertezza. Addestramento, strumenti, ricerca e ragionamento hanno ridotto il problema in modo netto e continueranno a ridurlo. Nessuno di questi progressi, oggi, garantisce zero errori.

La conseguenza pratica non è diffidare, ed è per questo che i due estremi — «non ci si può fidare di niente» e «i nuovi modelli non sbagliano più» — portano entrambi a usare male lo strumento. La conseguenza è spostare la fiducia dal testo alla fonte. Una risposta ben scritta non è una prova; una fonte aperta e letta sì. Chi lavora così ottiene da questi strumenti moltissimo, e non si trova mai a scoprire in pubblico che una citazione perfetta non esisteva.

Continua la lettura

Mondo AI

Come usare ChatGPT nella tua azienda: 15 esempi pratici

Mondo AI

AI detector: funzionano davvero? Come capire se un testo è scritto da ChatGPT

Mondo AI

Agenti AI per aziende: cosa sono, cosa possono fare davvero e quando usarli