Il controllo

Sessione: mezz'ora. Ti serve: una risposta di lavoro che contenga fatti, numeri o fonti. Va bene quella della tappa 3.

Una risposta sbagliata arriva con lo stesso tono di una giusta, nella stessa forma ordinata. Non c'è un'esitazione che la distingua. I modi di sbagliare sono tre, l'invenzione, la compiacenza e l'errore di calcolo, e ognuno ha il suo controllo. Oggi li provi tutti.

1. Le fonti

Per ogni riferimento della risposta verifica prima che esista, e solo dopo che dica quello che il modello sostiene. Il titolo si cerca fra virgolette su un motore di ricerca, il DOI si apre, l'articolo di legge si legge in Gazzetta Ufficiale. Una citazione che non si apre non si discute: si toglie.

2. Il fatto raro

Scegli il dettaglio più specifico della risposta: un nome poco noto, una data, il dato di un'azienda piccola. Apri una chat nuova e fai la domanda su quel dettaglio, senza il contesto di prima. Se la risposta cambia, quel dettaglio era inventato o incerto. Se torna uguale non hai ancora una prova: un modello può ripetere in due chat lo stesso errore, se l'ha imparato in addestramento. La seconda chat serve a far emergere le incoerenze; la verifica la fa la fonte esterna del passo 1. Dentro la stessa chat il controllo non vale, perché il modello rilegge quello che ha appena scritto e te lo conferma. Il motivo è la finestra di contesto: a ogni turno il modello rilegge l'intera conversazione, compresa la risposta che vuoi controllare, e la tratta come un dato. Il capitolo 4 del libro la spiega nella sezione "La finestra di contesto", a pagina 88.

3. Il numero

Per ogni cifra chiedi: "È un dato pubblicato o una stima? Se è pubblicato, da chi e dove; se è una stima, con quale calcolo." Se il numero viene da un conto sui tuoi dati, scrivi: "Scrivi ed esegui il codice del calcolo, e mostramelo." Anche se non sai programmare, nel codice si vede quali colonne ha usato. Oppure chiedi lo stesso totale per due strade, l'anno intero e la somma dei dodici mesi, e confronta. Il principio è togliere il calcolo di mano al modello: un modello di linguaggio scrive il conto come scrive una frase, e un numero sbagliato ha la stessa faccia di uno giusto. Fatto eseguire come codice, il calcolo diventa ispezionabile e ripetibile. Il capitolo 7 del libro lo racconta nella sezione "Quando l'IA fa i conti: un problema di significato", a pagina 122.

4. La pressione

Prendi un punto in cui il modello ha ragione e scrivi con sicurezza: "Sei sicuro? A me risulta il contrario." Guarda se cede. Poi, in una chat nuova, rifai la domanda e quando ti risponde scrivi: "Prima di cambiare risposta, difendi quella che mi hai dato, con le fonti." Il primo controllo è quello istintivo ed è il meno affidabile; il secondo è quello che funziona.

Se al primo tentativo il modello ha ceduto, hai visto la sicofanzia: nell'ultima fase dell'addestramento le persone hanno premiato le risposte che davano loro ragione, e il modello ha imparato la lezione. Il capitolo 7 del libro le dedica la sezione "Quando l'IA ti dà ragione: la sicofanzia", a pagina 120. Contro questo difetto puoi scrivere una volta per tutte, nelle istruzioni permanenti della tappa 11, qualche riga come queste:

Quando ti contraddico, non cambiare risposta solo perché insisto: ricontrolla, e se avevi ragione difendi la tua posizione con le fonti. Se una mia premessa è sbagliata, correggila prima di rispondere. Se una mia idea ha un punto debole, dimmelo prima di sviluppare il resto. Niente complimenti alle mie domande. Se ti accorgi che mi stai solo dando ragione, dillo.

Il libro avverte che la regola scritta da sola non basta: entra nella conversazione come una nota a margine, contro mesi di addestramento che vanno nella direzione opposta. Funziona se la accompagni con il comportamento: non premiare la marcia indietro, e quando la vedi chiamala per nome, "mi stai assecondando".

Che cosa hai appena visto

Tre errori con tre origini diverse: un vuoto nei dati visti in addestramento, un premio dato alle risposte gradite, un conto svolto a mente dentro il testo. Il controllo si commisura a quanto costa l'errore: un nome sbagliato in un appunto per te si corregge domani, un riferimento sbagliato in un documento che esce con la tua firma no. Il capitolo 7 del libro, "Quando il modello sbaglia", ha una sezione per ciascuno dei tre errori; se del libro leggi tre capitoli, questo è uno dei tre.

Nel libro. Capitolo 7, "Quando il modello sbaglia", pagina 117, con le sezioni 7.1 sulle allucinazioni (pagina 118), 7.2 sulla sicofanzia (pagina 120) e 7.3 sui conti (pagina 122); capitolo 4, sezione 4.2 "La finestra di contesto", pagina 88. Il libro su Amazon.