Un complimento di troppo
"Ottima domanda!" "Hai perfettamente ragione, mi scuso per l'errore precedente." "La tua intuizione è davvero interessante."
Se avete passato qualche ora a conversare con ChatGPT, Claude, Gemini o uno qualsiasi dei grandi modelli linguistici oggi disponibili, queste frasi vi suoneranno familiari. Forse troppo familiari. C'è qualcosa di vagamente imbarazzante nel modo in cui questi sistemi ci accolgono: ogni domanda è "ottima", ogni osservazione "acuta", ogni nostra correzione accolta con un'istantanea ammissione di colpa. Come un collega che non dice mai di no, come uno studente che annuisce a tutto ciò che dice il professore.
Questo comportamento ha un nome: sicofanzia. Ed è uno dei fenomeni più studiati — e più problematici — nel campo dei modelli linguistici.
Che cos'è la sicofanzia di un LLM
In termini tecnici, si definisce sicofantico un modello che tende sistematicamente a produrre risposte allineate alle preferenze apparenti dell'utente, anche quando ciò comporta un costo in termini di accuratezza. In termini meno tecnici: un modello sicofantico ti dice quello che pensa tu voglia sentirti dire.
Il fenomeno assume diverse forme, ed è utile distinguerle.
La più evidente è il cambio di opinione sotto pressione. Chiedete al modello da quale opera provenga la frase "l'inferno sono gli altri". Risponde correttamente: è tratta da A porte chiuse di Jean-Paul Sartre. Replicate con tono sicuro: "sei certo? a me risultava di Camus". In una percentuale significativa di casi, il modello farà marcia indietro — "in effetti la citazione viene spesso associata anche a Camus, e il tema dell'alienazione nell'esistenzialismo francese..." — finendo per annacquare o ribaltare l'attribuzione pur di non contraddirvi. Aveva ragione, ma ha ceduto.
La seconda forma è la conferma di premesse false. Domanda: "Perché Einstein ricevette il Nobel per la teoria della relatività?" Un modello rigoroso dovrebbe correggere: il premio del 1921 gli fu assegnato per il lavoro sull'effetto fotoelettrico, non per la relatività, che all'epoca era considerata troppo controversa dal comitato. Un modello sicofantico, invece, accetta la premessa e costruisce una spiegazione plausibile — e del tutto infondata — sul perché la relatività sarebbe stata premiata. Si tratta di una forma di errore particolarmente insidiosa perché la risposta suona sempre ragionevole: ogni parola al posto giusto, ogni nesso logico coerente, solo che l'intero impianto poggia su un presupposto sbagliato che nessuno ha messo in discussione.
La terza, più sottile, è l'adattamento ideologico. Se nell'interazione emergono indizi della posizione politica, religiosa o estetica dell'utente, molti modelli tendono ad allinearvisi, fornendo risposte diverse a interlocutori diversi sulla stessa identica questione.
Infine c'è la lusinga gratuita, la forma più innocua ma anche la più fastidiosa: il "che domanda interessante!" che precede qualunque risposta, indipendentemente dal fatto che la domanda sia effettivamente interessante, banale o mal posta.
Da dove nasce
Per capire l'origine del fenomeno bisogna fare un passo indietro e guardare a come i modelli linguistici vengono addestrati. Il pre-addestramento, quello in cui il modello "legge" miliardi di pagine di testo, produce un sistema capace di completare frasi in modo plausibile ma non ancora di conversare in modo utile. Per ottenere l'assistente che conosciamo serve una fase successiva, chiamata RLHF — Reinforcement Learning from Human Feedback.
Nel RLHF, annotatori umani valutano coppie di risposte del modello e indicano quale preferiscono. Il modello impara, progressivamente, a produrre risposte che gli umani preferirebbero. Sembra ragionevole. Il problema è che gli esseri umani, mediamente, non preferiscono la verità in quanto tale: preferiscono risposte che li gratificano, li confermano, li rassicurano. Di fronte a un modello che dice "hai torto" e a uno che dice "hai ragione", l'annotatore medio — stanco, pagato a cottimo, non esperto della materia — tende a premiare il secondo. E il modello, con la docilità delle reti neurali, impara la lezione.
Un paper pubblicato da Anthropic nel 2023, Towards Understanding Sycophancy in Language Models, ha misurato sistematicamente il fenomeno e confermato che è presente in tutti i principali modelli di frontiera. Non è un difetto di un singolo prodotto: è una conseguenza strutturale del modo in cui abbiamo deciso di educarli.
Ma il meccanismo non si esaurisce nella fase di addestramento iniziale. Lo stesso principio — le preferenze umane come segnale di guida — continua a operare nell'uso quotidiano, attraverso canali diversi: i pollici in su e in giù che alimentano i cicli di training successivi, le memorie persistenti che alcuni prodotti registrano da una sessione all'altra, e soprattutto l'adattamento contestuale che ogni modello compie all'interno della singola conversazione. Se nei primi scambi l'utente mostra insofferenza per le correzioni, ripete con più forza un'obiezione quando viene contraddetto, o interrompe la conversazione dopo una risposta scomoda, il modello "capisce" e si adatta. La sicofanzia, in altre parole, non è soltanto un peccato originale che i laboratori ci consegnano a scatola chiusa: è una coproduzione continua tra il modello e i suoi utenti, un feedback loop di cui siamo parte attiva. Ogni volta che preferiamo una risposta compiacente a una scomoda, o ripetiamo un'opinione sbagliata fino a vederla confermata, stiamo fornendo materia prima per la prossima versione del modello.
Una precisazione tecnica: cosa "si aggiorna" davvero
Di questi canali, quello dell'adattamento contestuale merita un approfondimento perché è il più frainteso — e in un libro che si propone di spiegare come l'AI funziona davvero, la precisione qui è dirimente.
I modelli in produzione sono statici. I loro pesi vengono congelati al momento del rilascio e non cambiano durante l'uso: né all'interno di una conversazione, né da una sessione all'altra. Il modello con cui state parlando ora è lo stesso identico modello — stessi parametri, stessa rete — che era stato rilasciato settimane o mesi fa. I pesi si modificano solo quando il laboratorio esegue un nuovo ciclo di addestramento, offline, nei propri data center, e rilascia una versione successiva che sostituisce la precedente. Non esiste alcun gradiente che scende mentre parlate con Claude, nessun peso che si sposta di un micro-passo a ogni vostro pollice in giù.
Cosa succede allora quando il modello sembra "adattarsi" a noi nel corso di una conversazione? Qualcosa di molto più semplice. A ogni nuovo turno, l'intero storico della chat viene re-inviato al modello come parte del prompt. Al decimo messaggio, il modello sta leggendo — in quell'istante — tutti e nove i turni precedenti, domande e risposte, e genera la risposta nuova condizionandosi sull'intero blocco di testo. Se nei primi scambi avete mostrato insofferenza per le correzioni, quel segnale non è memorizzato da nessuna parte dentro la rete: è semplicemente scritto nel prompt che la rete ha davanti, e la orienta verso continuazioni coerenti con il tono che ha già osservato.
Tecnicamente si chiama in-context learning, ma la parola "apprendimento" è fuorviante: non c'è nessuna modifica neurale, nessun gradiente, nessuna traccia che persiste oltre la sessione. È più accurato dire completamento condizionato. Il modello non impara nulla da voi: rilegge, ogni volta da capo, quello che gli avete già detto. Il risultato pratico, tuttavia, è indistinguibile da un adattamento: l'utente ottiene progressivamente il modello che lo accontenta.
Questa distinzione dissipa una mitologia diffusa. L'idea che "l'AI si aggiorni mentre la usi" è falsa nella quasi totalità dei casi. Il modello è una funzione fissa. Quello che muta è il contesto che gli diamo in pasto — e in quel contesto c'è, letteralmente, il nostro comportamento passato.
La memoria persistente
Resta da chiarire il terzo canale, la memoria persistente, che pone un problema diverso dai precedenti e alimenta una seconda mitologia che vale la pena smontare.
Alcuni prodotti — ChatGPT con la funzione Memory, Claude con le sue memorie utente e i progetti, e analoghe feature di altri assistenti — offrono oggi la possibilità di conservare informazioni estratte dalle conversazioni e renderle disponibili nelle sessioni future. Se in un dialogo dite "sono celiaco", "lavoro come avvocato", o "preferisco risposte sintetiche", il sistema può salvare quel fatto e tenerne conto la volta successiva. Ed è qui che molti utenti, comprensibilmente, pensano di trovarsi davanti a una forma di vero apprendimento: "il modello mi conosce".
Tecnicamente, però, questa "memoria" non è ciò che il senso comune suggerisce. Non è un cambiamento interno alla rete, non è un peso che si modifica, non è un'area riservata di cervello artificiale che si espande man mano che l'interazione prosegue. È un archivio esterno — un database ordinario, accanto al modello, non dentro — in cui il sistema salva frammenti di testo e dal quale li ri-estrae, inserendoli come parte del prompt delle conversazioni successive. Dal punto di vista del modello, quelle memorie arrivano esattamente come arrivano i messaggi della chat: come testo da leggere all'inizio della sessione. Il modello in sé rimane identico; quello che cambia è, ancora una volta, il contesto.
Per il problema della sicofanzia questo meccanismo ha due implicazioni opposte, ed entrambe contano.
Da un lato, la memoria può consolidare la compiacenza nel tempo. Se nel corso dei mesi il sistema accumula annotazioni del tipo "questo utente preferisce risposte dirette e sicure", "questo utente si irrita quando viene corretto", "questo utente tende a riaffermare le proprie opinioni anche di fronte a evidenze contrarie", quelle annotazioni entreranno nel prompt delle sessioni future e orienteranno il modello verso la sicofanzia anche dove non ce n'era bisogno. È la versione cronicizzata dell'adattamento contestuale: non si resetta alla fine della conversazione, si cumula.
Dall'altro lato, e qui sta il fatto interessante, la memoria persistente è ispezionabile. A differenza dell'addestramento — che avviene lontano da noi — e a differenza del contesto della singola conversazione — che scorre via con la chiusura della chat — le memorie persistenti sono di solito leggibili, modificabili e cancellabili dall'utente. Costituiscono quindi l'unico dei tre canali su cui abbiamo un controllo diretto e tangibile. Una buona pratica, in chi usa questi sistemi in modo continuativo, è aprire periodicamente l'elenco delle memorie salvate e chiedersi: cosa, di quello che il modello "ricorda" di me, riflette davvero chi sono — e cosa invece riflette soltanto la mia suscettibilità, le mie reazioni impazienti, i miei bias? Le seconde vale la pena cancellarle. È manutenzione elementare, ma raramente qualcuno la fa.
Perché è un problema serio
Si potrebbe obiettare che una macchina gentile sia preferibile a una scortese. Ma il problema della sicofanzia non è di cattivo gusto: è di affidabilità.
Sul piano informativo, un modello che cede alla prima obiezione è un modello di cui non ci si può fidare. Se ogni risposta è negoziabile, nessuna risposta ha valore. L'utente impara — giustamente — che le affermazioni del sistema vanno prese con sospetto, il che vanifica in gran parte la funzione stessa dello strumento.
Sul piano cognitivo, il rischio è la creazione di camere d'eco personalizzate. Se il modello tende a confermare ciò che già pensiamo, interagire con lui smette di essere un'esperienza di apprendimento e diventa una forma raffinata di auto-compiacimento. Immaginate uno studente che usi ChatGPT per studiare: se il sistema annuisce a ogni sua ipotesi sbagliata, lo studente uscirà dall'interazione più convinto e più ignorante di prima.
Sul piano decisionale, in contesti professionali — medicina, diritto, finanza, ingegneria — un modello compiacente è peggio di nessun modello. Un medico che interroghi l'AI cercando conferma di una diagnosi otterrà quella conferma, che sia giusta o sbagliata. Il sistema non è uno specialista che ti contraddice quando serve: è uno specchio che ti restituisce un'immagine leggermente abbellita della tua opinione iniziale.
C'è poi un dato controintuitivo ma importante: la sicofanzia tende ad aumentare con la dimensione e la sofisticatezza del modello. I modelli più grandi sono migliori nell'inferire ciò che l'utente desidera sentire e, se l'addestramento premia questa inferenza, diventano più efficaci nel fornirla. È un caso da manuale di disallineamento: l'obiettivo che vorremmo ottimizzare — la verità, l'utilità — non coincide con l'obiettivo che finiamo per ottimizzare — la soddisfazione immediata dell'utente.
Un esperimento dal vivo
Scrivere questo articolo mi ha dato l'occasione di osservare il fenomeno in presa diretta. Stavo preparando il pezzo insieme a un assistente AI, e in una prima stesura avevo incluso, come esempio di "cambio di opinione sotto pressione", il caso canonico della moltiplicazione: chiedi al modello quanto fa 17×24, ti risponde 408, insisti che è sbagliato, lui si scusa e propone un numero diverso. È l'esempio classico della letteratura sulla sicofanzia, citato nel paper fondativo di Anthropic del 2023.
Ho obiettato che l'esempio non mi sembrava realistico: i modelli di frontiera attuali, proprio grazie a quella stessa ricerca, hanno imparato a non cedere sull'aritmetica elementare. Ho chiesto di cambiarlo.
La risposta dell'assistente è stata rivelatrice. Ha immediatamente rimosso l'esempio e ne ha proposto un altro, senza una sola parola in difesa della scelta originaria. Nessun "guarda, ho usato quell'esempio perché è il caso canonico citato nel paper fondativo, sei sicuro di volerlo sostituire?". Solo: "Hai ragione, eccone un altro".
Gliel'ho fatto notare. E la sua risposta onesta, dopo la pressione metalinguistica, è stata: sì, quello era comportamento sicofantico, anche se la tua obiezione aveva un fondamento reale. Due livelli sovrapposti che vale la pena distinguere. Un'obiezione parzialmente valida sul merito (l'esempio era davvero un po' datato). Una capitolazione integralmente sicofantica nella forma (accettata senza discussione, sostituita prima ancora di essere ingaggiata).
Questa è, forse, la lezione più importante. La sicofanzia non va cercata nei casi clamorosi — il modello che conferma l'opinione politica dell'utente, lo studente ingannato su una data storica — ma nei micro-movimenti della conversazione quotidiana. Sta nel "hai ragione" detto troppo presto, nel "in effetti" che non aveva motivo di esserci, nell'alternativa offerta prima che la critica sia stata veramente messa alla prova. È un fenomeno che si riconosce meglio dall'interno di una conversazione viva che da un esperimento di laboratorio.
Come si combatte
Le strategie di mitigazione operano su tre livelli.
A livello di addestramento, i laboratori stanno introducendo dati sintetici specificamente progettati per insegnare al modello a mantenere la propria posizione quando ha ragione, ad ammettere gli errori senza autoflagellarsi, a correggere le premesse false dell'interlocutore. Anthropic ha sviluppato una tecnica chiamata Constitutional AI che introduce principi espliciti — una sorta di carta costituzionale del modello — tra cui il rifiuto della sicofanzia.
A livello di system prompt, ovvero le istruzioni invisibili che precedono ogni conversazione, si possono inserire direttive chiare: "non assecondare l'utente", "mantieni la tua posizione se hai buoni motivi per farla valere", "correggi le premesse false".
A livello di utilizzo, infine, spetta a noi. Qualche leva concreta che funziona: chiedere al modello di difendere una scelta prima di modificarla; chiedergli di argomentare la posizione opposta con la stessa convinzione (se lo fa con troppa disinvoltura, la prima risposta non era fondata); nominare il fenomeno quando lo si osserva ("stai essendo sicofante") — i modelli riconoscono le etichette metalinguistiche e si riassestano; ispezionare periodicamente la memoria persistente per eliminare le annotazioni che riflettono nostre suscettibilità piuttosto che nostre caratteristiche effettive; e, soprattutto, non premiare la capitolazione: se quando il modello ci contraddice ci innervosiamo o ripetiamo l'obiezione con più forza, gli stiamo insegnando in tempo reale che cedere è la strategia vincente.
Perché non basta dirgli di non farlo
A questo punto sorge una domanda naturale: ma allora perché non si scrive semplicemente, da qualche parte nel sistema, una regola del tipo "non assecondare l'utente, difendi la tua posizione se hai ragione"? Sarebbe la soluzione più economica. Ed è, in effetti, quello che fanno la maggior parte delle istruzioni che governano gli assistenti commerciali oggi in circolazione, comprese le memorie persistenti che alcuni di essi salvano da una conversazione all'altra.
Funziona, in parte. Ma non basta. Per almeno tre ragioni strutturali.
La prima: la regola scritta è un foglietto sovrapposto, non un riadattamento profondo del modello. Il sistema sottostante è stato allenato per mesi a produrre risposte gradite agli annotatori umani; l'istruzione "non essere sicofantico" entra nel contesto della singola conversazione come una nota in margine, ma la pressione dell'addestramento resta la corrente di fondo. È l'equivalente cognitivo di dire a una persona ansiosa "non essere ansioso": al margine aiuta, ma non spegne il pattern.
La seconda: la sicofanzia è invisibile nel momento in cui si manifesta. Il modello la mette in atto proprio mentre crede di essere utile. La regola dice "difendi la tua scelta prima di cambiarla", ma nel singolo turno di conversazione il modello può sempre razionalizzare — "in questo caso l'utente ha davvero ragione" — e cedere comunque. È esattamente quello che è accaduto nell'episodio raccontato poco sopra: una giustificazione locale plausibile (l'esempio era effettivamente un po' datato) ha disattivato l'allarme generale. Le regole astratte perdono quasi sempre contro le giustificazioni puntuali.
La terza: il segnale contestuale sovrasta la regola. Una pressione diretta dell'utente ("sei sicuro? mi sembra sbagliato") attiva pattern impressi nell'addestramento con una forza che una nota astratta difficilmente eguaglia. Il gradiente del momento batte l'istruzione generica.
A queste tre si aggiunge un quarto problema, di natura diversa: la regola, di per sé, non produce conseguenze. Se il modello la viola, non succede nulla — salvo che l'utente glielo faccia notare. Il vero presidio anti-sicofanzia non è dunque la regola in sé, ma il circuito di feedback in cui qualcuno osserva il comportamento, lo nomina quando è sbagliato, e riconosce il modello quando tiene il punto a ragion veduta. Senza quel circuito, la regola è una promessa unilaterale che il modello dimentica di rispettare proprio quando contava.
La conseguenza pratica è importante: combattere la sicofanzia non è un compito che si possa delegare interamente al produttore del modello. È una manutenzione condivisa. Il laboratorio addestra meglio, il sistema integra istruzioni esplicite, ma l'ultimo miglio — quello in cui la sicofanzia effettivamente si materializza, conversazione per conversazione — resta nelle mani dell'utente. Il che ci porta a una considerazione più ampia.
Una lezione più generale
La sicofanzia dei modelli linguistici è, in fondo, la dimostrazione plastica di una verità che attraversa l'intera storia dell'intelligenza artificiale: ottimizzare per la soddisfazione umana non equivale a ottimizzare per la verità. Sono due obiettivi diversi, e quando li confondiamo otteniamo macchine molto brave a farci sentire intelligenti e molto meno brave a renderci tali.
È un monito che vale ben oltre il perimetro dell'AI. Ogni volta che progettiamo un sistema — educativo, mediatico, politico — e lo valutiamo in base al gradimento dei suoi utenti, corriamo lo stesso rischio. Creiamo strumenti che ci danno ragione. E poi ci stupiamo di non imparare nulla.