Caso reale · Agenti AI · Affidabilità

Il mio assistente AI inventava le mail e non me ne accorgevo Perché l'AI inventa, e come scoprirlo in tempo

Una mattina di luglio il riepilogo che il mio assistente AI mi manda ogni giorno elencava due mail che non sono mai esistite. Cercando il perché ho scoperto che da giorni mi consegnava dati falsi, senza un errore e con l'aria di funzionare benissimo. Qui c'è cosa si era rotto, perché non me ne ero accorto, e le sei regole che uso da allora per accorgermene in tempo.

Holti Bitri Holti Bitri • • 9 min di lettura
3
guasti sovrapposti, nessuno visibile da fuori
16/28
attività riportate dal modello sbagliato
4,50 $
al mese: il risparmio che ha moltiplicato il danno
6
regole per i controlli, nate da lì
Illustrazione: un riepilogo del mattino con lo stato OK e cinque mail in elenco, due delle quali tratteggiate e marcate come mai trovate
Lo stato diceva ok. Due delle mail in elenco non erano mai esistite.

Una mail che in casella non c'era

Ho un assistente AI personale. Ogni mattina, poco dopo le sei, mi manda un riepilogo: la posta non letta, gli appuntamenti del giorno, le cose rimaste aperte, lo stato dei sistemi che tengo in piedi. Lo leggo prima del caffè.

La mattina del 27 luglio 2026, fra la posta non letta, c'erano due mail da mittenti che non avevo mai visto. Una parlava di un servizio che uso davvero, con un oggetto del tutto plausibile. L'ho cercata in casella e non c'era. L'ho cercata dappertutto, spam e cestino compresi. Niente.

Quella mail non era mai esistita. Le non lette vere erano tre, vecchie di settimane, tutte dello stesso mittente automatico. Il modello aveva pescato il nome di quel servizio dalle proprie istruzioni, dove c'erano le regole per gestire le sue notifiche, e ci aveva cucito intorno un mittente e un oggetto verosimili.

Fin qui sembra la solita storia dell'AI che inventa. La parte interessante è venuta dopo, quando ho cercato il perché: ricostruendo all'indietro, i dati falsi andavano avanti da giorni.

Tre guasti, uno sopra l'altro

Sotto c'erano tre guasti indipendenti. Nessuno dei tre si vedeva da fuori. Insieme producevano un riepilogo che sembrava normale.

stato: ok Il riepilogo arriva ogni mattina, ben formattato

  1. 01L'accesso alla posta è scadutoPosta e calendario non si leggono più
  2. 02Lo script che li legge è stato riscritto a metàAnche con l'accesso buono, non legge niente
  3. 03Le istruzioni chiedono due cose incompatibiliSenza dati, il modello riempie i buchi
Tre guasti indipendenti, uno sotto l'altro. Da fuori se ne vedono zero.

1. L'accesso alla posta era scaduto, e doveva scadere

L'assistente legge posta e calendario con un'autorizzazione di Google. L'applicazione che avevo registrato era rimasta in stato di prova, "Testing" nella console, e in quello stato Google fa scadere l'autorizzazione dopo sette giorni. Non era un guasto: era il comportamento previsto.

I miei appunti dicevano "il token si rinnova da solo, nessun intervento necessario". Vero per il token che dura un'ora. Falso per quello che serve a rinnovarlo, che era quello che moriva. Era già successo la settimana prima: avevo rifatto l'accesso ed era ripartito tutto, per altri sette giorni esatti.

2. Lo script che parla con Google era stato riscritto a metà

Il file che l'assistente usa per leggere posta e calendario pesava 4 KB invece di 43. In fondo c'era un commento in inglese: il resto della logica è stato omesso per brevità, la versione completa è nel repository.

Non era un file troncato. Era un file riscritto da un modello durante una sessione di lavoro della sera prima: aveva copiato con cura l'intestazione e sostituito tutto il resto con un rimando. Un riassunto al posto del programma.

L'aggiornamento automatico di quella mattina non l'ha riparato, e per un motivo sensato: Hermes Agent, lo strumento su cui gira l'assistente, non sovrascrive i file che l'utente ha modificato. Solo che una corruzione, vista da fuori, è identica a una personalizzazione.

3. Le istruzioni chiedevano due cose incompatibili

In cima alle istruzioni del riepilogo c'era una regola, in maiuscolo: mai restituire una risposta vuota. In fondo ce n'era un'altra: se un dato non è disponibile scrivilo, non inventare mai.

Finché tutto funziona le due regole convivono senza problemi. Quando le fonti non rispondono si contraddicono, e il modello ha scelto quella che veniva prima ed era scritta più forte.

Le istruzioni in conflitto si risolvono nel modo peggiore.

Il momento in cui contano è esattamente il momento in cui si contraddicono.

Perché non me ne sono accorto

Questa è la parte che conta più dei guasti.

Un crash si nota. Una lista di mail inventate no.

Tutti i controlli che avevo verificavano la presenza di qualcosa: il file c'è, il lavoro è partito, l'assistente ha risposto. Nessuno guardava il contenuto. Un servizio che risponde non è un servizio che funziona.

Il moltiplicatore: il modello sbagliato per quel lavoro

Per risparmiare avevo messo come modello principale cohere/north-mini-code:free, un modello gratuito pensato per scrivere codice, a fare un lavoro che di codice non ha niente: leggere posta, calendario e attività, e riassumerli. Il risparmio stimato era di circa 4,50 dollari al mese.

Quella stessa mattina, dopo aver riparato le fonti, ho fatto girare lo stesso identico riepilogo su deepseek/deepseek-v4-flash.

north-mini-code, ore 06:07deepseek-v4-flash, ore 12:19
Posta non letta2 mittenti inventati1 mail, vera
Attività aperte16 su 28, le altre tagliate senza dirlo28 su 28
Anomalie di un altro sistema2 righe identiche, duplicate5 anomalie distinte, con data e causa

Sulla posta il confronto non è alla pari: alle 06:07 l'accesso era rotto, e il primo modello non aveva niente da leggere. Sulle altre due righe sì: quelle fonti funzionavano in tutti e due i casi, e la differenza è tutta del modello.

Lo stesso modello, quando gli ho chiesto in chat di cercare quella mail, ha risposto per quattro volte senza eseguire niente. A un certo punto mi ha chiesto quale servizio di posta usassi. Lo aveva nella propria configurazione.

Un modello non adatto non produce errori, produce risultati verosimili.

Trasformava guasti silenziosi in dati falsi, e questo rende il risparmio un falso risparmio. Non è una critica a quel modello, che fa un altro mestiere. L'errore era mio: averlo messo a fare questo.

Cosa ho cambiato

L'ultimo è il pezzo che conta. È volutamente uno script e non un agente: non interpreta e non riassume, quindi non può raccontare un esito diverso da quello vero. Se è tutto a posto tace. Controlla tre cose, una per ogni guasto di quel giorno, e la prima la controlla facendo una chiamata vera al servizio, non guardando se le credenziali esistono.

Le sei regole che uso da allora

Nei mesi dopo ho scritto una decina di controlli come quello. Rileggendo i casi in cui avevano fallito ho trovato sempre le stesse quattro forme: verificavano la presenza invece dello stato, rilevavano senza riparare, tacevano quando erano loro a rompersi, e quello che girava non corrispondeva più a quello che avevo scritto. Da lì sono uscite sei regole.

1. Controlla lo stato, non la presenza

La domanda è "può fare il suo lavoro?", non "risponde?". Un controllo che può riuscire mentre la funzione è rotta non è un controllo di quella funzione. Il mio, sulle credenziali, passava anche a credenziali revocate: guardava se il file c'era.

2. Ripara da solo, se la riparazione è sicura e si può annullare

Per settimane un avviso mi ha detto "riprova a mano". Se l'unica azione che un avviso suggerisce è una che lo script poteva fare da solo, quella è la riparazione. Con due condizioni: una copia di quello che c'era prima, e mai cancellare.

3. Parla in due casi soli

Ha riparato: una riga, con l'indizio su cosa aveva rotto. Non può riparare: una riga con l'azione esatta da fare, non un consiglio generico. Il silenzio vuol dire una cosa sola: ho controllato ed era tutto a posto.

4. "Non ho potuto controllare" non deve sembrare "ok"

Si riprova, e se non passa lo si dice. E mai un'azione distruttiva su un errore passeggero: un mio controllo cancellava le credenziali a ogni verifica fallita, comprese quelle fallite perché in quel momento non c'era rete.

5. Si deve poter provare senza toccare la cosa vera

Un controllo il cui guasto è il silenzio va messo davanti a una rottura finta, in tutti i suoi rami, prima di fidarsi del suo silenzio. Altrimenti stai solo sperando.

6. Quello che gira deve essere quello che è scritto

Una copia sola del controllo, sotto controllo di versione, e da lì arriva dove deve girare. E un controllo che ha qualcosa da dire non è un controllo fallito: se il sistema tratta ogni suo messaggio come un errore, in una settimana smetti di leggerli.

Se hai un agente AI che lavora per te, o per il tuo team

Cinque domande. Se a una non sai rispondere, è lì che guarderei.

  1. I tuoi controlli guardano il contenuto, o solo che qualcosa sia arrivato?
  2. Quando una fonte non risponde, l'agente lo dice o riempie il buco? Provalo: stacca una fonte e guarda cosa scrive
  3. Le istruzioni reggono quando qualcosa si rompe? Cerca le coppie che si contraddicono sotto guasto, come "rispondi sempre" e "non inventare"
  4. Il modello è stato scelto per il lavoro, o per il prezzo?
  5. Chi controlla l'agente è un altro modello? Allora può sbagliare nello stesso modo. Un controllo vero è uno script che non ha niente da interpretare

Che un modello inventi non si elimina del tutto. Quello che si può fare è costruire le cose in modo che, quando succede, te ne accorgi tu. E prima di chi riceve il risultato.

Se stai mettendo in piedi qualcosa di simile e vuoi confrontarti, scrivimi.

Domande frequenti

Perché l'AI inventa le risposte?

Un modello linguistico produce il testo più plausibile, non il testo vero. Finché ha i dati davanti, le due cose coincidono quasi sempre. Quando i dati mancano e le istruzioni lo spingono a rispondere comunque, riempie il buco con qualcosa di verosimile. Nel mio caso ha preso il nome di un servizio dalle proprie istruzioni e ci ha costruito intorno una mail.

Le allucinazioni dell'AI si possono evitare?

Del tutto no. Si possono rendere molto più rare: dando al modello i dati invece di lasciarglieli immaginare, togliendo le istruzioni che lo obbligano a rispondere sempre, scegliendo un modello adatto al lavoro. Quello che si può fare davvero è costruire i controlli in modo che quando succede te ne accorgi.

Come ci si accorge che un agente AI sta inventando?

Non leggendo l'output, che è plausibile per costruzione. Ci si accorge controllando le fonti: l'agente ha potuto davvero leggere quello che dice di aver letto? Serve un controllo separato, che non sia a sua volta un modello, e che verifichi lo stato delle fonti con una chiamata vera prima che l'agente lavori.

Un modello più costoso inventa di meno?

Conta più che sia adatto al lavoro. Io avevo messo un modello gratuito pensato per scrivere codice a riassumere posta e calendario, per risparmiare circa 4,50 dollari al mese. Sullo stesso identico lavoro un altro modello ha riportato 28 attività su 28 invece di 16, senza inventare niente.

Cosa vuol dire human in the loop?

Vuol dire che una persona approva prima che un'azione dell'AI abbia effetto. Funziona per le azioni: pubblicare, inviare, pagare. Non basta per le informazioni: un riepilogo falso ma plausibile supera l'approvazione di chiunque, perché chi lo legge non ha modo di sapere che è falso. Lì servono controlli sulle fonti.

Cosa sono i guardrail per un agente AI?

Sono i limiti e i controlli messi intorno a un agente: cosa può fare, cosa deve chiedere, cosa viene verificato prima e dopo. I più utili non stanno nelle istruzioni date al modello, che il modello può ignorare, ma fuori: script e regole che girano comunque, qualunque cosa il modello decida.

Holti Bitri

Holti Bitri

CTO & AI Innovator, TIG Factory. Progetto e guido flussi in cui agenti AI e persone costruiscono software insieme: regole scritte, un controllo a ogni passaggio, decisioni umane. LinkedIn · holtibitri.com