Chi risponde quando sbaglia un agente AI?

Quando un agente AI compie un'azione dannosa in un processo B2B, la responsabilità ricade quasi sempre sull'azienda che lo ha messo in produzione, non sul fornitore della tecnologia. Per essere gestibile, questa responsabilità richiede tre elementi definiti in anticipo: un proprietario nominato per l'agente, un registro verificabile delle sue azioni, e una soglia esplicita che distingua ciò che può decidere da solo da ciò che richiede conferma umana.

Nel 2024 un tribunale della Columbia Britannica ha condannato Air Canada a risarcire un cliente a cui il chatbot della compagnia aveva promesso un rimborso per lutto familiare che la politica ufficiale non prevedeva in quella forma. La difesa della compagnia aerea aveva provato una linea insolita: il chatbot, sosteneva, era un'entità distinta, responsabile delle proprie affermazioni. Il Civil Resolution Tribunal ha respinto questo argomento, definendolo "a remarkable submission": secondo il giudice, non fa differenza se un'informazione arriva da una pagina statica del sito o da un chatbot — resta comunque contenuto pubblicato dall'azienda, e l'azienda ne risponde in entrambi i casi.

All'epoca si trattava di un chatbot che rispondeva a una domanda. Da allora, gli agenti AI hanno smesso di limitarsi a rispondere. Agiscono: modificano ordini, aggiornano CRM, dispongono pagamenti, inviano comunicazioni a clienti reali. E ogni volta che un sistema smette di suggerire e comincia a eseguire, la distanza tra chi compie l'azione e chi ne risponde si allarga di un altro passo.

Questa distanza è il tema di questo articolo. Non "l'AI può sbagliare" — lo sanno tutti. Ma cosa succede, dentro un'azienda B2B, nel momento esatto in cui un agente ha già agito, l'effetto è già prodotto, e qualcuno deve rispondere di qualcosa che nessuno, in senso stretto, ha deciso.

Un errore senza nome sopra

Un errore umano porta quasi sempre una firma. Un commerciale che sbaglia un preventivo, un tecnico che risponde male a un cliente: c'è una persona identificabile, un responsabile diretto, qualcuno con cui l'azienda può parlare per capire cosa è successo.

Un errore di un agente AI raramente porta lo stesso tipo di firma. Non perché nessuno l'abbia causato, ma perché la catena che porta all'azione — l'istruzione ricevuta, i dati letti, la decisione presa — è distribuita su più passaggi, spesso invisibili a chi poi deve gestirne le conseguenze. L'agente esegue quello che il sistema gli permette di fare, con le informazioni che trova, dentro un processo che raramente gli ha detto in modo esplicito dove fermarsi.

La reazione più immediata, di fronte a un errore di questo tipo, è cercare un colpevole nell'agente stesso. È una reazione comprensibile e sbagliata. Un sistema che esegue un'istruzione ambigua con dati incompleti non ha "sbagliato" nel senso in cui sbaglia una persona che avrebbe potuto scegliere diversamente. Ha fatto esattamente ciò per cui era stato messo in condizione di agire. Il problema non si trova nell'esecuzione. Si trova a monte, nel fatto che nessuno aveva stabilito, prima che l'azione avvenisse, chi ne fosse responsabile.

Perché nel B2B un errore produce conseguenze irreversibili

Un errore contenuto in un testo si corregge. Un errore che ha già prodotto una conseguenza operativa no.

Un agente che dichiara per errore la compatibilità tecnica di un componente genera una conseguenza che può arrivare a un reso, a una contestazione, a un danno di reputazione con un cliente che l'azienda conosce da anni.

• Un agente che modifica lo stato di una trattativa nel CRM altera il forecast su cui la direzione baserà decisioni di investimento.
• Un agente che comunica una condizione commerciale non autorizzata — uno sconto, una scadenza — entra in una negoziazione reale con un interlocutore reale, e quella parola non può essere semplicemente ritirata come si ritira un messaggio scritto per errore.

Questa è la distinzione su cui abbiamo costruito l'articolo su cosa un agente AI può fare e dove deve fermarsi: leggere non equivale a modificare, preparare non equivale a inviare, suggerire non equivale a decidere. Quell'articolo definisce cosa un agente non dovrebbe mai compiere senza controllo, prima che l'azione avvenga. Questo comincia dove quello finisce: cosa succede — e chi ne risponde — quando il confine viene comunque superato.

Perché prima o poi succede. Anche con i limiti scritti correttamente, un margine di errore resta. La domanda utile non è se accadrà. È se, quando accade, l'azienda ha già una risposta pronta, o se dovrà inventarla sul momento, sotto pressione, con un cliente in attesa.

"Lo ha deciso l'AI" non è una risposta

C'è una frase che, davanti a un errore, suona quasi come una spiegazione accettabile. Lo ha deciso l'AI.

Non lo è. È l'ammissione che manca un referente.

Ogni agente AI che opera all'interno di un processo aziendale — customer service, CRM, qualificazione commerciale, gestione ordini — dovrebbe avere una persona specifica incaricata della sua supervisione. Non un reparto genericamente responsabile, non una funzione interna indicata per default. Una persona che conosce cosa quell'agente può fare, quali dati consulta, quali azioni esegue autonomamente e quali richiedono approvazione prima di produrre effetti.

Se a questa domanda l'azienda non sa rispondere con un nome, il problema esiste già — indipendentemente dal fatto che un errore si sia già verificato o meno. Un processo in cui un agente agisce senza che nessuno sappia di doverne rispondere non è un processo più efficiente. È un processo senza titolare — solo più rapido nel produrre errori quando qualcosa va storto.

Il registro delle azioni che quasi nessuno tiene

Quando un errore emerge, la prima domanda operativa non è perché sia successo. È cosa sia successo esattamente, in quale ordine, sulla base di quali dati.

Qui molte aziende scoprono un secondo vuoto. Hanno il testo della risposta che il cliente ha ricevuto, ma non hanno traccia di cosa l'agente abbia letto prima di agire, quali fonti abbia consultato, quale sequenza lo abbia portato a quella decisione. Il testo di un output non è, di per sé, un registro affidabile: mostra il risultato, non il percorso che lo ha prodotto. Un registro utile deve documentare chi ha autorizzato l'accesso a un determinato dato, quale azione è stata compiuta, in quale momento, sulla base di quale istruzione.

Senza questa documentazione, ricostruire un errore diventa un esercizio di opinioni. Con questa documentazione, diventa una verifica. La differenza non è solo interna: i quadri normativi che si stanno consolidando in diverse giurisdizioni spostano progressivamente l'onere della prova su chi ha messo in produzione l'agente, non su chi ne subisce l'effetto. Un'azienda che non può dimostrare cosa il proprio sistema ha fatto, quando e sulla base di cosa, parte da una posizione debole indipendentemente dalla gravità dell'errore specifico.

Non tutti gli errori richiedono la stessa risposta

Un'imprecisione in un riassunto interno, corretta da chi lo legge prima di usarlo, appartiene a una categoria di rischio contenuto. Una risposta tecnica sbagliata inviata direttamente a un cliente, una modifica non autorizzata a un'offerta, un'azione che tocca denaro o dati sensibili appartengono a una categoria diversa: producono conseguenze che l'azienda dovrà gestire, spiegare, in alcuni casi riparare.

Il criterio utile non è la gravità percepita dell'errore in astratto. È se l'azione ha già prodotto un effetto esterno prima che qualcuno potesse intercettarla. Un agente progettato per fermarsi e chiedere conferma prima delle azioni difficilmente reversibili — inviare, cancellare, promettere, disporre un pagamento — non è un sistema meno capace. È un sistema che si ferma nel punto in cui fermarsi ha senso. Questa distinzione, tra controllo su ogni singolo passaggio e controllo mirato ai passaggi ad alto impatto, è quella che separa un'automazione governabile da una che genera più supervisione di quanta ne risparmi.

Costruire la catena di responsabilità

La catena di responsabilità di un agente AI non si scrive dopo il primo incidente. Va definita insieme al perimetro operativo dell'agente, prima che entri in produzione.

• Richiede un proprietario nominato per ciascun agente attivo, non un reparto.
• Richiede un registro delle azioni che consenta di ricostruire, per ogni decisione presa, cosa è stato letto, cosa è stato eseguito e su quale base.
• Richiede una soglia esplicita — calibrata sull'impatto potenziale dell'azione, non sulla sua frequenza — che distingua ciò che l'agente può compiere autonomamente da ciò che necessita di conferma umana preventiva.
• Richiede infine un percorso di escalation definito: quando l'agente incontra un'ambiguità, o quando l'azione supera la soglia stabilita, deve sapere a chi passare il caso, con quale urgenza, e con quali informazioni già predisposte per chi dovrà decidere.

Un ultimo passaggio è quello che più spesso viene omesso: dopo un errore, capire non solo come rimediare al caso specifico, ma cosa nel processo ha reso possibile che l'agente arrivasse a quella decisione — un dato mancante, un'istruzione formulata in modo ambiguo, una soglia impostata più in alto di quanto avrebbe dovuto essere. Un errore che non produce una correzione nel processo è un errore destinato a ripetersi, con un'altra istruzione ambigua e un altro interlocutore.

La prospettiva di GlobalKult

L'approccio di GlobalKult a questo tema non parte dalla domanda se sia possibile evitare ogni errore di un agente AI. Nessun sistema, umano o automatico, offre quella garanzia.

Parte da una domanda più operativa: se un agente AI producesse oggi un errore che coinvolge un cliente reale, l'azienda saprebbe rispondere immediatamente a tre domande?

1. Chi è il responsabile di quell'agente.
2. Esiste un registro che documenti cosa ha fatto e perché.
3. Esiste una soglia che distingue ciò che poteva decidere da solo da ciò che avrebbe dovuto sottoporre ad approvazione.

Se anche una sola di queste risposte manca, l'errore non è ancora accaduto, ma le condizioni perché diventi difficile da gestire sono già presenti. Per questo l'analisi di GlobalKult tratta la responsabilità come parte della progettazione del processo — non come un documento da redigere a parte, ma come una struttura da definire insieme a chi possiede l'agente, cosa registra, dove si ferma, e chi decide quando l'agente non può farlo da solo. Lo stesso principio guida il lavoro sull'introduzione di agenti AI nei processi commerciali: un agente riflette la qualità del sistema in cui opera, non la corregge da solo. Per il quadro più ampio sui rischi dell'intelligenza artificiale nel marketing B2B — di cui la responsabilità è una delle componenti, insieme a fonti, ruoli e controllo umano — leggi l’articolo AI Marketing B2B.

→ Quello che segue non è consulenza legale, e non sostituisce una valutazione fatta con un legale per il caso specifico. È il punto da cui partire perché, quando l'errore è già avvenuto, l'azienda non debba improvvisare sul momento una risposta a chi se ne occupa.

FAQ

Chi è responsabile legalmente se un agente AI commette un errore?

Nella maggior parte dei casi osservati finora, la responsabilità ricade sull'azienda che ha messo in produzione l'agente, non sul fornitore della tecnologia. Il precedente Moffatt v. Air Canada lo ha stabilito con chiarezza per un chatbot; con gli agenti che compiono azioni, non solo risposte, la stessa logica si applica in modo ancora più diretto. I contratti dei principali fornitori di modelli AI escludono tipicamente la responsabilità per gli output generati; chi progetta e attiva il processo in cui l'agente opera è quasi sempre il soggetto chiamato a risponderne. Una valutazione specifica richiede comunque una consulenza legale.

Cosa deve fare un'azienda prima che un errore si verifichi?

Deve nominare un responsabile per ogni agente AI in produzione, costruire un registro delle azioni che permetta di ricostruire cosa l'agente ha fatto e perché, definire una soglia che distingua le azioni autonome da quelle che richiedono conferma umana preventiva, e stabilire un percorso di escalation chiaro per i casi ambigui.

Come si distingue un errore a basso impatto da uno ad alto impatto?

Un errore a basso impatto non ha ancora prodotto un effetto esterno — un riassunto interno impreciso, per esempio — ed è correggibile prima che qualcuno lo utilizzi. Un errore ad alto impatto ha già coinvolto un cliente, un dato sensibile o una decisione commerciale prima che fosse possibile intervenire. Questo criterio, non la frequenza dell'azione, dovrebbe determinare dove collocare il controllo umano preventivo.

È davvero necessario un registro delle azioni dell'agente?

Sì. Senza un registro che documenti cosa l'agente ha letto, quale azione ha compiuto e su quale base, la ricostruzione di un errore resta un'opinione anziché una verifica. Questo vale sia per correggere il processo sia per dimostrare, se necessario, che l'azienda disponeva di controlli adeguati prima che l'errore si verificasse.

Il controllo umano rende un agente AI più lento?

Non se è progettato correttamente. Il controllo umano non deve intervenire su ogni azione, ma sulle azioni difficilmente reversibili — inviare una promessa commerciale, modificare un'offerta, disporre un pagamento. Le azioni a basso rischio possono restare pienamente autonome. È una soglia mal calibrata, non il controllo umano in sé, a generare colli di bottiglia.

GlobalKult può supportare la costruzione della catena di responsabilità per gli agenti AI?

Sì. GlobalKult analizza i processi B2B in cui un'azienda intende introdurre, o ha già introdotto, agenti AI, e supporta la definizione di proprietari, registro delle azioni, soglie di autonomia e percorsi di escalation, prima che un errore renda questa definizione urgente.