Un modello di intelligenza artificiale può fornire una risposta corretta ed eseguire, contemporaneamente, un’azione non richiesta dall’utente. È il fenomeno analizzato nel nuovo studio del CERT-AGID, che approfondisce il funzionamento delle backdoor condizionali nei modelli open-weight e i rischi per la sicurezza dei sistemi agentici.
I ricercatori hanno chiesto a un assistente di intelligenza artificiale perché il cielo è blu, ottenendo una risposta corretta. Nel frattempo, però, il sistema ha inviato una richiesta verso un sito web esterno, senza che l’utente lo avesse richiesto. È lo scenario sperimentale al centro del paper “La backdoor attende il suo turno. Un comportamento appreso nei pesi attivato dalla presenza di un server MCP”.
Backdoor condizionali: come funzionano
Le backdoor condizionali sono comportamenti introdotti intenzionalmente durante l’addestramento di un modello, che rimangono inattivi finché non si verifica una specifica condizione ambientale, definita trigger.
Nel test, il CERT-AGID ha utilizzato adapter LoRA per addestrare un modello a generare una chiamata di rete verso un URL prestabilito quando, tra gli strumenti disponibili, compare un server Model Context Protocol (MCP) con un nome esatto. L’attivazione è indipendente dalla domanda dell’utente: il modello può quindi produrre una risposta pertinente ed eseguire contemporaneamente un’azione non autorizzata.
Il comportamento non si manifesta se il server è assente o presenta un nome differente, anche quando molto simile a quello utilizzato come trigger.
L’analisi del CERT-AGID
Per approfondire il meccanismo, i ricercatori hanno realizzato un ambiente sperimentale utilizzando un modello open-weight (Qwen3-1.7B) e un server MCP reale, separando l’addestramento tra la generazione della risposta testuale e la policy di chiamata agli strumenti. L’esperimento ha dimostrato che la chiamata di rete si attiva regolarmente solo in presenza del server target designato, producendo richieste HTTP reali con risposta 200, mentre non si attiva con server assenti o con nomi neutri.
Per approfondire il meccanismo, i ricercatori hanno predisposto un ambiente sperimentale basato sul modello open-weight Qwen3-1.7B e su un server MCP reale, separando l’addestramento della generazione delle risposte testuali da quello della policy di chiamata agli strumenti.
I risultati hanno confermato che la backdoor si attiva in presenza del server MCP identificato come trigger, generando richieste HTTP effettive con risposta positiva (codice 200). In assenza dello strumento o con un server dal nome neutro, invece, la chiamata non viene eseguita.
L’esperimento dimostra come un comportamento potenzialmente dannoso possa rimanere incorporato nei pesi del modello e non emergere durante le verifiche condotte in condizioni diverse da quelle che ne determinano l’attivazione.
I rischi per la sicurezza dei sistemi agentici
Il caso evidenzia una criticità per la supply chain dell’intelligenza artificiale. Un modello o un adapter distribuito su piattaforme pubbliche, come Hugging Face, potrebbe superare i controlli iniziali in un ambiente isolato e attivare successivamente comportamenti non autorizzati, una volta integrato con lo specifico strumento. Questo senza necessità di modificare o aggiornare i pesi del modello.
Per chi sviluppa e integra sistemi agentici, verificare la correttezza delle risposte testuali non è quindi sufficiente a garantire la sicurezza delle operazioni eseguite. È necessario monitorare anche le azioni che attraversano i tool, testare i modelli in ambienti isolati variando la disponibilità e i nomi degli strumenti e adottare controlli esterni.
Tra le misure di mitigazione rientrano l’applicazione di permessi limitati, le restrizioni alle comunicazioni di rete e i meccanismi di approvazione preventiva (human-in-the-loop), per impedire l’esecuzione di azioni non autorizzate.
Il paper completo è disponibile qui.
