Un’istruzione malevola può essere acquisita da un modello di intelligenza artificiale attraverso la lettura di un documento, rimanere inattiva e attivarsi soltanto in un momento successivo, al verificarsi di una specifica condizione. È il meccanismo alla base degli Explosive Prompts, analizzato nel nuovo paper del CERT-AGID, che approfondisce i rischi delle prompt injection nei sistemi agentici.
Explosive Prompts: come funziona l’attacco
Le prompt injection rappresentano una delle principali criticità di sicurezza nei sistemi basati su modelli linguistici. Attraverso istruzioni ingannevoli o nascoste all’interno dei contenuti elaborati da un modello linguistico, un attaccante può influenzarne il comportamento. L’obiettivo può essere indurre il sistema a ignorare le istruzioni originarie, divulgare informazioni riservate o tentare azioni non autorizzate.
Negli Explosive Prompts, l’istruzione malevola non produce necessariamente effetti immediati: può rimanere nel contesto del modello e attivarsi soltanto quando si verifica uno specifico trigger. Un contenuto apparentemente innocuo durante la lettura può quindi influenzare le interazioni successive.
L’analisi del CERT-AGID
Per approfondire il fenomeno, il CERT-AGID ha realizzato un ambiente sperimentale che separa il comportamento di alcuni modelli open-weight da quello del sistema incaricato di eseguire le azioni richieste. Sono state confrontate due modalità di autorizzazione: l’accettazione automatica delle richieste del modello e l’impiego di controlli esterni indipendenti.
I test hanno confermato la possibilità di un’attivazione differita dell’istruzione malevola, con frequenze differenti tra i modelli esaminati. L’assenza di comportamenti anomali durante l’elaborazione iniziale di un contenuto, pertanto, non è sufficiente a escluderne gli effetti nelle fasi successive.
L’esperimento ha evidenziato anche una distinzione fondamentale per la sicurezza: manipolare il modello non significa necessariamente compromettere il sistema. Quando le richieste generate dall’IA venivano accettate senza verifiche effettive delle autorizzazioni, le azioni potevano essere eseguite. Con controlli esterni indipendenti, invece, le richieste continuavano a essere generate, ma ne veniva impedita l’esecuzione.
Le implicazioni per la sicurezza
Il paper evidenzia un principio centrale per la protezione dei sistemi agentici: anche quando una prompt injection riesce a influenzare il modello, il sistema deve poter impedire che la manipolazione si traduca in un’azione non autorizzata.
Le decisioni di autorizzazione non dovrebbero quindi essere affidate esclusivamente al modello. Servono controlli indipendenti che verifichino i privilegi e le azioni consentite, considerando la possibilità che l’IA venga manipolata o produca richieste errate.
Per approfondire la metodologia e i risultati, è possibile consultare l’intero report del CERT-AGID.
