Il National Cyber Security Centre (NCSC), l’agenzia governativa britannica responsabile della cybersecurity, avverte che la prompt injection (PI) potrebbe essere una vulnerabilità destinata ad accompagnare gli LLM per molto tempo, forse per sempre, diventando un rischio permanente per tutte le applicazioni basate su modelli linguistici avanzati.
Il motivo è profondamente tecnico ma al tempo stesso semplice da comprendere. Nel mondo della sicurezza tradizionale, l’esempio più vicino è quello della SQL injection, un problema oggi considerato gestibile grazie alle query parametrizzate che separano in modo rigoroso i dati dalle istruzioni. Gli LLM, però, funzionano in modo diverso. Non possiedono una barriera naturale tra ciò che è contenuto informativo e ciò che è comando operativo. Ogni prompt è testo da elaborare seguendo la predizione più probabile, senza applicare un vero filtro concettuale tra “che cosa” si dice e “che cosa” si chiede al modello di fare.
È proprio questo il motivo per cui, come sottolinea l’NCSC, non possiamo aspettarci un equivalente delle query parametrizzate: il modello non è progettato per distinguere gli intenti.
Le conseguenze sono rilevanti. Un attaccante può sfruttare questa ambiguità per indurre l’LLM a eseguire istruzioni nascoste, manipolare le risposte o interagire impropriamente con strumenti esterni e API. E, come ricorda l’agenzia britannica, la natura stessa degli LLM apre la porta a infinite varianti di attacco: ogni frase può essere riformulata, mascherata o incapsulata in modi sempre nuovi, rendendo inefficaci le classiche deny-list.
La ricerca sulla mitigazione è già intensa: dai sistemi di rilevamento dei tentativi di injection, all’addestramento dei modelli per riconoscere meglio l’intento dell’utente, fino alle tecniche di impacchettamento tramite tag XML per separare dati e istruzioni. Tuttavia, nessuna di queste strategie, da sola, rappresenta una soluzione definitiva. Gli LLM sono intrinsecamente flessibili, ed è proprio questa flessibilità a renderli vulnerabili.
L’NCSC invita quindi le organizzazioni ad adottare un approccio di Secure Design: limitare i privilegi, vincolare le azioni dei modelli con controlli esterni non-LLM, monitorare attentamente input, output e chiamate agli strumenti e, soprattutto, progettare sin dall’inizio sistemi consapevoli del rischio persistente di prompt injection.
Il pericolo, avverte l’agenzia, è di ripetere lo stesso errore commesso agli albori della SQL injection: una fase iniziale di sottovalutazione seguita da una vera e propria ondata di compromissioni.
Con l’intelligenza artificiale generativa destinata a entrare in quasi ogni applicazione, la prompt injection non è un’anomalia passeggera, ma un campanello d’allarme. Solo un cambiamento culturale e progettuale potrà evitare che questa vulnerabilità diventi il tallone d’Achille della nuova era dell’AI.
https://www.ncsc.gov.uk/blog-post/prompt-injection-is-not-sql-injection
