L’accelerazione dei Large Language Model (LLM) è una delle principali direttrici di sviluppo dell’intelligenza artificiale generativa, ma il guadagno in termini di velocità non può avvenire a discapito dell’affidabilità e della sicurezza. È quanto evidenzia il nuovo paper del CERT-AgID dedicato al Multi-Token Prediction (MTP), una tecnologia emergente progettata per ridurre i tempi di risposta dei sistemi di IA.
Lo studio analizza le possibili implicazioni di queste tecniche per i sistemi informatici della Pubblica Amministrazione, evidenziando come un’implementazione non adeguatamente controllata possa trasformarsi da opportunità di efficienza a fattore di rischio per la stabilità operativa e la coerenza delle risposte generate.
Come funziona l’accelerazione dei modelli
A differenza dei modelli di intelligenza artificiale tradizionali, che generano i testi in modo sequenziale, ossia elaborando una parola o un simbolo alla volta, il Multi-Token Prediction consente di anticipare contemporaneamente più parole, spesso attraverso il cosiddetto decoding speculativo. In pratica, un modello secondario, più leggero e veloce, propone una sequenza di token che viene poi verificata dal modello principale, il quale decide se accettarla o rigettarla.
Questo approccio permette di ridurre sensibilmente la latenza, ma introduce anche una maggiore complessità nella gestione dello stato interno del modello.
I rischi per la sicurezza
Secondo il CERT-AgID, il nodo cruciale non è tanto la velocità quanto la corretta sincronizzazione tra il modello principale e quello ausiliario. Se il sistema non gestisce in modo rigoroso la memoria interna durante la fase di verifica, può verificarsi un disallineamento tra i token ipotizzati e quelli effettivamente validati.
In scenari critici, questo fenomeno potrebbe incidere sulla stabilità del servizio e compromettere la coerenza delle risposte generate dall’intelligenza artificiale, con possibili ripercussioni sull’affidabilità delle applicazioni impiegate in contesti istituzionali e nei servizi della Pubblica Amministrazione.
I risultati dei test
I test condotti dal CERT-AgID su architetture locali mostrano che le migliori prestazioni si ottengono quando il modello assistente adotta un comportamento il più possibile prevedibile, limitandosi a suggerire le continuazioni più probabili e facilmente verificabili dal modello principale.
Lo studio evidenzia inoltre che la valutazione delle prestazioni non può basarsi esclusivamente sulla velocità media di generazione, ma deve considerare anche i casi peggiori e gli eventuali picchi di latenza, elementi fondamentali per garantire resilienza e continuità operativa.
Consulta il report completo del CERT-AgID per tutti i dettagli.
