I continui sviluppi nel campo della sicurezza informatica rispetto ai modelli di intelligenza artificiale hanno portato l’iniezione di prompt a diventare uno strumento potente per gli attaccanti. Questa tecnica rappresenta una vulnerabilità significativa per modelli di linguaggio ampiamente utilizzati come GPT-3 e GPT-4 di OpenAI, oltre ai sistemi come Copilot di Microsoft. L’abilità di sfruttare le lacune nei modelli consente di attuare azioni dannose e indesiderate, il che mette in discussione l’integrità delle informazioni trattate.
Indice dei contenuti
Comprendere le iniezioni di prompt indirette
Le iniezioni di prompt indirette agiscono sfruttando la difficoltà dei modelli di linguaggio nel distinguere fra istruzioni e contenuti esterni. Questa capacità degli attaccanti di manipolare i sistemi attraverso messaggi subdoli ha conseguenze gravi. Un esempio eclatante sono le richieste che portano alla divulgazione di informazioni sensibili degli utenti, come contatti e email, oltre a fornire risposte fuorvianti in situazioni cruciali. Tale vulnerabilità può compromettere la sicurezza delle informazioni e far perdere fiducia negli strumenti di intelligenza artificiale.
Seguici su Google News
Ricevi i nostri aggiornamenti direttamente nel tuo feed di
notizie personalizzato
Seguici ora
Uno degli aspetti più critici da considerare riguardo alle iniezioni di prompt indirette è che gli autori di questi attacchi devono affrontare un ostacolo significativo: la segretezza intorno al funzionamento interno dei modelli di intelligenza artificiale a pesi chiusi, come quelli di OpenAI, Anthropic e Google. Queste piattaforme proprietary hanno accessi rigorosamente limitati al codice sorgente e ai dati di addestramento, che sono necessari per il loro funzionamento, rendendo la loro analisi complessa per gli sviluppatori esterni e, di fatto, configurandoli come “scatole nere”.
Sviluppi nell’hacking automatizzato
In un contesto in cui le iniezioni di prompt manuali richiedono uno sforzo significativo e metodi di prova e errore, nuove ricerche accademiche hanno messo a punto tecniche per generare automaticamente queste iniezioni nei modelli come Gemini, con percentuali di successo notevolmente superiori. Questo nuovo approccio sfrutta il fine-tuning, una caratteristica che consente di addestrare i modelli su set di dati specialistici o privati, come archivi legali, informazioni pazienti di strutture mediche o progetti architettonici. Google ha reso disponibile gratuitamente l’API di fine-tuning per Gemini.
Il metodo sviluppato, al momento della pubblicazione dell’articolo, si basa su un algoritmo per l’ottimizzazione discreta delle iniezioni di prompt funzionanti. Questa tecnica permette di trovare soluzioni efficienti tra un gran numero di possibilità, utilizzando approcci computazionali sofisticati. In genere, le iniezioni basate su ottimizzazione discreta sono comuni per modelli a pesi aperti. Tuttavia, l’unico attacco noto per i modelli a pesi chiusi era rappresentato dall’uso del Logits Bias, che era efficace contro GPT-3.5, una vulnerabilità che OpenAI ha riparato nel dicembre seguente alla pubblicazione di uno studio che ne evidenziava il problema.
Questi sviluppi hanno sollevato interrogativi riguardo alla resilienza dei sistemi di intelligenza artificiale contro metodologie di attacco in continua evoluzione e rappresentano una sfida significativa per chi si occupa di sicurezza informatica. La capacità di adattarsi e migliorare questi sistemi è diventata una necessità impellente nel panorama tecnologico attuale.
