OpenAI ha lanciato un nuovo monito sul suo blog, in particolare contro la minaccia nota come prompt injection. Il tutto, mentre l’azienda ha continuato a lavorare per rafforzare la sicurezza del suo browser AI Atlas contro gli attacchi cyber. La prompt injection è una tecnica di attacco cyber che manipola gli agenti AI inducendoli a seguire istruzioni dannose, spesso nascoste all’interno di pagine web o email. Questo problema ha sollevato interrogativi importanti sulla reale sicurezza degli agenti AI quando operano sull’open web.
Il contesto globale della minaccia
Il lancio del browser Atlas è avvenuto a ottobre. Quasi immediatamente, i ricercatori di sicurezza hanno iniziato a dimostrarne i limiti. Alcuni esperimenti hanno molayer che poche frasi inserite in un documento Google potevano alterare il comportamento del browser AI. La prompt injection indiretta rappresenta una sfida strutturale per tutti i browser basati su AI, inclusi quelli di aziende concorrenti. Anche il National Cyber Security Centre britannico ha avvertito i rischi sugli attacchi di prompt injection contro le applicazioni di AI generativa.
Livelli di vulnerabilità e esempi di attacchi
Durante una recente demo, OpenAI ha dimostratocome un attacco automatizzato sia riuscito a inserire un’email malevola nella casella di posta di un utente. Nel momento in cui l’agente AI ha analizzato la casella, ha seguito istruzioni nascoste nel messaggio e ha inviato per errore un’email di dimissioni, invece di preparare una semplice risposta di assenza automatica. Dopo un aggiornamento di sicurezza, però, la situazione è cambiata. Secondo OpenAI, la modalità agent mode è ora in grado di individuare i tentativi di prompt injection e segnalarli all’utente prima che possano causare dei danni.
Misure di sicurezza e raccomandazioni per gli utenti
OpenAI ha fornito tutta una serie di consigli agli utenti per ridurre i rischi. Nel dettaglio, è consigliabile limitare l’accesso degli agenti agli account con autenticazione, richiedere sempre una conferma prima dell’invio di messaggi o pagamenti e fornire istruzioni specifiche agli agenti, evitando comandi vaghi. Inoltre, l’azienda ha aggiunto che un’eccessiva libertà d’azione rende più facile per contenuti nascosti o malevoli influenzare il comportamento dell’agente, anche in presenza di sistemi di sicurezza. importante, quindi, adottare misure di sicurezza per proteggere i propri dati e informazioni sensibili.
