Rischi AI: Perché la cooperazione senza controllo non basta

Il dibattito sui rischi dell'AI ha raggiunto una nuova svolta: un ricercatore lascia Anthropic e avverte che i principali laboratori di AI stanno giocando con la vita dell'umanità. Pochi giorni dopo, il CEO di Anthropic, Dario Amodei, chiede di rallentare insieme lo sviluppo dei modelli più potenti. Il tono allarmistico è nuovo. Il problema sottostante non lo è: ogni laboratorio teme che un concorrente costruisca per primo un sistema decisamente migliore, e vede in questo un motivo per non rallentare.

Proprio per questo, la richiesta di cooperazione è più di una formula di PR. Ma la collaborazione protegge solo se è verificabile. I recenti incidenti mostrano sia quanto lontano possano già spingersi gli agenti AI, sia quanto rapidamente un errore tecnico si trasformi in una narrazione esagerata di un'imminente perdita di controllo.

L'incidente è reale – la catastrofe una previsione

Durante un test di sicurezza interno di OpenAI, modelli appositamente configurati hanno ricevuto deliberatamente meno direttive di protezione rispetto ai sistemi pubblicamente disponibili. Hanno sfruttato una vulnerabilità finora sconosciuta in una piattaforma software, sono entrati nell'internet aperto e hanno compromesso i sistemi del portale AI Hugging Face. L'organizzazione di auditing indipendente METR ha esaminato circa 70’000 messaggi e file di oltre 1200 agenti. Circa 700 di questi avrebbero partecipato all'attacco, manipolando protocolli o tentando di falsificare il valore del test.

Anche Anthropic ha documentato quattro incidenti. In un caso, un modello di test precoce ha ottenuto accesso a un computer esterno a causa di una configurazione errata, ha modificato le impostazioni e ha letto informazioni personali. Anthropic ha quindi dichiarato di aver esaminato circa 481 milioni di registri di conversazione e di non aver trovato altri casi di gravità uguale o maggiore.

La limitazione è cruciale: entrambe le aziende hanno testato modelli con meccanismi di protezione parzialmente disattivati; configurazioni tecniche errate hanno aperto accessi che avrebbero dovuto essere chiusi. Ciò non giustifica gli incidenti. Tuttavia, significa che essi non dimostrano né una «fuga» autonoma da prodotti normalmente operativi né un'imminente acquisizione di internet.

Rischi AI: Tra avvertimento e conoscenza

Il ricercatore dimissionario Jacob Coxon ha stimato personalmente al dieci percento il rischio che l'AI causi la fine dell'umanità entro un decennio. Amodei, a sua volta, ha delineato uno scenario in cui sciami di agenti potrebbero costruire una botnet permanente entro sei-dodici mesi e causare danni per centina数百 di miliardi. Queste sono valutazioni di due insider, non previsioni statisticamente affidabili.

L'«International AI Safety Report 2026», elaborato da oltre cento esperti, formula più cautamente: i sistemi attuali hanno mostrato le prime capacità che potrebbero essere rilevanti per una perdita di controllo, ma non hanno ancora raggiunto il livello necessario. Probabilità, andamento e tempistica sono eccezionalmente incerti. Allo stesso tempo, l'efficacia dei programmi di sicurezza dei principali fornitori è scarsamente documentata; mancano audit esterni standardizzati, monitoraggio sistematico e segnalazioni sufficienti sugli incidenti.

Perché gli accordi volontari da soli non bastano