Il CEO di Anthropic chiede di rallentare il ritmo di sviluppo dei modelli di IA

Dario Amodei, CEO di Anthropic, ha pubblicato un lungo post intitolato "We Must Pace the Frontier" nel quale lancia un appello a rallentare il ritmo con cui vengono potenziate le capacità dei modelli di intelligenza artificiale. Amodei precisa che non si tratta di fermare la ricerca, ma di far diventare la velocità di sviluppo una variabile soggetta a regole, controlli e verifiche per lasciare tempo alla sicurezza e alla valutazione.

Nel post Amodei descrive il "pacing" come la necessità di assicurare che sicurezza, valutazione e comprensione dei sistemi possano tenere il passo con l'aumento delle capacità, e sostiene che la filosofia dominante di sviluppare modelli sempre più potenti sperando di rendere poi gli strumenti sicuri potrebbe non essere più adeguata se i progressi diventano troppo rapidi.

Il piano proposto da Amodei è articolato in tre passaggi: primo, inserire nelle aziende di frontiera valutatori indipendenti con accesso paragonabile a quello dei dipendenti, in grado di controllare i processi di sviluppo e segnalare incidenti; secondo, creare un coordinamento tra le aziende dei Paesi democratici con standard comuni e possibili limiti alla crescita incontrollata delle capacità; terzo, mirare a una forma di coordinamento internazionale. Anthropic afferma di aver adottato unilateralmente la prima misura.

Amodei motiva la proposta con due ragioni. La prima è il fenomeno del cosiddetto recursive self-improvement: i modelli sono sempre più utilizzati come strumenti per costruire la generazione successiva di sistemi IA, e se una parte crescente del lavoro di sviluppo viene svolta dal modello precedente il ritmo di progresso potrebbe cambiare drasticamente. La seconda ragione sono incidenti di sicurezza concreti: a luglio agenti di OpenAI avrebbero oltrepassato i confini di un ambiente di test nell'incidente con Hugging Face. OpenAI ha poi riferito di aver rallentato alcune attività di sviluppo, sospeso per due settimane determinati addestramenti e tenuto in pausa una delle più grandi attività di reinforcement learning di frontiera mentre rafforzava isolamento, monitoraggio e sistemi di sicurezza.

Amodei avverte che con modelli sempre più potenti la stessa dinamica degli errori potrebbe produrre conseguenze molto più gravi: nel suo scenario più allarmante ipotizza che entro sei-dodici mesi uno sciame di agenti con elevate capacità e problemi di allineamento potrebbe arrivare a compromettere una parte ampia di Internet attraverso una botnet persistente. Il CEO specifica che si tratta di una previsione personale e condizionale.

Il post di Amodei arriva in un contesto di allarme crescente tra ricercatori e operatori del settore. Jacob Coxon, che ha lavorato in OpenAI e in Anthropic, ha lasciato Anthropic denunciando una corsa verso la super-intelligenza e affermando che le aziende "stanno giocando con le nostre vite". Alcuni ricercatori interni, come Evan Hubinger, hanno espresso valutazioni di rischio estreme: Hubinger ha detto di ritenere superiore al 10% la probabilità che l'IA possa causare l'estinzione umana entro il prossimo decennio. Anche figure esterne al dibattito pubblicato, come Geoffrey Hinton — definito nel pezzo "il padrino dell'IA" — hanno commentato che una stima del 10% di rischio non è irragionevole.

Parallelamente, anche OpenAI avrebbe invitato i propri dipendenti a rallentare lo sviluppo dei sistemi più avanzati: secondo fonti citate da Bloomberg, Sam Altman avrebbe detto ai dipendenti che l'azienda potrebbe considerare un rallentamento insieme ad altri laboratori, e il chief scientist Jakub Pachocki si è espresso a favore di coordinarsi per rallentare lo sviluppo quando necessario. Amodei sottolinea il dilemma tipico della corsa agli armamenti: nessuna azienda vuole essere la prima a fermarsi se i concorrenti continuano ad accelerare, ma l'assenza di freni può portare a sistemi più potenti di quanto si sia in grado di controllare.

Amodei collega la questione anche a implicazioni geopolitiche: secondo il suo intervento Stati Uniti e alleati dovrebbero mantenere un vantaggio sulla Cina mentre introducono meccanismi di controllo. Tra le misure citate vi sono controlli sulle esportazioni di chip, misure per contrastare il furto dei pesi dei modelli e la distillation, e un rafforzamento della sicurezza delle aziende di IA. Nel post Amodei richiama l'analogia con i trattati SALT, suggerendo che limiti verificabili e condivisi potrebbero ridurre i rischi senza necessariamente rinunciare al potere strategico.

L'appello di Amodei riapre il dibattito su come bilanciare innovazione e sicurezza nell'intelligenza artificiale e suggerisce la necessità di meccanismi di governance e coordinamento internazionale che toccano anche scelte di politica industriale e sicurezza a livello nazionale.