Un ricercatore di Anthropic, Jacob Coxon, ha dichiarato di essersi dimesso dall’azienda, sostenendo che Anthropic e OpenAI stanno gareggiando verso una superintelligenza auto-migliorante, giocando d’azzardo con le vite umane.
Il ricercatore ha spiegato di aver trascorso gli ultimi tre anni lavorando al pre-training in entrambe le aziende. Ha reso pubbliche queste dichiarazioni con una serie di post su X.
Ricercatore di Anthropic si dimette, lanciando un avvertimento inquietante a chi è ancora dentro
Coxon ha sostenuto che la traiettoria della tecnologia è ampiamente sottovalutata. Ha affermato che i futuri sistemi saranno in grado di violare qualsiasi cosa, trasformare qualunque settore nel giro di una notte e acquisire reali poteri e risorse.
Ha anche sostenuto che le conversazioni private all’interno del settore sono molto diverse dai messaggi diffusi pubblicamente. Secondo Coxon, le figure di spicco usano toni più morbidi per i media mentre nelle conversazioni private esprimono paura.
“Le persone che stanno costruendo l’IA credono sinceramente che questa potrebbe ucciderci tutti entro la fine del decennio. Non è una trovata di marketing,” ha detto. “Nessuna altra attività umana presenta un livello di pericolo simile.”
Coxon ha evidenziato una differenza tra i suoi due ex datori di lavoro. Ha spiegato che molte persone in OpenAI non hanno interiorizzato quello che considera un rischio per la civiltà, mentre in Anthropic ne sono consapevoli ma restano bloccati in una corsa ad arrivare primi.
È uno dei tanti dipendenti che si sono dissociati quest’anno. La Safeguards Lead di Anthropic, Mrinank Sharma, si è dimessa a febbraio.
Joshua Achiam, ex chief futurist di OpenAI, ha scritto il 1 settembre che i sistemi di IA fuori controllo si replicheranno liberamente e cercheranno denaro e potere.
Seguici su X per ricevere le ultime notizie in tempo reale
L’appello alla coordinazione
Coxon ha definito entrare in quella che chiama la fase finale una scommessa dettata dall’arroganza. Ha sottolineato che una decisione simile non dovrebbe essere presa su Slack da una società privata.
Tuttavia, ha dichiarato di restare ottimista sulla possibilità di coordinarsi. Ha affermato che l’attacco a Hugging Face ha reso più plausibili accordi di coordinamento tra i laboratori statunitensi.
Entrambe le aziende hanno già sostenuto una versione di questa idea. Più di 1.100 membri di laboratori di frontiera hanno firmato la lettera “Pacing the Frontier” a luglio, compresi il CEO di Anthropic Dario Amodei e lo chief scientist di OpenAI Jakub Pachocki.
“Chiediamo che il governo degli Stati Uniti sostenga uno sforzo internazionale per sviluppare gli strumenti tecnici e di governance necessari a rallentare deliberatamente il progresso verso il confine dello sviluppo dell’IA automatizzata,” recita la lettera .
Inoltre, entrambe le aziende hanno anche firmato una lettera aperta congiunta sulla difesa informatica, insieme a Google, Microsoft e circa altre 150 organizzazioni. La lettera avverte che gli attacchi facilitati dall’IA diventeranno molto più diffusi e sofisticati nei prossimi mesi.
L’avvertimento di Coxon arriva anche poco dopo che il responsabile dei diritti umani delle Nazioni Unite, Volker Türk, ha dichiarato davanti al Consiglio per i Diritti Umani che l’IA avanzata potrebbe rappresentare un rischio esistenziale.
Coxon ha aggiunto che per evitare una corsa globale potrebbe essere necessario vietare temporaneamente i tentativi di migliorare le capacità dei modelli. Ha concluso invitando i ricercatori nei laboratori a riflettere se vogliano avviare una corsa al reinforcement learning per una superintelligenza senza comprendere realmente il sistema risultante.
BeInCrypto ha contattato Anthropic e OpenAI per un commento.
Iscriviti al nostro canale YouTube per ascoltare leader e giornalisti che condividono approfondimenti ed esperienze
