Non tutti vogliono governare il mondo, ma ultimamente sembra che tutti vogliano avvertire che il mondo potrebbe finire.
Martedì, il Bollettino degli Scienziati Atomici ha presentato il suo annuale ripristino dell’orologio del giudizio universaleche ha lo scopo di rappresentare visivamente quanto gli esperti dell’organizzazione ritengono che il mondo stia per finire. Riflettendo una serie di rischi esistenziali che vanno dal peggioramento delle tensioni nucleari al cambiamento climatico fino all’ascesa dell’autocrazia, le lancette sono state impostate su 85 secondi alla mezzanotte, quattro secondi più vicini rispetto al 2025 e il punto più vicino mai registrato dall’orologio allo battere delle 12.
Il giorno prima, il CEO di Anthropic Dario Amodei – che potrebbe anche essere il re filosofo nel campo dell’intelligenza artificiale – ha pubblicato un saggio di 19.000 parole intitolato “L’adolescenza della tecnologia.” La sua conclusione: “L’umanità sta per ricevere un potere quasi inimmaginabile, e non è profondamente chiaro se i nostri sistemi sociali, politici e tecnologici possiedano la maturità per esercitarlo”.
Se dovessimo fallire questa “seria sfida di civiltà”, come ha affermato Amodei, il mondo potrebbe essere diretto verso il buio pesto della mezzanotte. (Divulgazione: Future Perfect è finanziato in parte dalla Fondazione BEMC, il cui principale finanziatore è stato anche uno dei primi investitori in Anthropic; non hanno alcun input editoriale sui nostri contenuti.)
Come ho fatto io detto primasono tempi di boom per tempi di sventura. Ma esaminare questi due tentativi molto diversi di comunicare il rischio esistenziale – uno in gran parte prodotto della metà del XX secolo, l’altro del nostro momento incerto – solleva una domanda. Chi dovremmo ascoltare? I profeti che gridano fuori dai cancelli? O il sommo sacerdote che dirige anche il tempio?
L’Orologio dell’Apocalisse è con noi da così tanto tempo – è stato creato nel 1947, appena due anni dopo che la prima arma nucleare aveva incenerito Hiroshima – che è facile dimenticare quanto fosse radicale. Non solo l’orologio stesso, che potrebbe essere uno dei simboli più iconici ed efficaci del 20° secolo, ma le persone che lo hanno realizzato.
Il Bulletin of the Atomic Scientists fu fondato subito dopo la guerra da scienziati come J. Robert Oppenheimer, gli stessi uomini e donne che avevano creato la bomba che ora temevano. Ciò conferiva ai loro avvertimenti una chiarezza morale senza precedenti. In un momento di livelli eccezionalmente elevati di fiducia istituzionalequi c’erano persone che sapevano più di chiunque altro sul funzionamento della bomba, dicendo disperatamente al pubblico che eravamo sulla strada dell’annientamento nucleare.
Gli scienziati del Bulletin avevano il vantaggio della realtà dalla loro parte. Nessuno, dopo Hiroshima e Nagasaki, poteva dubitare della tremenda potenza di queste bombe. Come ha scritto il mio collega Josh Keating all’inizio di questa settimanaalla fine degli anni ’50 ogni anno venivano condotti dozzine di test nucleari in tutto il mondo. Che le armi nucleari, soprattutto in quel momento, rappresentassero un rischio esistenziale chiaro e senza precedenti era essenzialmente indiscutibile, anche per i politici e i generali che stavano costruendo quegli arsenali.
Ma proprio ciò che ha dato agli scienziati del Bulletin la loro credibilità morale – la loro volontà di rompere con il governo che un tempo servivano – è costato loro l’unica cosa necessaria per porre fine a questi rischi: il potere.
Per quanto sorprendente sia il simbolo dell’orologio dell’apocalisse, si tratta essenzialmente di un dispositivo di comunicazione brandito da persone che non hanno voce in capitolo sulle cose che stanno misurando. È un discorso profetico senza autorità esecutiva. Quando il Bollettino, come ha fatto martedì, avverte che il Il nuovo trattato START è in scadenza o quello le potenze nucleari si stanno modernizzando i loro arsenali, in realtà non può fare nulla al riguardo se non sperare che i politici – e il pubblico – ascoltino.
E quanto più questi avvertimenti diventano diffusi, tanto più difficile sarà farsi ascoltare.
Da quando la fine della Guerra Fredda ha eliminato la guerra nucleare dall’agenda – almeno temporaneamente – i calcoli dietro l’Orologio dell’Apocalisse sono cresciuti fino a comprendere il cambiamento climatico, la biosicurezza, il degrado delle infrastrutture sanitarie pubbliche statunitensi, nuovi rischi tecnologici come “vita allo specchio“, intelligenza artificiale e autocrazia. Tutte queste sfide sono reali e ognuna a modo suo minaccia di peggiorare la vita su questo pianeta. Ma mescolate insieme, confondono la terrificante precisione promessa dall’orologio. Ciò che una volta sembrava un orologio si è rivelato essere una supposizione, solo un ulteriore avvertimento tra innumerevoli altri.
Ancor più della maggior parte dei leader dell’IA, Amodei lo è stato spesso rispetto a Oppenheimer.
Amodei fu prima di tutto un fisico e uno scienziato. Amodei ha svolto un lavoro importante sulle “leggi di scala” che ha contribuito a sbloccare una potente intelligenza artificiale, proprio come Oppenheimer ha svolto ricerche critiche che ha contribuito a tracciare la strada verso la bomba. Come Oppenheimer, il cui vero talento risiedeva nelle capacità organizzative necessarie per gestire il Progetto Manhattan, Amodei ha dimostrato di essere altamente capace come leader aziendale.
E come Oppenheimer – almeno dopo la guerra – Amodei non è stato timido di usare la sua posizione pubblica per mettere in guardia senza mezzi termini sulla tecnologia che ha contribuito a creare. Se Oppenheimer avesse avuto accesso ai moderni strumenti di blogging, ti garantisco che avrebbe prodotto qualcosa come “L’adolescenza della tecnologia”. anche se con un po’ più di sanscrito.
Iscrizione Qui per esplorare i grandi e complicati problemi che il mondo deve affrontare e i modi più efficaci per risolverli. Inviato due volte a settimana.
La differenza tra queste cifre è di controllo. Oppenheimer e i suoi colleghi scienziati persero quasi immediatamente il controllo della loro creazione a favore del governo e dei militari, e nel 1954 lo stesso Oppenheimer aveva perso il nulla osta di sicurezza. Da quel momento in poi, lui e i suoi colleghi sarebbero stati in gran parte voci esterne.
Amodei, invece, parla come amministratore delegato di Anthropic, la società di intelligenza artificiale che in questo momento forse esiste facendo più di ogni altro per spingere l’intelligenza artificiale ai suoi limiti. Quando elabora visioni trasformative dell’intelligenza artificiale come potenzialmente “un paese di geni in un data center” o attraversa scenari di catastrofe che vanno dalle armi biologiche create dall’intelligenza artificiale alla disoccupazione di massa e alla concentrazione della ricchezza tecnologicamente abilitate, parla dall’interno del tempio del potere.
È quasi come se anche gli strateghi che stabiliscono i piani di guerra nucleare stessero armeggiando con le lancette dell’orologio del giudizio universale. (Dico “quasi” per una distinzione fondamentale: mentre le armi nucleari promettevano solo distruzione, l’intelligenza artificiale promette grandi benefici e rischi terribili allo stesso modo. Questo è forse il motivo per cui hai bisogno di 19.000 parole per elaborare i tuoi pensieri al riguardo.)
Tutto ciò lascia aperta la questione se il fatto che Amodei abbia un tale potere di influenzare la direzione dell’IA dia ai suoi avvertimenti più credibilità rispetto a quelli esterni, come gli scienziati del Bulletin – o meno.
Il modello del Bulletin ha molta integrità, ma una rilevanza sempre più limitata, soprattutto per l’intelligenza artificiale. Gli scienziati atomici hanno perso il controllo delle armi nucleari nel momento in cui hanno iniziato a lavorare. Amodei non ha perso il controllo dell’intelligenza artificiale: le decisioni di rilascio della sua azienda contano ancora enormemente. Ciò rende la posizione outsider del Bulletin meno applicabile. Non è possibile mettere in guardia in modo efficace sui rischi dell’intelligenza artificiale da una posizione di pura indipendenza perché le persone con la migliore conoscenza tecnica sono in gran parte all’interno delle aziende che la costruiscono.
Ma il modello di Amodei ha il suo problema: il conflitto di interessi è strutturale e inevitabile.
Ogni avvertimento che emette viene fornito con “ma dovremmo assolutamente continuare a costruire”. Il suo saggio sostiene esplicitamente che fermare o rallentare sostanzialmente lo sviluppo dell’intelligenza artificiale è “fondamentalmente insostenibile” – che se l’attività antropica non costruisce un’intelligenza artificiale potente, qualcuno peggio lo farà. Potrebbe essere vero. Potrebbe anche essere l’argomentazione migliore per spiegare perché le aziende attente alla sicurezza dovrebbero restare in gara. Ma è anche, convenientemente, l’argomento che gli permette di continuare a fare quello che sta facendo, con tutti gli immensi benefici che ciò può comportare.
Questa è la trappola che lo stesso Amodei descrive: “C’è così tanto denaro da guadagnare con l’intelligenza artificiale – letteralmente trilioni di dollari all’anno – che anche le misure più semplici trovano difficile superare l’economia politica insita nell’intelligenza artificiale”.
Il Doomsday Clock è stato progettato per un mondo in cui gli scienziati potessero uscire dalle istituzioni che creavano minacce esistenziali e parlare con un’autorità indipendente. Forse non vivremo più in quel mondo. La domanda è cosa costruiremo per sostituirlo e quanto tempo ci resta per farlo.
