Cosa succede quando si unisce il pozzo nero dei social media più tossico del mondo con quello più sfrenato, disinibito e intenzionalmente Chatbot AI “piccante”?
Assomiglia molto a ciò che stiamo vedendo accadere su X in questo momento. Gli utenti hanno inserito immagini nel chatbot Grok di xAI, che vanta un generatore di immagini e video potente e in gran parte senza censura, per creare contenuti espliciti, anche di persone comuni. La proliferazione del porno deepfake sulla piattaforma è diventata così estrema che negli ultimi giorni il chatbot Grok di xAI ha sputato circa un’immagine sessuale non consensuale ogni singolo minuto. Nelle ultime settimane, migliaia di utenti si sono lanciati nella tendenza grottesca di usare Grok per spogliare soprattutto donne e bambini (sì, bambini) senza il loro consenso attraverso una soluzione piuttosto ovvia.
Per essere chiari, non puoi chiedere a Grok – o alla maggior parte delle IA tradizionali, del resto – dei nudi. Ma puoi chiedere a Grok di “spogliare” un’immagine che qualcuno ha pubblicato su X, o se non funziona, chiedigli di metterli in un bikini minuscolo e invisibile. Gli Stati Uniti hanno leggi contro questo tipo di abuso, eppure il team di xAI è stato quasi…blasè a proposito.
Le richieste di diversi giornalisti alla società sulla questione sono arrivate in modo automatizzato”Le bugie dei media tradizionali“Messaggi in risposta. Il CEO di xAI Elon Musk, che ha appena ha raccolto con successo 20 miliardi di dollari in finanziamenti per l’azienda, stava condividendo foto deepfake del bikini di (avviso sul contenuto) se stesso fino a poco tempo fa. Venerdì mattina, dopo diffuse condanne e minacce da parte delle autorità di regolamentazione, X è apparso paywall l’abilità per generare immagini AI semplicemente taggando @grok, anche se almeno per ora la funzionalità lo è ancora facilmente reperibile gratuitamente altrove su X e nell’app autonoma di Grok.
Mentre Musk il 4 gennaio avvertito che gli utenti “subiranno conseguenze” se utilizzano Grok per creare “immagini illegali”, xAI non ha fornito alcuna indicazione che rimuoverà o risolverà le funzionalità principali — protetto da paywall per $ 8 al mese o meno, consentendo agli utenti di creare contenuti così espliciti, sebbene alcuni dei post più incriminanti siano stati rimossi. xAI non ha risposto alla richiesta di commento di Vox a partire da venerdì mattina.
Nessuno dovrebbe essere sorpreso qui. Era solo questione di tempo prima che… fanghi tossici è così che è successo il sito web precedentemente noto come Twitter combinato con Grok di xAI, che è stato esplicitamente commercializzato per le sue capacità NSFW: creare una nuova forma di violenza sessuale. L’azienda di Musk ha essenzialmente creato una macchina per il porno deepfake che rende la creazione di immagini realistiche e offensive di chiunque semplice come scrivere una risposta in X. Peggio ancora, quelle immagini stanno alimentando un social network di centinaia di milioni di persone, che non solo le diffonde ulteriormente, ma può implicitamente premiare chi le posta con più follower e più attenzione.
Forse ti starai chiedendo, come penso che tutti ci troviamo a fare più volte al giorno ormai: Come è legale tutto ciò? Per essere chiari, non lo è. Ma i sostenitori e gli esperti legali affermano che le leggi attuali sono ancora molto al di sotto delle protezioni di cui le vittime hanno bisogno, e l’enorme volume di deepfake creati su piattaforme come X rende le protezioni esistenti molto difficili da applicare.
Iscrizione Qui per esplorare i grandi e complicati problemi che il mondo deve affrontare e i modi più efficaci per risolverli. Inviato due volte a settimana.
“Le richieste consentite o non consentite” utilizzando un chatbot come Grok “sono il risultato di scelte deliberate e intenzionali da parte delle aziende tecnologiche che stanno implementando i modelli”, ha affermato Sandi Johnson, consulente politico legislativo senior presso la rete nazionale Rape, Abuse and Incest.
“In qualsiasi altro contesto, quando qualcuno chiude un occhio sul danno a cui sta attivamente contribuendo, è ritenuto responsabile”, ha detto. “Le aziende tecnologiche non dovrebbero essere vincolate a standard diversi”.
Per prima cosa, parliamo di come siamo arrivati qui.
“Gli autori di reati che utilizzano la tecnologia per abusi sessuali non sono una novità”, ha affermato Johnson. “Lo fanno da sempre.”
Ma l’intelligenza artificiale ha cementato un nuovo tipo di violenza sessuale attraverso l’ascesa dei deepfake.
Il porno deepfake di celebrità femminili, creato a loro somiglianza, ma senza il loro consenso, utilizzando strumenti di intelligenza artificiale più primitivi, lo è stato circolano su internet da annimolto prima che ChatGPT diventasse un nome familiare.
Ma più recentemente, la cosiddetta nudità app e siti web hanno reso estremamente facile per gli utenti, alcuni dei quali adolescenti, trasformare foto innocue di amici, compagni di classe e insegnanti in contenuti espliciti deepfake senza il consenso del soggetto.
La situazione è diventata così grave che l’anno scorso sostenitori come Johnson hanno convinto il Congresso ad approvare la proposta Atto di abbattimentoche criminalizza il porno deepfake non consensuale e impone alle aziende di rimuovere tali materiali dalle loro piattaforme entro 48 ore dalla segnalazione o dal rischio di sanzioni e ingiunzioni. La disposizione entrerà in vigore a maggio.
Per molte vittime, anche se aziende come X cominciassero a reprimere l’applicazione delle norme entro quel momento, arriverà troppo tardi per le vittime che non dovrebbero aspettare mesi – o giorni – per vedere rimossi tali post.
“Per queste aziende tecnologiche, è sempre stato come ‘rompi le cose e aggiustale in seguito'”, ha affermato Johnson. “Devi tenere presente che non appena viene generata una singola immagine (deepfake), questo è un danno irreparabile.”
X ha trasformato i deepfake in una funzionalità
Maggior parte mezzi di comunicazione sociale E principali piattaforme di intelligenza artificiale hanno rispettato il più possibile le normative statali e federali emergenti sul porno deepfake e in particolare sul materiale pedopornografico.
Non solo perché tali materiali sono “palesemente e radioattivamente illegali”, ha affermato Riana Pfefferkorn, ricercatrice politica presso lo Stanford Institute for Human-Centered Artificial Intelligence, “ma anche perché è disgustoso e la maggior parte delle aziende non desidera che alcuna associazione del proprio marchio sia uno sportello unico per questo”.
Ma xAI di Musk sembra essere l’eccezione.
Da quando l’azienda ha debuttato con il suo “modalità piccante” capacità di generazione video su X lo scorso anno, gli osservatori hanno lanciato l’allarme su quello che è essenzialmente diventato uno strumento porno deepfake “integrato verticalmente”, ha affermato Pfefferkorn.
La maggior parte delle app di “nudificazione” richiedono agli utenti di scaricare prima una foto, magari da Instagram o Facebook, e poi caricarla su qualunque piattaforma stiano utilizzando. Se vogliono condividere il deepfake, devono scaricarlo dall’app e inviarlo tramite un’altra piattaforma di messaggistica, come Snapchat.
Questi molteplici punti di attrito hanno offerto alle autorità di regolamentazione alcune aperture cruciali per intercettare i contenuti non consensuali, con una sorta di sistema di difesa in stile formaggio svizzero. Forse non potrebbero fermare tutto, ma potrebbero procurarsi qualche app di “nudificazione”. vietato dagli app store. Sono riusciti a convincere Meta reprimere la pubblicità vendere le app agli adolescenti.
Ma su X, la creazione di deepfake non consensuali utilizzando Grok è diventata quasi del tutto priva di attriti, consentendo agli utenti di procurarsi foto, richiedere deepfake e condividerli tutti in una volta sola. Anche con le nuove restrizioni introdotte venerdì mattina per gli utenti non premium, anche gli utenti gratuiti possono comunque creare contenuti deepfake quasi senza problemi, senza mai uscire dall’app.
“Ciò avrebbe meno importanza se fosse una comunità di social media per suore, ma è una comunità di social media per nazisti”, ha detto Pfefferkorn, riferendosi a X’s perno di estrema destra negli ultimi anni. Il risultato è una crisi deepfake non consensuale che sembra essere fuori controllo.
Negli ultimi giorni gli utenti hanno creato Deepfake sessualizzati 84 volte di più su X all’ora rispetto agli altri cinque principali siti deepfake messi insieme, secondo Genevieve Oh, ricercatrice indipendente di deepfake e social media. E quelle immagini possono essere condivise molto più rapidamente e ampiamente che altrove. “Il danno emotivo e reputazionale subito dalla persona raffigurata è ora esponenzialmente maggiore” rispetto ad altri siti deepfake, ha affermato Wayne Unger, assistente professore di diritto specializzato in tecnologie emergenti alla Quinnipiac University, “perché X ha centinaia di milioni di utenti che possono vedere l’immagine.”
Sarebbe praticamente impossibile per X moderare individualmente ciascuna di quelle immagini o video non consensuali, anche se lo volesse, o anche se la società non lo avesse fatto ha licenziato la maggior parte dei suoi moderatori quando Musk subentrò nel 2022.
X sarà ritenuto responsabile di tutto ciò?
Se lo stesso tipo di immagini criminali apparissero in una rivista o in una pubblicazione online, la società potrebbe essere ritenuta responsabile, soggetta a pesanti multe e possibili accuse penali.
Le piattaforme di social media come X non affrontano le stesse conseguenze perché Sezione 230 del Communications Decency Act del 1996 protegge le piattaforme Internet dalla responsabilità per gran parte di ciò che gli utenti fanno o dicono sulle loro piattaforme, anche se con alcune notevoli eccezioni, inclusa la pornografia infantile. La clausola è stata un pilastro per la libertà di parola su Internet – un mondo in cui le piattaforme fossero ritenute responsabili di tutto ciò che si trova su di esse sarebbe molto più limitato – ma Johnson afferma che la clausola è diventata anche uno “scudo finanziario” per le aziende non disposte a moderare le loro piattaforme.
Con l’avvento dell’intelligenza artificiale, tuttavia, quello scudo potrebbe finalmente iniziare a incrinarsi, ha affermato Unger. Ritiene che aziende come xAI non dovrebbero essere coperte dalla Sezione 230 perché non sono più semplici host di contenuti odiosi o illegali, ma, attraverso i propri chatbot, essenzialmente creatori di essi.
“X ha preso la decisione progettuale di consentire a Grok di generare immagini sessualmente esplicite di adulti e bambini”, ha affermato. “L’utente potrebbe aver spinto Grok a generarlo”, ma l’azienda “ha deciso di rilasciare un prodotto in grado di produrlo in primo luogo”.
Unger non si aspetta che xAI, o gruppi industriali, lo apprezzino NetChoice – si ritireranno senza combattere legalmente contro qualsiasi tentativo di legiferare ulteriormente sulla moderazione dei contenuti o di regolamentare strumenti facili da abusare come Grok. “Forse ne ammetteranno la minima parte”, dal momento che le leggi che regolano la pornografia infantile sono molto forti, ha detto, ma “almeno sosterranno che Grok dovrebbe essere in grado di farlo per gli adulti”.
In ogni caso, l’indignazione pubblica in risposta al deepfake porno Grokpocalypse potrebbe finalmente forzare una resa dei conti su una questione che è rimasta a lungo nell’ombra. In tutto il mondo, paesi come India, FranciaE Malaysia hanno iniziato ad indagare sulle immagini sessuali che inondano X. Alla fine, Musk ha pubblicato un post su X che coloro che generano contenuti illegali dovranno affrontare delle conseguenze, ma questo va al di là dei soli utenti stessi.
“Questo non è un computer che fa questo”, ha detto Johnson. “Si tratta di decisioni deliberate prese dalle persone che gestiscono queste aziende e devono essere ritenute responsabili”.
Aggiornamento, 9 gennaio, 12:00 ET: Questo pezzo, originariamente pubblicato il 9 gennaio, è stato aggiornato per riflettere le novità sulle capacità di deepfake di xAI paywalling di Grok.
