Se le previsioni sono corrette, gli agenti di intelligenza artificiale potranno presto svolgere un lavoro “reale”, come adeguare i budget pubblicitari, aggiornare le schede dei prodotti e autorizzare i rimborsi.
Ma esiste un rischio per la sicurezza? Prima di poter delegare questo livello di controllo, un’azienda deve garantire che l’agente si comporti in modo prevedibile e sicuro.
Questa preoccupazione aiuta a spiegare perché OpenAI ha annunciato l’intenzione di acquisire Promptfoo, una startup che sviluppa strumenti per testare e proteggere applicazioni di intelligenza artificiale.
Il piano di OpenAI di acquisire Promptfoo potrebbe indicare come i sistemi di intelligenza artificiale aziendale testano tempestivamente le vulnerabilità.
Testare i sistemi di intelligenza artificiale
Promptfoo è nato come framework open source per gli sviluppatori per valutare i suggerimenti e le risposte dell’intelligenza artificiale. La piattaforma si è evoluta in un ambiente di test, consentendo agli ingegneri di eseguire migliaia di interazioni IA simulate prima di rilasciare un’applicazione o un agente.
Tali test possono evidenziare punti deboli, tra cui:
- Opportunità per attacchi di iniezione tempestivi,
- Agenti che utilizzano strumenti in modi non sicuri,
- Chiamate API involontarie,
- Perdita di dati attraverso le risposte.
Promptfoo è simile a un quadro di garanzia della qualità dell’intelligenza artificiale. I test tradizionali del software verificano il codice con risultati noti. Tuttavia i sistemi di intelligenza artificiale si comportano diversamente. Gli sviluppatori hanno bisogno di strumenti in grado di sondare molti possibili input e casi limite. Promptfoo automatizza questo processo.
Agenti dell’intelligenza artificiale
L’acquisizione di Promptfoo implica anche un cambiamento nel modo in cui le aziende distribuiscono agenti e applicazioni AI.
Finora le implementazioni aziendali si sono concentrate su chatbot e assistenti della conoscenza. Molti si affidano alla generazione aumentata con recupero, in cui i modelli rispondono alle domande recuperando informazioni da un database.
Più recentemente, gli sviluppatori hanno iniziato a creare agenti IA in grado di pianificare attività, richiamare strumenti esterni ed eseguire flussi di lavoro in più fasi. Gli esempi includono:
- Analizzare il rendimento pubblicitario e adeguare i budget delle campagne,
- Gestire i flussi di lavoro del servizio clienti,
- Aggiornamento elenchi di prodotti o prezzi,
- Esegui query di marketing o di analisi.
Gli agenti interagiscono direttamente con CRM, database di inventario e piattaforme di e-commerce. Questa capacità espande ciò che può fare un agente AI. Aumenta anche i rischi.
Cambiamento del settore
L’acquisizione di OpenAI non è l’unico segnale che gli agenti IA sono sempre più importanti o che le aziende devono concentrarsi sulla sicurezza dell’IA.
Meta ha recentemente acquisito Moltbook, una sorta di social network per agenti IA autonomi. La tecnologia dell’azienda consente agli agenti di comunicare e coordinarsi attraverso un sistema condiviso.
Moltbook è un primo sguardo su come comunicano gli agenti IA.
Nel loro insieme, le azioni di OpenAI e Meta evidenziano diverse parti dell’ecosistema degli agenti emergenti.
L’acquisizione di Meta si concentra sul consentire agli agenti IA di interagire tra loro, mentre quella di OpenAI si occupa del loro comportamento e della loro sicurezza.
La combinazione suggerisce che le grandi aziende tecnologiche anticipano gli agenti software che interagiscono con gli esseri umani E altri agenti.
Sicurezza
Un chatbot AI che produce una risposta errata è tipicamente un inconveniente‚ un’allucinazione.
Un agente AI con accesso al sistema può creare problemi reali. Da un attacco di pronta iniezione, ad esempio, un agente potrebbe:
- Condividi informazioni sensibili sui clienti,
- Attivare rimborsi non autorizzati o fraudolenti,
- Modificare prezzi o inventario,
- Esporre i dati proprietari ad altri agenti.
Le aziende, quindi, hanno bisogno di guardrail che impediscano la manipolazione e l’imprevedibilità.
Promptfoo sembra fornire questa funzionalità. Integrando gli strumenti di test direttamente nella sua piattaforma AI aziendale, OpenAI può aiutare gli sviluppatori a identificare le vulnerabilità prima di distribuire gli agenti negli ambienti di produzione.
Frode
La sicurezza si estende oltre i sistemi interni per includere prevenzione delle frodi.
Jeff Otto, direttore marketing di Rischiatouna piattaforma di prevenzione delle frodi, afferma che l’ascesa degli agenti di intelligenza artificiale potrebbe creare sistemi software che interagiscono tra loro (simile a Moltbook).
“La decisione di Meta di ospitare un social network per agenti di intelligenza artificiale all’interno dei Superintelligence Labs è un forte segnale che il commercio di agenti si sta spostando dalla teoria alla realtà”, ha affermato Otto. “Gli agenti di Moltbook sono stati costruiti sul framework OpenClaw, che consente agli agenti autonomi di interagire, coordinarsi e potenzialmente effettuare transazioni per conto di utenti umani.”
Se questa visione si sviluppa, ha affermato Otto, anche il rilevamento delle frodi nell’e-commerce dovrà evolversi.
“Questo cambiamento pone le basi per un ambiente macchina contro macchina ad alto rischio”, ha affermato. “Per i rivenditori, il tradizionale manuale antifrode basato su regole non è più sufficiente. Quando sono i bot a fare clic su “acquista”, i commercianti hanno bisogno di un strato di difesa in grado di distinguere tra un assistente AI legittimo e un agente dannoso in pochi millisecondi.”
Commercio agentico
Con le loro acquisizioni legate agli agenti, OpenAI e Meta stanno presumibilmente pianificando il futuro.
Se quel futuro include commercio agentivoi commercianti devono prendere in considerazione un ambiente in cui gli agenti software, non solo gli esseri umani, fanno la spesa.
