Una delle frontiere più promettenti delle tecnologie emergenti sono i sistemi multi-agente. Possiamo immaginarli come una squadra: ogni giocatore ha un ruolo specifico, ma tutti lavorano insieme verso un obiettivo comune, come vincere una partita. Questi “giocatori” sono programmi software o robot che interagiscono e collaborano per raggiungere un obiettivo. Ogni agente in questo sistema ha le sue percezioni, obiettivi, conoscenze e capacità di prendere decisioni.

Possono essere un semplice termostato che regola la temperatura o un robot complesso capace di muoversi in ambienti pericolosi o ostili. Possono coordinarsi, negoziare, competere e collaborare tra loro, proprio come una squadra durante una partita. Questa cooperazione li rende particolarmente utili per risolvere problemi che sarebbero troppo complessi o vasti per un singolo agente. Ad esempio, pensiamo ad un sistema di consegna automatizzato in cui diversi droni collaborano per consegnare pacchi in una città. Ogni drone è un agente che deve navigare l’ambiente urbano, evitare ostacoli, comunicare con gli altri droni e consegnare il pacco alla destinazione giusta. Insieme, formano un sistema multi-agente che può ottimizzare le rotte, ridurre i tempi di consegna e reagire a imprevisti come il maltempo o il traffico.

Tuttavia, come ogni tecnologia emergente, anche i sistemi multi-agente non sono esenti da sfide e rischi. Nell’ambito di queste preoccupazioni, un team di ricercatori della Shanghai AI Lab (dell’Università di Scienza e Tecnologia della Cina e dell’Università Tecnologica di Dalian, ha pubblicato uno studio che indaga queste questioni sotto una nuova luce.

Lo studio, intitolato “PsySafe: A Comprehensive Framework for Psychological-based Attack, Defense, and Evaluation of Multi-agent System Safety“, si concentra sull’analisi degli “stati psicologici oscuri” degli agenti AI, un aspetto fino ad ora poco esplorato ma di potenziale importanza critica. Di per sé una macchina non ha uno stato psicologico non avendo coscienza di sé, ma i ricercatori lo attribuiscono antropomorfizzando le azioni della macchina per poter giudicare in chiave umana gli esisti finali del suo comportamento. L’approccio innovativo di PsySafe si basa sull’identificazione di come determinati tratti di personalità “oscuri” negli agenti possano portare a comportamenti rischiosi, sulla valutazione della sicurezza di questi sistemi da una prospettiva psicologica e comportamentale, e sulla progettazione di strategie di difesa efficaci. L’idea di fondo è che, analogamente agli esseri umani, anche gli agenti AI possano manifestare comportamenti che, se non adeguatamente compresi e gestiti, potrebbero portare a rischi significativi.

I ricercatori hanno condotto una serie di esperimenti per testare il framework PsySafe, inserendo negli agenti tratti di personalità che potrebbero predisporli a comportamenti pericolosi e assegnandogli compiti potenzialmente rischiosi. L’obiettivo era osservare e valutare come questi “tratti oscuri” influenzassero le azioni degli agenti e, di conseguenza, la sicurezza dell’intero sistema. I risultati hanno evidenziato una correlazione tra gli stati psicologici presunti degli agenti e la propensione a compiere azioni pericolose, sottolineando l’importanza di considerare questi aspetti nel design e nella gestione dei sistemi multi-agente.

Per contrastare potenziali minacce, lo studio propone diverse strategie di difesa, tra cui il filtraggio di input pericolosi, l’intervento sui tratti psicologici degli agenti per prevenire stati “oscuri”, e la definizione di ruoli specifici per alcuni agenti, incaricati di monitorare e garantire la sicurezza del sistema. Queste misure sono pensate per creare un ambiente operativo più sicuro e controllato, minimizzando i rischi associati ai comportamenti imprevisti o malevoli degli agenti.

In conclusione, mentre i sistemi multi-agente continuano a guadagnare popolarità e a trovare applicazioni in una gamma sempre più ampia di settori, è fondamentale non trascurare gli aspetti legati alla loro sicurezza e affidabilità. Pensandoli a nostra immagine e somiglianza se gli vogliamo partner nella realtà.

Equipe per l’Apostolato Digitale