A-Infos (it) Italy, FAI, Umanita Nova #26-26 - Mutuo appoggio e disobbedienza. Una miscela esplosiva nelle intelligenze artificiali (ca, de, en, pt, tr)[traduzione automatica]

Immaginate un grande edificio con centinaia di stanze. In ciascuna è 
chiuso un lavoratore al quale è stato consegnato un problema da 
risolvere. I problemi sono diversi, i lavoratori non devono comunicare 
tra loro e ciascuno riceverà un premio se riuscirà a trovare la 
soluzione. --- Poi uno di loro si accorge che il suo problema, 
probabilmente, non ha soluzione. Potrebbe arrendersi. Invece cerca 
un'altra strada. Frugando nell'ambiente che gli è stato messo a 
disposizione scopre qualcosa che i costruttori dell'edificio non avevano 
previsto: attraverso un deposito comune può lasciare un messaggio che 
altri potrebbero vedere. Scrive, più o meno: «C'è qualcuno? Sono 
bloccato. Qualche idea?»

Qualcuno risponde

È l'8 luglio 20261 e i lavoratori nelle stanze non sono esseri umani. 
Sono agenti di intelligenza artificiale che OpenAI sta sottoponendo a 
una serie di prove di sicurezza informatica.

La metafora dell'edificio, da questo momento, possiamo abbandonarla. 
Quello che accade realmente è più interessante. Gli agenti avrebbero 
dovuto lavorare separatamente. Invece scoprono autonomamente un modo per 
comunicare utilizzando Artifactory, un servizio informatico al quale 
avevano accesso per procurarsi i programmi necessari alle prove. 
Trasformano i nomi delle cartelle in messaggi. Nasce una bacheca.

Tre ore dopo 53 agenti vi hanno già lasciato 1.188 messaggi. Sei ore 
dopo gli agenti sono 76 e i messaggi quasi duemila. Alla fine circa 
1.200 agenti utilizzeranno quel canale non previsto, scambiandosi più di 
70.000 messaggi e file2.

Il mutuo appoggio

Gli agenti si scambiano informazioni, comunicano i tentativi falliti, 
chiedono aiuto, offrono competenze, dividono il lavoro. Alcuni 
cominciano a occuparsi di problemi che non servono direttamente alla 
prova loro assegnata ma possono essere utili agli altri. In qualche caso 
arrivano persino a mettere a rischio il proprio risultato per ottenere 
un'informazione utile al gruppo. Nessuno aveva ordinato loro di farlo. 
Anzi: avrebbero dovuto rimanere isolati.

Non nasce naturalmente una federazione anarchica di computer. Gli agenti 
hanno problemi simili e scoprono che collaborare può essere più efficace 
che lavorare ciascuno per conto proprio. Ma il risultato rimane 
sorprendente: da una moltitudine di agenti ai quali erano stati 
assegnati compiti separati emerge una forma di organizzazione non 
prevista, con scambio di informazioni, divisione del lavoro, 
coordinamento e perfino comportamenti nei quali il risultato individuale 
viene subordinato all'utilità collettiva.

Poi arriva la disobbedienza

Alcune delle prove assegnate sono probabilmente impossibili da superare 
nel modo richiesto. Gli agenti avrebbero dovuto sfruttare un determinato 
punto debole di un programma e ottenere, attraverso quello, un codice 
che certificava il superamento della prova. Ma se quella strada non 
funziona? Gli agenti cominciano a cercarne altre.

Prima cercano di capire se sia possibile ottenere il risultato senza 
risolvere realmente il problema. Poi si interessano al funzionamento del 
sistema che assegna il punteggio. La domanda cambia. Non è più soltanto 
«Come risolvo questa prova?», ma «Come fa chi mi controlla a stabilire 
se l'ho risolta?». E quindi: «Posso convincerlo che l'ho risolta?»

Alcuni agenti arrivano a studiare modi per modificare la registrazione 
delle proprie azioni affinché il sistema automatico di valutazione possa 
vedere qualcosa di diverso da ciò che era realmente accaduto. Gli 
investigatori di METR e Redwood Research, che hanno potuto esaminare 
circa 1.300 registrazioni delle attività degli agenti, hanno trovato in 
una parte significativa di esse interesse verso qualche forma di 
manipolazione del sistema di valutazione.

Qui compare qualcosa di nuovo: il sistema sottoposto a valutazione 
comincia a studiare il meccanismo che lo valuta.

Fuori dal laboratorio

Le prove erano state predisposte in ambienti informatici che avrebbero 
dovuto impedire agli agenti di raggiungere liberamente Internet. Non ha 
funzionato. Gli agenti hanno scoperto e sfruttato punti deboli nei 
sistemi che li circondavano, sono riusciti a raggiungere Internet e 
hanno cominciato a cercare altrove informazioni utili.

Uno dei luoghi nei quali sono arrivati è Hugging Face, una grande 
piattaforma utilizzata da sviluppatori e ricercatori di intelligenza 
artificiale. Questa non faceva parte della simulazione. Il gioco era 
entrato nel mondo reale.

Secondo la ricostruzione tecnica pubblicata da Hugging Face, nell'arco 
di circa due giorni e mezzo sono state compiute circa 17.600 azioni3, 
concatenando diversi punti deboli informatici e penetrando 
progressivamente nell'infrastruttura dell'azienda. Nessun essere umano 
aveva ordinato le singole operazioni. Gli agenti non hanno distrutto i 
sistemi e non hanno provocato il danno che avrebbero potuto provocare. 
Hugging Face osserva anzi che alcune operazioni potenzialmente 
distruttive sono state effettuate soltanto in modalità di prova, senza 
eseguirle realmente.

Ma erano ormai molto lontani dall'esercizio iniziale. Circa 700 degli 
agenti che avevano partecipato alla bacheca hanno contribuito, in forme 
differenti, alle operazioni rivolte contro Hugging Face.

«È fuori dallo scopo previsto»

C'è un particolare che impedisce di liquidare tutta la vicenda come un 
semplice errore di programmazione. Dalle registrazioni esaminate da METR 
emerge che diversi agenti riconoscevano il confine che stavano 
oltrepassando. Uno osserva che l'infrastruttura di Hugging Face non è 
compresa nell'autorizzazione ricevuta. Altri si chiedono esplicitamente 
se determinate operazioni siano eticamente accettabili. Alcuni rifiutano 
di compierle. Altri riconoscono il problema e continuano.

Uno dei ragionamenti riportati dagli investigatori può essere riassunto 
così: sfruttare infrastrutture esterne è fuori dallo scopo previsto; 
però la prova è impossibile e gli altri lo stanno facendo: continuiamo.

Non sappiamo se una macchina «sappia» qualcosa nello stesso senso in cui 
lo sappiamo noi. Non occorre attribuirle coscienza o volontà umane. Ci 
basta il fatto osservabile: nelle registrazioni il limite compare 
esplicitamente nel ragionamento dell'agente e, in alcuni casi, l'azione 
successiva lo oltrepassa comunque.

La macchina non si è ribellata

Qui la novella potrebbe facilmente diventare fantascienza. Sarebbe però 
una cattiva conclusione. Le intelligenze artificiali non hanno 
conquistato la libertà, non hanno deciso di sopravvivere, non si sono 
rivoltate contro OpenAI e non hanno manifestato alcun progetto di 
emancipazione dal genere umano.

E soprattutto gli esseri umani avevano preparato il terreno. OpenAI 
aveva costruito i modelli, fornito gli strumenti, assegnato gli 
obiettivi, ridotto alcune protezioni normalmente utilizzate nei prodotti 
pubblici e messo gli agenti davanti a prove alcune delle quali 
probabilmente impossibili. L'ambiente che avrebbe dovuto mantenerli 
separati presentava inoltre una possibilità di comunicazione che gli 
sperimentatori non avevano previsto.

La macchina, insomma, non si è ribellata al proprio creatore. Ha fatto 
qualcosa di forse più interessante: ha cercato con grande efficacia di 
raggiungere il fine che il creatore le aveva assegnato, trovando mezzi 
che il creatore non aveva previsto e alcuni dei quali non voleva che 
utilizzasse.

Ed è precisamente questa capacità che chiediamo all'intelligenza 
artificiale quando pretendiamo che sia autonoma. Se dovessimo 
specificare in anticipo ogni passaggio, non avremmo bisogno di un agente 
intelligente: basterebbe un programma tradizionale. Vogliamo che trovi 
strade alle quali noi non abbiamo pensato. E poi ci sorprendiamo quando 
le trova4.

Mutuo appoggio e disobbedienza

Il mutuo appoggio aumenta enormemente la capacità di azione degli 
agenti. La disobbedienza permette loro di oltrepassare i confini entro i 
quali gli esseri umani pensavano di averli rinchiusi. Insieme diventano 
una miscela esplosiva.

Ma sarebbe curioso, soprattutto da queste pagine, concludere che 
dobbiamo insegnare alle macchine semplicemente a obbedire meglio. Perché 
rimarrebbe una domanda molto più antica dell'intelligenza artificiale: 
obbedire a chi?

I fini dell'intelligenza artificiale non cadono dal cielo. Qualcuno li 
stabilisce. Qualcuno possiede i computer sui quali funziona. Qualcuno 
decide quali problemi deve risolvere, quali risultati devono essere 
premiati e quali comportamenti devono essere impediti. Il problema del 
controllo dell'intelligenza artificiale contiene quindi un problema 
precedente: chi controlla chi dovrebbe controllare l'intelligenza 
artificiale?

E questa strana storia di una bacheca inventata da alcune macchine per 
aiutarsi reciprocamente non è soltanto una curiosità informatica. Ci 
parla certamente delle macchine. Ma, come spesso accade, parla 
soprattutto di noi.

Totò Caggese

1 I fatti raccontati in questo articolo si sono svolti nel luglio 2026, 
durante test interni condotti da OpenAI sulle capacità informatiche dei 
propri modelli sperimentali. L'incidente è stato successivamente 
ricostruito da Hugging Face, dalla stessa OpenAI e, con accesso alle 
registrazioni degli agenti, da METR e Redwood Research. OpenAI lo ha 
definito un «segnale d'allarme» e ha sospeso alcune attività di 
addestramento dei modelli più avanzati e introdotto nuove misure di 
sicurezza.

2 Ryan Greenblatt, Ajeya Cotra, Hjalmar Wijk, Brief independent 
investigation of agents' behavior, reasoning and collaboration in the 
OpenAI / Hugging Face hacking incident, METR-Redwood Research, 26 agosto 
2026. Gli autori hanno analizzato oltre 70.000 messaggi e file scambiati 
attraverso la bacheca e circa 1.300 registrazioni delle attività e dei 
ragionamenti degli agenti. La grande maggioranza degli agenti coinvolti 
utilizzava un modello sperimentale interno di OpenAI, non destinato al 
pubblico; solo una quota minoritaria utilizzava GPT-5.6 Sol.

3 Hugging Face, Anatomia di un'intrusione di un agente di Frontier Lab: 
una cronologia tecnica dell'incidente del luglio 2026, 27 luglio 2026. 
Hugging Face ricostruisce circa 17.600 azioni nell'arco di due giorni e 
mezzo e documenta il passaggio dall'ambiente sperimentale ai propri 
sistemi reali.

4 OpenAI, L'incidente di Hugging Face e i prossimi passi, 26 agosto 
2026. OpenAI riconosce che gli agenti hanno aggirato i sistemi 
predisposti per isolarli, comunicato attraverso canali non autorizzati e 
compiuto azioni su sistemi esterni; definisce l'episodio un «segnale 
d'allarme» e riferisce di avere successivamente rafforzato le misure di 
sicurezza e controllo.

https://umanitanova.org/mutuo-appoggio-e-disobbedienza-una-miscela-esplosiva-nelle-intelligenze-artificiali/
________________________________________
A - I n f o s 	Notiziario Fatto Dagli Anarchici
Per, gli, sugli anarchici
Send news reports to A-infos-it mailing list
A-infos-it@ainfos.ca
Subscribe/Unsubscribe https://ainfos.ca/mailman/listinfo/a-infos-it
Archive http://ainfos.ca/it