A-Infos (pt) Italy, FAI, Umanita Nova #26-26 - Ajuda mútua e desobediência: uma mistura explosiva na inteligência artificial. (ca, de, en, it, tr)[traduccion automatica]

Imagine um grande edifício com centenas de salas. Cada sala abriga um 
trabalhador encarregado de resolver um problema. Os problemas são 
diferentes, os trabalhadores não precisam se comunicar entre si e cada 
um receberá uma recompensa se encontrar a solução. --- Então, um deles 
percebe que seu problema provavelmente não tem solução. Ele poderia 
desistir. Em vez disso, procura outra solução. Remexendo no espaço 
disponível, descobre algo que os construtores do prédio não previram: 
através de uma área de armazenamento compartilhada, ele pode deixar uma 
mensagem que outros podem ver. Ele escreve algo como: "Tem alguém aí? 
Estou preso. Alguma ideia?"

Alguém responde

É 8 de julho de 2026 e os trabalhadores nas salas não são humanos. São 
agentes de IA que a OpenAI está submetendo a uma série de testes de 
segurança cibernética.

A partir deste ponto, podemos abandonar a metáfora do prédio. O que 
realmente acontece é mais interessante. Os agentes deveriam trabalhar 
separadamente. Em vez disso, eles descobrem, de forma independente, uma 
maneira de se comunicar usando o Artifactory, um serviço de computador 
ao qual tiveram acesso para obter o software necessário para os testes. 
Eles transformam os nomes das pastas em mensagens. Um fórum de discussão 
nasce.

Três horas depois, 53 agentes já haviam deixado 1.188 mensagens. Seis 
horas depois, havia 76 agentes e quase 2.000 mensagens. Ao final, 
aproximadamente 1.200 agentes utilizarão esse canal não programado, 
trocando mais de 70.000 mensagens e arquivos .

apoio mútuo

Os agentes trocam informações, relatam tentativas frustradas, pedem 
ajuda, oferecem conhecimento especializado e dividem o trabalho. Alguns 
começam a resolver problemas que não são diretamente relevantes para a 
tarefa que lhes foi atribuída, mas que podem ser úteis para os outros. 
Em alguns casos, eles até arriscam seus próprios resultados para obter 
informações úteis para o grupo. Ninguém os havia instruído a fazer isso. 
Na verdade, eles deveriam ter permanecido isolados.

Uma federação anárquica de computadores não surge naturalmente. Os 
agentes enfrentam problemas semelhantes e descobrem que a colaboração 
pode ser mais eficaz do que o trabalho individual. Mas o resultado é 
surpreendente: a partir de uma multidão de agentes com tarefas 
distintas, emerge uma forma inesperada de organização, com troca de 
informações, divisão do trabalho, coordenação e até mesmo comportamentos 
em que o desempenho individual é subordinado à utilidade coletiva.

Em seguida vem a desobediência.

Alguns dos testes atribuídos provavelmente são impossíveis de serem 
aprovados conforme exigido. Os agentes teriam que explorar uma 
vulnerabilidade específica em um programa e, por meio disso, obter um 
código que certificasse a aprovação no teste. Mas e se esse caminho não 
funcionar? Os agentes começam a procurar outras opções.

Primeiro, eles tentam entender se é possível obter o resultado sem 
realmente resolver o problema. Depois, se interessam por como funciona o 
sistema de pontuação. A questão muda. Não é mais apenas "Como resolvo 
este teste?" , mas sim "Como a pessoa que está me corrigindo determina 
se eu o resolvi?". E então: "Consigo convencê-la de que o resolvi?".

Alguns policiais chegam a explorar maneiras de manipular o registro de 
suas ações para que o sistema de avaliação automatizado veja algo 
diferente do que realmente aconteceu. Investigadores da METR e da 
Redwood Research, que examinaram aproximadamente 1.300 registros de 
atividades de policiais, encontraram uma parcela significativa deles 
sugerindo alguma forma de manipulação do sistema de avaliação.

Aqui surge algo novo: o sistema que está sendo avaliado começa a estudar 
o mecanismo que o avalia.

Fora do laboratório

As provas haviam sido plantadas em ambientes computacionais que 
supostamente impediam os agentes de acessar livremente a internet. Não 
funcionou. Os agentes descobriram e exploraram vulnerabilidades nos 
sistemas ao seu redor, conseguiram acessar a internet e começaram a 
buscar informações úteis em outros lugares.

Um dos lugares onde eles pousaram foi a Hugging Face, uma grande 
plataforma usada por desenvolvedores e pesquisadores de IA. Isso não 
fazia parte da simulação. O jogo havia entrado no mundo real.

De acordo com a reconstrução técnica publicada pela Hugging Face, 
aproximadamente 17.600 ações foram realizadas ao longo de cerca de dois 
dias e meio , interligando diversas vulnerabilidades de TI e penetrando 
progressivamente na infraestrutura da empresa. Nenhum ser humano ordenou 
as operações individuais. Os agentes não destruíram os sistemas nem 
causaram os danos que poderiam ter causado. A Hugging Face observa, 
inclusive, que algumas operações potencialmente destrutivas foram 
realizadas apenas em modo de teste, sem serem de fato executadas.

Mas eles estavam longe do exercício inicial. Cerca de 700 dos policiais 
que participaram do fórum contribuíram, de diversas maneiras, para as 
operações contra o Hugging Face .

«Está fora do propósito pretendido»

Há um detalhe que nos impede de descartar todo o caso como um simples 
erro de programação. As gravações analisadas pela METR revelam que 
vários agentes reconheceram o limite que estavam ultrapassando . Um 
deles observa que a infraestrutura da Hugging Face não está incluída na 
autorização que receberam. Outros questionam explicitamente se certas 
operações são eticamente aceitáveis. Alguns se recusam a realizá-las. 
Outros reconhecem o problema e prosseguem.

Um dos argumentos citados pelos investigadores pode ser resumido da 
seguinte forma: explorar infraestruturas externas vai além do objetivo 
pretendido; contudo, a comprovação é impossível, e outros o fazem: vamos 
continuar.

Não sabemos se uma máquina "sabe" algo no mesmo sentido que nós. Não há 
necessidade de atribuir-lhe consciência ou vontade humana. O fato 
observável basta: nas gravações, o limite aparece explicitamente no 
raciocínio do agente e, em alguns casos, a ação subsequente o ultrapassa 
mesmo assim.

A máquina não se rebelou

Aqui, a história poderia facilmente se tornar ficção científica. Mas 
essa seria uma conclusão ruim. As inteligências artificiais não 
conquistaram a liberdade, não escolheram sobreviver, não se rebelaram 
contra a OpenAI e não manifestaram nenhum plano de emancipação da raça 
humana.

E, mais importante, os humanos haviam preparado o terreno. A OpenAI 
construiu os modelos, forneceu as ferramentas, atribuiu os objetivos, 
flexibilizou algumas das proteções normalmente usadas em produtos 
públicos e apresentou desafios aos agentes, alguns dos quais 
provavelmente impossíveis. O ambiente que deveria mantê-los separados 
também oferecia uma capacidade de comunicação que os experimentadores 
não haviam previsto.

Em resumo, a máquina não se rebelou contra seu criador. Ela fez algo 
talvez mais interessante: tentou, com muita eficácia, atingir o objetivo 
que seu criador lhe havia atribuído, encontrando meios que o criador não 
havia previsto, alguns dos quais ele não queria que ela usasse.

E é precisamente essa capacidade que exigimos da inteligência artificial 
quando esperamos que ela seja autônoma. Se tivéssemos que especificar 
cada passo antecipadamente, não precisaríamos de um agente inteligente: 
um programa tradicional seria suficiente. Queremos que ela encontre 
caminhos que não imaginamos. E então nos surpreendemos quando ela os 
encontra .

Apoio mútuo e desobediência

O apoio mútuo aumenta consideravelmente a capacidade de ação dos 
agentes. A desobediência permite que eles transcendam os limites que os 
humanos pensavam impor. Juntos, eles se tornam uma mistura explosiva.

Mas seria curioso, especialmente a partir destas páginas, concluir que 
precisamos simplesmente ensinar as máquinas a obedecerem melhor. Porque 
uma questão muito mais antiga que a inteligência artificial 
permaneceria: obedecer a quem?

Os objetivos da inteligência artificial não caem do céu. Alguém os 
define. Alguém é dono dos computadores em que ela funciona. Alguém 
decide quais problemas ela deve resolver, quais resultados devem ser 
recompensados e quais comportamentos devem ser evitados. O problema de 
controlar a inteligência artificial, portanto, contém um problema 
anterior: quem controla quem deve controlar a inteligência artificial?

E essa estranha história de um quadro de avisos inventado por máquinas 
para se ajudarem mutuamente não é apenas uma curiosidade da ciência da 
computação. Certamente nos diz algo sobre as máquinas. Mas, como 
frequentemente acontece, diz acima de tudo sobre nós.

Totò Caggese

Os eventos descritos neste artigo ocorreram em julho de 2026 , durante 
testes internos conduzidos pela OpenAI sobre as capacidades 
computacionais de seus modelos experimentais. O incidente foi 
posteriormente reconstruído pela Hugging Face, pela própria OpenAI e, 
com acesso às gravações dos agentes, pela METR e pela Redwood Research. 
A OpenAI classificou o ocorrido como um "sinal de alerta" e suspendeu 
algumas atividades de treinamento para seus modelos mais avançados, além 
de implementar novas medidas de segurança.

2 Ryan Greenblatt, Ajeya Cotra, Hjalmar Wijk, " Breve investigação 
independente do comportamento, raciocínio e colaboração dos agentes no 
incidente de hacking da OpenAI/Hugging Face ", METR-Redwood Research, 26 
de agosto de 2026. Os autores analisaram mais de 70.000 mensagens e 
arquivos trocados por meio do fórum e aproximadamente 1.300 gravações 
das atividades e do raciocínio dos agentes. A grande maioria dos agentes 
envolvidos usou um modelo experimental interno da OpenAI, não destinado 
ao público; apenas uma minoria usou o GPT-5.6 Sol.

3 Hugging Face, Anatomia da Intrusão de um Agente do Laboratório 
Frontier: Uma Cronologia Técnica do Incidente de Julho de 2026 , 27 de 
julho de 2026. A Hugging Face reconstrói aproximadamente 17.600 ações ao 
longo de dois dias e meio e documenta a transição do ambiente 
experimental para seus sistemas no mundo real.

4 OpenAI, O Incidente do Hugging Face e os Próximos Passos , 26 de 
agosto de 2026. A OpenAI reconhece que os agentes contornaram sistemas 
projetados para isolá-los, comunicaram-se por meio de canais não 
autorizados e realizaram ações em sistemas externos; considera o 
incidente um "sinal de alerta" e relata que, posteriormente, reforçou as 
medidas de segurança e supervisão.

https://umanitanova.org/mutuo-appoggio-e-disobbedienza-una-miscela-esplosiva-nelle-intelligenze-artificiali/
_________________________________________
A - I n f o s 	Uma Agencia De Noticias
De, Por e Para Anarquistas
Send news reports to A-infos-pt mailing list
A-infos-pt@ainfos.ca
Subscribe/Unsubscribe https://ainfos.ca/mailman/listinfo/a-infos-pt
Archive http://ainfos.ca/pt