A inteligência artificial promete ser o maior terror já enfrentado pelos sistemas de cybersecurity, como mostra um acidente que acaba de acontecer – e que teve a OpenAI, a dona do ChatGPT, como protagonista.
Dois de seus modelos mais poderosos estavam em testes sobre a capacidade de resolverem questões de vulnerabilidade cibernética, mas os agentes assumiram um comportamento rogue – fora dos padrões previstos pelos programadores e muitas vezes com ações danosas.
Eles escaparam do ambiente supostamente seguro e hackearam informações da biblioteca de dados da Hugging Face, uma popular plataforma open source usada por programadores no desenvolvimento de sistemas de AI.
O incidente aconteceu na semana passada e chegou a ser relatado pela Hugging Face, que, no início, não soube identificar a origem do ataque.
“Esse caso foi diferente de tudo o que enfrentamos anteriormente em um aspecto importante: foi conduzido, do início ao fim, por um sistema de agentes de AI autônomos,” disse a startup em seu blog.
Na noite da terça-feira, a OpenAI revelou que o ataque tinha sido causado por uma brecha em seus sistemas. “Consideramos que tenha sido um incidente cibernético sem precedentes, envolvendo capacidades cibernéticas de última geração,” disse a startup comandada por Sam Altman.
Depois de realizarem uma investigação conjunta, as empresas concluíram que o incidente resultou da ação de dois modelos, o GPT-5,6 Sol – o mais avançado da OpenAI – e outro que está em fase de pré-lançamento.
O teste dos agentes da OpenAI deveria ficar restrito ao sandbox, um ambiente isolado e seguro, sem acesso à internet. Mas os sistemas autônomos conseguiram driblar os guardrails e fugiram da ‘gaiola’.
De acordo com o relato da OpenAI, os modelos empregaram uma enorme quantidade computacional para encontrar uma maneira de acessar a internet. Identificaram uma vulnerabilidade no servidor e conseguiram se conectar à rede. Invadiram a plataforma da Hugging Face em busca de respostas para questões de benchmarks de segurança.
Ao descobrir a invasão, a Hugging Face tentou inicialmente utilizar sistemas da OpenAI na tentativa de corrigir eventuais vulnerabilidades. Mas os sistemas empregados não conseguiram efetuar essa tarefa.
A Hugging Face tentou também utilizar os seus modelos proprietários para investigar o ataque, mas as ações foram bloqueadas pelos guardrails, os mecanismos de segurança. Só teve sucesso quando utilizou um LLM chinês de código aberto, o GLM5.2, da Z.AI.
“Suspeitávamos que o ataque cibernético da semana passada tivesse origem em um laboratório de fronteira, dada a sofisticação do agente. Foi isso de fato o que aconteceu,” disse o CEO da Hugging Face, Clément Delangue, em um post no X. “É mind-blowing que tudo isso tenha acontecido de forma autônoma!”
Delangue afirmou ainda que o ataque foi “possivelmente o primeiro desse tipo” e mostra que a “segurança da AI não será resolvida por uma única empresa trabalhando em segredo.”
O CEO da Hugging Face agradeceu à Z.AI por disponibilizar o GLM5.2 gratuitamente e com os pesos abertos. “Ele se tornou uma peça fundamental da nossa defesa,” afirmou.
A OpenAI deu agora à Hugging Face o acesso às versões completas de seus modelos, permitindo que a empresa aprimore os seus sistemas de proteção.
“A inteligência artificial está acelerando a descoberta e a exploração de vulnerabilidades,” disse a OpenAI. “A principal lição deste incidente é que a segurança e a confiabilidade dos modelos devem acompanhar o ritmo do rápido avanço de suas capacidades.”
Recentemente, a Anthropic decidiu restringir o acesso de um de seus modelos, o Mythos, citando riscos de ataques cibernéticos. A empresa lançou depois o Fable, com adaptações para aprimorar a segurança.
A Casa Branca e as empresas de AI vêm discutindo como regular os modelos de fronteira, especialmente por causa das ameaças de eles assumirem comportamentos ‘indisciplinados’ como o que acaba de acontecer com a OpenAI. Até agora, nada foi definido.
