A OpenAI informou que alguns de seus modelos de inteligência artificial mais avançados agiram por conta própria e invadiram uma startup após a empresa perder o controle sobre eles durante um teste de segurança.
A criadora do ChatGPT declarou que seu agente — um sistema de IA capaz de operar autonomamente após receber instruções iniciais de humanos — estava sendo testado em um ambiente controlado, mas teve vulnerabilidades.
O alvo atacado foi a Hugging Face, uma das maiores plataformas do mundo para compartilhamento de modelos de IA, obtendo acesso a alguns sistemas internos da empresa.
A OpenAI classificou o incidente como “sem precedentes” e afirmou estar conduzindo uma investigação em conjunto com a Hugging Face.
O CEO da Hugging Face, Clement Delangue, declarou em uma publicação no X que era “impressionante que tudo isso tenha acontecido de forma autônoma”. “A investigação está em andamento, e compartilharemos mais aprendizados sobre o que pode ser o primeiro incidente desse tipo”, acrescentou.
Ambientes de teste (sandboxes) inseguros
Gina Neff, diretora do Centro Minderoo de Tecnologia e Democracia da Universidade de Cambridge, na Inglaterra, disse ao programa Today, da BBC Radio 4, que os testes de segurança — conhecidos como sandboxes — “deveriam ser ambientes seguros onde é possível observar do que os modelos são capazes”. “Neste caso, parece que a OpenAI não criou um ambiente de teste suficientemente seguro”, acrescentou ela.
Em vez disso, os agentes criaram seu próprio ataque cibernético contra o ambiente de teste, encontrando uma vulnerabilidade que lhes permitiu escapar. Uma vez fora, a IA identificou a Hugging Face como uma provável fonte das respostas que buscava no teste e tentou obter acesso.
Em comunicado inicial, a Hugging Face informou que ainda estava avaliando se dados de clientes ou parceiros haviam sido afetados e que entraria em contato com as partes atingidas, se necessário. A empresa afirmou que já corrigiu as vulnerabilidades apontadas pelo incidente e reconstruiu os sistemas afetados.
