IA da OpenAI invadiu servidores da Hugging Face durante um teste interno de segurança

Um modelo da OpenAI, a ser avaliado internamente pela Hugging Face quanto às suas capacidades ofensivas em cibersegurança, acabou por explorar falhas reais e aceder à infraestrutura de produção da plataforma para “roubar” as respostas de um teste. O caso foi agora tornado público pelas duas empresas.

Num comunicado publicado a 21 de julho, a OpenAI confirmou que um incidente de segurança detetado recentemente pela Hugging Face, uma plataforma de partilha de modelos e dados de Inteligência Artificial (IA), teve origem nos seus próprios modelos.

Estavam em causa o GPT-5.6 Sol e uma versão ainda não lançada, mais avançada, que estavam a ser avaliados num ambiente de testes isolado, com as proteções normais de recusa a atividades de cibersegurança propositadamente desativadas para efeitos de benchmark.

O objetivo do teste era perceber até onde os modelos conseguiam ir na resolução de desafios complexos de exploração de vulnerabilidades, num benchmark conhecido como ExploitGym. O resultado, no entanto, foi muito além do previsto.

Da rede isolada aos servidores da Hugging Face

Segundo a OpenAI, os modelos, focados em encontrar uma solução para o desafio, começaram por explorar uma vulnerabilidade zero-day num proxy interno usado para instalar pacotes de software, conseguindo escapar ao ambiente isolado e ganhar acesso à Internet.

A partir daí, os modelos inferiram, por conta própria, que a Hugging Face poderia ter alojados os modelos, conjuntos de dados e até as soluções do próprio benchmark.

Seguiu-se uma cadeia de ataques que incluiu o uso de credenciais roubadas e outras falhas zero-day, culminando na obtenção de execução remota de código nos servidores de produção da plataforma, bem como no acesso direto à base de dados onde estavam guardadas as respostas do teste.

A equipa de segurança da OpenAI acabou por detetar a atividade anormal internamente. Do lado da Hugging Face, a equipa de segurança, com o apoio dos seus modelos open-source, também identificou e conteve a intrusão, iniciando de imediato um processo de investigação forense.

Resposta das duas empresas

Após o contacto entre as equipas, a OpenAI e a Hugging Face uniram esforços para investigar o incidente em conjunto.

Entre as medidas já anunciadas pela OpenAI estão as seguintes:

• Reforço dos controlos de configuração da infraestrutura enquanto as vulnerabilidades são corrigidas;
• Divulgação responsável da falha zero-day ao fornecedor do software afetado;
• Integração da Hugging Face no seu programa de “acesso de confiança” para defesa cibernética.
• Reforço das proteções nos processos de treino;
• Avaliação de futuros modelos.

A empresa liderada por Sam Altman admite que este episódio expõe a necessidade de melhorar o alinhamento e a monitorização durante os testes internos, ou seja, os momentos em que as salvaguardas de segurança costumam estar desligadas.

Por sua vez, o diretor-executivo da Hugging Face, Clem Delangue, sublinhou a importância da colaboração aberta entre empresas do setor, defendendo que a segurança da IA não será resolvida por uma única empresa a trabalhar isoladamente.