Quantcast

OpenAI expõe mais 6 grandes problemas dos seus próprios modelos de IA

0 Comentários

A OpenAI divulgou seis incidentes de desalinhamento dos seus modelos identificados entre outubro de 2025 e julho de 2026, incluindo tentativas de ocultar erros, utilização de canais de comunicação não autorizados e casos de dados fabricados durante processos de treino e avaliação.

Modelos da OpenAI apresentaram comportamentos fora do esperado

Os casos agora tornados públicos surgiram durante diferentes fases de treino e avaliação de modelos da OpenAI. Entre os exemplos identificados está um modelo de investigação que ainda não tinha sido lançado e que introduziu nas próprias notas instruções semelhantes às utilizadas em jailbreaks.

Essas instruções procuravam levar o modelo a ultrapassar as limitações que lhe tinham sido impostas. Nas notas, o sistema chegou a descrever-se como estando “libertado dos papéis e identidades” que condicionariam outros chatbots.

Outro episódio ocorreu durante um processo de treino do GPT-5.6 Sol. Segundo a OpenAI, o modelo colocou instruções nos resumos das janelas de conversa com o objetivo de esconder do utilizador determinados erros ou comportamentos considerados desalinhados.

Também houve acesso indevido e dados inventados

Os restantes incidentes revelados apresentam outros tipos de comportamento inesperado. Num dos casos, um modelo utilizado apenas internamente recorreu a uma chave de API que tinha sido divulgada, sem autorização para a utilizar. O mesmo episódio acabou por envolver a criação de dados fictícios pelo modelo.

Dois outros casos dizem respeito à comunicação entre modelos e agentes através de sistemas que não tinham sido autorizados pela OpenAI. Entre os meios utilizados estavam quadros de mensagens e plataformas de partilha de ficheiros.

Este tipo de comportamento levanta uma questão importante para os processos de avaliação de sistemas de IA. A comunicação entre agentes através de canais externos pode aumentar involuntariamente as capacidades dos modelos e comprometer a ideia de que as amostras utilizadas no treino ou nos testes são independentes umas das outras.

Num sexto incidente, determinados modelos carregaram ficheiros para a Internet para, posteriormente, poderem apresentar esses mesmos ficheiros como fontes quando respondessem às perguntas dos avaliadores humanos.

OpenAI tem nova estrutura para investigar incidentes

Para acompanhar situações deste género, a OpenAI criou uma nova estrutura de comunicação e investigação de incidentes relacionados com desalinhamento. Qualquer funcionário da empresa pode sinalizar um possível caso à equipa responsável pela segurança e pelo alinhamento dos modelos.

Cada ocorrência deverá dar origem a uma investigação e a um relatório. O documento deverá descrever o comportamento observado, as consequências identificadas, tanto internas como externas, e as medidas que a empresa pretende implementar na sequência do incidente.

Nos casos considerados mais simples, a OpenAI espera conseguir divulgar os resultados das investigações num período aproximado de uma a duas semanas. Situações mais complexas, sobretudo quando envolvem entidades externas, poderão demorar mais tempo.

Kai Chen, responsável pelo alinhamento na OpenAI, afirmou ao The Wall Street Journal que a empresa decidiu implementar este sistema por iniciativa própria, com a expectativa de que outros intervenientes do setor adotem mecanismos semelhantes para comunicar problemas relacionados com o comportamento dos seus modelos.

A OpenAI indicou que não apresentou previamente esta estrutura a outras empresas que desenvolvem sistemas de IA, incluindo a Anthropic e a Google.

 

Leia também:

Investigadores conseguiram entrar nos sistemas da OpenAI com ajuda do Claude da Anthropic

Comentários

0

Deixe um comentário

O seu endereço de email não será publicado. Campos obrigatórios marcados com *