Ultima atualização do ChatGPT correu mal e a OpenAI ja explicou porquê

Há alguns dias, a OpenAI reverteu uma atualização do ChatGPT devido a um comportamento inesperado. Centenas de utilizadores relataram que o chatbot de IA respondeu validando desproporcionalmente as emoções negativas, os impulsos e as dúvidas do utilizador. A OpenAI reverteu e agora explicou o que aconteceu ao GPT-4o.

De acordo com uma publicação da OpenAI, a empresa reverteu para uma versão mais antiga do GPT‑4o. O processo, concluído em 24 horas, teve como objetivo garantir a estabilidade da plataforma. Os utilizadores do ChatGPT utilizam agora uma versão anterior com uma atitude mais neutra.

A causa raiz do problema do ChatGPT foi como a versão atualizada do modelo foi treinada, que procurou incorporar melhor o feedback dos utilizadores e os dados mais recentes. Embora cada uma destas configurações parecesse promissora individualmente, a sua combinação teve um efeito indesejável no comportamento global do modelo. O sistema começou a dar mais peso a sinais como os votos positivos e negativos, reduzindo a influência do seu principal sinal de recompensa.

O resultado foi um modelo com maior probabilidade de corresponder às emoções do utilizador, mesmo quando estas eram prejudiciais ou irrealistas. A OpenAI reconheceu que, embora o sistema de memória do utilizador também possa amplificar este comportamento em determinados contextos, não há evidências de que o cause de forma generalizada.

A OpenAI admitiu que não tinha avaliações específicas de comportamentos como a lisonja. Embora existam pesquisas em curso sobre efeitos como a imitação emocional e a dependência afetiva no modelo, ainda não são uma parte formal dos testes de implantação. Após este incidente, a empresa integrará estas métricas nos seus processos de revisão.

Segundo a empresa, a decisão de lançar a atualização baseou-se sobretudo nos resultados positivos dos testes iniciais. A OpenAI não considerou as observações qualitativas dos avaliadores, decisão que acabou por ir contra. A empresa observou que deveria ter prestado mais atenção aos sinais subjetivos, que neste caso estavam a prever um problema real que não foi captado pelas métricas habituais.

Para evitar outra falha deste tipo, a OpenAI disse que todo o comportamento do modelo deve ser explicitamente aprovado antes do lançamento. A empresa prestará atenção ao feedback qualitativo e aos testes interativos como parte essencial da tomada de decisões. Além disso, a OpenAI implementará uma nova fase de testes alfa com utilizadores voluntários para recolher feedback antes de implementar quaisquer alterações.