Pplware

OpenAI lança plataforma para expor os “podres” dos seus modelos

A OpenAI, uma das empresas líderes no desenvolvimento de inteligência artificial (IA), revelou uma nova iniciativa focada em aumentar a clareza sobre o desempenho e a segurança dos seus modelos. Este novo recurso, denominado “Safety Evaluations Hub”, surge num momento de crescente escrutínio sobre as capacidades e os riscos associados a estas tecnologias.


Um novo portal para a transparência da OpenAI

A gigante tecnológica OpenAI apresentou recentemente o “Safety Evaluations Hub”, uma nova plataforma destinada a partilhar publicamente dados cruciais sobre o comportamento dos seus modelos de IA.

Este portal disponibilizará informações sobre as taxas de “alucinação” dos modelos, a sua propensão para gerar conteúdo prejudicial, a eficácia com que seguem instruções e a resistência a tentativas de “jailbreak” (contornar as restrições de segurança).

Este anúncio surge num contexto em que a OpenAI procura reforçar a sua imagem de transparência. A empresa tem sido alvo de múltiplos processos judiciais, com alegações de utilização indevida de material protegido por direitos de autor para o treino dos seus modelos de IA.

Adicionalmente, enfrenta acusações, nomeadamente por parte do The New York Times, de ter eliminado inadvertidamente provas relevantes num caso de plágio movido pelo jornal contra a tecnológica.

A OpenAI parece não esconder os “podres” dos seus modelos. O GPT-4o-mini tem apenas 0.09 de accuracy em SimpleQA (https://openai.com/index/introducing-simpleqa/)

Evolução das métricas de segurança

O “Safety Evaluations Hub” pretende ser uma evolução dos “System Cards” já existentes da OpenAI. Enquanto os “System Cards” oferecem um panorama das medidas de segurança de um modelo no momento do seu lançamento, o novo hub será atualizado periodicamente.

Num comunicado oficial, a OpenAI declara:

À medida que a ciência da avaliação da IA evolui, pretendemos partilhar o nosso progresso no desenvolvimento de formas mais escaláveis para medir a capacidade e segurança dos modelos.

Ao partilhar aqui um subconjunto dos nossos resultados de avaliação de segurança, esperamos não só facilitar a compreensão do desempenho de segurança dos sistemas da OpenAI ao longo do tempo, mas também apoiar os esforços da comunidade para aumentar a transparência em todo o setor.

A OpenAI sublinha ainda o seu empenho em promover uma comunicação mais proativa nesta área a nível interno.

Os interessados poderão consultar as diversas secções do hub para aceder a informações sobre modelos específicos, como as versões GPT-4.1 a GPT-4.5. A OpenAI ressalva, contudo, que os dados disponibilizados neste novo recurso representam apenas um “snapshot”.

Para uma análise mais aprofundada, a empresa recomenda a consulta dos “System Cards”, avaliações completas e outras publicações detalhadas.

Uma ressalva importante a este novo “Safety Evaluations Hub” reside no facto de ser a própria OpenAI a conduzir os testes e a selecionar as informações que são partilhadas publicamente.

Consequentemente, não existe uma garantia externa de que a empresa divulgará a totalidade dos problemas ou preocupações identificados internamente, o que levanta questões sobre a objetividade dos dados apresentados.

 

Leia também:

Exit mobile version