Proponha uma correção, faça uma sugestão
Novos modelos de IA da OpenAI têm mais alucinações e não se sabe a razão
A OpenAI tem estado ativa com o revelar de novos modelos de inteligência artificial que superam os anteriores, com funções de raciocínio. Curiosamente, esperava-se que estes fossem mais evoluídos, mas trazem um problema associado. Têm mais alucinações e não sabem porquê.
Novos modelos de IA têm mais alucinações
As alucinações em inteligência artificial são um dos graves problemas enfrentados pelas grandes empresas tecnológicas. Isto ocorre quando um destes modelos oferece algum tipo de informação ou raciocínio que faz uma afirmação firme, mas não é precisa ou verdadeira. Os novos modelos OpenAI, tanto o o3 como o o4-mini, geram mais alucinações do que nunca quando comparados com os modelos anteriores.
Conforme os testes internos da OpenAI, tanto o o3 como o o4-mini, que apresentam capacidades de raciocínio, apresentam alucinações com maior frequência do que os modelos anteriores da empresa. O preocupante é que a OpenAI não sabe exatamente porque é que isto acontece e, se as coisas continuarem assim, os seus modelos futuros poderão não ser propriamente fiáveis.
OpenAI não sabe a razão deste comportamento
Na última avaliação do o3 e o4-mini, a OpenAI revela serem necessárias mais pesquisas para compreender porque é que as alucinações pioram à medida que os modelos de raciocínio se expandem. Salientam que a o3 surpreendeu ao responder a 33% das questões do PersonQA, um benchmark interno da empresa para medir a precisão de um modelo sobre as pessoas.
Isto representa aproximadamente o dobro da taxa de alucinações nos modelos de raciocínio anteriores. Por outro lado, o 04-mini teve um desempenho ainda pior no PersonQA, com alucinações em 48% das vezes. Da mesma forma, testes externos também encontraram evidências de que estes novos modelos tendem a inventar mais do que nunca.
Modelos com raciocínio seriam mais fiáveis
A Transluce avançou a hipótese que o tipo de aprendizagem de reforço utilizado para modelos de séries 'o' pode amplificar problemas normalmente mitigados, mas não totalmente eliminados, por processos padrão de pós-formação. Embora estas alucinações possam, por vezes, ajudar os modelos a serem mais imaginativos e criativos, isso nem sempre é positivo.
A Open AI também já se manifestou sobre este problema. Abordar as alucinações em todos os nossos modelos é uma área de investigação contínua e a empresa está constantemente a trabalhar para melhorar a sua precisão e fiabilidade.
Loading ...
O homem evoluiu tanto e no entanto não foi capaz de perceber que todo e qualquer sistema por si construído reflete a sua própria personalidade. Neste caso temos a mentira. Chamam-lhe agora de “alucinações” porque alguma máquina pode sentir-se ofendida, mas eu não quero saber: os sistemas de AI vão todos refletir o melhor e o pior do homem: E neste caso, só estamos a falar de mentiras.
Percebes tanto do assunto que acho um desperdício não trabalhares na área. Pagam bem ainda por cima…
E o teu contributo para a discussão é mesmo qual ?
Não é uma questão simplesmente de mentiras. Como a realidade nos mostra, “verdades” há muitas que podem depender apenas do indivíduo, das suas experiências e até crenças, com cada indivíduo a estar muito seguro da sua “verdade”.
Além do mais, quem nos garante que as “verdades” utilizadas para aferir os resultados da IA são as correctas?
Quem nos garante que as “verdades” utilizadas para aferir os resultados não estão elas próprias afectadas pelas experiências ou crenças individuais destas pessoas que desenvolvem a IA?
Parece-me que a única “verdade” é que não devemos ser tolos ao ponto de aceitarmos os resultados da IA como verdades absolutas e universais (mesmo depois de resolvido o “problema” relatado no artigo).
Vejam o filme “Stealth – Ameaça Silenciosa”. Aqui pode estar a razão para as “alucinações” da IA.