Efeito Dunning-Kruger: IA faz com que sobrestimemos as nossas capacidades

De entre os vários efeitos da Inteligência Artificial (IA), um novo estudo destaca um particularmente curioso: eliminando o conhecido efeito Dunning-Kruger, a tecnologia faz com que todas as pessoas que a utilizam sobrestimem as suas competências.

Numa tendência humana universal, tendemos a errar completamente sobre o quão bons somos numa determinada tarefa.

Este fenómeno, de nome efeito Dunning-Kruger, em homenagem aos psicólogos que o estudaram pela primeira vez, significa que as pessoas com menor aptidão para uma tarefa revelam excesso de confiança, enquanto as mais competentes tendem a subestimar as suas capacidades.

Agora, no entanto, cientistas da Universidade Aalto, na Finlândia, em colaboração com equipas da Alemanha e do Canadá, descobriram que o uso de IA praticamente elimina o efeito Dunning-Kruger.

Para o estudo, os cientistas atribuíram a 500 participantes tarefas de raciocínio lógico retiradas do exame de admissão às faculdades de direito dos Estados Unidos, permitindo a metade deles recorrer ao chatbot ChatGPT.

Posteriormente, ambos os grupos foram avaliados quanto ao seu conhecimento de IA e quanto à perceção que tinham do próprio desempenho. Foi prometida compensação extra caso avaliassem corretamente o seu resultado.

Incapacidade de avaliar o desempenho pessoal quando se usa IA

Segundo a investigação, ao usar chatbots comuns para resolver problemas, todos os participantes, independentemente do seu nível de competência, depositaram confiança excessiva na qualidade das respostas. Este efeito foi mais acentuado nos utilizadores com mais experiência em IA.

À medida que nos tornamos mais familiarizados com a IA, devido à disponibilização de grandes modelos de linguagem, os investigadores esperavam que os participantes fossem não só melhores a interagir com estes sistemas, mas mais capazes de avaliar o seu próprio desempenho ao utilizá los.

Em vez disso, as nossas conclusões revelam uma incapacidade significativa de avaliar com precisão o desempenho pessoal quando se usa IA, algo que observámos de forma transversal na amostra.

Contou Robin Welsch, cientista informático da Universidade Aalto e coautor do estudo, num comunicado.

Entre as razões para estas conclusões está que os utilizadores de IA mostraram-se geralmente satisfeitos após apenas uma pergunta ou instrução ao chatbot, aceitando a resposta sem verificações adicionais.

Ou seja, envolveram-se no que Robin Welsch descreveu como "transferência cognitiva", analisando a questão com menor reflexão e de forma mais superficial.

Um menor envolvimento no próprio raciocínio, designado "monitorização metacognitiva", significa que ignoramos os habituais mecanismos de autoverificação associados ao pensamento crítico, e reduzimos, desta forma, a nossa capacidade de avaliar o desempenho com rigor.

Curiosamente, o estudo detetou, também, que todos sobrestimaram as próprias capacidades ao usar IA, independentemente da inteligência individual.

A diferença entre utilizadores com mais e menos aptidão viu-se reduzida, num resultado que os investigadores dizem poder justificar-se com o facto de os modelos de linguagem ajudarem todos a melhorar o desempenho, pelo menos até certo ponto.

Formação em IA deve incluir pensamento crítico

Num cenário em que cientistas questionam se os modelos de linguagem atuais se tornaram excessivamente complacentes, a equipa da Universidade Aalto alertou para várias possíveis consequências, citadas pelo Live Science, à medida que a IA se generaliza.

A precisão metacognitiva poderá deteriorar-se se passarmos a confiar demais nos resultados sem os questionar de forma rigorosa. Sem reflexão sobre os resultados, verificação de erros ou raciocínio aprofundado, podemos eventualmente reduzir a nossa aptidão para identificar informação fidedigna.

O achatamento do efeito Dunning-Kruger significa que continuaremos a sobrestimar as nossas capacidades quando usamos IA, sendo que os mais experientes fá-lo-ão ainda mais. Isto poderá alimentar um clima de decisões mal calculadas e uma erosão gradual das competências.

Uma das soluções sugeridas pelo estudo passa por levar a própria IA a incentivar os utilizadores a questionar mais. Segundo os autores, os desenvolvedores deveriam adaptar as respostas para estimular a reflexão, convidando o utilizador a ponderar questões.

Portanto, a formação em IA deve incluir pensamento crítico e não apenas capacidade técnica, conforme argumentado pela Royal Society, recentemente.