É caso para dizer… está tudo maravilhado com o ChatGPT! No entanto, nos últimos tempos, em algumas conferências, tem-se ouvido dizer que há ainda um longo caminho para a inteligência artificial. Um estudo recente revela que o ChatGPT não é assim tão inteligente em questões de programação.
Programação com ChatGPT? 52% das respostas são incorretas…
Os programadores têm recorrido a chatbots como o ChatGPT da OpenAI para os ajudar a programar. Até aqui tudo bem, mas um estudo recente revela que há um problema. 52% das respostas de programação geradas pelo ChatGPT estão incorretas. Isso mesmo, leu bem, 52%!
Para o estudo, os investigadores analisaram 517 perguntas no Stack Overflow e analisaram a tentativa de resposta do ChatGPT.
Descobrimos que 52% das respostas do ChatGPT têm informações incorretas, 77% das respostas são mais detalhadas do que as respostas humanas e 78% das respostas têm diferentes graus de inconsistência em relação às respostas humanas
De referir que para o estudo os investigadores escolheram o GPT-3.5 em vez do GPT-4 , a versão mais recente do modelo de linguagem no momento do estudo. Deve-se notar que os investigadores realizaram também testes paralelos com o GPT-4 e concluíram que, embora o modelo mais recente tenha um desempenho “ligeiramente melhor”, ambos apresentam uma alta taxa de imprecisão.