Aparentemente, a forma como interpelamos o ChatGPT pode ter impacto nas repostas que ele nos dá… Por isso, “cuidado com o tom”!
Por serem relativamente recentes, os utilizadores estão ainda a perceber como podem trabalhar com as ferramentas alimentadas por Inteligência Artificial (IA), nomeadamente os chatbots, que são das mais acessíveis e intuitivas, e os investigadores estão ainda a compreender o seu funcionamento mais amplo.
Um artigo escrito por especialistas da Pennsylvania State University concluiu que quando o ChatGPT recebeu a mesma pergunta em tons diferentes, as perguntas rudes “superaram consistentemente” as perguntas educadas.
A precisão das respostas fornecidas pelo ChatGPT com perguntas educadas foi de 80,8%, enquanto a mesma pergunta descrita de forma muito rude aumentou a precisão das respostas para 84,8%, num formato de questionário de escolha múltipla.
Fonte: Captura de ecrã do artigo Mind Your Tone: Investigating How Prompt Politeness Affects LLM Accuracy (ArXiv)
ChatGPT prefere questões feitas de forma educada?
A equipa definiu o tom das perguntas através de cinco níveis: Muito Educado e Educado a Rude e Muito Rude, com Neutro a meio.
As perguntas neutras são perguntas sem palavras educadas, como “por favor”, e imperativas e depreciativas, como “seu idiota, descobre isto”.
Descreveu a equipa, no artigo de investigação.
Embora as conclusões desta investigação contradigam as conclusões de outro artigo, publicado há mais de um ano, importa ressalvar que a mais recente apenas testou o ChatGPT num tipo muito específico de tarefa: 250 variações de 50 perguntas de escolha múltipla.
Além de ser possível obter resultados diferentes com outros chatbots, os testes recentes foram realizados com o modelo GPT-4o da OpenAI, sendo que a versão mais recente do ChatGPT disponível para o público foi construída sobre o novo GPT-5.
Apesar das limitações enumeradas, não deixa de ser curioso que a carga emocional de uma frase (ou questão, neste caso) possa ter impacto nas respostas dadas por um chatbot de IA…