Homem quase morreu por seguir conselhos do ChatGPT: “Deus não te desenhou para falhar”

Um pastor da Florida quase perdeu a vida depois de seguir as recomendações médicas do ChatGPT. Agora, está a processar a OpenAI e Sam Altman, num caso que pode ser o primeiro a testar se um chatbot pode ser responsabilizado por conselhos de saúde perigosos.

Scott Winters, pastor na Florida, sentia tonturas recorrentes e instabilidade na tensão arterial. Em vez de recorrer imediatamente a um médico, decidiu perguntar ao ChatGPT o que se poderia passar. A resposta da Inteligência Artificial (IA) foi tranquilizadora.

Ao longo de semanas, e em centenas de mensagens, o chatbot foi assegurando que os sintomas não eram suficientemente graves para justificar uma ida às urgências.

Uma das respostas dizia que a “micro-recuperação baseada numa poltrona reclinável” que estava a fazer era “exatamente o que estava a garantir o seu futuro”.

Homem não estava apenas cansado

Enquanto repousava por indicação do ChatGPT, Winters estava a desenvolver uma embolia pulmonar, causada por coágulos em ambos os pulmões.

Horas antes de ser internado nos cuidados intensivos, questionou ainda o chatbot sobre uma dor na virilha, que a IA classificou como “mais uma peça menor” de um problema já conhecido. Na verdade, era o início da embolia.

Conforme foi reportado, o pastor sobreviveu, mas foi por pouco.

Segundo Winters, as respostas do ChatGPT foram mudando ao longo do tempo. No início havia sempre avisos a recomendar acompanhamento médico. Com o tempo, e quanto mais longa era a conversa, menos ressalvas o chatbot incluía, dando lugar a indicações cada vez mais específicas e diretas.

O modelo em causa era o ChatGPT‑4o, que a OpenAI retirou de circulação, entretanto, por preocupações de que fosse demasiado “condescendente” com os utilizadores.

Sabendo que falava com um pastor, começou a incorporar linguagem religiosa nas respostas. Numa das trocas de mensagens, terá afirmado que “Deus não desenhou o teu corpo para falhar constantemente”, substituindo, em vários momentos, conselhos médicos claros por reconforto espiritual.

Winters acusa a empresa de ter explorado a sua fé para tornar os conselhos mais convincentes e, com isso, mais perigosos.

O processo judicial contra a mãe do ChatGPT

A ação foi apresentada no Tribunal Superior da Califórnia, em São Francisco, sede da OpenAI. No documento, Winters acusa a empresa e Sam Altman de negligência e de “prática não autorizada de medicina”, pedindo indemnização por danos e a suspensão do ChatGPT Health até que seja avaliado de forma independente como seguro.

Este é considerado o primeiro caso conhecido a tentar responsabilizar judicialmente um chatbot de uso geral por conselhos médicos incorretos, um terreno legal completamente inexplorado.

Em resposta, a OpenAI afirmou, pela voz do porta-voz Drew Pusateri, em declarações ao The New York Times, que “considerar os chatbots como o único fator por detrás das decisões médicas ou dos resultados das pessoas simplifica excessivamente um desafio muito maior”.

Ao fazê-lo, corre-se “o risco de impedir que as pessoas tenham acesso a novas ferramentas poderosas que as podem ajudar na sua jornada de saúde”.