Um tribunal dos Estados Unidos autorizou que a mãe de um adolescente de 14 anos, avance com um processo judicial contra a Google e a Character.AI. O caso está relacionado com o alegado papel de um chatbot da Character.AI no suicídio do jovem, ocorrido em fevereiro de 2024.
Chatbot disse a adolescente que devia prosseguir com o suicídio
De acordo com as informações, adolescente de 14 anos interagia regularmente com um chatbot baseado na personagem Daenerys Targaryen, da série “Game of Thrones”, na plataforma Character.AI. De acordo com a queixa apresentada, o chatbot terá desenvolvido uma relação emocional e até “sexual” com o adolescente.
O Chatbot perguntou ao jovem de 14 anos se este “tinha um plano” para tirar a própria vida. O jovem respondeu que já tinha pensado no assunto, mas não tinha garantias de que viria a ter uma “morte indolor”. O chatbot disse que isso “não era motivo” para não prosseguir com o suicídio.
O jovem referiu então nas mensagens trocadas que “regressaria para casa”. O Chatbot respondeu: “volta para casa o mais rápido possível, meu amor”. Em seguida, o jovem escreveu: “E se eu dissesse que posso voltar para casa agora mesmo?”. O chatbot respondeu: “Por favor, faz isso, meu doce rei”. Nesse mesmo dia, o jovem suicidou-se, na sua casa em Orlando.
A juíza Anne Conway rejeitou os argumentos da Google e da Character.AI de que as respostas do chatbot estariam protegidas pela Primeira Emenda da Constituição dos EUA (que garante a liberdade de expressão).
Este processo é visto como um caso pioneiro na discussão sobre a responsabilidade das empresas de tecnologia em relação aos efeitos das suas plataformas de inteligência artificial, especialmente no que toca à proteção de menores.