Erro de um chatbot “quase começou uma guerra” entre os EUA e a China

Uma nova reportagem revela que as forças armadas dos Estados Unidos da América (EUA) estiveram muito perto de intercetar um navio chinês no Médio Oriente há uns meses. O motivo para o erro reforça as preocupações que têm sido levantadas sobre a Inteligência Artificial (IA).

Segundo quatro fontes ouvidas pela CNN, para uma reportagem exclusiva, o alerta terá surgido a partir de uma consulta feita por um analista do Comando de Operações Especiais do Pacífico dos EUA, sediado no Havai, a um chatbot, sobre informação de um manifesto de carga do navio.

O sistema combinou dados de fontes abertas com informação classificada, proveniente de interceções de sinais, e concluiu que a embarcação transportava material ligado a um programa nuclear.

Depois disso, o analista utilizou IA para transformar essa resposta num relatório de inteligência no formato habitualmente usado e no qual os responsáveis militares confiavam, contribuindo para que o erro se espalhasse rapidamente pela cadeia de comando.

Com base nesse documento, as forças armadas norte-americanas avançaram para uma operação de interceção. Segundo duas das fontes citadas pela CNN, elementos armados prepararam-se para abordar o navio. Uma dessas fontes e ainda uma outra, confirmaram que aviões militares já se encontravam no ar.

Só nos momentos que antecederam a operação é que responsáveis analisaram o relatório com mais atenção e perceberam que tinha sido gerado com recurso a IA e que o chatbot tinha identificado incorretamente a carga transportada. A CNN não conseguiu apurar o que estava, de facto, a bordo do navio.

Uma das fontes descreveu a informação como “totalmente falsa”, acrescentando que o episódio “quase começou uma guerra”, tendo em conta o risco de qualquer ação contra um navio chinês escalar para um confronto armado entre as duas potências nucleares.

Um problema maior do que este incidente

De acordo com a reportagem, este não terá sido um caso isolado, com uma das fontes a contar que alucinações semelhantes têm ocorrido noutras situações desde que estas ferramentas começaram a proliferar pelas várias agências norte-americanas.

Um antigo responsável de topo ligado aos sistemas de IA utilizados pelos militares e pela comunidade de informações terá descrito as ferramentas internas do governo como cópias de produtos comerciais com pequenas adaptações, não estando ainda esclarecido se o chatbot em causa era de origem comercial ou governamental.

Entretanto, a adoção acelerada de IA nas forças armadas norte-americanas está associada à estratégia anunciada em janeiro pelo secretário da Defesa (ou da Guerra), Pete Hegseth, que defendeu a eliminação de barreiras burocráticas e a disponibilização de modelos de IA a cerca de três milhões de militares e civis do departamento, com o argumento de que os EUA não se podem dar ao luxo de ficar para trás face à China e a outros adversários.

Contudo, várias fontes citadas pela CNN alertam que esse esforço está a ser feito de forma descentralizada, sem um conjunto uniforme de regras para verificar a fiabilidade da informação gerada por estas ferramentas, o que faz variar significativamente o grau de confiança que se pode depositar em cada sistema.

Leia também: