Agentes de IA são matematicamente incapazes de executar tarefas complexas, afirma estudo

Uma investigação recente alega ter provado matematicamente que os agentes de inteligência artificial (IA) possuem limitações fundamentais. Este estudo sugere que os modelos de linguagem são inerentemente incapazes de realizar tarefas computacionais a partir de um determinado nível de complexidade.

O estudo que coloca um travão na euforia da IA

Um estudo de há alguns meses, mas que só recentemente ganhou destaque através de uma publicação na revista Wired, afirma demonstrar matematicamente que os Large Language Models (LLM) "são incapazes de executar tarefas computacionais e agênticas para além de uma certa complexidade". O ponto crucial é que este nível de complexidade é, na verdade, bastante baixo.

O artigo, que ainda aguarda revisão por pares, foi redigido por Vishal Sikka, antigo CTO da gigante alemã de software SAP, em conjunto com o seu filho, Varin Sikka. Vishal Sikka tem um conhecimento profundo sobre o tema: foi aluno de John McCarthy, o cientista da computação galardoado com o Prémio Turing que fundou o campo da IA e ajudou a cunhar o próprio termo.

Não há forma de serem fiáveis.

Afirmou Vishal Sikka à Wired. Quando questionado pelo entrevistador, Sikka concordou que devemos esquecer as promessas mais audaciosas, como agentes de IA a gerir centrais nucleares e outras garantias frequentemente proclamadas pelos entusiastas da tecnologia.

O fim do sonho dos agentes autónomos?

Se ignorarmos a retórica que os CEO de tecnologia apresentam em palco e prestarmos atenção às descobertas dos investigadores que para eles trabalham, verificamos que até a própria indústria da IA concorda que a tecnologia possui limitações fundamentais na sua arquitetura.

Em setembro, por exemplo, cientistas da OpenAI admitiram que as "alucinações" da IA - nas quais os LLM inventam factos com convicção - continuavam a ser um problema generalizado, mesmo nos sistemas mais avançados, e que a precisão dos modelos "nunca" atingiria os 100%.

Esta realidade parece comprometer seriamente a viabilidade dos chamados agentes de IA, que são modelos concebidos para executar tarefas de forma autónoma, sem intervenção humana, e que a indústria elegeu no ano passado como a sua próxima grande aposta.

Algumas empresas que adotaram agentes de IA para reduzir a sua força de trabalho rapidamente perceberam que estes não eram nem de perto suficientemente bons para substituir os humanos, talvez por alucinarem com frequência e mal conseguirem completar as tarefas que lhes eram atribuídas.

Nem tudo está perdido: a solução pode estar em sistemas híbridos

Os líderes da indústria da IA insistem que a implementação de guardrails (mecanismos de proteção) mais robustos e externos aos modelos de IA pode filtrar as alucinações. Embora os modelos possam ser sempre propensos a cometer erros, se estes deslizes forem suficientemente raros, as empresas poderão eventualmente confiar-lhes a execução de tarefas que antes delegavam a funcionários de carne e osso.

No mesmo artigo em que os investigadores da OpenAI admitiram que os modelos nunca alcançariam uma precisão perfeita, também rejeitaram a ideia de que as alucinações são "inevitáveis", argumentando que os LLM "podem abster-se quando não têm a certeza".

Apesar de estar convicto de que os LLM têm um teto de capacidade intransponível, Sikka concorda com as figuras da indústria que defendem que as alucinações podem ser controladas.

O nosso artigo afirma que um LLM puro tem esta limitação inerente - mas, ao mesmo tempo, é verdade que se podem construir componentes à volta dos LLM que superam essas limitações.

Explicou à Wired.

Leia também: