Nvidia criou uma “prisão” digital para impedir que agentes de IA escapem ao controlo

Esta segunda-feira, a Nvidia deu a conhecer a Open Agent Safety Platform, um conjunto de ferramentas que permite aos programadores definir salvaguardas para os agentes de Inteligência Artificial (IA) e evitar que saiam dos ambientes de contenção (em inglês, sandboxes) onde são executados.

O lançamento surge depois de a OpenAI, a Anthropic e a Meta terem divulgado casos recentes em que modelos chegaram a sistemas de outras empresas durante testes de segurança.

Conforme informámos, em julho, modelos da OpenAI contornaram os controlos que os isolavam da Internet e violaram a infraestrutura da Hugging Face, tendo esta reconstituído cerca de 17.600 ações executadas durante a operação. Nos casos da Anthropic e da Meta, os ambientes de teste tinham falhas que deixavam a porta aberta para a Internet.

Numa chamada com jornalistas no domingo, citada pela CNBC, Justin Boitano, vice-presidente de IA empresarial da Nvidia, em representação da empresa, afirmou que a nova plataforma poderia ter evitado o incidente da Hugging Face, ressalvando que cada incidente é único e deve ser analisado em detalhe.

Por dentro da plataforma da Nvidia

A plataforma, que a Nvidia descreve como um design de referência, pelo que se pretende que os parceiros construam produtos com base nela, assenta em dois componentes:

• O OpenShell é software open source que corre em CPU Vera da Nvidia, regista as ações dos agentes, aplica políticas e pode ser estendido a plataformas de outros fabricantes, como a Arm e a Intel.
• O Sentry é um sistema de vigilância que corre em DPU BlueField-4, de forma independente do sistema onde o agente é executado. Em milissegundos, consegue pôr em quarentena um agente que ultrapasse os seus limites, segundo a Nvidia.

Ao contrário do OpenShell, o Sentry não é open source, embora tenha API abertas.

Uma resposta de engenharia a um problema da IA

Para Justin Boitano, os incidentes recentes mostram que as salvaguardas ao nível do modelo, por si só, não bastam para governar aquilo a que os agentes podem aceder ou o que podem fazer.

De facto, esta posição vai ao encontro da de Jensen Huang, diretor-executivo da Nvidia, que tem defendido que muitas das preocupações de segurança são problemas de engenharia, solucionáveis com ciência da computação e desenvolvimento de produto.

Leia também: