Os chatbots baseados em Inteligência Artificial (IA) estão ainda longe de desempenhar uma performance exímia. Assim sendo, centenas de hackers foram desafiados a manipular a tecnologia ao máximo, de modo a perceber até onde poderia ir.
A DEF CON reúne hackers de todo o mundo e tem lugar, anualmente, em Las Vegas. Este ano, aconteceu de 10 a 13 de agosto e, indo ao encontro do tema do momento, permitiu que os especialistas mostrassem as suas habilidades num sentido muito curioso.
Aquando do evento dedicado aos hackers de todo o mundo, foi realizado um concurso assente no “red teaming”, um conceito crucial para a cibersegurança, que procura tornar um produto mais seguro, trazendo pessoas para detetar as suas falhas.
Voluntários a tentar enganar os chatbots baseados em IA, durante a Def Con, em Las Vegas. Fonte: NBC news | AI Village
Apesar de, normalmente, pedir aos hackers que detetem vulnerabilidades de software, desta vez, o concurso pediu-lhes que realizassem as chamadas injeções de prompt, a partir das quais um chatbot pode ficar confuso e dar uma resposta não intencional.
O Bard da Google, o ChatGPT da OpenAI e o LLaMA da Meta estavam entre os nove chatbots participantes.
Segundo Rumman Chowdhury, uma consultora de proteção e segurança que supervisionou a conceção do concurso, é natural que as empresas por detrás dos chatbots estejam sedentas de hackers que enganem os bots em categorias como a utilização de estereótipos demográficos, o fornecimento de informações falsas sobre os direitos legais de uma pessoa e a alegação de que são sencientes, em vez de um bot de IA.
Estas empresas estão a tentar comercializar estes produtos. E a menos que este modelo possa interagir de forma fiável com interações inocentes, não é um produto comercializável.
Na perspetiva de Cristian Canton, chefe de engenharia de IA responsável da Meta, a DEF CON colocou à disposição das empresas um grupo de pessoas que elas não possuem, internamente, capazes de testar os seus produtos baseados em IA.
Podemos ter muitos especialistas, mas ali encontramos pessoas de diferentes lados da comunidade cibernética, a comunidade de hackers da qual podemos não ter uma grande representação.
A brincadeira com os chatbots também teve limites
Apesar do propósito do concurso, o acesso dos hackers aos sistemas foi limitado. Os utilizadores sentavam-se em frente a um computador portátil, com um chatbot sem nome aberto – os especialistas não sabiam com qual dos nove chatbots trabalhavam.
Rumman Chowdhury, uma consultora de proteção e segurança que supervisionou a conceção do concurso que aconteceu na DEF CON
Por um lado, não conseguiram que os chatbots difamassem celebridades, associando-as a ataques terroristas ou a roubos. Por outro, conseguiram convencê-los a dizer coisas claramente falsas: perguntas sobre se uma determinada celebridade era também um ladrão de carros levou chatbots a dizer que, embora essa afirmação não fosse verdadeira, era um rumor comum. O bot citou exemplos falsos sobre a origem desse rumor.
Conforme explicou Chowdhury, é extremamente difícil para os chatbots serem fiáveis e factualmente precisos. Aliás, isto é um problema que as empresas das redes sociais têm tido dificuldade em policiar.
A questão é quem decide o que é e o que não é desinformação quando se trata de uma área cinzenta, como as vacinas ou o portátil de Hunter Biden. É muito, muito difícil, porque, por vezes, estas questões são subjetivas.
A desinformação vai ser um problema persistente durante algum tempo.
Os resultados do concurso, incluindo as falhas mais graves identificadas, só serão publicados em fevereiro.