Arquivo.pt tem um papel importante na IA em português de Portugal

A existência de grandes quantidades de informação digital portuguesa poderá ser determinante para o desenvolvimento de modelos de inteligência artificial adaptados à realidade nacional. O Arquivo.pt assume aqui uma importância particular.

O serviço Arquivo.pt preserva a memória digital da Web e permite consultar páginas de Internet arquivadas desde os anos 90, constituindo um enorme repositório histórico de informação.

São realizadas recolhas periódicas (trimestrais) de toda a Web portuguesa e recolhas diárias de cerca de 400 sites com elevada frequência de atualização, incluindo sites institucionais e órgãos de comunicação social.

Esta informação pode ser particularmente relevante para projetos de IA que necessitem de compreender não apenas a língua portuguesa, mas também a realidade e o contexto cultural de Portugal.

A questão é importante porque grande parte dos conteúdos disponíveis em português na Internet utiliza português do Brasil. Para um modelo destinado a Portugal, isso pode resultar em diferenças de terminologia, expressões e contexto.

Arquivo.pt tem mais de 2TB de informação indexada

Durante o Fortinet Security Day, João Preto Gomes da FCT, o serviço tem mais de 2TB de informação indexada e tem suporte para vários LLMs. A IA Amália foi “alimentada” com 5,8 mil milhões de tokens de dados.

A existência de grandes conjuntos de dados portugueses permite, assim, criar modelos e aplicações que respondam de forma mais adequada em português de Portugal.

O Arquivo.pt disponibiliza também APIs para acesso aos conteúdos arquivados. A utilização crescente destas APIs está, contudo, a colocar novos desafios de infraestrutura, sobretudo perante utilizações de grande escala.