As comunidades tecnológica e académica estão cada vez mais preocupadas com a ferramenta de transcrição da OpenAI, o Whisper, e com a sua tendência para introduzir imprecisões nas transcrições de áudio. Pois, é preocupante por vários motivos.
De acordo com um relatório da Associated Press, profissionais que vão desde engenheiros de software a investigadores estão a encontrar problemas inesperados no Whisper, o que levanta suspeitas sobre a sua fiabilidade.
Embora as ferramentas de IA generativa sejam conhecidas por, por vezes, “alucinarem” – ou gerarem informações totalmente erradas – os erros de transcrição são particularmente preocupantes porque prejudicam o objetivo principal das transcrições: representar com precisão o conteúdo falado.
Apesar da expectativa de que a IA de transcrição se mantivesse fiel ao áudio, o Whisper supostamente adicionou tudo, desde linguagem racialmente carregada até conselhos médicos fictícios, o que poderia ter consequências graves se usado em ambientes médicos ou sensíveis.
OpenAI vai restringir o uso do Whisper em contextos de alto risco
Os investigadores citados no relatório da AP apresentaram dados que realçam a extensão destas imprecisões. Por exemplo, um investigador da Universidade de Michigan descobriu que o Whisper introduziu alucinações em oito de cada dez transcrições de reuniões públicas estudadas.
Da mesma forma, um engenheiro de aprendizagem automática analisou mais de 100 horas de transcrições geradas pelo Whisper e identificou alucinações em mais de metade delas. Um programador partilhou resultados ainda mais preocupantes, descobrindo tais erros em quase todas as 26.000 transcrições que processou com o Whisper.
A OpenAI respondeu a essas descobertas, afirmando que estão “a trabalhar continuamente para melhorar a precisão dos nossos modelos, incluindo a redução de alucinações”. A empresa também enfatizou que tem políticas de uso em vigor para restringir a aplicação do Whisper em “certos contextos de tomada de decisão de alto risco”.
Agradecemos os insights compartilhados pelos pesquisadores.
Acrescentou um porta-voz da OpenAI, indicando a abertura da empresa para feedback enquanto procura resolver esses problemas.
Leia também: