Proponha uma correção, faça uma sugestão
OpenAI reconhece que o Whisper tem erros e irá restringir o seu uso em contextos críticos
As comunidades tecnológica e académica estão cada vez mais preocupadas com a ferramenta de transcrição da OpenAI, o Whisper, e com a sua tendência para introduzir imprecisões nas transcrições de áudio. Pois, é preocupante por vários motivos.
De acordo com um relatório da Associated Press, profissionais que vão desde engenheiros de software a investigadores estão a encontrar problemas inesperados no Whisper, o que levanta suspeitas sobre a sua fiabilidade.
Embora as ferramentas de IA generativa sejam conhecidas por, por vezes, "alucinarem" - ou gerarem informações totalmente erradas - os erros de transcrição são particularmente preocupantes porque prejudicam o objetivo principal das transcrições: representar com precisão o conteúdo falado.
Apesar da expectativa de que a IA de transcrição se mantivesse fiel ao áudio, o Whisper supostamente adicionou tudo, desde linguagem racialmente carregada até conselhos médicos fictícios, o que poderia ter consequências graves se usado em ambientes médicos ou sensíveis.
OpenAI vai restringir o uso do Whisper em contextos de alto risco
Os investigadores citados no relatório da AP apresentaram dados que realçam a extensão destas imprecisões. Por exemplo, um investigador da Universidade de Michigan descobriu que o Whisper introduziu alucinações em oito de cada dez transcrições de reuniões públicas estudadas.
Da mesma forma, um engenheiro de aprendizagem automática analisou mais de 100 horas de transcrições geradas pelo Whisper e identificou alucinações em mais de metade delas. Um programador partilhou resultados ainda mais preocupantes, descobrindo tais erros em quase todas as 26.000 transcrições que processou com o Whisper.
A OpenAI respondeu a essas descobertas, afirmando que estão "a trabalhar continuamente para melhorar a precisão dos nossos modelos, incluindo a redução de alucinações". A empresa também enfatizou que tem políticas de uso em vigor para restringir a aplicação do Whisper em "certos contextos de tomada de decisão de alto risco".
Agradecemos os insights compartilhados pelos pesquisadores.
Acrescentou um porta-voz da OpenAI, indicando a abertura da empresa para feedback enquanto procura resolver esses problemas.
Leia também:
Loading ...
Não estou surpreendido. Deve ser porque quando recorro ao Google Translate o que não faltam são “alucinações”. A única forma é comparar o texto original com o traduzido e corrigir.
A transcrição pela IA do que as pessoas dizem há de ter dois problemas:
– Não se percebe as palavras que dizem – “Comem como sãos e falam como doentes”, diz uma pessoa que eu conheço 🙂
– Dizem uma coisa de forma pouco clara ou com um segundo sentido e esperam que os outros percebam: “Vocês sabem bem do que eu estou a falar …”
Coitada da IA se se puser a fazer interpretações ou a preencher lacunas.