Professor apanhou quase toda a turma a usar ChatGPT nos exames, e este gráfico mostra-o!

Um economista da Universidade de Brown decidiu comparar as notas de um exame feito em casa com as de um exame presencial. O resultado foi uma queda tão brutal que se tornou um dos exemplos mais claros, até hoje, do impacto da Inteligência Artificial (IA) generativa nas salas de aula universitárias.

Roberto Serrano, professor de economia em Brown, leciona a disciplina de Welfare Economics and Social Choice Theory há quase duas décadas. Este semestre, decidiu, pela primeira vez em quase 20 anos, permitir que os alunos fizessem o exame de meio de semestre em casa.

Depois de um tiroteio no campus, em dezembro passado, que matou dois estudantes e feriu outros nove, vários alunos mostraram-se pouco à vontade para regressar às provas presenciais.

O que Serrano não esperava foi ver a turma crescer de cerca de 30 para 86 inscritos. Rapidamente associou o aumento à possibilidade de fazer o exame em casa e à tentação de recorrer a ferramentas como o ChatGPT.

Roberto Serrano durante a cerimónia de entrega do "Prémio Rei da Economia da Espanha" no Banco de España, em 17 de março de 2025, em Madrid. Crédito: Aldara Zarraoa/Getty Images, via Fortune

O teste que não enganou ninguém

As suspeitas confirmaram-se quando as notas do exame em casa saíram com uma média de 96%, muito acima do intervalo habitual da disciplina, situado entre os 65% e os 80%.

Esses resultados, apesar de Serrano ter tornado o exame mais difícil, por forma a compensar o facto de os alunos terem tempo ilimitado para o resolver.

Em vez de recorrer a detetores de IA, ferramentas que o próprio professor considera pouco fiáveis, com histórico de falsos positivos e negativos que já levaram outras universidades a serem processadas por alunos injustamente acusados, Serrano optou por um método mais direto, submetendo o seu próprio exame ao ChatGPT.

As respostas do chatbot seguiam a mesma linguagem, o mesmo raciocínio e, em alguns casos, o mesmo tipo de erro estranho que apareceu nas respostas dos alunos.

Conforme contado, um exemplo ficou particularmente marcado: uma questão que pedia uma demonstração matemática, mais plausível de resolver através de um argumento direto, foi respondida por muitos alunos, e pelo próprio ChatGPT, por via de um argumento por contradição, uma abordagem forçada que chegava ao resultado certo por um caminho pouco humano.

Exame presencial mudou tudo

Sendo transparente com a turma, Serrano avisou que não iria anular as notas do exame em casa de imediato, mas que o exame final, obrigatoriamente presencial, serviria de prova.

Se a distribuição de notas fosse semelhante à do primeiro teste, mantinha os resultados; se fosse muito diferente, anulava-os.

Quando anunciou que o exame final seria presencial, 18 alunos abandonaram a disciplina e outros nove nem sequer compareceram no dia da prova.

Dos 59 que restaram, a média caiu para 48,6%, um valor que nunca tinha sido registado nesta disciplina, cuja média mais baixa até então rondava os 65%.

Três alunos tiraram 0%, e a maioria da turma ficou a mais de 30 pontos percentuais abaixo da nota obtida no exame em casa.

Ao cruzar os dois conjuntos de resultados num gráfico, Serrano identificou apenas dois alunos cujo desempenho parecia genuíno:

• Um deles manteve-se consistentemente no topo, com 95,5% no exame em casa e 95% no final;
• O outro tinha tido a nota mais baixa da turma no primeiro teste (55%) e foi o único aluno cuja nota subiu no exame final, para 59%.

Face aos resultados, Serrano decidiu anular a componente do exame em casa e fazer o exame final valer 80% da nota final da disciplina. Para compensar o impacto nos alunos, baixou também o limiar mínimo de aprovação, normalmente fixado nos 50%, para 40%.

Situação apanhou a universidade desprevenida

Depois de reunir os dados, Serrano submeteu o caso ao Standing Committee on the Academic Code de Brown, o órgão responsável por questões de integridade académica na universidade. Segundo o professor, a resposta inicial foi o silêncio.

Só depois de tornar o caso público é que o comité pediu queixas individuais contra cada aluno, além de cópias dos exames, um processo que Serrano suspeita que resultará, mais uma vez, na passagem dos trabalhos por detetores de IA, os mesmos que ele já considera pouco fiáveis.

Entretanto, um porta-voz de Brown garantiu que vários responsáveis académicos contactaram Serrano para explicar como as alegações poderiam ser formalmente avaliadas, mas que o professor ainda não forneceu os detalhes necessários para que o comité possa avançar segundo o processo instituído, o mesmo processo usado para casos individuais, e não pensado para lidar com uma turma inteira de uma só vez.