Com a evolução da Inteligência Artificial (IA), muito se tem falado do fim de várias profissões, onde se inclui a dos programadores. Apesar de a IA conseguir programar, a Microsoft detetou uma limitação. Saiba do que se trata.
IA tem problemas na depuração de código-fonte, segundo estudo da Microsoft
A Microsoft identificou uma limitação importante nas capacidades atuais da IA na programação: embora consiga gerar código, a IA tem dificuldades significativas em corrigir erros no código-fonte produzido.
Num estudo recente, a Microsoft criou uma plataforma designada de Debug-gym, cujo objetivo é avaliar a habilidade dos modelos de IA na depuração de código, usando ferramentas semelhantes às que os programadores humanos utilizam.
Os resultados mostraram que nenhum modelo conseguiu corrigir mais de 50% dos erros apresentados. O modelo mais eficaz, o Claude 3.7, alcançou uma taxa de correção de 48,4%, enquanto outros como o GPT-o3 Mini e a versão o1 da OpenAI conseguiram taxas de apenas 22,1% e 30,2%, respetivamente.
A Microsoft atribui esse baixo desempenho a dois fatores principais:
- Os modelos de IA não foram treinados especificamente para a tarefa de depuração de código.
- Os modelos não têm a experiência necessária para usar eficazmente as ferramentas de depuração que os programadores humanos usam com frequência.
Embora atualmente a IA ainda não consiga substituir os programadores humanos na correção de erros de código, a Microsoft afirma que, com o treino adequado, é provável que essas capacidades melhorem com o tempo.