Proponha uma correção, faça uma sugestão
É o fim dos programadores? Calma, a IA tem uma limitação
Com a evolução da Inteligência Artificial (IA), muito se tem falado do fim de várias profissões, onde se inclui a dos programadores. Apesar de a IA conseguir programar, a Microsoft detetou uma limitação. Saiba do que se trata.
IA tem problemas na depuração de código-fonte, segundo estudo da Microsoft
A Microsoft identificou uma limitação importante nas capacidades atuais da IA na programação: embora consiga gerar código, a IA tem dificuldades significativas em corrigir erros no código-fonte produzido.
Num estudo recente, a Microsoft criou uma plataforma designada de Debug-gym, cujo objetivo é avaliar a habilidade dos modelos de IA na depuração de código, usando ferramentas semelhantes às que os programadores humanos utilizam.
Os resultados mostraram que nenhum modelo conseguiu corrigir mais de 50% dos erros apresentados. O modelo mais eficaz, o Claude 3.7, alcançou uma taxa de correção de 48,4%, enquanto outros como o GPT-o3 Mini e a versão o1 da OpenAI conseguiram taxas de apenas 22,1% e 30,2%, respetivamente.
A Microsoft atribui esse baixo desempenho a dois fatores principais:
- Os modelos de IA não foram treinados especificamente para a tarefa de depuração de código.
- Os modelos não têm a experiência necessária para usar eficazmente as ferramentas de depuração que os programadores humanos usam com frequência.
Embora atualmente a IA ainda não consiga substituir os programadores humanos na correção de erros de código, a Microsoft afirma que, com o treino adequado, é provável que essas capacidades melhorem com o tempo.
Loading ...
É só uma questão de tempo…
O Claude 3.7 aumentou a minha produtividade em 1000%.
O que fazia a unha passou tudo para IA, mesmo debug.
concordo
Coloquem a vossa propriedade intelectual, ou da vossa empresa, na IA. O pessoal agradece.
+1
Cosngues dar exemplos de que situações em que conseguiste melhorar a tua produtividade? E como o fizeste?
Por exemplo o tempo que perdia do Github, stackoverflow e Google à procura de ajudar sobre um determidano problema, assunto ou mesmo ver vídeos tutoriais.
Basta-me colocar o meu código (html, php) e explicar o pretentido, na maioria das vezes em menos de 20min. tenho o problema resolvido. Só preciso de ajustar e pedir correcções para obter o que quero.
Diria que poupo horas e dores de cabeça…
Exatamente igual aqui. Então quando era um problema parecido com o que 100 outras pessoas tinham mas não totalmente o mesmo, podia virar as páginas todas do Google e perder um dia em pesquisas/vídeos/aprender uma nova ferramenta desde o início. Agora é só perguntar por extenso. Eu nem costumo meter o meu código, mas antes peço que me dê um programa que faça x e y na linguagem tal que depois eu escolho os bocados que me interessam
Antes da IA nao conseguia passar a nenhuma cadeira de programacao, com o chatGPT tive 16 e 18 em Programacao Orientada a Objectos, e PCD
Assim vais longe, vais
Acredites ou não estamos sempre a aprender, seja pelo método convencional seja a ler código gerado por outros.
Suponho que, a ser verdade, tenha havido discussão oral e aí chapéu, é muito fácil perceber quem sabe e quem não sabe.
Acredites ou não estamos sempre a aprender, seja pelo método convencional seja a ler código gerado por outros.
Suponho que, a ser verdade, tenha havido discussão oral e aí chapéu, é muito fácil perceber quem sabe e quem não sabe.
Detecto até outro problema que não está aqui referido:
Por exemplo a criação de um projecto de programação que tem uma certa dimensão.
Mesmo estando bem documentado, e reportando ao GPT todo o processo, ele acaba por baralhar-se.
Concluí pela minha experiência, que ele funciona bem, no meu caso através do chatgpt, para criação de scripts individuais, ou ligeira complexidade.
Não deixa claro de ser útil, mas é ainda bastante limitado.
Já a correcção dos erros, é um autêntico taralhôco! 🙂
Alguém se esqueceu de testar o Deep Seek. Não que supere o Claud, mas pelo menos aproxima-se. Quase todas as coisas que precisei ver corrigidas foram. Seja pelo código que eu criei e que ele corrigiu, seja pelo código que ele criou e corrigiu. Mas, há outro fator importante a ter em conta. A questão não é se a profissão de programadores vai acabar ou não, porque obviamente isso não vai acontecer. Mas sim, o impacto que vai ter. Um ChatGPT resolve 30% dos erros que cria. E um ser-humano? Ou, e uma equipa de 5 pessoas? Porque é disso que se trata. A percentagem, e o tempo. Coisas que eu levava 5 ou 6 dias a resolver e precisava de andar em fóruns para conseguir, hoje eu despacho em 20 minutos, salvo uma situação que me levou quase hora e meia a resolver. Imagino quanto isso me teria levado, e com ajuda, sem o Deep Seek.
Pode-se não gostar do Deep Seek em va´rias coisas mas é preciso ter em conta um fator muito importante. O ChatGPT tem uma base de conhecimento de Setembro ou Dezembro de 2021. O Deep Seek vai até Julho de 2024. Isso faz diferença, não só na evolução, mas na quantidade de informação que foi disponibilizada. São mais de 2 anos e meio de diferença entre 1 e outro.
A base de conhecimento do chat gpt é de Junho de 2024.
Falo da versão paga, evidentemente.
A versão gratuíta sim, é por essa data.
É verdade que permite melhor a produtividade, principalmente se as questões se focarem num problema específico e num subconjunto de código. Mas para problemas complexos, pode dar uma ilusão de uma solução, mas que por vezes desmorona com uma análise mais cuidada. Para boilerplate code, permite de facto ser mais agil, mas para problemas mais complexos ou edge cases, é muito fácil cometer erros, principalmente lógicos, que nem sempre são fáceis de detectar. E problema agrava-se quando o volume de código aumenta ou quando existe mistura de tecnologias.
O maior problema não será para a malta que já tem experiência, mas sim para os que estão a começar e que possivelmente estarão muito dependentes da IA para a resolução de problemas, não tendo a oportunidade de ganhar experiência e de desenvolver o seu sentido crítico.
Uso muito, para scripts pequenos, nunca para grandes ficheiros ou projetos. Mesmo o copilot do vs code baralha-se se levar um uma ganda classse. Acho que ainda estou safo como programador xD
No meu caso, o Deep Seek veio resolver-me ainda uma outra questão: muitos dos fóruns carecem de acessibilidade a pessoas cegas, o que dificulta não programar, mas sim encontrar as soluções nesses fóruns. O Deep Seek é acessível, e ajusta o código que eu fiz, às soluções que procuro. Claro, em algum momento estes serviços vão perder a acessibilidade como já fizeram com o GMail e o Facebook, que não são ias mas são serviços relevantes. Mas por enquanto, há que aproveitar, enquanto funciona.
Mas de facto, se eu não tivesse um raciocínio crítico apurado, já teria sido levado ao engano com facilidade, e ficaria a achar que o erro era meu.