Demonstração incrível da IA para iPad que aponta para um mundo novo na escola

Tal como ontem apresentámos, a OpenAI lançou uma nova solução ainda mais poderosa. Chama-se GPT-4o. E o vídeo que trazemos é uma demonstração insana de um explicador IA para iPad. Os estudantes com estas ferramentas vão mudar para sempre os métodos de ensino.

Se ainda não viu o evento OpenAI de ontem, recomendo vivamente que o faça. A principal notícia prende-se com o mais recente modelo GPT-4o funcionar perfeitamente com qualquer combinação de texto, áudio e vídeo.

Isto inclui a capacidade de “mostrar” à aplicação GPT-4o uma gravação de ecrã que esteja a fazer de outra aplicação - e foi esta capacidade que a empresa mostrou com uma demonstração insana de um explicador de IA para iPad.

GPT-4o: a OpenAI afirmou que o “o” significa “omni”.

Exato, ficamos na dúvida. Afinal, será um zero ou um "o"?

O GPT-4o (“o” de “omni”) é um passo em direção a uma interação homem-computador muito mais natural - aceita como entrada qualquer combinação de texto, áudio e imagem e gera qualquer combinação de texto, áudio e imagens.

Pode responder a entradas de áudio em apenas 232 milissegundos, com uma média de 320 milissegundos, o que é semelhante ao tempo de resposta humana numa conversa [...] O GPT-4o é especialmente melhor na compreensão da visão e do áudio em comparação com os modelos existentes.

Até o aspeto da voz é muito importante. Anteriormente, o ChatGPT podia aceitar entradas de voz, mas convertia-as em texto antes de as utilizar. O GPT-4o, pelo contrário, compreende efetivamente a voz, pelo que salta completamente a fase de conversão.

Como referido ontem, os utilizadores gratuitos também têm acesso a muitas funcionalidades anteriormente limitadas aos assinantes pagantes.

Demonstração do explicador de IA para iPad

Uma das capacidades que a OpenAI demonstrou foi a capacidade do GPT-4o para ver o que está a fazer no ecrã do iPad (em modo de ecrã dividido). O exemplo mostra a IA a dar explicações a um aluno sobre um problema de matemática.

Pode ouvir-se que, inicialmente, o GPT-4o compreendeu o problema e quis resolvê-lo imediatamente. Mas o novo modelo pode ser interrompido e, neste caso, foi-lhe pedido que ajudasse o aluno a resolver o problema.

Outra capacidade que se vê aqui é que o modelo afirma detetar emoções no discurso, e pode também exprimir as suas próprias emoções. Isto poderá ser um pouco exagerado na versão de demonstração, eventualmente poderemos interpretar a IA um pouco condescendente. Mas tudo isso pode ser ajustado.

Efetivamente, todos os estudantes do mundo poderiam ter um explicador privado com este tipo de capacidade.

Até que ponto é que a Apple adotará isto?

Sabemos que a IA é o foco principal do iOS 18, e que a Apple está a finalizar um acordo para trazer as funcionalidades da OpenAI para os seus dispositivos. Embora na altura isso tenha sido descrito como sendo para o ChatGPT, agora parece bastante provável que o acordo real seja para o acesso ao GPT-4o.

Mas também sabemos que a Apple tem estado a trabalhar nos seus próprios modelos de IA, com os seus próprios centros de dados a executar os seus próprios chips. Por exemplo, a Apple tem estado a trabalhar na sua própria forma de permitir que a Siri compreenda os ecrãs das aplicações.

Por isso, não sabemos exatamente quais as capacidades GPT-4o que a empresa irá incluir nos seus dispositivos, mas esta parece tão perfeita para a Apple que tenho de acreditar que será incluída. Isto é utilizar verdadeiramente a tecnologia para dar poder às pessoas.