NVIDIA usa Apple Vision Pro para treinar os seus robôs (vídeo)

Apesar da Apple e da NVIDIA hoje já não terem uma tão grande proximidade, a verdade é que os Apple Vision Pro estão a ser uma peça tecnológica importante para treinar os robôs humanoides da empresa das placas gráficas. Vejam o vídeo.

Apple Vision Pro são "os olhos" dos humanoides NVIDIA

No comunicado de imprensa, os Apple Vision Pro aparecem duas vezes como um instrumento para controlar os robôs da NVIDIA no que diz respeito ao microsserviço MimicGen NIM.

Segundo se pode ver, a Nvidia utiliza a tecnologia de realidade mista da empresa de Cupertino para criar dados sintéticos por forma a treinar as inteligências artificiais que imitam movimentos humanos.

O treino de modelos de base para robôs humanoides requer uma quantidade incrível de dados. Uma forma de captar dados de demonstração humana é utilizar a teleoperação, mas isto está a tornar-se um processo cada vez mais caro e demorado.

Um fluxo de trabalho de referência de teleoperação com suporte NVIDIA AI e Omniverse, demonstrado na conferência de computação gráfica SIGGRAPH, permite aos investigadores e programadores de AI gerar grandes quantidades de dados de movimento e perceção sintéticos a partir de uma quantidade mínima de demonstrações humanas captadas remotamente.

Primeiro, os programadores utilizam os Apple Vision Pro para captar um pequeno número de demonstrações teleoperadas. Em seguida, simulam as gravações no NVIDIA Isaac Sim e utilizam o microserviço MimicGen NIM para gerar conjuntos de dados sintéticos a partir das gravações.

Os programadores treinam o modelo de fundação humanoide do Projeto GR00T com dados reais e sintéticos, permitindo aos programadores poupar tempo e reduzir custos. Em seguida, utilizam o microsserviço Robocasa NIM no Isaac Lab, uma estrutura para a aprendizagem de robôs, para gerar experiências para treinar novamente o modelo do robô.

Durante todo o fluxo de trabalho, o NVIDIA OSMO atribui perfeitamente trabalhos de computação a diferentes recursos, poupando semanas de tarefas administrativas aos programadores.

Podemos ler no comunicado da empresa.

O treino de IA para robôs humanoides é parte da iniciativa "moonshot". O projeto procura construir um cérebro universal para robôs com estrutura similar a de humanos.