Proponha uma correção, faça uma sugestão
AMD apresenta computador pessoal capaz de executar IA com um bilião de parâmetros
Enquanto a corrida da inteligência artificial (IA) continua dominada pelos gigantes da nuvem, a AMD decidiu mudar as regras do jogo. Na feira tecnológica IFA, em Berlim, a fabricante norte-americana apresentou um verdadeiro "supercomputador pessoal" capaz de processar modelos de IA com mais de um bilião de parâmetros.
AMD avança na nova era de computação local
Durante a prestigiada feira tecnológica IFA, a AMD surpreendeu a indústria ao apresentar a Threadripper Halo Station. Este equipamento foi concebido especificamente para responder às exigências brutais das cargas de trabalho de IA moderna.
No coração deste colosso tecnológico encontram-se especificações que rivalizam com servidores corporativos. A máquina vem equipada com até dois terabytes de memória do sistema, uns impressionantes 576 gigabytes de memória de alta largura de banda (HBM3E) e 96 núcleos de processamento Threadripper Pro.
O conjunto é complementado por dois aceleradores de centro de dados MI350P e por um avançado sistema de arrefecimento líquido.
Durante a demonstração, a AMD provou a capacidade do hardware ao gerar um simulador de voo tridimensional completo a partir de uma única instrução de texto, evidenciando o poder de executar modelos com mais de um bilião de parâmetros.
A batalha contra a Nvidia e os custos da nuvem
Embora o preço final ainda não tenha sido anunciado oficialmente, estima-se que a Threadripper Halo Station possa ultrapassar os 100 mil euros, posicionando-se como um investimento direcionado a empresas e instituições de investigação.
O seu principal rival é o Nvidia DGX Station, contudo a proposta da AMD destaca-se por oferecer o triplo da capacidade de memória.
Esta autonomia local permite que as organizações evitem a dependência e os custos crescentes dos serviços de computação em nuvem, garantindo uma maior privacidade e redução de custos operacionais.
Leia também:
Loading ...
Quem se quiser entreter, veja o que são parâmetros em IA.
Para se quantificar o número de parâmetros, tem-se a chatice habitual dos sistema de numeração:
– 10⁹ (1 000 000 000) = billion (B, usado internacionalmente em IA) = mil milhões, em Portugal/Europa
– 10¹² (1 000 000 000 000) = trillion (T, usado internacionalmente em IA) = bilião, em Portugal/Europa
Então está certo o que diz o post: a AMD diz que o Threadripper Halo Station suporta modelos de IA de mais de 1 “trillion” de parâmetros, traduzido para 1 bilião em Portugal.
Para se perceber a capacidade do “bicho”, compare-se:
– a grande maioria dos modelos open-weight (pesos abertos) não ultrapassa os 100 mil milhões [100 B(illion)], como é o caso da Família Llama da Meta. Para correrem localmente têm versões muito mais pequenas.
– Diz o Gemini que “Quando a AMD diz que a máquina é capaz de correr modelos de 1 “trillion”/bilião de parâmetros, está-se a referir a Frontier Models e Foundation Models” closed-weight (modelos de pesos fechados, proprietários, mais avançados).
E acrescenta quanto aos modelos Internos e Industriais (In-House Modeles): grandes organizações (financeiras, defesa, saúde, farmacêuticas e automóveis) não podem enviar dados confidenciais para as APIS na nuvem. Estas empresas treinam ou refinam (fine-tuning) os seu próprios modelos gigantescos /a rondar 500 mil milhões a 1 bilião de parâmetros) e precisam de estações locais (on-promise para operar).
Não é dito o preço apenas que ficará acima dos 100.000 dólares de uma solução da concorrente NVIDIA, que até não parece muito caro.
Mas não deixa de ter graça chamar à estação de trabalho “supercomputador pessoal”.
P.S: Não vale a pena alugar uma máquina como esta (física ou em servidores cloud) com um um modelo de 1 bilião de parâmetros para saber como é. Para responder a uma questão só usam uma pequena fração.
O filtro não me aprecia particularmente 🙂
Estou em crer que o comentário que me “comeu” tem interesse.
O seu principal rival é o Nvidia DGX Station, contudo a proposta da AMD destaca-se por oferecer o triplo da capacidade de memória.
Wrong.
Principal rival é Mac Studio, 1 Mac Studio vale por dois DGX ao mesmo valor de 9k
😀 começares com “Wrong” não substitui identificar corretamente o equipamento. Estás a falar do DGX Station ou do DGX Spark? O artigo menciona o Station; a NVIDIA especifica atualmente 748 GB de memória para esse modelo, enquanto o Spark tem 128 GB. São máquinas diferentes.
E “um Mac Studio vale por dois DGX” significa exatamente o quê? Mais memória? Mais tokens por segundo? Melhor desempenho em treino? Com que configuração, modelo e quantização? Sem isso, e sem esclarecer a moeda e as configurações desses “9k”, estás a apresentar uma conclusão sem demonstrar a comparação.
O Mac Studio pode ser uma alternativa para IA local. Isso não prova que seja o principal rival desta AMD, muito menos que substitua dois equipamentos NVIDIA em qualquer tarefa. Falta o benchmark entre o “Wrong” e a certeza. 😉