Quantcast

AMD apresenta computador pessoal capaz de executar IA com um bilião de parâmetros

9 Comentários

Enquanto a corrida da inteligência artificial (IA) continua dominada pelos gigantes da nuvem, a AMD decidiu mudar as regras do jogo. Na feira tecnológica IFA, em Berlim, a fabricante norte-americana apresentou um verdadeiro “supercomputador pessoal” capaz de processar modelos de IA com mais de um bilião de parâmetros.

AMD avança na nova era de computação local

Durante a prestigiada feira tecnológica IFA, a AMD surpreendeu a indústria ao apresentar a Threadripper Halo Station. Este equipamento foi concebido especificamente para responder às exigências brutais das cargas de trabalho de IA moderna.

No coração deste colosso tecnológico encontram-se especificações que rivalizam com servidores corporativos. A máquina vem equipada com até dois terabytes de memória do sistema, uns impressionantes 576 gigabytes de memória de alta largura de banda (HBM3E) e 96 núcleos de processamento Threadripper Pro.

O conjunto é complementado por dois aceleradores de centro de dados MI350P e por um avançado sistema de arrefecimento líquido.

Durante a demonstração, a AMD provou a capacidade do hardware ao gerar um simulador de voo tridimensional completo a partir de uma única instrução de texto, evidenciando o poder de executar modelos com mais de um bilião de parâmetros.

A batalha contra a Nvidia e os custos da nuvem

Embora o preço final ainda não tenha sido anunciado oficialmente, estima-se que a Threadripper Halo Station possa ultrapassar os 100 mil euros, posicionando-se como um investimento direcionado a empresas e instituições de investigação.

O seu principal rival é o Nvidia DGX Station, contudo a proposta da AMD destaca-se por oferecer o triplo da capacidade de memória.

Esta autonomia local permite que as organizações evitem a dependência e os custos crescentes dos serviços de computação em nuvem, garantindo uma maior privacidade e redução de custos operacionais.

 

Leia também:

AMALIA entra numa nova fase: IA portuguesa ganha capacidades de texto, voz e imagem

Comentários

9

Deixe um comentário

O seu endereço de email não será publicado. Campos obrigatórios marcados com *

  1. Avatar de Max
    Max

    Quem se quiser entreter, veja o que são parâmetros em IA.
    Para se quantificar o número de parâmetros, tem-se a chatice habitual dos sistema de numeração:
    – 10⁹ (1 000 000 000) = billion (B, usado internacionalmente em IA) = mil milhões, em Portugal/Europa
    – 10¹² (1 000 000 000 000) = trillion (T, usado internacionalmente em IA) = bilião, em Portugal/Europa
    Então está certo o que diz o post: a AMD diz que o Threadripper Halo Station suporta modelos de IA de mais de 1 “trillion” de parâmetros, traduzido para 1 bilião em Portugal.
    Para se perceber a capacidade do “bicho”, compare-se:
    – a grande maioria dos modelos open-weight (pesos abertos) não ultrapassa os 100 mil milhões [100 B(illion)], como é o caso da Família Llama da Meta. Para correrem localmente têm versões muito mais pequenas.
    – Diz o Gemini que “Quando a AMD diz que a máquina é capaz de correr modelos de 1 “trillion”/bilião de parâmetros, está-se a referir a Frontier Models e Foundation Models” closed-weight (modelos de pesos fechados, proprietários, mais avançados).
    E acrescenta quanto aos modelos Internos e Industriais (In-House Modeles): grandes organizações (financeiras, defesa, saúde, farmacêuticas e automóveis) não podem enviar dados confidenciais para as APIS na nuvem. Estas empresas treinam ou refinam (fine-tuning) os seu próprios modelos gigantescos /a rondar 500 mil milhões a 1 bilião de parâmetros) e precisam de estações locais (on-promise para operar).
    Não é dito o preço apenas que ficará acima dos 100.000 dólares de uma solução da concorrente NVIDIA, que até não parece muito caro.
    Mas não deixa de ter graça chamar à estação de trabalho “supercomputador pessoal”.
    P.S: Não vale a pena alugar uma máquina como esta (física ou em servidores cloud) com um um modelo de 1 bilião de parâmetros para saber como é. Para responder a uma questão só usam uma pequena fração.

  2. Avatar de Max
    Max

    O filtro não me aprecia particularmente 🙂
    Estou em crer que o comentário que me “comeu” tem interesse.

  3. Avatar de Zé Fonseca A.
    Zé Fonseca A.

    O seu principal rival é o Nvidia DGX Station, contudo a proposta da AMD destaca-se por oferecer o triplo da capacidade de memória.

    Wrong.
    Principal rival é Mac Studio, 1 Mac Studio vale por dois DGX ao mesmo valor de 9k

    1. Avatar de Vítor M.

      😀 começares com “Wrong” não substitui identificar corretamente o equipamento. Estás a falar do DGX Station ou do DGX Spark? O artigo menciona o Station; a NVIDIA especifica atualmente 748 GB de memória para esse modelo, enquanto o Spark tem 128 GB. São máquinas diferentes.

      E “um Mac Studio vale por dois DGX” significa exatamente o quê? Mais memória? Mais tokens por segundo? Melhor desempenho em treino? Com que configuração, modelo e quantização? Sem isso, e sem esclarecer a moeda e as configurações desses “9k”, estás a apresentar uma conclusão sem demonstrar a comparação.

      O Mac Studio pode ser uma alternativa para IA local. Isso não prova que seja o principal rival desta AMD, muito menos que substitua dois equipamentos NVIDIA em qualquer tarefa. Falta o benchmark entre o “Wrong” e a certeza. 😉

      1. Avatar de Zé Fonseca A.
        Zé Fonseca A.

        Nevermind, vi DGX e associei ao spark, sendo assim isto são produtos non sense, porque são estamos a falar em competir com GB300 boa sorte, já para não falar que não tem CUDA, por isso é mesmo boa sorte.
        A única hipótese à vista para concorrer com GB300 será o jalapeño, até lá podem continuar a tentar, só a Apple conseguiria uma proeza dessas num curto espaço de tempo mas para isso era preciso querer lançar-se no segmento empresarial

      2. Avatar de Zé Fonseca A.
        Zé Fonseca A.

        When matching local AI hardware dollar-for-dollar at a ~$9,500 budget, you are typically comparing a single Apple Mac Studio (M5 Ultra with 256GB Unified Memory) against a two-node NVIDIA DGX Spark bundle (256GB aggregate memory). [1]
        While NVIDIA’s Blackwell architecture crushes the Mac in raw compute (the “prefill” or prompt processing stage), the Mac Studio is significantly more performant during local LLM token generation (decode stage) and large-model usability. [1, 2, 3]
        Here is exactly how the Mac Studio outperforms the DGX Spark for the same money:
        ## 1. Pure Token Generation Speed (Memory Bandwidth)
        LLM token generation (the “decode” phase) is strictly limited by how fast weights can be streamed from RAM to the processor. [1, 3]

        *
        * Mac Studio (M5 Ultra): Delivers a massive 1.2 TB/s of unified memory bandwidth.
        * DGX Spark (Two-Node Cluster): Each individual node runs on a much narrower 273 GB/s bus. [1, 3, 4]
        *

        Because the M5 Ultra’s memory bus width is roughly 4.4 times wider than a single Spark, it streams data exponentially faster. For dense, large-scale models, a single Mac Studio generates text at speeds the DGX Spark simply cannot hit due to its physical memory bottleneck. [1, 4]
        ## 2. Flat Single Pool vs. Sharded Networking
        To get 256GB of memory with NVIDIA at this price point, you must network two 128GB DGX Spark nodes together. This introduces a massive architectural penalty: [1, 4]

        *
        * The “Cluster Tax”: To run a large 300B-class model across two Sparks, you must use tensor parallelism to shard the model weights. The two machines must constantly exchange intermediate activations over a ConnectX-7 network. Network overhead means you never get 100% linear efficiency. [1, 5]
        * The Mac Advantage: The Mac Studio gives you the entire 256GB in one flat, unified memory address space. The GPU has direct, immediate access to the entire model without any networking layers, cluster management, or container orchestration. [1]
        *

        ## 3. Model Capacity Constraints
        If you want to run massive local models (like a quantized DeepSeek V4 Flash or GLM 5.3 Flash), memory capacity dictates your limits. [1]

        *
        * A single DGX Spark node maxes out at 128GB, completely locking you out of running 300B+ models locally on a single machine.
        * The Mac Studio fits these massive models into its single pool comfortably. If you scale the budget up later, a single Mac Studio can even go up to 512GB of RAM on one desktop, whereas matching that on NVIDIA requires four clustered Sparks, a network switch, and a ~$20,000 price tag. [1, 3, 6, 7]
        *

        ## Direct Comparison Overview

        | Feature | Mac Studio (M5 Ultra, 256GB) | NVIDIA DGX Spark (2-Node Bundle) |
        |—|—|—|
        | Price | ~$9,499 | ~$9,449 |
        | Memory Architecture | Single, unified address space | Distributed (2x 128GB nodes) |
        | Memory Bandwidth | 1.2 TB/s | 273 GB/s per node |
        | Decode (Token Gen) | Significantly Faster | Slower (Limited by bus width) |
        | Prefill (Prompt Ingestion) | Slower | Significantly Faster (Blackwell FP4) |
        | Setup Complexity | Plug-and-play | Linux clusters, networking, Docker/Kubernetes |
        | Acoustics & Environment | Practically silent | Loud desktop fans (~32 dBA under load) |

        ## The Reality Check
        The Mac Studio “wins” purely on token generation speed and large-model simplicity for a single local user. However, it isn’t the absolute winner for every AI task. If your workload involves fine-tuning pipelines, writing custom Triton kernels, or running continuous batching for multiple users, the DGX Spark’s native Ubuntu/CUDA stack and raw Blackwell compute remain unmatched.

    2. Avatar de Max
      Max

      A estação da Nvidia DGX Station e a da AMD do post são de 100.000 euros e acima. O Mac Studio anda pelos 7.000 euros. A da NVIDIA a que ter referes há-de ser uma versão base.

    3. Avatar de Root Acces
      Root Acces

      É com cada bacorada….

    4. Avatar de Abanderado
      Abanderado

      A mim parece-me que o verdadeiro concurrente,, salvo erro 1.3Biliões.
      Da Milkv.io, mas eles só o conseguem fazer, com modelos já quantizados.

      Não sei se a solução da AMd é também com modelos quantizados ou não, porque são modelos caros..