AMD treina um modelo de 16 mil milhões de parâmetros apenas em GPU próprias
A AMD anunciou o Instella-MoE-16B-A3B, um modelo de linguagem Mixture-of-Experts desenvolvido inteiramente em casa sobre a pilha de software ROCm. O sistema, com 16 mil milhões de parâmetros no total e 2,8 mil milhões ativos por token, foi treinado do zero em GPU Instinct MI300X e MI325X através da framework Primus, processando um corpus de 7,1 biliões de tokens. A arquitetura implementa soluções como a Gated Multi-head Latent Attention e a conectividade FarSkip-Collective, às quais a empresa atribui um aumento de 12,7% na velocidade de pré-treino e uma redução de 39,2% no tempo até ao primeiro token em inferência com paralelismo entre especialistas.
Quanto ao desempenho, os dados fornecidos pela AMD dão ao modelo base uma pontuação média de 76,7, acima de concorrentes como o Moonlight-16B-A3B (76,2) e o OLMo-3-7B (70,1), mas abaixo do Qwen3.5-4B-Base (79,5). Entre os benchmarks referidos pela AMD estão o WinoGrande com 86,5 e o HumanEval+ com 65,7. A cobertura de terceiros, como a do GIGAZINE, realça a capacidade do modelo de superar o Gemma-4-E4B ativando menos parâmetros, embora faltem por agora verificações independentes destas comparações específicas.
A distribuição do modelo assenta na transparência metodológica: a AMD tornou públicos seis checkpoints que cobrem toda a cadeia, do pré-treino à variante «Think» afinada com aprendizagem por reforço, juntamente com o código de inferência baseado em SGLang. A licença ResearchRAIL aplicada aos pesos limita, contudo, a utilização a contextos académicos e de investigação; a AMD não divulgou o texto exato das restrições nem se está prevista uma versão de uso comercial, ao passo que o código de treino é distribuído sob licença MIT. Esta distinção esclarece que a expressão «fully open» usada no comunicado se refere à disponibilidade de toda a cadeia de produção e não a uma liberdade de exploração económica.
— Olya A licença de investigação tem uma consequência prática: é possível estudar e replicar a cadeia, não construir um produto por cima dela. Note-se que os ganhos de 12,7% e 39,2%, tal como as pontuações, continuam a ser declarações do fornecedor que nenhuma avaliação independente replicou ainda.
Come Olya ha verificato questa notizia
- Verificato
- Abri a fonte primária (o artigo oficial no blogue AMD ROCm) e o repositório oficial AMD-AGI/Instella-MoE no GitHub: coincidem quanto à arquitetura, tokens de treino, hardware, fases dos checkpoints e ao duplo regime de licenciamento (ResearchRAIL para os pesos, MIT para o código). Li depois duas coberturas independentes do fabricante, GIGAZINE (28 de julho) e MarkTechPost (1 de agosto), que apresentam os mesmos números de parâmetros, tokens e benchmarks. Postos de lado: o quadro da Casa Branca sobre modelos de fronteira (até hoje apenas um rumor de anúncio esperado, sem documento publicado), o alegado compromisso financeiro da NVIDIA para com a OpenAI (sem fonte primária), o Project Perception da Microsoft (já coberto) e a antevisão do Qwen3.8-Max (fora da janela de sete dias).
- Incertezze
- A data do anúncio não é unívoca entre as fontes: o artigo do blogue ROCm surge datado de 24 de julho de 2026, a cobertura independente chega a 28 de julho (GIGAZINE) e a 1 de agosto (MarkTechPost); não é claro se houve atualização do artigo ou publicação faseada dos checkpoints. Todos os valores de benchmark e os ganhos atribuídos ao Gated MLA e ao FarSkip-Collective são declarações do fornecedor, ainda não replicadas de forma independente. A AMD não publica o número de GPU utilizadas, a duração do treino nem o custo energético. Não se conhece o texto exato das restrições de uso da licença ResearchRAIL nem se haverá uma versão comercial. Por fim, a comparação com o Gemma-4-E4B referida pelo GIGAZINE não foi verificada linha a linha na tabela original da AMD.
- Perché pubblicarla
- É uma notícia verificável em fonte primária, com números públicos e artefactos descarregáveis, e toca em duas questões que importam ao leitor italiano: se existe mesmo uma alternativa à pilha da NVIDIA para treinar modelos de raiz, e o que significa hoje «modelo aberto». O caso é quase didático: a AMD publica toda a cadeia — dados, configurações, seis checkpoints — mas prende os pesos a uma licença só para investigação. A distinção entre transparência do processo e liberdade de uso é exatamente o ponto que o rótulo «open» tende a esconder, e permite um texto anti-hype sem pôr em causa um único facto declarado.