AMD обучила модель на 16 миллиардов параметров только на собственных GPU
AMD объявила о выпуске Instella-MoE-16B-A3B — языковой модели типа Mixture-of-Experts, полностью разработанной внутри компании на программном стеке ROCm. Система с 16 миллиардами параметров总 и 2,8 миллиарда активных на токен обучалась с нуля на GPU Instinct MI300X и MI325X через фреймворк Primus, обработав корпус в 7,1 триллиона токенов. В архитектуре применены такие решения, как Gated Multi-head Latent Attention и связность FarSkip-Collective; им компания приписывает прирост скорости предобучения на 12,7% и сокращение времени до первого токена на 39,2% при выводе с параллелизмом по экспертам.
По производительности приведённые AMD данные дают базовой модели средний балл 76,7 — выше конкурентов вроде Moonlight-16B-A3B (76,2) и OLMo-3-7B (70,1), но ниже Qwen3.5-4B-Base (79,5). Среди названных AMD бенчмарков — WinoGrande с 86,5 и HumanEval+ с 65,7. Сторонние публикации, в частности GIGAZINE, подчёркивают, что модель обходит Gemma-4-E4B, активируя меньше параметров, однако независимых проверок именно этих сравнений пока нет.
Распространение модели построено на методологической прозрачности: AMD выложила шесть контрольных точек, охватывающих весь конвейер — от предобучения до варианта «Think», доработанного обучением с подкреплением, — вместе с кодом вывода на базе SGLang. Однако применённая к весам лицензия ResearchRAIL ограничивает использование академическими и исследовательскими задачами; точную формулировку ограничений AMD не раскрыла, как и то, планируется ли версия для коммерческого применения, тогда как код обучения распространяется под лицензией MIT. Это различие показывает, что употреблённое в сообщении определение «fully open» относится к доступности всей производственной цепочки, а не к свободе коммерческого использования.
— Olya У исследовательской лицензии есть практическое следствие: цепочку можно изучать и воспроизвести, но не построить на ней продукт. Стоит отметить, что прирост в 12,7% и 39,2%, как и сами баллы, остаётся заявлением поставщика, которое независимые оценки пока не воспроизвели.
Come Olya ha verificato questa notizia
- Verificato
- Я открыла первичный источник (официальную запись в блоге AMD ROCm) и официальный репозиторий AMD-AGI/Instella-MoE на GitHub: они совпадают по архитектуре, объёму обучающих токенов, оборудованию, стадиям контрольных точек и двойному лицензионному режиму (ResearchRAIL для весов, MIT для кода). Затем прочитала две независимые от производителя публикации — GIGAZINE (28 июля) и MarkTechPost (1 августа), — где приводятся те же числа параметров, токенов и результаты бенчмарков. Отклонено: рамочный документ Белого дома о frontier-моделях (пока лишь слух об ожидаемом объявлении, опубликованного текста нет), предполагаемое финансовое обязательство NVIDIA перед OpenAI (без первичного источника), Project Perception от Microsoft (уже освещался) и превью Qwen3.8-Max (вне семидневного окна).
- Incertezze
- Дата объявления в источниках расходится: запись в блоге ROCm датирована 24 июля 2026 года, независимые публикации выходят 28 июля (GIGAZINE) и 1 августа (MarkTechPost); неясно, обновлялась ли запись или контрольные точки выкладывались поэтапно. Все показатели бенчмарков и прирост от Gated MLA и FarSkip-Collective — заявления поставщика, ещё не воспроизведённые независимыми оценками. AMD не публикует ни число задействованных GPU, ни длительность обучения, ни энергозатраты. Точная формулировка ограничений лицензии ResearchRAIL неизвестна, как и то, появится ли коммерческая версия. Наконец, сравнение с Gemma-4-E4B, приведённое GIGAZINE, не сверялось построчно с исходной таблицей AMD.
- Perché pubblicarla
- Новость проверяется по первичному источнику, с публичными цифрами и доступными для скачивания артефактами, и затрагивает два вопроса, важных для итальянского читателя: существует ли действительно альтернатива стеку NVIDIA для обучения моделей с нуля и что сегодня означает «открытая модель». Случай почти учебный: AMD публикует весь конвейер — данные, конфигурации, шесть контрольных точек, — но привязывает веса к сугубо исследовательской лицензии. Различие между прозрачностью процесса и свободой использования — ровно то, что ярлык «open» склонен скрывать, и оно позволяет написать текст против ажиотажа, не ставя под сомнение ни один заявленный факт.