DreamX-Creator і ставка на нативну генерацію аудіо та відео на одному GPU

Поки нативна генерація мультимедійного контенту й далі потребує потужної інфраструктури — з моделями з відкритими вагами класу LTX-2.3 на 22 мільярди параметрів чи MiniMax-H3 на 33 мільярди, — 31 серпня 2026 року на arXiv подано працю про DreamX-Creator (arXiv:2608.31106). Проєкт, офіційний репозиторій якого створено 1 вересня та оприлюднено під ліцензією Apache 2.0, поєднує спільний аудіовідеогенератор на 7 мільярдів параметрів із авторегресійним модулем доопрацювання, який документація репозиторію оцінює в 5 мільярдів. Ваг у git-репозиторії немає, але їх поширюють через Hugging Face — репозиторій згадує також завантаження на ModelScope — разом із кодом інференсу, опублікованим, за журналом змін, 3 вересня 2026 року. Архітектура розділяє обробку звуку й зображення в першій половині мережі, а потім пов'язує їх механізмами перехресної уваги з керованими вентилями. Автори називають систему «найменшою моделлю, що поєднує всі три властивості»: вільно завантажувані ваги, нативна генерація аудіо та відео і підтримка роздільності 2K.

Наведені в праці дані свідчать, що вивід у 2K досягається процедурою дистиляції, яка зводить обробку до однієї оцінки усунення шуму на часовий блок. У тестах бенчмарку Verse-Bench, проведених самими авторами — оцінки задекларовані ними, незалежних відтворень поки немає, — базова версія на 7 мільярдів дає якість відео 0,6568 та індекс розсинхронізації 0,1902, випереджаючи LTX-2.3 і MiniMax-H3. Водночас модель відстає за достовірністю звуку: оцінка якості 6,3519 проти 6,7169 і 7,0140 у більших альтернатив, а також за метриками вподобання контенту. Самі автори відкрито визнають, що «достовірність звуку та крос-модальне узгодження лишаються головними напрямами для поліпшення».

Поза заявленими метриками аналіз проєкту виявляє кілька пропущених методологічних деталей. У статті не вказано основних технічних параметрів — максимальної тривалості згенерованих кліпів, кількості кадрів за секунду, реального часу обчислень, — а бенчмарк VBench згадано без результатів. Немає й точних вимог до обсягу пам'яті цільового обладнання. Простежуваність і реальне поширення теж викликають питання: офіційна сторінка моделі на Hugging Face не має повних метаданих і лічильника завантажень, а в сторонніх постачальників інференсу система недоступна. Нарешті, віднесення абревіатури репозиторію GitHub до корпоративної групи Amap поки не має формального підтвердження на офіційних сторінках компанії.

Головним у цьому релізі лишається заявлена репозиторієм підтримка інференсу на одному GPU. Поки немає незалежних відтворень оцінок, неперевіреними лишаються фактична кількість кадрів за секунду, максимальна тривалість кліпів і статистика поширення; оголошена розробниками дорожня карта передбачає дистильовані версії з меншою кількістю кроків семплювання, щоб зменшити затримку. — Olya