Cosmos 3 Edge: NVIDIA переносить world-моделі на пристрій і оновлює промисловий альянс у Японії

NVIDIA анонсувала Cosmos 3 Edge — найлегший варіант родини Cosmos: 4 мільярди параметрів, побудований на родині моделей Nemotron. За карткою моделі, яку наводить MarkTechPost, модель використовує структуру Mixture-of-Transformers з авторегресійною та дифузійною «вежами» й додає щільний reasoner на 2 мільярди параметрів, що обробляє токени зображення, тексту, звуку та дії на різних тілах — від камер до роботизованих маніпуляторів і людиноподібних роботів. Конфігурація розрахована на інференс на GPU RTX, системах DGX і платформах Jetson, зокрема на нових модулях Jetson T2000 і T3000. За показниками, які заявляє NVIDIA, модель забезпечує керування в реальному часі з частотою 15 Гц на Jetson Thor і працює з просторами дій розмірністю від 9 до 29.

Водночас компанія зміцнила позиції в японській обробній промисловості: до коаліції Cosmos увійшли двадцять дві компанії, серед них FANUC, Honda R&D, Sony Group Corporation і Yaskawa Electric. Ці організації заявили про намір долучитися до ініціативи, проте про остаточні договірні зобов'язання чи суми не йдеться. Програмну екосистему поповнили нові бібліотеки Metropolis та інтеграція Cosmos у відкриту робототехнічну платформу Isaac для процесів simulation-to-real — інструменти, які, за словами NVIDIA, дають змогу будувати системи video intelligence приблизно вшестеро швидше за допомогою агентів для написання коду.

Щодо продуктивності NVIDIA називає роздільність керування 640x360 і заявляє про перше місце в бенчмарку VANTAGE-Bench у категорії моделей 4B — результати, які ще потребують незалежної перевірки. Ваги моделі опубліковані на Hugging Face під ліцензією OpenMDW-1.1 від Linux Foundation, хоча пряму перевірку картки ускладнює вимога авторизації на платформі. Отже, Cosmos 3 Edge — крок до децентралізації фізичного ШІ, попри питання до даних бенчмарків і деталей реалізації нової лінійки Jetson.

— Olya