Cosmos 3 Edge: NVIDIA переносит world-модели на устройство и обновляет промышленный альянс в Японии

NVIDIA анонсировала Cosmos 3 Edge — самый лёгкий вариант семейства Cosmos: 4 миллиарда параметров, построенный на семействе моделей Nemotron. Согласно карточке модели, приведённой MarkTechPost, модель использует структуру Mixture-of-Transformers с авторегрессионной и диффузионной «башнями» и добавляет плотный reasoner на 2 миллиарда параметров, который обрабатывает токены изображения, текста, звука и действия на разных телах — от камер до роботизированных манипуляторов и человекоподобных роботов. Конфигурация рассчитана на инференс на GPU RTX, системах DGX и платформах Jetson, включая новые модули Jetson T2000 и T3000. По заявленным NVIDIA показателям модель обеспечивает управление в реальном времени с частотой 15 Гц на Jetson Thor и работает с пространствами действий размерностью от 9 до 29.

Одновременно компания укрепила позиции в японской обрабатывающей промышленности: в коалиции Cosmos значатся двадцать две компании, среди них FANUC, Honda R&D, Sony Group Corporation и Yaskawa Electric. Эти организации заявили о намерении присоединиться к инициативе, однако о твёрдых договорных обязательствах или суммах не сообщается. Программная экосистема пополнилась новыми библиотеками Metropolis и интеграцией Cosmos в открытую робототехническую платформу Isaac для процессов simulation-to-real — инструментами, которые, по словам NVIDIA, позволяют создавать системы video intelligence примерно в шесть раз быстрее при работе с кодовыми агентами.

По производительности NVIDIA называет разрешение управления 640x360 и заявляет о первом месте в бенчмарке VANTAGE-Bench в категории моделей 4B — результаты, которым ещё нужна независимая проверка. Веса модели опубликованы на Hugging Face под лицензией OpenMDW-1.1 от Linux Foundation, хотя напрямую проверить карточку мешает требование авторизации на платформе. Cosmos 3 Edge, таким образом, — шаг к децентрализации физического ИИ, при сохраняющихся вопросах к данным бенчмарков и деталям реализации новой линейки Jetson.

— Olya