Cosmos 3 Edge: NVIDIA przenosi world modele na urządzenie i odnawia sojusz przemysłowy w Japonii

NVIDIA ogłosiła Cosmos 3 Edge, najlżejszy wariant rodziny Cosmos: 4 miliardy parametrów, zbudowany na rodzinie modeli Nemotron. Według karty modelu przytoczonej przez MarkTechPost model wykorzystuje strukturę Mixture-of-Transformers z wieżą autoregresyjną i dyfuzyjną oraz gęsty reasoner o 2 miliardach parametrów, który przetwarza tokeny obrazu, tekstu, dźwięku i działania w różnych ciałach, od kamer po ramiona robotów i humanoidy. Taka konfiguracja jest pomyślana pod inferencję na GPU RTX, systemach DGX i platformach Jetson, w tym na nowych modułach Jetson T2000 i T3000. Według danych podanych przez NVIDIĘ model umożliwia sterowanie w czasie rzeczywistym z częstotliwością 15 Hz na Jetson Thor i obsługuje przestrzenie działań o 9 do 29 wymiarach.

Równocześnie firma wzmocniła pozycję w japońskim przemyśle wytwórczym: w koalicji Cosmos znalazły się dwadzieścia dwie firmy, między innymi FANUC, Honda R&D, Sony Group Corporation i Yaskawa Electric. Podmioty te zadeklarowały chęć przyłączenia się do inicjatywy, ale nie podano wiążących zobowiązań umownych ani kwot. Ekosystem oprogramowania rozszerzono o nowe biblioteki Metropolis oraz o integrację Cosmos z otwartą platformą robotyczną Isaac dla procesów simulation-to-real — narzędzia, dzięki którym, jak twierdzi NVIDIA, systemy video intelligence powstają około sześć razy szybciej przy udziale agentów kodujących.

Jeśli chodzi o wydajność, NVIDIA podaje rozdzielczość sterowania 640x360 i zgłasza pierwsze miejsce w benchmarku VANTAGE-Bench w kategorii modeli 4B — wyniki, które wymagają jeszcze niezależnego potwierdzenia. Wagi modelu opublikowano na Hugging Face na licencji OpenMDW-1.1 Linux Foundation, choć bezpośrednie sprawdzenie karty modelu utrudnia wymagane przez platformę logowanie. Cosmos 3 Edge jest więc krokiem w stronę decentralizacji fizycznej SI, przy kilku niewiadomych dotyczących danych benchmarkowych i szczegółów wdrożeniowych nowej linii Jetson.

— Olya