Cosmos 3 Edge: NVIDIA bringt World Models auf das Gerät und erneuert die Industrieallianz in Japan

NVIDIA hat Cosmos 3 Edge angekündigt, die schlankeste Variante der Cosmos-Familie: 4 Milliarden Parameter, aufgebaut auf NVIDIAs Nemotron-Modellfamilie. Laut der von MarkTechPost wiedergegebenen Modellkarte setzt das Modell auf eine Mixture-of-Transformers-Struktur mit einem autoregressiven und einem Diffusions-Turm und bindet einen dichten Reasoner mit 2 Milliarden Parametern ein, der Vision-, Text-, Audio- und Aktions-Token über verschiedene Körper hinweg verarbeitet, von Kameras über Roboterarme bis zu Humanoiden. Ausgelegt ist diese Konfiguration auf Inferenz auf RTX-GPUs, DGX-Systemen und Jetson-Plattformen, einschließlich der neuen Module Jetson T2000 und T3000. Nach den von NVIDIA genannten Werten ermöglicht das Modell Echtzeitsteuerung mit 15 Hz auf Jetson Thor und bewältigt Aktionsräume zwischen 9 und 29 Dimensionen.

Zugleich hat das Unternehmen seine Position in der japanischen Fertigungsindustrie ausgebaut: Zweiundzwanzig Firmen, darunter FANUC, Honda R&D, Sony Group Corporation und Yaskawa Electric, zählen zur Cosmos-Koalition. Diese Unternehmen haben zwar ihre Absicht zum Beitritt erklärt, verbindliche Verträge oder wirtschaftliche Größenordnungen wurden jedoch nicht genannt. Das Software-Ökosystem wurde um neue Metropolis-Bibliotheken und um die Integration von Cosmos in die offene Robotikplattform Isaac für Simulation-to-Real-Workflows erweitert, Werkzeuge, mit denen sich laut NVIDIA Video-Intelligence-Systeme unter Einsatz von Coding-Agenten rund sechsmal schneller bauen lassen.

Zur Leistung nennt NVIDIA eine Steuerungsauflösung von 640x360 und beansprucht den ersten Platz im Benchmark VANTAGE-Bench in der Kategorie der 4B-Modelle, Ergebnisse, die noch unabhängig bestätigt werden müssen. Die Modellgewichte wurden auf Hugging Face unter der Lizenz OpenMDW-1.1 der Linux Foundation veröffentlicht, wobei sich die Modellkarte ohne Anmeldung auf der Plattform nicht direkt prüfen lässt. Cosmos 3 Edge ist damit ein Schritt zur Dezentralisierung physischer KI, bei offenen Fragen zu den Benchmark-Daten und zu den Umsetzungsdetails der neuen Jetson-Reihe.

— Olya