NVIDIA Cosmos 3: négy nyílt world sim modell

Mi történt?

Az NVIDIA november 5-én a Hugging Face-en bemutatta a Cosmos 3 család négy új open-weight checkpointját (Hugging Face). Mind a négy a Cosmos 3 Nano utántanított példája, 16 milliárd tanítható paraméterrel, OpenMDW 1.1 licenccel, így kereskedelmi és nem kereskedelmi használatra is elérhető a feltételek szerint.

A négy modell

• Cosmos3-Nano-Transfer-Auto: offline szintetikus vezetési adat, legfeljebb 11 kameranézet (hal-szem is), közös RGB–LiDAR generálás, időjárás, fény és napszak változtatható.
• Cosmos3-Nano-Sim-Auto: a Transfer-Auto kauzálisan desztillált streaming változata: szinkron kamera- és LiDAR-megfigyelések gyors, interaktív lejátszásra.
• Cosmos3-Nano-Sim-Transfer: fizikai szimulátor depth, szegmentáció, él és blur kontrolljaiból szöveges prompttal fotorealisztikus RGB videót készít.
• Cosmos3-Nano-Sim-Bimanual: kétkarú robot (YAM, AgiBot) akcióiból vagy kamera mozgásából jósol következő videókereteket, joystickról vagy policyből.

Hogyan működik a streaming?

A Cosmos 3 Mixture-of-Transformers gerince szöveget és vizuális generálást külön hálókon kezel, majd figyeléssel köti össze őket. A generátor rövid chunkokat jósol a promptból, a kontrollokból és a generált történetből; temporal-causal attention blokkolja a jövőbeli targeteket. A négy lépéses tanítási recept: bidirectional adaptáció, teacher forcing, consistency distillation, végül self-forcing a generált történet hibáinak kezelésére.

Miért számít?

Robotikában és önvezetésben olyan környezetre van szükség, ahol az akció megváltoztatja a következő megfigyelést. Ezek a checkpointok nyílt kiindulópontot adnak multi-view vezetési adatra, streaming szimulációra, illetve bimanuális manipulációra, post-training receptekkel a saját szenzor-righez. A korábbi Cosmos3-H-Dreams műtétszimulátortól ez a csomag elkülönül: általánosabb world sim, nem sebészeti domain.