ロボットAIは「次の映像」と「次の動作」を同時に学ぶ――NVIDIA Cosmos 3の仕組み｜2026年8月20日版

2026年8月20日

ロボットAIは「次の映像」と「次の動作」を同時に学ぶ――NVIDIA Cosmos 3の仕組み｜2026年8月20日版

ロボットAIの開発は、カメラ映像を理解して命令に応じる段階から、動いた後の世界まで予測する段階へ進んでいます。その代表例が、NVIDIAのオープンな世界基盤モデル「Cosmos 3」です。

Cosmos 3の核心は、周囲の状況を言葉で理解するだけでなく、次に起こる映像とロボットの動作を同じモデルで生成できること。2026年8月18〜19日に開催されたロボティクス会議「Actuate 2026」でも、物理推論、合成データ、方策評価、Jetson Thorでのリアルタイム制御をつなぐ基盤として紹介されました。

映像・言語・音・動作を一つのモデルで扱う
「理解」と「生成」を役割の異なる2系統で処理する
16BのNano、64BのSuper、エッジ向けモデルを用途で使い分ける
実機導入では安全検証と計算資源の見積もりが欠かせない

Cosmos 3は何を変えるのか

従来のロボット開発では、物体認識、経路計画、動作生成、シミュレーションを別々のモデルやソフトウェアで組み合わせる構成が一般的でした。部品ごとの性能を管理しやすい一方、映像の理解と動作結果の予測が分断されやすいという課題があります。

Cosmos 3は、テキスト、画像、動画、環境音、アクションを横断して扱います。たとえば倉庫の映像から箱と作業者の位置関係を読み取り、ロボットアームを動かした場合の次の状態と、必要な操作系列を生成する設計です。

重要なのは、単なる動画生成モデルではない点です。ロボットの制御候補と、その操作によって生じる未来の映像を対応づけられるため、開発者は「何をするか」と「その結果どうなるか」を同じ学習基盤で扱えます。

Mixture-of-Transformersが理解と生成をつなぐ

Cosmos 3は、役割の異なる2つの系統を組み合わせるMixture-of-Transformers（MoT）アーキテクチャを採用しています。

Reasonerは状況を読み解く

Reasonerは自己回帰型の視覚言語モデルです。画像、動画、テキストから、物体の関係、動き、周囲の文脈を読み取ります。

ここで得られるのは、「箱の手前に障害物がある」「人が作業領域へ近づいている」といった意味レベルの理解です。Reasonerだけを独立して使い、映像解析に利用することもできます。

Generatorは未来と動作を作る

Generatorは拡散モデルを使い、Reasonerの理解を条件として画像、動画、音、アクションを生成します。テキストは次のトークンを順番に予測し、動画や動作のような連続的な情報は反復的なノイズ除去によって合成する仕組みです。

Generatorを動かす際はReasonerも使われます。先に状況を読み、その理解に沿って未来の状態や操作を作る二段構えです。

ここがポイント: Cosmos 3はロボットに直接「正解の動作」を渡すだけではなく、動作後の世界も予測させます。制御と未来予測を一緒に学べることが、従来の視覚・言語・動作モデルとの大きな違いです。

Nano、Super、Edgeはどこで使い分けるか

公開情報では、主に次のモデルが示されています。

Cosmos 3 Nano（16B）：ワークステーション級の環境やリアルタイム推論を想定
Cosmos 3 Super（64B）：高い生成品質と物理推論性能を重視し、データセンターでの後学習や合成データ生成に利用
Cosmos 3 Edge：Jetson Thor上での視覚推論やロボット方策の実行を想定

NanoとSuperのチェックポイント、学習コード、データセットは公開されています。推論用にはNVIDIA NIMも用意され、Reasonerの提供が始まっています。一方、完全な生成機能を備えたGenerator NIMは、NVIDIAの技術解説時点では今後の提供予定です。

つまり、すべての機能が同じ形で即座に本番導入できるわけではありません。映像解析から試すのか、後学習まで行うのか、実機上で動作させるのかを先に分ける必要があります。

世界アクションモデルがロボット学習を短縮する

ロボットに新しい作業を覚えさせるには、実機を人が操作して大量のデータを集める方法があります。しかし、機体ごとの収集には時間がかかり、衝突や落下のような危険な失敗を網羅することも困難です。

Cosmos 3を使う世界アクションモデル（WAM）は、映像、テキスト、ロボット状態から、未来の映像と動作を共同で予測します。NVIDIAは、幅広い物理世界の事前学習を土台にすることで、新しいアームやグリッパーへ適応する際の実演データを減らせると説明しています。

開発工程では、次のような使い方が考えられます。

実映像と操作データで対象作業を学習させる
世界モデルで珍しい状況や失敗候補を生成する
シミュレーション内で方策を評価する
合格した方策を実機へ移し、安全条件の下で再検証する

ただし、生成映像がもっともらしく見えても、現実の摩擦、重量、センサー遅延まで正確とは限りません。合成データは実機試験の代替ではなく、検証範囲を広げる材料として扱う必要があります。

日本の開発現場への影響

NVIDIAは2026年7月、日本の製造、ロボット、通信各社がCosmos、Isaac、Metropolis、Jetsonを使った開発を進めていると発表しました。日本企業にとっては、工場や物流施設で集めた映像を、認識だけでなく学習用の未来予測や動作生成へつなげられる点が重要です。

開発者が先に確認したい項目

対象ロボットの状態情報とCosmos 3の入出力をどう接続するか
NanoやEdgeで必要な遅延を満たせるか
合成データと実データの比率をどう管理するか
人の接近、停止、権限制御をモデル外の安全機構で担保できるか
モデル、データセット、依存コードのライセンス条件を満たせるか

特に製造設備では、モデルの出力をそのままモーター制御へ渡す構成は避けるべきです。速度制限、立入検知、緊急停止、操作権限といった既存の安全層を残し、その内側でAIの提案を使う設計が現実的です。

継続ウォッチ

次に見るべきなのは、デモ映像の品質だけではありません。

Cosmos 3 Generator NIMの提供時期と対応ハードウェア
Edge版の実機上の遅延、消費電力、量子化による精度差
未知の物体や環境で方策が崩れた場合の検出方法
外部機関によるロボット方策と物理整合性の再現評価

世界モデルが本当に開発期間を縮めるかは、少数の実演で別の機体へ適応できるか、そして危険な誤動作を実行前に止められるかで決まります。実機導入を検討するチームは、生成品質より先に、評価データと停止条件を設計する必要があります。

参照リンク

よかったらシェアしてね！

URLをコピーしました！

URLをコピーしました！