動画AIは「見直す」と強くなる DeltaStreamerの記憶と再生の仕組み｜2026年10月19日版
動画の内容を文章で記憶しても、後から聞かれる細部まで残せるとは限りません。10月14日に論文が公開された「DeltaStreamer」は、映像の変化を記録し、質問に答える材料が足りなければ過去のフレームへ戻る動画理解の仕組みです。
核心は、要約した記憶から元の映像へ戻る経路を残すこと。長い動画を扱うAIにとって、何を覚えるかに加え、覚えきれなかった情報をどう確認するかが重要になります。2026年10月19日、日本時間時点で公開されている研究資料をもとに、その設計と実用上の論点を整理します。
- 観察時には、場面の説明と前後のフレームの変化を記録する。
- 質問を受けたら必要な証拠を整理し、記憶を検索する。
- 記憶に細部がなければ、対応する過去の映像を再確認する。
なぜ動画の要約だけでは足りないのか
映像を見ている最中には、後でどんな質問が来るか分かりません。
全体の流れを残す要約では、画面内の小さな文字や短い動作の順序が省かれることがあります。後の質問がその部分を尋ねていたら、要約を読み直しても答えの根拠は増えません。
DeltaStreamerの論文は、こうした問題に対し、観察・記憶・証拠の再取得を組み合わせます。南開大学、ByteDance、IQuest Research、中国科学院自動化研究所に所属する研究者らによる提案で、商用サービスの発表ではなく、動画理解を扱う研究です。論文概要
変化を記録し、質問に応じて映像へ戻る
仕組みは、大きく三つの段階で捉えられます。
1. 「何があるか」と「何が変わったか」を残す
観察では、連続するサンプリング済みフレームを比較します。場面の説明に加え、その間の変化を明示的に記録する設計です。
似た場面の説明を繰り返すだけでは埋もれやすい、出来事の移り変わりを残す狙いがあります。
2. 記憶と元の証拠を結び付ける
観察結果は階層的な文章の記憶として整理されます。重要なのは、まとめた情報から、その根拠となる観察やフレームをたどれることです。
短くまとめても、確認先まで切り捨てない。 この接続が、後の見直しを可能にします。
3. 質問に必要な材料を集める
質問が来ると、プランナーが必要な証拠を整理し、記憶の検索や映像の再確認を導きます。文章の記憶に必要な視覚情報がなければ、過去のフレームを見直します。
著者らのプロジェクトページでも、記憶に残っていない過去の場面の文字を、映像の再確認で補う例が説明されています。仕組みと公開例
評価結果は改善を示すが、万能ではない
著者らは、動画理解の二つのベンチマークで次の総合スコアを報告しています。
- OVO-Bench：66.07%
- StreamingBench：59.53%
論文は、代表的な既存手法に対する改善を報告しています。ただし、この数値を業務動画全般の正答率として読むことはできません。評価用の課題と、実際に利用する映像・質問の条件は分けて考える必要があります。評価を含む論文本文
また、映像へ戻れることと、必要な証拠を必ず見つけられることも別です。検索する場面を誤れば、見直しの機会があっても回答の裏付けにはつながりません。
日本の開発現場では「保存と応答時間」が課題になる
この設計を業務システムへ応用するなら、モデルの選定だけでなく、映像をどう保管し、いつ取り出せるかまで決める必要があります。
以下は、研究の仕組みから導かれる実装上の確認点です。
- 保存期間： 後から質問できる期間と、元映像を保持する期間が合っているか。
- アクセス権： AIが検索できる記憶と、再生できる映像の権限が対応しているか。
- 応答時間： 過去の映像を再確認する追加処理を、用途に必要な時間内に収められるか。
- 検証方法： 回答が正しいかだけでなく、根拠となる場面へ適切に戻れているかを確認できるか。
文章の要約だけを保存する構成では、削った視覚情報を後から取り戻せません。導入を検討する担当者にとっては、保存容量と回答品質を一緒に評価する理由になります。
継続ウォッチ
次に見るべきなのは、総合スコアだけでは分からない運用条件です。
- 動画が長くなったとき、検索と再確認の処理時間がどう変わるか。
- 再確認を使わない場合と比べ、どの種類の質問で改善するか。
- 自社の映像で、必要な細部を検索できるか。
DeltaStreamerが示すのは、動画AIの記憶を要約文だけで完結させず、元の証拠へつなぐ設計です。実用化の評価では、答えの自然さに加え、必要な場面を取り出し、その映像で答えを裏付けられるかを確かめたいところです。