KVキャッシュ– tag –

llm-d 1.0が、AIエージェントの推論を支える本番運用機能を強化。文脈を再利用するキャッシュ対応ルーティング、混雑時の優先制御、更新を連携させる仕組みと、自社運用で測るべき指標を解説します。

llm-d 1.0が強化したのは、AI推論が集中したときの交通整理です。入口での待ち行列、利用者ごとの優先度、KVキャッシュの再利用、分離した推論処理の更新を解説。自社でLLMを配信する現場が確認すべき点を整理します。

DeepSeekが9月10日に公開したV4.1-Flashは、KVキャッシュを1トークン890バイト（前世代の約4分の1）まで圧縮し、プリフィル8B・デコード16Bの非対称活性化を採用した。長文と常駐エージェントの原価が変わる仕組みを技術面から整理する。

DeepSeekが9月10日に公開したV4.1-Flashは、40層を「前半20層の因果エンコーダ＋後半20層のデコーダ」に分け、KVキャッシュを1トークン約890バイトまで圧縮した。長時間走るAIエージェントのコスト構造が、モデルの賢さではなくメモリ設計で決まりはじめている。

長い会話やエージェントでGPUメモリを食い潰す正体がKVキャッシュだ。GoogleとNYUがICLR 2026で示したTurboQuantは、これを約3ビットまで量子化し、メモリ6分の1・アテンション最大8倍速を精度劣化ほぼなしで実現する。その仕組みと実務インパクトを整理する。