大規模言語モデルの推論コストを決めているのは、実はパラメータ数よりもGPUメモリの居座り方です。会話が長くなるほど、過去のトークン分のKVキャッシュがHBMを占領し、同時にさばけるセッション数が減る。ここが上限になる。
DeepSeekが9月10日（UTC 04:00の料金改定と同時）に公開した DeepSeek-V4.1-Flash は、その1トークンあたりのメモリを 890バイト まで削りました。前世代のV4-Flashの約4分の1です。技術レポートのタイトルがそのまま「KVキャッシュ圧縮の限界を押す」となっている通り、今回の主戦場はベンチマークのスコアではなく、メモリ設計そのものでした。
しかも総パラメータは552B、コンテキストは最大100万トークン、ライセンスはMIT。つまり重みを手元に落として検証できる状態で、この設計が出ています。
先に要点だけ
- KVキャッシュは 1トークン890バイト（V4-Flash比で約1/4、SSD常駐分は約1/8）
- 40層を「20層の因果エンコーダ＋20層のデコーダ」に分け、プリフィルは8B、デコードは16B だけを活性化
- KV本体は FP4（E2M1） で保持し、16チャネルごとにE4M3のスケールを1つ持つ
- Terminal-Bench 2.1で90.6、DeepSWE v1.1で74.2%と、自社の上位機V4-Proを上回る報告
- 9月14日以降、V4-ProへのAPI呼び出しはより安価なV4.1-Flashへ振り替え
890バイトという数字が現場で意味すること
単位がバイトなので実感しにくいのですが、掛け算すると景色が変わります。
100万トークンを抱えたセッションを1つ維持するのに必要なKVキャッシュは、890バイト×100万で およそ890MB。同じ会話をV4-Flashで持てば単純計算で3.5GB前後になります。80GB級のGPU1枚に何セッション載るか、という話に直結する差です。
長文要約を1回投げるだけの用途なら、ここはあまり効きません。効くのは次のような使い方です。
- コードベース全体やログを読ませたまま、何十ターンも往復するエージェント
- 同時接続数が読めない社内チャットやサポート窓口
- 長い履歴を毎回投げ直す代わりに、セッションを生かしたまま保持したいワークフロー
ここがポイント: モデルの「賢さ」が同じでも、1トークンあたりのメモリが4分の1になれば、同じハードで抱えられる会話の数と長さが変わる。長文対応は精度の話だけでなく、メモリ会計の話でもある。
40層を前半後半で役割分担させる「因果エンコーダ・デコーダ」
V4.1-Flashの骨格は、Causal Encoder-Decoder（CED）と呼ばれる構成です。40層のTransformerを、前半20層の因果エンコーダと後半20層のデコーダに分けています。
従来のデコーダ専用モデルは、入力を読む処理と出力を生成する処理を同じ層で同じように回します。V4.1-Flashはここを非対称にしました。
入力を読むときは8B、書くときは16B
公式発表によれば、活性化されるパラメータはプリフィル（入力処理）時が8B、デコード（出力生成）時が16B。総パラメータ552BのMoEに対して、実際に動くのはごく一部です。
この配分には理屈があります。入力の読み込みは大量のトークンを一気に流す計算律速の工程で、出力は1トークンずつ進むメモリ帯域律速の工程。読む側を薄くすれば長いプロンプトが安くなり、書く側に厚みを残せば生成品質を落としにくい。V4-Flashの284Bから総パラメータをほぼ倍にしながら、活性化を絞ることで単価を下げる方向へ振っています。
KVを捨てる、共有する、作り直す
890バイトは1つの魔法ではなく、層ごとに違う扱いを組み合わせた結果です。モデルカードから読み取れる仕掛けは主に3つです。
- SWA Bounded Replay：スライディングウィンドウ注意のKVを保持し続けず、直近トークンだけを再生（リプレイ）して必要な状態を作り直す。常駐分をV4-Flashの約1/8まで落とす
- CSA2（Compressed Sparse Attention 2）：各層にFull／Reindex／Reuseのいずれかのモードを割り当て、KVとインデックスを層をまたいで共有する
- FP4主KVキャッシュ：KV本体をE2M1の4bit浮動小数で保持し、16チャネルごとにE4M3のスケール値を1つ添える
要するに、全層が全トークンのKVを高精度で持ち続ける前提を捨てています。ある層は近傍だけ見て後から復元し、ある層は隣の層の結果を使い回し、数値表現そのものも4bitへ落とす。保存せずに再計算する判断と、精度を落として保存する判断を、層の役割に応じて切り替えた設計と読めます。
なお技術レポートでは、後段の学習手順そのものはSFT → RL → on-policy distillationという定石を崩しておらず、変更の中心はエージェント用タスクと環境の大規模自動生成、つまりデータ側にあると説明されています。アーキテクチャで安くし、データで強くした、という分担です。
スコアと価格：上位機を下から抜く形になった
DeepSeekは、このFlashが自社の上位機であるV4-Proを上回ると説明しています。報じられている数値は次の通りです。
| 項目 | V4.1-Flash | 比較 |
|---|---|---|
| Terminal-Bench 2.1 | 90.6 | Claude Opus 5が89.1、GPT-5.6 Solが88.8 |
| DeepSWE v1.1 | 74.2% | Opus 5が74.0%、V4-Proが62.7% |
| Codeforces | 3471 | — |
| 入力単価（オフピーク） | $0.15 / 100万トークン | ピークは倍 |
| 出力単価（オフピーク） | $0.60 / 100万トークン | V4-Proは$3.96 |
ベンチマークは公表値であり、条件や試行回数の差で順位が入れ替わる領域です。断定できるのは、同一ベンダー内で下位機が上位機の代替として位置づけられたという事実のほうです。9月14日からV4-ProへのAPI呼び出しがV4.1-Flashへ振り替えられ、V4-FlashとV4-Flash-Vision-Expも同じくV4.1-Flashに寄せられました。APIモデル名は deepseek-flash。ネイティブの画像理解も入っています。
日本の開発・運用現場への影響
自前でホストする側
MIT ライセンスで重みが出ており、vLLMとSGLang、Dockerでの動かし方が案内されています。推奨設定はtemperature 1.0、top_p 0.95〜1.0。ただし新アーキテクチャのため、推論スタック側の対応はコミュニティで進行中という位置づけです。検証する場合は、次を分けて見る必要があります。
- 使っている推論エンジンのバージョンがCED構成とCSA2に対応しているか
- FP4のKV保持が自分のGPU世代で実効速度につながるか
- SWAのリプレイが入ることで、プリフィル側の計算量がどう動くか
API利用側
単価の絶対値より、オフピークとピークで倍の差がある前提が効きます。バッチ処理、夜間の再インデックス、定期的な社内ドキュメント要約のような時間をずらせる処理は、実行時刻の設計が直接コストになります。逆に対話UIのように時間を選べない処理は、ピーク単価で見積もるのが安全です。
中国系オープンウェイトを検討しにくい組織
データの取り扱いや調達方針の面で、API直接利用の選択肢が最初から無い現場もあります。それでも今回の設計は追う価値があります。KVキャッシュの圧縮とプリフィル・デコードの非対称化は、どのベンダーのモデルを使うにせよ推論コストの構造を決める部分で、他社が同じ方向へ動いたときの判断材料になるからです。
継続ウォッチ
- 890バイトの再現性：公表値はモデルカードと技術レポートのもの。実機で長文・多セッションを回したときに同じ比率が出るか
- 品質劣化の出方：4bit KVと層間共有のしわ寄せは、長い依存関係を追う課題や厳密な引用で先に現れやすい。100万トークン付近の挙動は要確認
- 推論スタックの追随速度：vLLM／SGLang側の正式サポートがどこまで進むかで、自前運用の可否が変わる
- 他ベンダーの反応：同じ「下位機が上位機を置き換える」振り替えを他社が行うか。行われれば上位機の価格体系そのものが動く
今日のまとめ
V4.1-Flashで注目すべき点は、スコアではなく 1トークン890バイト という数字です。40層を因果エンコーダとデコーダに割り、プリフィル8B・デコード16Bの非対称活性化に振り、KVはFP4で持ち、層によっては保存せず再生する。その積み上げでメモリ会計を4分の1にした。
次に確かめるべきは、この圧縮が自分の負荷でも同じ比率で効くのか、そして長文の端で品質がどう崩れるのかです。単価表を眺める前に、手元のワークロードで「1セッションあたり何MB載るか」を計算し直すところから始めるのが実務的です。