オープンウェイト– tag –

Mistral Large 4の重みが公開されました。約1兆パラメータの一部を選んで計算するMoE、3段階の推論モード、出力トークン削減の意味を解説。自社運用で確認すべきGPUメモリ、評価方法、ライセンス条件も整理します。

DeepSeekが9月10日に公開したV4.1-Flashは、KVキャッシュを1トークン890バイト（前世代の約4分の1）まで圧縮し、プリフィル8B・デコード16Bの非対称活性化を採用した。長文と常駐エージェントの原価が変わる仕組みを技術面から整理する。

DeepSeekが9月10日に公開したV4.1-Flashは、40層を「前半20層の因果エンコーダ＋後半20層のデコーダ」に分け、KVキャッシュを1トークン約890バイトまで圧縮した。長時間走るAIエージェントのコスト構造が、モデルの賢さではなくメモリ設計で決まりはじめている。