推論最適化– tag –

IBMのGranite Switch 4.1.1は、基盤モデルを変えずに専門機能を更新するパッチリリース。計算結果を再利用するaLoRAの仕組みと、日本語の業務で導入を判断するための品質・速度・互換性の確認点を解説します。

DeepSeekが9月10日に公開したV4.1-Flashは、KVキャッシュを1トークン890バイト（前世代の約4分の1）まで圧縮し、プリフィル8B・デコード16Bの非対称活性化を採用した。長文と常駐エージェントの原価が変わる仕組みを技術面から整理する。

DeepSeekが9月10日に公開したV4.1-Flashは、40層を「前半20層の因果エンコーダ＋後半20層のデコーダ」に分け、KVキャッシュを1トークン約890バイトまで圧縮した。長時間走るAIエージェントのコスト構造が、モデルの賢さではなくメモリ設計で決まりはじめている。

Claudeが30種類超の生体分子モデルを平均約4倍に高速化。専用GPUカーネルや低メモリーモードの仕組み、研究現場への影響、再現性と実験検証の課題を解説します。

Hugging Faceが207のWebGPUカーネルを公開。ブラウザAIの計算を支える仕組みと、仕様・テストを添えて配布する意義を解説します。「2.57倍」の測定条件を読み解き、対象端末で確かめたい導入時のポイントを整理します。

長い会話やエージェントでGPUメモリを食い潰す正体がKVキャッシュだ。GoogleとNYUがICLR 2026で示したTurboQuantは、これを約3ビットまで量子化し、メモリ6分の1・アテンション最大8倍速を精度劣化ほぼなしで実現する。その仕組みと実務インパクトを整理する。