MoE– tag –

Mistral Large 4の重みが公開されました。約1兆パラメータの一部を選んで計算するMoE、3段階の推論モード、出力トークン削減の意味を解説。自社運用で確認すべきGPUメモリ、評価方法、ライセンス条件も整理します。

Ai2のOlmo-core 3は、専門家の重みをGPUに置き、入力データを送る方式へ学習基盤を刷新しました。MoEが通信で遅くなる理由、約2.7倍という測定値の条件、日本の開発者が導入時に確認すべき点を解説します。

DeepSeekが9月10日に公開したV4.1-Flashは、KVキャッシュを1トークン890バイト（前世代の約4分の1）まで圧縮し、プリフィル8B・デコード16Bの非対称活性化を採用した。長文と常駐エージェントの原価が変わる仕組みを技術面から整理する。

Qualcommが9月22日に発表したSnapdragon 8 Elite Gen 6／Extremeの核心は、総30BのMoEを端末内で動かすNPU再設計。アクティブ3B、共有メモリ50%増、32KトークンのKVキャッシュ支援が、スマホ側エージェントの現実味を左右する。

文章を生成せず、選択肢から型付きの判断と確信度だけを返すJevが登場。StepFunの600B/27B疎MoE、OpenAIの全二重音声モデルと合わせ、2026年9月のAIは「どこに生成を使わないか」を設計する段階に入った。

GPT-4・Gemini 1.5・Mixtralが採用する「Mixture of Experts」の仕組みを解説。各トークンで一部エキスパートだけを動かす設計が推論コストを抑えながら高性能を実現する理由と、開発者・企業の実務への影響を整理する。