フロンティアAIが「疎な専門家集合」を選ぶ理由 — Mixture of Expertsアーキテクチャの実態｜2026年6月17日版
GPT-4、Gemini 1.5、Mixtral——これらのモデルに共通する設計の核心は、「全パラメータを毎回使わない」という点にある。
Mixture of Experts（MoE、疎な専門家集合）と呼ばれるアーキテクチャだ。巨大なモデルを複数の「エキスパートネットワーク」に分割し、各トークンの処理には一部のエキスパートだけを動かす。従来の密（Dense）なTransformerに比べ、推論時の計算コストを大幅に抑えながらモデル全体のパラメータ規模を広げられる。この設計がフロンティアAIの標準に近づきつつある。
今日のポイント
- MoEの本質: トークンごとに「どのエキスパートを使うか」を動的に選ぶ設計。全パラメータを毎回動かさないことが推論効率の源泉
- 採用モデルの実態: Mistral AIのMixtral 8x7B / 8x22B、xAIのGrok-1（314B）、GoogleのGemini 1.5がMoEを採用。OpenAIのGPT-4も広く報告されているが公式未確認
- 開発者が押さえる数字: Mixtral 8x7Bはオープンソースで、INT4量子化ならA100 80GB × 1枚でも実行できる
- 残る課題: 全エキスパートをメモリに保持する必要があり、VRAMの総量は Dense モデルより多く必要
Mixture of Expertsの仕組み
Dense TransformerとMoEの違い
標準的なTransformerは、すべての入力トークンが同じFFN（フィードフォワードネットワーク）レイヤーを通過する。8Bパラメータのモデルなら、各トークンの処理に毎回8B分の演算が発生する。
MoEではFFNレイヤーの位置に複数のエキスパートネットワークを並べ、その前段にルーター（ゲーティング機構）を置く。ルーターが入力ベクトルを評価し、「どのエキスパートを使うか」をトークンごとに動的に決める。残りのエキスパートはそのトークンに対してスキップされる。
Top-K選択の流れ
代表的な実装では Top-2ゲーティング を採用する。エキスパートが8つある場合、ルーターがスコアを計算してスコア上位2つだけを活性化し、残り6つを完全にスキップする。処理は以下の順序で進む。
- ルーターが入力ベクトルを受け取り、各エキスパートへのソフトマックス確率を出力
- スコア上位K個のエキスパートを選択
- 選択されたエキスパートの出力をルーターのスコアで重み付けして合算
- 次のレイヤーへ渡す
この「選択とスキップ」が推論効率の核心だ。
アクティブパラメータと全パラメータの乖離
Mixtral 8x7Bを例にすると、次のような数字になる。
- 全パラメータ数: 約46.7B
- 1トークンあたりの実使用パラメータ: 約12.9B（エキスパート2つ分のFFN＋アテンション層）
- 推論FLOPs: 13Bクラスの Dense モデルに近い水準
「47Bの表現力を13B相当の推論コストで引き出す」という設計になっており、ここがMoEを採用する主な動機だ。
主要モデルの実装を比較する
Mixtral 8x7B / 8x22B（Mistral AI）
2023年12月にMistral AIがApache 2.0ライセンスで公開した。8つのエキスパート（各7Bパラメータ）で構成し、Top-2選択を採用。公開時点でLlama 2 70Bを多くのベンチマークで上回り、オープンソースMoEモデルとして広く普及した。
2024年4月にはMixtral 8x22B（全176B、アクティブ約39B）も公開。コンテキスト長64Kへの対応と、コード生成・多言語タスクの強化が加わっている。
Grok-1（xAI）
イーロン・マスク率いるxAIが2024年3月にApache 2.0ライセンスで公開。全314B、8エキスパート、Top-2選択で、アクティブパラメータは約86B相当になる。事前学習済みの重みとして公開されており、研究・ファインチューニング用途で利用可能だ。
ただし単一GPUでの実行は現実的ではなく、複数GPU・マルチノードでのエキスパート並列が前提となる。
Gemini 1.5（Google）
2024年2月に発表。公式にMoEアーキテクチャ採用を明言しており、最大100万トークン（後に200万トークン）のコンテキスト長を同時に実現した。長文脈処理とMoEの組み合わせはGoogleの技術的な差別化軸の一つで、長文書・動画・音声の理解タスクへの採用が進んでいる。
GPT-4（OpenAI）
OpenAIはGPT-4のアーキテクチャを公式公開していないが、2023年7月にThe Informationなどが外部推定としてMoE採用と報告した。推定では8エキスパート・各220B規模、全体で約1.8Tパラメータという数字が出回っている。Top-2選択ならアクティブパラメータは550B前後になるが、あくまで外部推定であり公式確認ではない。
技術的な利点と現実の課題
利点：スケーリング効率と専門化
MoEの理論的な優位性は、同じ推論コストでより多くのパラメータを持てることに集約される。パラメータ規模が大きければ、モデルは多様なタスクに対して異なるパターンをより豊富に保持できる。
Switch Transformer論文（Fedus et al., 2021）やMixtral論文（Jiang et al., 2024）など複数の研究が、同じ推論FLOPs予算ではMoEがDenseを上回ることを示している。エキスパートが特定の言語・トピック・構文に特化する「専門化」現象も観察されており、これがMoEの表現力の背景にある。
課題：メモリとロードバランス
最大の運用上の問題はメモリ要件だ。 推論時に動かすエキスパートは全体の一部でも、全エキスパートの重みをVRAMに保持しなければならない。
Mixtral 8x7BをFP16で保持すると約93GBのVRAMが必要になる。実際には量子化で対応するケースが多い。
- INT4量子化（Q4_K_M）: 約24GB。速度優先で、性能低下は限定的
- INT8量子化（Q8_0）: 約47GB。精度重視
- FP16（フル精度）: 約93GB。精度最優先だが高コスト
ロードバランス問題も見過ごせない。ルーターが特定のエキスパートばかりを選ぶ偏りが生じると、バッチ処理の効率が低下する。これを防ぐために学習時に「補助ロス（auxiliary load balancing loss）」を加える手法が標準的だが、ハイパーパラメータの調整が必要になる。
分散環境ではエキスパート並列（Expert Parallelism）を使って複数GPUにエキスパートを分散させるが、トークンのルーティングに伴うGPU間通信コストが増えるトレードオフがある。
日本の開発者・企業が確認すべきポイント
API経由で利用する場合
Gemini 1.5 Pro／FlashはGoogle AI StudioおよびVertex AI経由で提供されており、MoEという内部実装を意識せずに使える。ただし長文脈対応（1M＋トークン）はMoE採用あってこその特性であり、大量の文書を一括処理するユースケースへの適性を見る際にはアーキテクチャ理解が役立つ。
Mistral AIはMistral Large・Mistral SmallなどをAPIで提供。Mixtral系の技術的基盤を継承しており、欧州産モデルとしてデータ主権を重視する企業の選択肢にもなっている。
オンプレミス・ローカル展開する場合
Mixtral 8x7BはOllama、vLLM、llama.cppなど主要な推論フレームワークが対応済みだ。INT4量子化を使えば、A100 80GB × 1枚またはH100 80GB × 1枚で実行できる。複数ユーザーへの同時サービング・バッチ推論が必要な場合は2枚以上を目安にするとよい。
ここがポイント: MoEモデルはVRAMの「総量」は多く必要だが、「1トークンあたりの演算量」は少ない。スループット重視の推論サーバーでは、同GPUコスト比でDenseモデルより有利になるケースがある。
選定時の注意点
- MoEモデルはKVキャッシュのメモリ管理が複雑になりやすい。vLLMのPagedAttentionなどKV管理機能が充実したフレームワークを選ぶとよい
- Grok-1（314B）は重みが公開されているが、推論に必要な計算資源は大規模マルチGPU構成を前提とする。研究用途以外のオンプレ展開はコスト試算が必須
継続ウォッチ
- Meta / Llama のMoE採用動向: Llama 3系列はDense構成を維持しているが、次世代でMoEを採用するかどうかはオープンソースLLMの競争構図を変える可能性がある
- OpenAIのアーキテクチャ開示: GPT-4以降のモデルがMoEかどうかを含め、技術的詳細の公式発表は限られたまま。GPT-5相当モデルの技術情報開示が注目点
- 推論フレームワークのMoE最適化: vLLM・TensorRT-LLMなどがエキスパート並列の通信コストをどう削減するかが実用展開のボトルネックになっている
- より少ないエキスパート数での高性能化: 現在の8エキスパート構成から、専門化をより効率的に進める研究が複数進行中
今日のまとめ
MoEは「パラメータ規模と推論コストのトレードオフを緩和する」アーキテクチャとして、フロンティアAIの主流設計に入りつつある。各トークンで少数のエキスパートだけを動かすことで、計算コストを抑えながら高い表現力を実現する。
APIで使う場合は内部実装を意識せずとも使えるが、長文脈対応の強さの背景にMoEがあるという構造を理解しておくと、モデル選択や設計判断の根拠が明確になる。
次に見るべき分岐点はMetaのLlama系列がMoEに移行するかどうかだ。オープンソース最大手がDenseのままであれば、MoEはMistral AIとGoogleが主導する構図が続く。移行すれば、ローカル展開可能なMoEモデルの選択肢が一気に広がる。
参考リンク
- Mixtral of Experts 論文 (arXiv:2401.04088)
- Mixtral 8x7B モデルカード (Hugging Face)
- Mixtral 8x22B モデルカード (Hugging Face)
- Switch Transformer: Scaling to Trillion Parameter Models (arXiv:2101.03961)
- Grok-1 GitHubリポジトリ (xAI)
- Gemini 1.5 技術レポート (Google Research Blog)
- Mistral AI 公式ブログ
- vLLM プロジェクト (PagedAttention実装)