大規模言語モデルの推論を、1種類のチップで最後まで回す前提が崩れつつあります。プロンプトを読み込む「プリフィル」はGPUに、1トークンずつ吐き出す「デコード」はSRAMを大量に積んだ別のアクセラレータに。この分業が、設計思想の話から実際に出荷されるラックの話へ移りました。
NVIDIAがGroqの技術を取り込んで作った「Groq 3 LPX」ラックは2026年第3四半期に前倒しで出荷段階に入り、AWSはTrainiumとCerebras CS-3を組み合わせた構成をAmazon Bedrockに載せる方針を3月に公表済みです。
なぜわざわざ2つに割るのか。答えは単純で、プリフィルとデコードでは、ボトルネックになる資源がそもそも違うからです。
まず押さえる3点
- LLM推論は性質の違う2フェーズに分かれる。プリフィルは並列で計算が重く、デコードは逐次でメモリ帯域を食う
- NVIDIAのGroq 3 LPXは1ラック256基のLPUに128GBのSRAMを載せ、合計40PB/秒のSRAM帯域をうたう構成。プリフィルはGPU、デコードはLPUという役割分担が前提
- AWSとCerebrasも同じ発想で、Trainiumがプリフィル、CS-3がデコードを担当。同じ設置面積で5倍のトークン処理能力を主張している
今日の重要ニュース早見表
| 分野 | 何が起きたか | 読者への関係 |
|---|---|---|
| 推論チップ | NVIDIAのGroq 3 LPXラックが前倒しで量産出荷段階に | 低レイテンシ推論の単価と提供形態が変わる |
| クラウド | AWSがTrainium＋Cerebras CS-3の分業構成をBedrockへ | APIの応答速度がインフラ側で決まる度合いが増す |
| メモリ | HBM4搭載のVera Rubinが本格生産、供給は3社体制 | GPU側は帯域を倍増して対抗、供給制約の論点が移動 |
なぜ推論を2つに割るのか
LLMの推論は、見た目は一続きでも中身は別物の処理が連続しています。
プリフィルとデコードの非対称性
- プリフィル（入力プロンプトの読み込み）: 全トークンを同時に扱えるため並列度が高く、計算器をフルに使う。必要なメモリ帯域は中程度
- デコード（出力の生成）: 1トークン出すたびに全パラメータとKVキャッシュを読み直す。計算量そのものは軽いのに、メモリ帯域を延々と食う
この非対称性が、GPUの使い方をいびつにしてきました。IEEE Spectrumは、推論中のH100が50〜80%の時間アイドル状態になると指摘しています。演算器が余っているのではなく、メモリからデータが届くのを待っている状態です。
長文プロンプトと長い出力が当たり前になった今、この待ち時間は無視できないコストになりました。Deloitteの推計では、2026年のAI計算需要の約3分の2が推論側に寄り、推論向けクラウドインフラ支出は206億ドルと、初めて学習向けを上回る見込みです。待ち時間の削減がそのまま原価に直結する規模になった、ということです。
解き方は「帯域を増やす」か「メモリを近づける」か
対処の方向は大きく2つあります。ひとつはHBMの世代を上げて帯域そのものを増やす方向。もうひとつは、そもそもモデルの重みをチップ内のSRAMに置いて、外部メモリへのアクセスを消す方向です。2026年に起きているのは、この両方が同時に製品化され、役割ごとに使い分ける構成に落ち着きはじめたという動きです。
Groq 3 LPX：SRAMで殴るラックの中身
NVIDIAは2025年12月、Groqに約200億ドルを投じてIPライセンスと人材を取り込みました。その最初の成果が、2026年3月のGTCで公開されたGroq 3 LPUです。
公表されている構成
Hot Chips 2026で示されたLPXラックの仕様は、GPUラックとは発想が違います。
- LPU 256基で1ラックを構成し、SRAM総容量は128GB（1基あたり約512MB）
- SRAM帯域は合計40PB/秒、FP8演算性能は315PFLOPS
- 製造はSamsungの4nmプロセス、筐体はNVIDIAのMGXラック規格に準拠
- デモでは31BモデルのGemma 4で毎秒11,000トークンのデコードを提示
HBMを積む代わりに、チップ上のSRAMに重みを載せる。分岐を持たない決定論的な設計で、命令スケジューリングはコンパイラ側が全部決める。各LPUがルータも兼ねるため、フロー制御や仮想チャネルといったハードウェア機構を省いています。汎用性を捨てて、デコードという一つの仕事に寄せた設計です。
GPUとどう繋ぐか
面白いのは接続部分です。同期的に動くLPUと非同期なGPUの間を、FPGAが非同期ブリッジとして仲介します。KVキャッシュはGPU側とLPU側で別々に保持し、両者の間で受け渡すのはドラフトトークンだけ。NVIDIAは、対話性を最重視した条件で1ユーザーあたり毎秒トークン数が最大5倍に伸びるとしています。
NVIDIA自身は、1兆パラメータ級モデルでBlackwell NVL72比35倍の「1メガワットあたり推論スループット」を主張していますが、これはベンダー公表値です。条件やモデルが変われば数字は動きます。出荷面では、Foxconnが年内に6,000ラック、2027年にさらに10,000ラックを供給する計画が報じられ、neocloudのNebiusではVera／Rubin系システムと並べて設置される予定です。
ここがポイント: 汎用GPUの性能競争ではなく、「デコード専用機を隣に置く」という構成の変更が起きている。速さの出どころが、チップ単体からラック全体の分業設計へ移りつつある。
AWS＋Cerebras：同じ発想を別の実装で
2026年3月13日、AWSとCerebrasは推論の分業（inference disaggregation）で提携を発表しました。役割分担はNVIDIA側とほぼ同じ構図です。
- Trainiumがプリフィルを担当
- Cerebras CS-3（WSE-3）がデコードを担当
- 両者をElastic Fabric Adapterで結び、Amazon Bedrock経由で提供
WSE-3はウェハ1枚を丸ごと1チップにした構成で、SRAM容量は44GB。400億〜800億パラメータ級のモデルを外部メモリなしで載せられるとされ、OpenAIのGPT-5.3-Codex-Sparkで毎秒1,000トークン超を出す事例が挙がっています。AWSは、同じ設置面積で5倍のトークン処理能力を実現すると説明しています。
異なる企業、異なるチップ、それでも到達している構成が同じという点が重要です。デコードのメモリ帯域問題は、特定ベンダーの都合ではなくアーキテクチャ上の制約だということが、実装の収斂として見えてきました。
GPU側の回答はHBM4
分業が進む一方で、GPU側も手をこまねいてはいません。NVIDIAのVera Rubinは6月1日のGTC台北基調講演で本格生産入りが示され、HBM4を採用しています。
- 初代Rubin GPUは288GBのHBM4を8スタック構成で搭載、6.4GT/sで合計約22TB/秒
- HBM4はインターフェース幅を1,024ビットから2,048ビットへ、独立チャネルを16から32へ拡張
- 供給はSamsung、SK hynix、Micronの3社が認定済み（6月5日にJensen Huang氏が言明）
つまり、GPUは帯域を倍にして総合力で戦い、LPUやWSEはSRAMで一点突破する。どちらかが勝つ話ではなく、フェーズごとに最適なハードを並べる方向に業界が進んでいます。
日本の読者が見るべきポイント
開発者
- 自社のワークロードがプリフィル寄りかデコード寄りかで、選ぶべきエンドポイントが変わる。長文RAGはプリフィル重、対話エージェントやコード補完はデコード重
- 同じモデル名でも、裏のハードが変われば体感速度が変わる。ベンチマークは「1秒あたり総トークン」だけでなく「1ユーザーあたりトークン/秒」で見る
- KVキャッシュの扱いが分業構成では複雑になる。プロンプトキャッシュの効き方が提供元ごとに異なる可能性がある
企業利用者
- レイテンシSLAを求めるなら、モデル選定と同じ重みでインフラ構成を確認する価値が出てきた
- 料金体系は今後、単価だけでなく「対話性の高さ」で階層化される可能性がある。契約更新時は提供地域と実行基盤の記載を確認したい
一般ユーザー
- チャットの応答が「ぬるっと速くなる」変化として現れる。特にエージェント型のツールで差が出やすい
継続ウォッチ
- 第三者ベンチマークの中身: 35倍、5倍といった数値はいずれもベンダー主導。独立検証がどのモデル・どの条件で出るか
- Groq 3 LPXの実配備: 年内6,000ラック計画が実際に立ち上がるか。Nebiusなど初期導入先の公開情報
- Bedrock上のCerebras提供開始: 対象モデルと提供リージョンが具体化するタイミング
- HBM4の歩留まりと供給配分: 3社体制での割り当てが、GPU側の増産ペースを左右する
今日のまとめ
推論の高速化は、単一チップの世代交代から、処理フェーズごとにハードを分ける構成の設計へと軸足を移しました。NVIDIAはGroq由来のLPUをGPUの隣に置き、AWSはTrainiumとCerebrasを組み合わせる。異なる陣営が同じ結論に辿り着いたこと自体が、デコード段のメモリ帯域制約の深さを物語ります。
次に見るべきは、公表値ではなく実配備の数字です。年内に出荷される数千ラックが本当に稼働に入るのか、そして独立した第三者ベンチマークが出た時に、プリフィルとデコードを分ける構成がどこまで優位を保つのか。ここが検証される段階に入ります。
参考リンク
- Inside the Inference Hardware Revolution Of 2026 – IEEE Spectrum
- NVIDIA’s Groq 3 LPU Accelerators for Heterogeneous AI Compute at Hot Chips 2026 – ServeTheHome
- Nvidia presents Groq 3 LPX architecture and unveils its first third-party inference benchmark – Tom’s Hardware
- Nvidia says Groq racks will be online this year following $20 billion purchase – CNBC
- Nvidia builds out LPU chip team following $20bn Groq acquihire – DCD
- AWS and Cerebras Collaboration – Cerebras
- AWS and Cerebras collaboration aims to set a new standard for AI inference speed and performance in the cloud – About Amazon
- AWS partners with big chip co. Cerebras for AI “inference disaggregation” – DCD
- Nvidia certifies Samsung, SK Hynix and Micron for Vera Rubin HBM4 supply – Yahoo Finance
- Nvidia Vera Rubin HBM4: Jensen Huang Confirms All Three Suppliers in Production for Q3 Ship – Tech Times
- AI inferencing will define 2026, and the market’s wide open – SDxCentral