OpenAI初の推論チップ「Jalapeño」は何を変えるのか｜2026年9月1日版
OpenAIが初の独自推論チップ「Jalapeño」の測定結果を公開しました。核心は、単純な演算性能の競争ではありません。LLMの応答生成で発生するデータ移動を減らし、速度と電力効率を同時に改善したことです。
OpenAIの測定では、比較対象の商用システムに対し、ピーク時の電力当たり処理量が1.5〜1.9倍、エンドツーエンドの遅延が1.7〜3.6倍低くなりました。AIエージェントが何度もモデルを呼び出す時代には、1回ごとの短い待ち時間が積み重なるため、この差がサービス全体の応答性を左右します。
- Jalapeñoは学習用ではなく、完成したモデルを動かす推論専用チップ
- GPT-OSS 120B、DeepSeek R1 670B、Kimi K2.5 1Tで性能を測定
- 鍵は演算器の数だけでなく、KVキャッシュ、メモリ、ネットワークの一体設計
- 2026年中は限定導入を予定し、本格的な容量拡大は2027年以降が焦点
Jalapeñoの測定結果で分かったこと
OpenAIは8月25日、SemiAnalysisの公開ベンチマーク「InferenceX」を使った最初の詳細な結果を公表しました。InferenceXはチップ単体の理論性能ではなく、入力を受け取ってから回答を返すまでの推論処理を測ります。
主な結果は次の通りです。
- ピーク時の電力当たり処理量：比較システムの1.5〜1.9倍
- エンドツーエンド遅延：同1.7〜3.6倍低減
- 高い対話性が求められる処理：同2.1〜4.1倍の性能
- Jalapeñoの定格消費電力：700W
- テスト中の持続的な実測消費電力：550W以下
対象モデルはOpenAIのGPT-OSS 120Bだけではありません。DeepSeek R1 670BとKimi K2.5 1Tでも測定されました。自社モデルだけに特化した結果ではなく、異なるモデル系列を動かせることを示すためです。
ただし、数字の読み方には注意が必要です。主要な比較は各アクセラレーターの公称消費電力で正規化されており、データセンター設備を含む総消費電力だけで比べた結果ではありません。また、次世代のNVIDIA Vera Rubinは比較対象に含まれていません。
なぜ推論ではデータ移動がボトルネックになるのか
LLMの推論は、大きく「prefill」と「decode」の2段階に分かれます。この違いがJalapeñoの設計を理解する入口です。
Prefillは入力をまとめて処理する
Prefillでは、ユーザーが入力したプロンプトをモデルが読み込みます。長い文書や大量のコードを渡すほど計算量が増えるため、演算性能が効きやすい段階です。
Decodeはトークンを順番に生成する
Decodeでは、回答を1トークンずつ生成します。ここでは計算能力だけでなく、モデルの状態をメモリから素早く読み出せるかが重要です。
特に使われるのが「KVキャッシュ」です。モデルは過去の文脈を毎回ゼロから計算し直さないよう、中間状態を保存して再利用します。しかし、KVキャッシュが遠いメモリに置かれたり、複数チップ間を頻繁に移動したりすると、演算器はデータ待ちになります。
Jalapeñoは、モデル状態とKVキャッシュを必要な場所に明示的に配置し、できるだけローカルに保つ構造を採用しました。さらに、チップ、メモリ、ネットワーク、ラック規模のシステムを同じ推論処理に合わせて設計しています。
ここがポイント: Jalapeñoの狙いは、演算器だけを速くすることではありません。データを運ぶ時間と待つ時間を減らし、1件のリクエスト全体を速く終わらせることです。
AIエージェントで低遅延が重要になる理由
通常のチャットなら、モデルを1回呼び出して回答を待つ場面が中心です。一方、AIエージェントは検索、コード実行、結果確認、修正といった手順を連続して進めます。
仮に1回のモデル呼び出しで生じる待ち時間が小さくても、数十回の呼び出しを直列に行えば差は大きくなります。途中で前の結果を待つ必要があるため、単純に処理を並列化できない工程もあります。
低遅延化が直接効くのは、次のような処理です。
- コードを書き、テスト結果を読み、修正を繰り返す開発エージェント
- 社内システムを横断して情報を確認する業務エージェント
- 音声入力に短い間隔で応答するリアルタイムAI
- 長い文脈を保持しながら複数のツールを操作するサービス
エージェント時代の性能指標は、1秒当たりの最大トークン数だけでは足りません。 利用者ごとの応答速度、連続した処理の完了時間、電力当たりの処理件数を一緒に見る必要があります。
AIでチップを設計し、AIでチップを最適化する
JalapeñoはBroadcomと共同開発され、初期設計からテープアウトまで9カ月で進められました。OpenAIによると、AIモデルが回路実装の探索、測定、検証、算術回路の最適化を支援しました。
もう一つ重要なのが、完成後のソフトウェア最適化です。新しいモデル系列を効率よく動かすには、チップ向けのカーネルや配置方法を調整しなければなりません。
OpenAIはCodexとGPT-Astraを使い、当初の製品計画に含まれていなかった3つのオープンウェイトモデルを2カ月以内に高性能化したと説明しています。ハードウェアを固定した後も、AIが演算、メモリ配置、通信の割り当てを調整する構図です。
これは「AIがチップを自動設計した」という話とは異なります。設計責任は技術者にあり、AIは探索と反復を速める道具として使われました。今後は、テープアウトの速さだけでなく、検証品質や量産後の安定性も評価対象になります。
日本の開発者と企業利用者への影響
Jalapeñoは外販予定の製品ではないため、日本企業がチップを購入して自社サーバーに搭載する話ではありません。影響は、OpenAIのAPIや製品を通じて間接的に現れる可能性があります。
開発者が見るべき指標
AIエージェントやリアルタイム機能を開発する場合、モデル名とAPI単価だけでなく、次の項目を測る必要があります。
- 最初のトークンが返るまでの時間
- 1件のタスクが完了するまでの総時間
- 再試行を含む成功タスク当たりの費用
- 混雑時の応答時間とエラー率
- 長いコンテキストを使った場合の性能変化
独自チップの効果がAPI料金や応答速度に反映されるかは、まだ公表されていません。実際のサービスで確認できるまでは、ベンチマークの改善と利用者が受ける改善を分けて考えるべきです。
企業利用では移植性も確認する
専用チップが増えるほど、モデルとクラウド基盤の結び付きは強くなります。企業が複数のAIサービスを使い分ける場合は、特定モデルに依存しない評価データ、プロンプト、ツール接続、監視方法を持っておくことが重要です。
処理速度が上がっても、監査ログ、権限管理、個人情報の取り扱い、誤操作時の停止手段は別に設計しなければなりません。エージェントが高速に動くほど、異常を検知して止める仕組みも速さを求められます。
現時点で残る3つの確認点
Jalapeñoは実働するシリコンで測定結果が示されましたが、勝負は量産とサービス投入の後です。
- 比較条件の拡大：Vera Rubinなど新世代システムや、実運用に近い構成との比較
- 供給能力：HBM4、先端プロセス、パッケージングを確保しながら導入規模を拡大できるか
- 利用者への還元：応答速度、API料金、混雑耐性の改善としていつ表れるか
Jalapeñoは学習用チップではないため、OpenAIがNVIDIAなどへの依存を解消するものでもありません。学習と推論では必要なシステムが異なり、OpenAI自身も複数のチップ供給元を組み合わせる方針を示しています。
継続ウォッチ
次に見るべきなのは、ピーク性能の追加記録ではなく、実際の提供規模です。
- 2026年中に予定される限定的なシステム導入
- 2027年の処理容量拡大と第2世代チップの進捗
- OpenAI製品やAPIにおける実測遅延の変化
- 電力だけでなくラック全体を含めた効率比較
- 異なるモデルを追加する際の最適化期間
独自推論チップの価値は、ベンチマーク表の首位だけでは決まりません。多数の利用者が同時にAIエージェントを動かしたとき、待ち時間と費用をどこまで安定して抑えられるか。 Jalapeñoの本当の評価は、その運用データが見える段階で始まります。