OpenAI初のJalapeñoベンチマーク、Nvidiaより低レイテンシかつ高効率と主張

OpenAIは2026年8月25日、カスタムAI推論チップJalapeñoの初の実測性能結果を公開した。3つの公開言語モデルにおいて、比較対象のNvidiaシステムに対し、ピーク時のワット当たりスループットが1.5〜1.9倍、エンドツーエンドのレイテンシが1.7〜3.6倍低いと同社は報告している。

この結果により、Jalapeñoは、OpenAIとBroadcomが6月24日にプロセッサを発表した際に示した予測を超える段階へ進んだ。当時、エンジニアリングサンプルは目標周波数と目標消費電力で動作していたが、OpenAIは詳細な性能数値を公開していなかった。今回のテストはGPT‑OSS 120B、DeepSeek R1 670B、Kimi K2.5 1Tを対象としている。

Jalapeñoは、顧客が利用可能な製品ではなく、依然として量産前のハードウェアである。OpenAIは、生産認定の完了、ソフトウェアスタックの改善、さらなるワークロードの検証を進めつつ、2026年末までに限られた数のシステムを自社インフラ内で展開し始める計画だ。

一、初のJalapeñoベンチマークが示すもの

OpenAIは、言語モデルのサービングシステムを測定するSemiAnalysisの公開スイートであるInferenceXを用いてJalapeñoをテストした。単一の理論上の演算性能値とは異なり、これらのテストでは、スループットと各ユーザーが体験するレイテンシの関係を検証する。

公開された比較では、単一トークン予測を伴う、入力トークン8,000、出力トークン1,000の公称ワークロードを使用している。OpenAIは、各アクセラレータの公表パッケージ電力定格、すなわちJalapeñoは700ワット、Nvidia GB200は1,200ワット、GB300は1,400ワットを用いて性能を正規化した。OpenAIによると、テストしたワークロードでは、Jalapeñoの実測持続消費電力は550ワット以下にとどまった。

GPT‑OSS 120Bでは、JalapeñoをGB200と比較した。OpenAIは、ピークスループット時にJalapeñoが1キロワット当たり約85,448混合トークン/秒を記録したのに対し、Nvidiaシステムは44,960であり、1.9倍の優位性があったと報告した。エンドツーエンドのレイテンシは1.80秒ではなく1.03秒で、生成トークン間の最小時間は1.87ミリ秒に対して0.69ミリ秒だった。

DeepSeek R1 670Bの比較にはGB300を使用した。Jalapeñoは、ピークスループット時に1キロワット当たり19,641混合トークン/秒を生成し、11,781だった比較対象の約1.7倍となった。報告されたエンドツーエンドのレイテンシは5.99秒に対して1.65秒で、トークン間の最小時間は5.90ミリ秒ではなく1.43ミリ秒だった。

同じくGB300を相手にテストしたKimi K2.5 1Tでは、Jalapeñoは1キロワット当たり18,195混合トークン/秒に達し、比較対象は11,862だった。エンドツーエンドのレイテンシは5.31秒ではなく1.56秒で、生成トークン間の最小時間は5.48ミリ秒から1.44ミリ秒へ低下した。

OpenAIはまた、各システムを前世代の競合製品における最良のトークン間時間に制約した場合の、大きなスループット向上も提示した。これらの数値は、GPT‑OSSで53.7倍、DeepSeek R1で104.3倍、Kimi K2.5で56.1倍に達した。これは特定の動作点における対話性を揃えた測定であり、すべてのJalapeñoワークロードが数十倍高速であるという主張ではない。

より広いテスト範囲では、OpenAIは、高度にインタラクティブなワークロードにおけるJalapeñoの優位性を2.1〜4.1倍と要約した。このチップは3つすべてのモデルで、キロワット当たりスループットのパレートフロンティア上に位置した。つまり、比較された構成のいずれも、より高いスループットとより低いレイテンシを同時には提供していなかった。

二、結果は有望だが、量産環境での完全な検証ではない

SemiAnalysisはInferenceXを開発し、同社の研究所でOpenAIのエンジニアとともにJalapeñoの実行を観察した。ベンチマーク対象モデルがNvidiaハードウェア上で得られたものと同等のGSM8K評価結果を出したことを確認し、モデル出力を密かに犠牲にして速度を達成したリスクを低減した。

しかしSemiAnalysisは、「すべての数値はOpenAIから提供されたもの」であると強調した。同社アナリストは実行を目撃したが、InferenceXスイート全体を独立して実行したわけではない。また、長コンテキストかつマルチターンのエージェントワークロードを中心に設計された新しいベンチマーク、AgentXにおけるJalapeñoの結果も確認していない。

公開された入力8K、出力1Kのテストは、リクエストルーター、プレフィックスキャッシュ、キャッシュ管理システム、オフロードインフラといった本番コンポーネントを十分には検証しないため、この違いは重要である。慎重に最適化された単一ターンのワークロードにおける性能は、変動するプロンプト、持続的なトラフィック、複数ステップのエージェントを処理するライブサービスへ直接は移行しない可能性がある。

比較対象の世代にも文脈が必要である。GPT‑OSSはGB200と比較された一方、より大規模なDeepSeekとKimiモデルはGB300と比較された。SemiAnalysisは、RubinとJalapeñoはいずれもHBM4クラスのメモリ技術を使用し、ソフトウェア開発も比較的初期段階にあるため、Nvidiaの新しいVera Rubinプラットフォームの方がより適切な競合基準だと論じている。

したがって、このテストは、動作するJalapeñoのエンジニアリングサンプルが、複数の大規模な非プロプライエタリモデルファミリーを効率的に実行できることを示している。だが、フリートレベルの信頼性、総保有コスト、またはChatGPTとAPIの本番トラフィック下での性能をまだ確立するものではない。

三、Jalapeñoがレイテンシとスループットの両方を狙う仕組み

Jalapeñoは、新たな基盤モデルを訓練するチップではなく、推論専用のアクセラレータである。OpenAIは、言語モデルのサービングにおける異なるフェーズを踏まえ、Broadcomとともにこれを設計した。

プリフィル中、システムはユーザーのプロンプトを処理するため、演算能力が主要な制約となる。デコード中は、回答をトークンごとに生成するため、メモリ帯域幅への負荷がより大きくなる。特にリクエストが複数チップにまたがる場合、プロセッサ間でモデル状態を移動させることも別のボトルネックになり得る。

OpenAIによると、Jalapeñoは、生成時に使用するキー・バリューキャッシュを含むモデル状態を、可能な場合にはローカルに保持することで、この移動を削減する。演算、メモリ、ネットワーキングは大規模な接続ドメイン内で連携し、同じアクセラレータプールがプリフィルとデコードの両方を処理できるため、これらのフェーズを恒久的に別々のハードウェアへ割り当てる必要がない。

この設計は、ワークロード比率が変化しても効率を維持することを意図している。バッチ指向のサービスは総スループットを優先する場合がある一方、インタラクティブなエージェントでは、連続するツール呼び出しと推論ステップを通じて遅延が蓄積するため、高速なトークン生成が必要になる可能性がある。

Broadcomは、Tomahawk技術を含むシリコン実装、接続性、ネットワーキングの専門知識を提供した。Celesticaは、ボード、ラック、システム統合に貢献している。OpenAIは、ChatGPT、Codex、APIのワークロードから得られた知見に基づくアーキテクチャと、ソフトウェア・ハードウェアの意思決定を引き続き担う。

同社は、Jalapeñoチップまたはシステムを販売する計画を発表していない。OpenAIのハードウェア責任者であるRichard HoはAxiosに対し、社内需要がすでに大きすぎるため、外部の購入者へ供給することを同社は想定できないと語った。そのため、開発者は購入可能なアクセラレータとしてではなく、OpenAIサービスを通じて間接的にJalapeñoに触れることになる。

四、AIはチップ設計とソフトウェア立ち上げの両方に貢献した

OpenAIによると、AIツールはJalapeñoの開発に直接参加した。初期設計から製造テープアウトまで、同社はチップ設計フェーズを9か月で完了した。SemiAnalysisは、初期チームの採用からテープアウトまでのより広い期間を約16か月としており、2つの数値は必ずしも矛盾するスケジュールではなく、異なる開始点を示している。

モデルは、実装の探索、設計および検証ループの短縮、算術回路の最適化に使用された。OpenAIはまた、ローカルテンソル、明示的な通信、同期を中心に据えた予測可能なプログラミングターゲットとしてプロセッサを構成し、AIシステムがハードウェア全体での作業配置とスケジューリングを支援できるようにした。

エンジニアリングチームは、GPT‑Astraを用いたCodexにより、Jalapeñoの当初の量産計画には含まれていなかったGPT‑OSS、DeepSeek R1、Kimi K2.5の3モデルを、2か月以内に高性能で動作させた。選定されたGPT‑OSSのアテンションおよびMixture-of-Expertsブロックでは、AI生成の実装が人間の専門家による既存コードより1.5〜1.8倍高速に動作した。OpenAIはこの結果を明確にそれらのブロックに限定しており、モデル全体の高速化ではない。

OpenAIは、2026年末までに限定的なJalapeño展開を開始し、2027年にはより広い容量を見込んでいる。第2世代の設計はすでに開発の進んだ段階にあり、第3世代の作業も始まっている。

同社は外部サプライヤーを置き換えるわけではない。Jalapeñoだけでは必要な計算能力を満たせないため、Nvidiaおよび他のパートナーが、トレーニングと推論向けのアクセラレータを引き続き提供すると述べている。当面の運用上の検証は、生産認定と、混在する顧客トラフィック下でのフルラック展開の後、OpenAIが研究所での効率向上を再現できるかどうかである。

よくある質問

OpenAI Jalapeñoとは何ですか？

JalapeñoはOpenAI初のカスタムAIアクセラレータである。モデル訓練ではなく、言語モデル推論のためにBroadcomと共同開発された。

JalapeñoはNvidiaのチップより高速ですか？

OpenAIが公開したInferenceXテストでは、Jalapeñoは比較対象となったGB200およびGB300構成より高いキロワット当たりピークスループットと低いレイテンシを実現した。結果はエンジニアリングサンプルによるものであり、まだ完全な量産ベンチマークではない。

どのモデルがテストされましたか？

OpenAIは、公称入力トークン8,000、出力トークン1,000のワークロードを用いて、GPT‑OSS 120B、DeepSeek R1 670B、Kimi K2.5 1Tをテストした。

開発者はJalapeñoハードウェアを購入またはレンタルできますか？

いいえ。OpenAIは、自社インフラ向けに利用可能な容量を必要としているため、チップを販売する計画はないとしている。開発者は将来的に、OpenAIがホストする製品およびAPIを通じて恩恵を受ける可能性がある。

Jalapeñoはいつサービスに投入されますか？

OpenAIは、2026年末までに限定的な社内展開を開始する計画である。生産認定、ソフトウェア開発、追加モデルでのテストは現在も進行中だ。

参考ソース

• XにおけるGreg BrockmanのJalapeñoベンチマーク原投稿
• OpenAI：Jalapeñoの初の結果は、AI推論における業界最高水準の速度と効率を示す
• OpenAI：OpenAIとBroadcom、LLM最適化推論チップを発表
• Broadcom：OpenAIとBroadcom、LLM最適化Intelligence Processorを発表
• SemiAnalysis：OpenAI Jalapeño—Nvidia Blackwellより優れている
• Axios：OpenAI、JalapeñoチップがNvidiaを上回ると発表
• Data Center Dynamics：OpenAI、700W TDPのJalapeño AIチップの詳細を公開