OpenAI의 첫 Jalapeño 벤치마크, Nvidia보다 낮은 지연 시간과 높은 효율 주장

OpenAI는 2026년 8월 25일 자체 AI 추론 칩 Jalapeño의 첫 측정 성능 결과를 공개했다. 세 개의 공개 언어 모델 전반에서 회사는 비교 대상 Nvidia 시스템 대비 피크 처리량 기준 와트당 성능이 1.5~1.9배 높고, 종단 간 지연 시간은 1.7~3.6배 낮았다고 보고했다.

이번 결과로 Jalapeño는 OpenAI와 Broadcom이 6월 24일 프로세서를 공개할 당시 제시했던 전망을 넘어섰다. 당시 엔지니어링 샘플은 목표 주파수와 전력으로 동작하고 있었지만, OpenAI는 상세 성능 수치를 공개하지 않았다. 새 테스트는 GPT‑OSS 120B, DeepSeek R1 670B, Kimi K2.5 1T를 다룬다.

Jalapeño는 고객이 이용할 수 있는 제품이 아니라 여전히 양산 전 하드웨어다. OpenAI는 양산 검증을 완료하고, 소프트웨어 스택을 개선하며, 더 많은 워크로드를 검증하는 동안 2026년 말까지 제한된 수의 시스템을 자체 인프라에 배포하기 시작할 계획이다.

1. 첫 Jalapeño 벤치마크가 보여주는 내용

OpenAI는 언어 모델 서빙 시스템을 측정하는 SemiAnalysis의 공개 스위트인 InferenceX를 사용해 Jalapeño를 테스트했다. 단일 이론 연산 수치와 달리, 이 테스트는 처리량과 각 사용자가 경험하는 지연 시간의 관계를 살핀다.

공개된 비교는 단일 토큰 예측으로 입력 토큰 8,000개와 출력 토큰 1,000개라는 명목 워크로드를 사용한다. OpenAI는 각 가속기의 공개 패키지 전력 등급을 사용해 성능을 정규화했다. Jalapeño는 700와트, Nvidia GB200은 1,200와트, GB300은 1,400와트다. OpenAI는 테스트한 워크로드에서 Jalapeño의 측정된 지속 전력이 550와트 이하를 유지했다고 밝혔다.

GPT‑OSS 120B에서 Jalapeño는 GB200과 비교됐다. OpenAI는 피크 처리량에서 킬로와트당 초당 약 85,448개의 혼합 토큰을 보고했으며, Nvidia 시스템의 44,960개 대비 1.9배 우위다. 종단 간 지연 시간은 1.80초가 아닌 1.03초였고, 생성 토큰 간 최소 시간은 1.87밀리초 대비 0.69밀리초였다.

DeepSeek R1 670B 비교에는 GB300이 사용됐다. Jalapeño는 피크 처리량에서 킬로와트당 초당 19,641개의 혼합 토큰을 생성했으며, 11,781개 대비 약 1.7배였다. 보고된 종단 간 지연 시간은 5.99초 대비 1.65초였고, 토큰 간 최소 시간은 5.90밀리초가 아닌 1.43밀리초였다.

마찬가지로 GB300과 테스트한 Kimi K2.5 1T에서 Jalapeño는 킬로와트당 초당 18,195개의 혼합 토큰에 도달했고, 비교 대상은 11,862개였다. 종단 간 지연 시간은 5.31초가 아닌 1.56초였으며, 토큰 간 최소 시간은 5.48밀리초에서 1.44밀리초로 줄었다.

OpenAI는 각 시스템을 이전 경쟁사의 최적 토큰 간 시간 지점으로 제한했을 때도 큰 처리량 향상을 제시했다. 이 수치는 GPT‑OSS에서 53.7배, DeepSeek R1에서 104.3배, Kimi K2.5에서 56.1배에 이르렀다. 이는 특정 운영 지점에서 상호작용성을 맞춘 측정치이며, 모든 Jalapeño 워크로드가 수십 배 더 빠르다는 주장은 아니다.

더 넓은 테스트 범위에서 OpenAI는 고상호작용 워크로드에서 Jalapeño의 우위를 2.1~4.1배로 요약했다. 이 칩은 세 모델 모두에서 킬로와트당 처리량 파레토 프런티어에 위치했다. 즉, 비교된 구성 중 더 높은 처리량과 더 낮은 지연 시간을 동시에 제공한 구성은 없었다.

2. 결과는 유망하지만 완전한 프로덕션 검증은 아니다

SemiAnalysis는 InferenceX를 개발했고, 회사 연구소에서 OpenAI 엔지니어들과 함께 Jalapeño 실행을 관찰했다. 벤치마크에 사용된 모델들이 Nvidia 하드웨어에서 얻은 결과와 비슷한 GSM8K 평가 결과를 산출했음을 확인해, 모델 출력을 눈에 띄지 않게 훼손해 속도를 얻었을 위험을 줄였다.

그러나 SemiAnalysis는 “all numbers are provided to us by OpenAI.”라고 강조했다. 분석가들은 실행을 목격했지만 전체 InferenceX 스위트를 독립적으로 실행하지는 않았다. 또한 장문 컨텍스트와 멀티턴 에이전트 워크로드 중심으로 설계된 더 새로운 벤치마크 AgentX에서의 Jalapeño 결과도 아직 보지 못했다.

이 구분은 중요하다. 공개된 입력 8K, 출력 1K 테스트는 요청 라우터, 프리픽스 캐시, 캐시 관리 시스템, 오프로딩 인프라 같은 프로덕션 구성 요소를 완전히 시험하지 않기 때문이다. 신중하게 최적화된 단일 턴 워크로드의 성능은 가변 프롬프트, 지속 트래픽, 다단계 에이전트를 처리하는 라이브 서비스로 직접 이어지지 않을 수 있다.

비교 세대 역시 맥락이 필요하다. GPT‑OSS는 GB200과 측정됐고, 더 큰 DeepSeek 및 Kimi 모델은 GB300과 비교됐다. SemiAnalysis는 Nvidia의 최신 Vera Rubin 플랫폼이 더 적절한 경쟁 기준이라고 주장한다. Rubin과 Jalapeño 모두 HBM4급 메모리 기술을 사용하고 소프트웨어 개발 초기 단계에 있기 때문이다.

따라서 이 테스트는 작동하는 Jalapeño 엔지니어링 샘플이 여러 대형 비독점 모델 계열을 효율적으로 실행할 수 있음을 보여준다. 하지만 플릿 수준의 신뢰성, 총소유비용 또는 ChatGPT와 API 프로덕션 트래픽에서의 성능을 아직 입증하지는 않는다.

3. Jalapeño가 지연 시간과 처리량을 모두 겨냥하는 방식

Jalapeño는 새로운 파운데이션 모델 훈련용 칩이 아니라 추론 전용 가속기다. OpenAI는 언어 모델 서빙의 서로 다른 단계에 맞춰 Broadcom과 함께 이를 설계했다.

프리필 단계에서는 시스템이 사용자의 프롬프트를 처리하므로 연산 용량이 핵심 제약이 된다. 디코드 단계에서는 답변을 토큰 단위로 생성하므로 메모리 대역폭에 더 큰 부담이 가해진다. 특히 하나의 요청이 여러 칩에 걸칠 때는 프로세서 사이에서 모델 상태를 이동하는 일이 또 다른 병목을 만들 수 있다.

OpenAI는 Jalapeño가 가능할 때 모델 상태를 로컬에 유지해 이러한 이동을 줄인다고 말한다. 여기에는 생성 중 사용되는 키-값 캐시도 포함된다. 연산, 메모리, 네트워킹은 대규모 연결 도메인 내에서 조정되므로, 동일한 가속기 풀이 프리필과 디코드를 모두 처리할 수 있으며 각 단계를 별도 하드웨어에 영구적으로 할당할 필요가 없다.

이 설계는 워크로드 비율이 바뀌어도 효율을 유지하기 위한 것이다. 배치 지향 서비스는 전체 처리량을 우선할 수 있는 반면, 상호작용형 에이전트는 순차적 도구 호출과 추론 단계에서 지연이 누적되므로 빠른 토큰 생성이 필요할 수 있다.

Broadcom은 Tomahawk 기술을 포함한 실리콘 구현, 연결성 및 네트워킹 전문성을 제공했다. Celestica는 보드, 랙 및 시스템 통합에 기여하고 있다. OpenAI는 ChatGPT, Codex 및 API 워크로드에서 얻은 정보를 바탕으로 아키텍처와 소프트웨어-하드웨어 관련 결정을 계속 책임진다.

회사는 Jalapeño 칩이나 시스템을 판매할 계획을 발표하지 않았다. OpenAI 하드웨어 책임자 Richard Ho는 Axios에 내부 수요가 이미 너무 커서 외부 구매자에게 공급하는 방안을 구상할 수 없다고 말했다. 따라서 개발자는 구매 가능한 가속기가 아니라 OpenAI 서비스를 통해 간접적으로 Jalapeño를 접하게 될 것이다.

4. AI는 칩 설계와 소프트웨어 초기 구동 모두에 기여했다

OpenAI는 AI 도구가 Jalapeño 개발에 직접 참여했다고 말한다. 초기 설계부터 제조 테이프아웃까지 회사는 칩 설계 단계를 9개월 만에 완료했다. SemiAnalysis는 초기 팀 채용부터 테이프아웃까지 더 넓은 기간을 약 16개월로 본다. 따라서 두 수치는 반드시 충돌하는 일정이 아니라 서로 다른 시작점을 설명한다.

모델은 구현 방안을 탐색하고, 설계 및 검증 루프를 단축하며, 산술 회로를 최적화하는 데 사용됐다. OpenAI는 또한 프로세서를 로컬 텐서, 명시적 통신 및 동기화를 중심으로 한 예측 가능한 프로그래밍 대상으로 구성해, AI 시스템이 하드웨어 전반에서 작업을 배치하고 스케줄링하도록 지원했다.

엔지니어링 팀은 GPT‑Astra와 함께 Codex를 사용해 Jalapeño의 원래 양산 계획에 없었던 GPT‑OSS, DeepSeek R1, Kimi K2.5를 두 달 안에 높은 성능으로 구동했다. 선택된 GPT‑OSS 어텐션 및 전문가 혼합 블록에서 AI 생성 구현은 인간 전문가가 작성한 기존 코드보다 1.5~1.8배 빠르게 실행됐다. OpenAI는 이 결과를 해당 블록으로 명시적으로 한정하며, 전체 모델의 속도 향상은 아니다.

OpenAI는 2026년 말까지 제한적인 Jalapeño 배포를, 2027년에는 더 광범위한 용량 확보를 예상한다. 2세대 설계는 이미 개발 막바지 단계에 있으며, 3세대 작업도 시작됐다.

회사는 외부 공급업체를 대체하지 않는다. Jalapeño만으로는 컴퓨팅 요구 사항을 충족할 수 없으므로 Nvidia와 다른 파트너들이 훈련과 추론용 가속기를 계속 제공할 것이라고 밝혔다. 즉각적인 운영상 시험은 OpenAI가 양산 검증과 혼합 고객 트래픽이 흐르는 전체 랙 배포 이후에도 연구소의 효율성 향상을 재현할 수 있는지다.

자주 묻는 질문

OpenAI Jalapeño란 무엇인가?

Jalapeño는 OpenAI의 첫 자체 AI 가속기다. 모델 훈련이 아닌 언어 모델 추론을 위해 Broadcom과 공동 개발했다.

Jalapeño는 Nvidia 칩보다 빠른가?

OpenAI가 공개한 InferenceX 테스트에서 Jalapeño는 비교 대상 GB200 및 GB300 구성보다 더 높은 피크 킬로와트당 처리량과 더 낮은 지연 시간을 제공했다. 결과는 엔지니어링 샘플에서 나온 것이며 아직 완전한 프로덕션 벤치마크는 아니다.

어떤 모델을 테스트했는가?

OpenAI는 명목상 입력 토큰 8,000개와 출력 토큰 1,000개 워크로드로 GPT‑OSS 120B, DeepSeek R1 670B, Kimi K2.5 1T를 테스트했다.

개발자가 Jalapeño 하드웨어를 구매하거나 임대할 수 있는가?

아니다. OpenAI는 자체 인프라에 사용할 용량이 필요하므로 칩을 판매할 계획이 없다고 밝혔다. 개발자는 향후 OpenAI 호스팅 제품과 API를 통해 혜택을 얻을 수 있다.

Jalapeño는 언제 서비스에 투입되는가?

OpenAI는 2026년 말까지 제한적인 내부 배포를 시작할 계획이다. 양산 검증, 소프트웨어 개발, 추가 모델 전반의 테스트는 아직 진행 중이다.

참고 자료

• Greg Brockman의 X 원본 Jalapeño 벤치마크 게시물
• OpenAI: Jalapeño의 첫 결과, AI 추론에서 업계 선도적 속도와 효율 제시
• OpenAI: OpenAI와 Broadcom, LLM 최적화 추론 칩 공개
• Broadcom: OpenAI와 Broadcom, LLM 최적화 인텔리전스 프로세서 공개
• SemiAnalysis: OpenAI Jalapeño—Nvidia Blackwell보다 우수
• Axios: OpenAI, Jalapeño 칩이 Nvidia를 능가한다고 밝혀
• Data Center Dynamics: OpenAI, 700W TDP의 Jalapeño AI 칩 상세 공개