LLamjinLab
Tin tức AISố chữ 4374Thời gian đọc≈ 11 phút

Các benchmark Jalapeño đầu tiên của OpenAI tuyên bố độ trễ thấp hơn và hiệu suất cao hơn Nvidia

OpenAI cho biết chip suy luận Jalapeño vượt các hệ thống Nvidia GB200 và GB300 về độ trễ và hiệu năng trên mỗi watt trong các thử nghiệm InferenceX ban đầu.

AILLMOpenAITác tử

OpenAI đã công bố các kết quả hiệu năng đo lường đầu tiên của Jalapeño, chip suy luận AI tùy chỉnh của hãng, vào ngày 25 tháng 8 năm 2026. Trên ba mô hình ngôn ngữ công khai, công ty báo cáo thông lượng đỉnh trên mỗi watt cao hơn 1,5 đến 1,9 lần và độ trễ đầu-cuối thấp hơn 1,7 đến 3,6 lần so với các hệ thống Nvidia được dùng để so sánh.

Các kết quả này đưa Jalapeño vượt ra ngoài những dự báo mà OpenAI và Broadcom đưa ra khi công bố bộ xử lý vào ngày 24 tháng 6. Khi đó, các mẫu kỹ thuật vận hành ở tần số và công suất mục tiêu, nhưng OpenAI chưa công bố số liệu hiệu năng chi tiết. Các thử nghiệm mới bao gồm GPT‑OSS 120B, DeepSeek R1 670B và Kimi K2.5 1T.

Jalapeño vẫn là phần cứng tiền sản xuất, thay vì một sản phẩm có sẵn cho khách hàng. OpenAI dự định bắt đầu triển khai một số lượng hạn chế hệ thống trong hạ tầng riêng vào cuối năm 2026, đồng thời hoàn tất kiểm định sản xuất, cải thiện ngăn xếp phần mềm và xác thực thêm nhiều khối lượng công việc.

1. Những gì các benchmark Jalapeño đầu tiên cho thấy

OpenAI đã thử nghiệm Jalapeño bằng InferenceX, bộ công cụ công khai của SemiAnalysis để đo các hệ thống phục vụ mô hình ngôn ngữ. Khác với một chỉ số tính toán lý thuyết đơn lẻ, các thử nghiệm này xem xét mối quan hệ giữa thông lượng và độ trễ mà từng người dùng trải nghiệm.

Các so sánh được công bố dùng khối lượng công việc danh nghĩa gồm 8.000 token đầu vào và 1.000 token đầu ra với dự đoán từng token. OpenAI chuẩn hóa hiệu năng bằng mức công suất gói công bố của từng bộ tăng tốc: 700 watt cho Jalapeño, 1.200 watt cho Nvidia GB200 và 1.400 watt cho GB300. OpenAI cho biết công suất duy trì đo được của Jalapeño vẫn ở mức hoặc dưới 550 watt trong các khối lượng công việc được thử nghiệm.

Trên GPT‑OSS 120B, Jalapeño được so sánh với GB200. OpenAI báo cáo khoảng 85.448 token hỗn hợp mỗi giây mỗi kilowatt ở thông lượng đỉnh, so với 44.960 của hệ thống Nvidia—lợi thế 1,9 lần. Độ trễ đầu-cuối là 1,03 giây thay vì 1,80 giây, trong khi thời gian tối thiểu giữa các token được tạo ra là 0,69 mili giây so với 1,87 mili giây.

So sánh DeepSeek R1 670B dùng GB300. Jalapeño tạo ra 19.641 token hỗn hợp mỗi giây mỗi kilowatt ở thông lượng đỉnh, so với 11.781, tức cao hơn khoảng 1,7 lần. Độ trễ đầu-cuối được báo cáo là 1,65 giây, so với 5,99 giây, và thời gian tối thiểu giữa các token là 1,43 mili giây thay vì 5,90 mili giây.

Với Kimi K2.5 1T, cũng được thử nghiệm với GB300, Jalapeño đạt 18.195 token hỗn hợp mỗi giây mỗi kilowatt, so với 11.862. Độ trễ đầu-cuối là 1,56 giây thay vì 5,31 giây, trong khi thời gian tối thiểu giữa các token giảm từ 5,48 mili giây xuống 1,44 mili giây.

OpenAI cũng đưa ra mức tăng thông lượng lớn khi mỗi hệ thống bị giới hạn ở điểm thời gian-giữa-các-token tốt nhất của đối thủ trước đó. Các số liệu này đạt 53,7 lần trên GPT‑OSS, 104,3 lần trên DeepSeek R1 và 56,1 lần trên Kimi K2.5. Đây là các phép đo tương tác tương đương tại những điểm vận hành cụ thể, không phải tuyên bố rằng mọi khối lượng công việc Jalapeño đều nhanh hơn hàng chục lần.

Trên phạm vi thử nghiệm rộng hơn, OpenAI tóm tắt lợi thế của Jalapeño đối với các khối lượng công việc có tính tương tác cao là 2,1 đến 4,1 lần. Con chip nằm trên biên Pareto thông lượng trên mỗi kilowatt đối với cả ba mô hình, nghĩa là không cấu hình nào được so sánh đồng thời cung cấp thông lượng cao hơn và độ trễ thấp hơn.

2. Kết quả đầy hứa hẹn nhưng chưa phải xác thực sản xuất đầy đủ

SemiAnalysis đã phát triển InferenceX và quan sát các lượt chạy Jalapeño cùng kỹ sư OpenAI trong phòng thí nghiệm của công ty. Họ xác nhận rằng các mô hình được benchmark tạo ra kết quả đánh giá GSM8K tương đương với kết quả thu được trên phần cứng Nvidia, giúp giảm rủi ro tốc độ đạt được bằng cách âm thầm làm suy giảm đầu ra của mô hình.

Tuy nhiên, SemiAnalysis nhấn mạnh rằng “all numbers are provided to us by OpenAI.” Các nhà phân tích của họ đã chứng kiến các lượt chạy nhưng không tự thực thi toàn bộ bộ InferenceX một cách độc lập. Họ cũng chưa xem kết quả Jalapeño trên AgentX, một benchmark mới hơn được thiết kế xoay quanh các khối lượng công việc tác tử đa lượt, ngữ cảnh dài.

Sự khác biệt này quan trọng vì các thử nghiệm đầu vào 8K, đầu ra 1K được công bố không khai thác đầy đủ các thành phần sản xuất như bộ định tuyến yêu cầu, bộ nhớ đệm tiền tố, hệ thống quản lý bộ nhớ đệm và hạ tầng offload. Hiệu năng trên một khối lượng công việc một lượt được tối ưu cẩn thận có thể không chuyển đổi trực tiếp sang một dịch vụ trực tiếp xử lý prompt biến thiên, lưu lượng liên tục và tác tử nhiều bước.

Thế hệ phần cứng so sánh cũng cần được đặt trong bối cảnh. GPT‑OSS được đo so với GB200, còn các mô hình DeepSeek và Kimi lớn hơn được so sánh với GB300. SemiAnalysis lập luận rằng nền tảng Vera Rubin mới hơn của Nvidia là đối chiếu cạnh tranh phù hợp hơn vì cả Rubin lẫn Jalapeño đều dùng công nghệ bộ nhớ lớp HBM4 và đang ở các giai đoạn phát triển phần mềm tương đối sớm.

Do đó, các thử nghiệm xác lập rằng các mẫu kỹ thuật Jalapeño đang hoạt động có thể chạy hiệu quả nhiều họ mô hình lớn, không độc quyền. Chúng chưa xác lập độ tin cậy ở quy mô cụm, tổng chi phí sở hữu hoặc hiệu năng dưới lưu lượng sản xuất ChatGPT và API.

3. Cách Jalapeño nhắm tới cả độ trễ lẫn thông lượng

Jalapeño là bộ tăng tốc chỉ dành cho suy luận, thay vì một con chip để huấn luyện các mô hình nền tảng mới. OpenAI đã thiết kế nó cùng Broadcom xoay quanh các giai đoạn riêng biệt của việc phục vụ mô hình ngôn ngữ.

Trong giai đoạn prefill, hệ thống xử lý prompt của người dùng, khiến năng lực tính toán trở thành một ràng buộc trung tâm. Trong giai đoạn decode, hệ thống tạo câu trả lời từng token, gây áp lực lớn hơn lên băng thông bộ nhớ. Việc di chuyển trạng thái mô hình giữa các bộ xử lý có thể tạo thêm một nút thắt, đặc biệt khi một yêu cầu trải trên nhiều chip.

OpenAI cho biết Jalapeño giảm sự di chuyển này bằng cách giữ trạng thái mô hình—bao gồm bộ nhớ đệm key-value được dùng khi tạo sinh—ở cục bộ khi có thể. Tính toán, bộ nhớ và mạng được điều phối trong một miền kết nối lớn, cho phép cùng một nhóm bộ tăng tốc xử lý cả prefill lẫn decode thay vì gán vĩnh viễn các giai đoạn đó cho phần cứng riêng biệt.

Thiết kế này nhằm duy trì hiệu quả khi tỷ lệ khối lượng công việc thay đổi. Một dịch vụ hướng theo batch có thể ưu tiên tổng thông lượng, trong khi một tác tử tương tác có thể cần tạo token nhanh vì độ trễ tích lũy qua các lần gọi công cụ tuần tự và các bước suy luận.

Broadcom cung cấp chuyên môn về triển khai silicon, kết nối và mạng, bao gồm công nghệ Tomahawk của hãng. Celestica đóng góp về tích hợp bo mạch, rack và hệ thống. OpenAI vẫn chịu trách nhiệm về kiến trúc và các quyết định phần mềm-phần cứng được định hình từ các khối lượng công việc ChatGPT, Codex và API.

Công ty chưa công bố kế hoạch bán chip hoặc hệ thống Jalapeño. Richard Ho, người phụ trách phần cứng của OpenAI, nói với Axios rằng nhu cầu nội bộ đã quá lớn để công ty hình dung việc cung ứng cho người mua bên ngoài. Vì vậy, các nhà phát triển sẽ tiếp cận Jalapeño gián tiếp qua các dịch vụ OpenAI thay vì dưới dạng một bộ tăng tốc có thể mua.

4. AI đóng góp cho cả thiết kế chip và quá trình đưa phần mềm vào vận hành

OpenAI cho biết các công cụ AI đã tham gia trực tiếp vào quá trình phát triển Jalapeño. Từ thiết kế ban đầu đến tape-out sản xuất, công ty hoàn tất giai đoạn thiết kế chip trong chín tháng. SemiAnalysis đặt mốc thời gian rộng hơn—từ tuyển dụng nhóm ban đầu đến tape-out—là khoảng 16 tháng, vì vậy hai con số mô tả các điểm khởi đầu khác nhau thay vì nhất thiết là lịch trình mâu thuẫn.

Các mô hình được dùng để khám phá phương án triển khai, rút ngắn các vòng lặp thiết kế và xác minh, đồng thời tối ưu các mạch số học. OpenAI cũng cấu trúc bộ xử lý như một mục tiêu lập trình có thể dự đoán, được xây dựng quanh tensor cục bộ, giao tiếp tường minh và đồng bộ hóa, cho phép các hệ thống AI hỗ trợ bố trí và lập lịch công việc trên phần cứng.

Sử dụng Codex với GPT‑Astra, nhóm kỹ thuật đã đưa GPT‑OSS, DeepSeek R1 và Kimi K2.5—không mô hình nào nằm trong kế hoạch sản xuất ban đầu của Jalapeño—lên hiệu năng cao trong vòng hai tháng. Với các khối attention và mixture-of-experts GPT‑OSS được chọn, các triển khai do AI tạo ra chạy nhanh hơn 1,5 đến 1,8 lần so với mã hiện có do các chuyên gia con người viết. OpenAI giới hạn rõ ràng kết quả đó ở các khối này; đây không phải mức tăng tốc cho toàn bộ mô hình.

OpenAI dự kiến triển khai Jalapeño hạn chế vào cuối năm 2026 và có năng lực rộng hơn trong năm 2027. Thiết kế thế hệ thứ hai đã ở giai đoạn phát triển nâng cao, trong khi công việc cho thế hệ thứ ba đã bắt đầu.

Công ty không thay thế các nhà cung cấp bên ngoài. Họ cho biết Nvidia và các đối tác khác sẽ tiếp tục cung cấp bộ tăng tốc cho huấn luyện và suy luận vì Jalapeño một mình không thể đáp ứng nhu cầu tính toán của hãng. Phép thử vận hành trước mắt là liệu OpenAI có thể tái tạo mức tăng hiệu quả trong phòng thí nghiệm sau khi kiểm định sản xuất và triển khai trên toàn bộ rack dưới lưu lượng khách hàng hỗn hợp hay không.

Câu hỏi thường gặp

Jalapeño của OpenAI là gì?

Jalapeño là bộ tăng tốc AI tùy chỉnh đầu tiên của OpenAI. Nó được đồng phát triển với Broadcom dành riêng cho suy luận mô hình ngôn ngữ thay vì huấn luyện mô hình.

Jalapeño có nhanh hơn chip của Nvidia không?

Trong các thử nghiệm InferenceX được OpenAI công bố, Jalapeño đạt thông lượng đỉnh trên mỗi kilowatt cao hơn và độ trễ thấp hơn các cấu hình GB200 và GB300 được so sánh. Kết quả đến từ các mẫu kỹ thuật và chưa phải benchmark sản xuất đầy đủ.

Những mô hình nào đã được thử nghiệm?

OpenAI đã thử nghiệm GPT‑OSS 120B, DeepSeek R1 670B và Kimi K2.5 1T bằng các khối lượng công việc danh nghĩa 8.000 token đầu vào và 1.000 token đầu ra.

Nhà phát triển có thể mua hoặc thuê phần cứng Jalapeño không?

Không. OpenAI cho biết hãng không có kế hoạch bán chip vì cần năng lực sẵn có cho hạ tầng riêng. Các nhà phát triển cuối cùng có thể hưởng lợi thông qua các sản phẩm và API do OpenAI lưu trữ.

Khi nào Jalapeño sẽ đi vào hoạt động?

OpenAI dự định bắt đầu triển khai nội bộ hạn chế vào cuối năm 2026. Kiểm định sản xuất, phát triển phần mềm và thử nghiệm trên các mô hình bổ sung vẫn đang được tiến hành.

Tham khảo nguồn

Share

Chia sẻ bài viết