OpenAI於昨日(25日)公布首款自研AI推理晶片Jalapeño的實測結果。半導體研究機構 SemiAnalysis表示，這款晶片在指定大型語言模型推理測試中，吞吐量、回應速度及能源效率均優於Nvidia對照系統，更稱 CUDA 護城河「可能已經死亡了」。
數據顯示，Jalapeño的每瓦工作量高出約 1.5至1.9倍，端到端延遲降低 1.7至3.6倍；在講求快速出詞的高互動負載下，性能優勢更達 2.1至4.1倍。Jalapeño 每秒輸出 Token 較 Nvidia GB200 多近兩倍至 1459 token、完成單一任務只需 1.65 秒、功耗 700W，較 GB300 的 6 秒及 1400W 更快更省。
但Jalapeño真正的戰略意義，可能不只是跑分領先，而是OpenAI首次建立一套毋須依賴Nvidia CUDA的自家推理技術。CUDA一直是Nvidia最強的護城河，大量AI軟件、開發工具及工程人才都圍繞CUDA建立，企業即使找到其他晶片，也要承擔程式重寫、模型移植及系統整合成本，因此往往只能繼續購買Nvidia GPU。
如今OpenAI把晶片、記憶體、網絡及推理軟件整合成自家平台，意味部分AI推理工作可以繞過CUDA，降低對Nvidia的依賴。
特別的是，AI亦有份設計這顆AI晶片。OpenAI表示，AI模型參與了設計方案探索、電路優化、測量分析及驗證工作，並協助編寫部分核心程式。Jalapeño並非完全由AI自主設計，但AI已深度參與整個研發流程。
不過，相關成績只適用於指定推理測試，不能代表Jalapeño已全面超越Nvidia。Nvidia在模型訓練、通用運算及軟件生態方面仍有巨大優勢，OpenAI短期內亦不會停止使用Nvidia GPU。
Jalapeño證明了一件事：CUDA護城河仍然存在，卻已經不是無法繞過。OpenAI正利用Nvidia訓練出來的AI，設計一套減少依賴Nvidia的晶片平台。
