Hacker News 中文摘要

RSS订阅

OpenAI 用自研 LLMs 设计 Jalapeño 芯片 -- How OpenAI Used Its Own LLMs to Design Its Jalapeño Chip

大语言模型正被尝试用于芯片设计,IEEE Spectrum 这篇报道以一个名为 Jalapeño 的项目为例,展示这类模型在硬件设计任务上的能力。文章从该项目展开,讲述它如何被用于芯片设计流程,以及在真实设计工作中表现出的效果与局限。

正文

OpenAI 如何用自己的 LLM 设计 Jalapeño 芯片:AI 大幅缩短了设计时间,而且只会越来越快

8月25日,OpenAI 全面发布了 Jalapeño,这是该公司首款 AI 加速器芯片。Jalapeño 提供最高 13.4 petaflops 的 4 位算力,可访问 232 GB 最先进的内存,连接速度达 15.4 TB/s。OpenAI 引用的基准测试显示,与公司目前依赖的 Nvidia GB300 相比,Jalapeño 可将端到端延迟(从提示到最后一个 token 的时间)降低最多 3.6 倍,同时功耗更低。

这些数字能否在 Jalapeño 进入 OpenAI 推理集群大规模服役后转化为实际收益,仍有待观察,但性能只是故事的一半。另一半是这颗芯片如何被设计出来——这个过程,如你所料,由 OpenAI 的大语言模型(LLM)加速。Jalapeño 从首个架构概念到首块硅片用了不到 20 个月。首版 RTL(定义芯片逻辑的寄存器传输级代码)到 tape-out(完成设计送去制造)只隔了 9 个月。

这是很快的时间表,但专家认为,随着 LLM 改进并更深地集成到芯片设计工具中,它很快会显得慢。OpenAI 不出意料地看好这些机会。“模型正在赋予我们的工程师超能力,”OpenAI 硬件副总裁 Richard Ho 说。“我们的工程师仍然主导工作。他们仍然是最终裁决者。但他们能快得多。他们能探索更多路径。”

OpenAI 用小型设计团队取得快速成果

Ho 说,设计 Jalapeño 的团队在项目期间平均不到 100 人,如今团队仍在约 100 人规模,正推进第二代和第三代设计。这个数字包括硬件团队从系统设计到软件和供应链的广泛角色,但不包括与 OpenAI 合作该项目的 Broadcom。

Image 4: Martin Maschmann

Image 5: Two men in dark blue shirts watch SUVs being put together on an assembly line.

OpenAI 和 Broadcom 的分工大致是设计与实现。OpenAI 团队负责端到端系统设计,包括推理加速器、内存层级和网络。Broadcom 负责“从门级往后的物理设计”,Ho 说。

Image 9: Image of a book cover featuring a head-on view of a yellow sports car.

与 Broadcom 的合作让一些人对 OpenAI 的速度评价打了折扣。智能体芯片设计初创公司 Verkor.io 联合创始人 David Chin 说,“他们给出的时间表相当可信”,但认为 Broadcom 的帮助对 Jalapeño 的快速时间线至关重要。“如果让别人从零开始,那是不可能的。”Verkor 的另一位联合创始人 Ravi Krishna 称 OpenAI 的速度是“一个相对令人印象深刻的结果”,但补充说,如果项目今天启动,LLM 能力的提升可能带来更快的时间表。

Image 10: A yellow sports car is parked in a restaurant parking lot next to a boxy white vanlike vehicle.

Image 11: A portrait of a smug-looking man with thinning hair, lit from the side, and wearing a black shirt.

Image 12: Two pictures, each showing a bespectacled man.

加州大学圣迭戈分校杰出教授 Andrew Kahng 也认为 OpenAI 的速度值得注意,称它“可能是当今最好的”。Kahng 回忆起他共同组织的 2016 年 IEEE 设计自动化未来研讨会。那次研讨会的主题演讲者是 Richard Ho,当时是 Google 的工程师。Ho 对设计自动化有强烈看法,把完成一颗芯片设计所需的时间,框定为团队一天能完成多少次迭代的函数。

Image 13: A boxy white vehicle is seen with its front hood raised.

Image 14: A two-seat yellow roadster.

Image 15: A man wearing white sneakers and blue jeans stands next to a yellow roadster with a bright red dashboard.

OpenAI 的 LLM 如何加速 Jalapeño 的设计

Image 16: A smiling man in a striped shirt stands next to an electric motor.

“自动化本身在芯片设计中已经存在了几十年。这不是新问题,”马里兰大学帕克分校半导体倡议与创新主任 Ankur Srivastava 说。LLM 与此前自动化工具的不同之处,在于它们理解语言和代码的能力。他说,这使它们特别适合“仍处于问题的语言领域”的芯片设计任务。

Image 18: Four men cluster around a partially build yellow roadster.

Image 19: A black two-seat roadster.

OpenAI 团队设计了一套利用这一优势的工作流。OpenAI 的前端工作流围绕 Accelerated Hardware Synthesis(XLS)构建,这是最初由 Google 开发的开源高级综合工具链。高级综合是一种芯片设计自动化形式,让工程师在更熟悉的编程环境中设计芯片。以 XLS 为例,芯片设计者可以用 DSLX(一种受 Rust 启发的领域特定语言)和 C++ 等语言编写,XLS 再将其转换为 Verilog——一种用于描述电子系统的硬件描述语言。

“我们在想如何利用 AI 让项目更快,而 AI 更擅长像软件的东西,”OpenAI 技术团队成员 Chris Leary 说。“XLS 某种程度上看起来像软件,所以它得到了这种好处。”Leary 在 Google 时启动了 XLS,对 XLS 应该如何运作极为熟悉,这也有帮助。

Image 21: A balding man in a blue sweater with light stubble on his chin sits under an engineering drawing of an electric roadster.

Kahng 同意用 AI 加速 XLS 这类高级综合是合理的,因为它“对 LLM 更自然”,并提供快速迭代的机会。“我认为这是一个普遍有用的工作流,进入未来它‘有生命力’,”他说。

Image 22: Industrial robotic arm with cable management system and flexible energy chains

Image 23: Numbered diagram of a flexible robotic arm with segmented joints and components

同样的逻辑让 Jalapeño 团队聚焦软件优化。5 月首批芯片从代工厂回来时,团队用内部 AI 模型设计软件,运行 SemiAnalysis 的 InferenceX 等基准。在 DeepSeek 的多头潜在注意力核基准上,性能从理论天花板(由芯片算力和内存带宽设定)的 0.31% 上升到约 40 小时内的 88.94%。Ho 说这一结果可以复现,因此从代工厂交付首批芯片到量产爬坡之间的时间可以缩短。“我们所有的时间表假设都将基于我们现在拥有这个能力这一事实,”他说。

Image 24: A team of seven people having a work meeting in an open concept office space.

服务器机架内的电线和灯光,Jalapeño 设计用于由 2,048 颗芯片组成的 pod 中部署

虽然 Ho 和 Leary 事先猜到了 Jalapeño 团队 AI 辅助工作流的大方向,但 OpenAI 模型的改进带来了一些惊喜。

Leary 说,项目开始时借助了 OpenAI o3 等模型(2025 年 4 月公开发布,但 Jalapeño 团队更早获得)。到项目结束时,团队已能用上 GPT-6 Astra 的前身模型,后者直到 2026 年 9 月 3 日才公开发布。Leary 说,新模型可以直接在 Verilog 中工作,无需 XLS 从普通编程语言翻译,并且接近能自主操作专有设计工具。

Ho 也确认,团队用上了为芯片设计微调、不对外公开的内部 LLM。他拒绝详述所用模型,但补充说 Jalapeño 团队与 OpenAI 研究团队合作。虽然并非所有用于设计 Jalapeño 的具体模型都公开,Ho 说目标是把项目经验带入公司的商用 LLM。“可以说 Astra 及后续模型将非常擅长芯片设计,”他说。

Image 26: A man wearing a green T-shirt and blue jeans stands at a table with a keyboard and a cup of coffee staring at a computer monitor.

Image 27: Optical microscopy image of a superconducting integrated circuit.

Image 28: A blue SUV is seen from a head-on perspective. At the top center of the windshield is a small trapezoidal enclosure containing a lidar unit.

AI 在后端优化上用处较小,但这可能改变

如前所述,OpenAI 在 Jalapeño 上的大部分工作聚焦“前端”芯片设计,涵盖从初始概念、编写 RTL 代码定义设计,到验证设计在物理实现后能否工作的任务。大量“后端”设计——包括布线互连、完成和验证时钟与电源规范、向代工厂发送所需设计信息——交给了 Broadcom,由它把芯片推进到量产。

这并不是说 OpenAI 的工作流忽视后端。Jalapeño 团队包括物理设计工程师,他们与 Broadcom 的同行合作,就芯片的 floor plan 和布线等提供指导。

在 IEEE Hot Chips 2026 上,Ho 和 Leary 给出了 AI 引导物理设计优化的收益数字,包括矩阵乘法单元面积相比优化过的人工基线减少 10%。换句话说,OpenAI 声称 AI 引导优化帮助在同一硅面积上设计了更多电路。

Broadcom 使用自己的内部工作流。其团队无法使用 OpenAI 用于设计 Jalapeño 的内部模型,但可以使用 OpenAI 公开的商用模型。

Verkor 的 Ravi Krishna 说,OpenAI 的后端设计方法已经显得有些保守。他认为这是项目启动时间(2024 年 10 月)的产物。“过去四五个月的模型改进了。从 2026 年 4 月起……它们才真正开始更好地处理这些任务,”他说。Verkor 联合创始人 Suresh Krishna 同意:“没理由不能有一个智能体循环,在很大程度上也加速后端流程。”

Ho 和 Leary 还暗示,与团队接下来的努力相比,设计 Jalapeño 所用的工作流可能显得老派。

“你可以想象,做 Jalapeño 时我们想尽可能快。所以要在‘我们是否愿意花时间做创新’和‘我们是否做历史上已知可行的事’之间权衡,”Leary 说。“第二代,我们有一种重置机会,可以问所有我们想设置好的东西。”

Ho 说第二代芯片的工作流“有很多地方我们正在引入 AI”。他提到在验证和物理设计中用更多 AI 的机会。Leary 补充说,团队现在有自动波形操作和查看工具。这可以自动分析识别与故障相关的芯片时钟信号,并能在硬件仍在设计时改进调试。

尽管有这些预期改进,Ho 和 Leary 明确表示,他们不认为芯片设计能完全自动化。“我们不是说任何人都能来,只用 OpenAI 的编码平台 Codex 就构建最先进的前沿 AI/ML 加速器芯片,”Ho 解释说。“我们说的是关于如何更好地使用 Codex,以及我们如何聚焦小团队和快时间表来达到高质量结果的一些非常具体的事。”

评论

这场讨论对「AI 设计芯片」的标题普遍存疑:多数人认为文章把辅助软件开发包装成了设计突破,甚至怀疑 OpenAI 借合作获取对方 IP;少数人为 AI 把新芯片调优时间压缩到数十小时感到震撼,并因此重新评估递归自我改进的可行性。分歧的另一条线,是乐观的长期想象与芯片物理制造周期之间的落差。

认为标题夸大 AI 的作用,实质是借合作获取 IP

  • 核心质疑是文章没有任何证据表明 AI 做了创造性工作,它只是被用于项目内部的软件开发,标题属误导;OpenAI 的真实动机是让握有 IP 的芯片公司使用其产品,从而接触对方的技术资产(较多人) > 没有任何证据表明 AI 做了创造性的事,它只是被用来做软件开发,标题明显误导。(@muchdoubt)
  • 另一种讽刺更直接:成果主要来自苹果内部人士的经验技巧,LLM 只是顺便帮了忙(少数人)

惊叹 AI 把芯片软件调优从理论峰值的 0.31% 推到 88.94%

  • 从事专用芯片 bringup 的人引述文章细节:芯片从代工厂回来约 40 小时后,内部 AI 模型把 DeepSeek 多头潜在注意力内核的性能从理论天花板的 0.31% 提升到 88.94%,且结果可重复,这意味着首片芯片到量产爬坡之间的时间可以显著缩短(高赞) > 从首片芯片到量产爬坡之间的时间可以被压缩,我们所有的排期假设现在都要建立在这个能力之上。(@pama)

认为递归自我改进比 2023 年更可信,但物理制造是硬约束

  • 2023 年时递归自我改进看起来还很遥远,2024 年还有人证明幻觉无法根除、担心训练数据耗尽,如今人类持续生成新数据,只是获取成本高于旧数据;但芯片制造有约 20 个月周期,速度仍受物理制造和物流限制(较多人) > 递归自我改进配 20 个月的芯片制造周期,算不上突飞猛进,物理制造和物流在可预见的未来仍是硬障碍。(@gozucito)

批评「延迟最多降低 3.6 倍」这类表述不精确

  • 读者无法判断比较基准是 4.6 与 1.0 还是 3.6 与 1.0,也不知道测的是几何平均还是算术平均、具体哪种延迟改善了;发在 IEEE Spectrum 上出现这种含糊格外奇怪(较多人) > 这种数字不该是印象派的,应该精确,尤其发在 spectrum.ieee.org 上。(@globnomulous)

认为只是一个月前发布内容的复述

  • 期待更多细节,结果发现内容只是重提一个月前的发布(少数人)
  • 有人追问苹果相关诉讼的进展,也说明文中背景交代不足(少数人)

相信 AI 终将进入通用芯片设计,只关心何时变便宜

  • 有人认为总有一天有人会用 LLM 设计苹果 M 系列的竞品(少数人)
  • 更直接的诉求是:什么时候能买到便宜芯片,内存也一样(少数人)

拿 Jalapeño 的双关调侃命名

  • 有人抱怨自己种的就是 Jalapeño 辣椒,把 AI 和真辣椒混为一谈让人恼火(少数人) > 我种 Jalapeños,把 AI 和真正的辣椒混为一谈让我很烦。(@karim79)

有价值的补充

  • IEEE Spectrum 在工程圈的长期信誉被单独提起:有人回忆职业早期,这本杂志每月在工程师之间传阅,还要在封面附的名单上签名确认读过。
  • 讨论中有人提到 2024 年一篇证明幻觉无法完全解决的论文,可作为理解当下递归自我改进预期变化的参照。