Hacker News 中文摘要

RSS订阅

开源AI与开放模型书单 -- Open-source AI and open models reading list

为准备面向公众和政策方面的开放模型写作,作者分享研究材料。这是过去几年关于开放模型的最佳写作清单,想快速了解该领域的人可借此全面把握现状。清单最后更新于2026年9月13日,涵盖开放模型是什么、发布原因、与商业战略的关系及风险。还列出比尔·格利(Bill Gurley)2026年5月的文章,以及马克·扎克伯格(Mark Zuckerberg)关于 Llama 3 发布时 Meta 为何发布开放模型的评论。

正文

开源 AI 与开放模型阅读清单

这是过去几年关于开放模型最好的写作合集。如果有人想快速了解这个领域,读完就能得到对现状的全面概览。欢迎在评论中推荐值得加入的文章,我会持续更新。

最近更新:2026 年 9 月 13 日

开放模型是什么、人们为什么发布它们、它们与商业战略的关系,以及风险何在

谁在开放模型领域领先、这如何随时间变化、中国如何保持领先地位,以及相关历史

  • 为什么在来自中国的竞争日益加剧的情况下,美国需要投资开放模型的基础研发与创新 —— The ATOM Project,Nathan Lambert(2025 年 8 月)

    • 关于开放模型为何有助于推动研究创新并为 AI 带来有益结果的视角 —— Why I build open language models,Nathan Lambert / Interconnects(2024 年 10 月)

    • 为什么开放模型促进教育、创新和竞争这三项美国核心价值 —— Banning Open Source AI Would Be A Mistake,Nathan Lambert 与 Kevin Xu(2026 年 6 月)

    • 为什么最近的“氛围式监管”或模糊的联邦监督机制会让我们在不久的将来面临与前沿开放模型的冲突甚至禁令 —— 6 months to live for open models,Nathan Lambert / Interconnects(2026 年 7 月)

    • [可选] 完全开放的语言模型技术报告,代表理解的最前沿:Pythia(EleutherAI,2023)、Olmo(2024)、Olmo 2(2024)、Olmo 3(2025)

  • 通向 AI 的中国开源历史 —— Chinese Open Source: A Definitive History,Kevin Xu(2026 年 3 月)。

  • 西方公司对中国模型的突出使用引发了有意义的监管关注(更多讨论)

    • 立法者就使用中国模型质询了以下公司:DoorDash(CNBC,2026 年 7 月 31 日)、Airbnb(Bloomberg,2026 年 4 月 29 日;Semafor,2026 年 4 月 29 日)、Anysphere / Cursor(Bloomberg,2026 年 4 月 29 日;Semafor,2026 年 4 月 29 日)、Apple(Reuters,2025 年 5 月 17 日)

    • 其他西方公司非常公开地把使用的模型从美国闭源实验室转向中国开放模型以节省成本。例子包括 Perplexity 突出且迅速地采用 DeepSeek R1(Forbes,2025 年 1 月 28 日),以及 Thomson Reuters 基于 Qwen 构建模型以摆脱 Claude(Business Insider,2026 年 8 月 24 日)

什么是蒸馏、它对中国实验室有多大帮助、开放模型如何影响网络安全等前沿 AI 风险,以及开放模型落后闭源前沿有多远

  • 开放与闭源模型的差距近年来已经缩小,现在大约为 4 到 6 个月。自 2024 年左右以来,领先的开放模型都来自中国实验室。

    • SemiAnalysis 的文章进行了独立评估,结论是开放模型随着时间推移越来越接近闭源前沿性能 —— Are Open Models Catching Up?,SemiAnalysis(2026 年 8 月)

    • 开放模型处于帕累托成本前沿,但不在绝对性能前沿。例如 DeepSeek V4 Flash,见 Artificial Analysis 上的评估与成本。

    • 来自 Epoch AI 和 Artificial Analysis(以及美中对比等相关数据)显示开放与闭源差距随时间的变化。

    • 一项对公开和私有评估混合的开放与闭源差距的独立分析 —— How far behind are open models?,Håvard Tveit Ihle(2026 年 5 月)

    • 例如 2025 年,Z.ai 的产品负责人谈到他们的发布时间时说:“快速发布。我们在几小时内就开源了。” —— The Z.ai Playbook,ChinaTalk(2025 年 11 月 21 日)

  • 网络、风险与开放模型(我计划进一步展开)

  • 蒸馏——用另一个模型的输出 token 进行训练的过程——是 2026 年围绕开放模型最受关注的一场辩论。

    • 基本背景参见《Reinforcement Learning from Human Feedback》(2026 年出版的后训练教科书)中关于合成数据与蒸馏的教科书章节

    • 蒸馏如何帮助中国实验室,但并未削弱他们的创新 —— How much does distillation really matter for Chinese LLMs?,Nathan Lambert / Interconnects(2026 年 2 月)

    • 一份非常透明的文档,记录了中国公司如何使用 Anthropic 的产品并绕过服务条款或预期用途。报告详述了被禁方对 Anthropic 产品的大规模使用,混合了技术性蒸馏(通过 SFT 数据提及)和大量将 Claude 路由到其产品服务中而不告知用户的做法 —— Detecting and countering misuse of AI: September 2026。

    • 最近一篇论文显示,前沿实验室在其 API 中有一些实现,使得可以通过巧妙手法系统性地提取推理轨迹(现代训练的关键部分)。这是最近的蒸馏论文,以及我对此的写作 —— Stealing Reasoning Traces from Proprietary LLM APIs,Panfilov、Schmotz、Shumailov 等 2026(更多见 X)。Anthropic 确认这一技术被中国实验室使用。

    • 为什么关于蒸馏的政治恐慌——声称蒸馏是中国模型接近前沿的唯一原因——没有证据支持 —— The distillation panic,Nathan Lambert / Interconnects(2026 年 5 月)

    • 实验室如何在跨智能体行为扩展 RL 环境的时代利用蒸馏改进模型 —— How distillation is used today and what performance uplift it gives to open models,Nathan Lambert(2026 年 7 月)

    • [可选] 更多历史:2024 年,我写了 Frontiers in synthetic data,关键点是合成数据——主要是在更强模型的输出上通过 SFT 训练来“蒸馏”模型——是蒸馏的主导形式。前沿实验室一直在转向基于 logit 的知识蒸馏,最早在 Gemini 中得到确认,并持续至今。2025 年初,关于 DeepSeek-R1 是否从 OpenAI 的 o1 模型蒸馏而来有大量辩论。没有明确证据表明他们这样做了,2025 年 4 月我自信地写道 DeepSeek 没有蒸馏。在 R1 时期,基于上述推理轨迹提取方法,DeepSeek 确实蒸馏了一些 o1 轨迹来让自己更容易训练 R1 模型的可能性,比我当时认为的要大。这并不削弱其创新,但值得现实看待,这也是蒸馏可以加速中国缩小与美国实验室差距的一种方式。

评论

讨论没围绕单一话题形成交锋:一条在求 LLM 内部原理的学习路径,另两条把火力对准"开源 AI"这个说法和外界对训练数据的追问。真正的分歧是——把开放权重说成开源究竟是措辞问题还是实质误导,以及"为什么不公开数据集"是合理质疑还是缺乏常识;附带一层对 HN 上 AI 讨论技术含量的不满。

认为开放权重被当成了开源

  • 不存在真正开源的有用模型,开放权重只是理论上能自己跑的黑箱二进制,实验室连训练数据的高层目录都不提供,两者不该继续混为一谈,并点名 Allen AI 是少见的例外(少数人) > 开放权重不等于开源,我们该停止把这两件事混着说。(@petcat)

认为数据不公开是法律现实而非阴谋

  • 数据集本质就是互联网的一份快照,在美国这样法律会执行的辖区根本无法释放;实际流程是能抓就抓(Common Crawl、The Pile、HuggingFace 上的各种聚合),再通过 Bright Data 之类代理农场走住宅和移动网络、绕过 Cloudflare 继续抓,然后由数据团队去重、清洗、标注,代码、git 提交、对话这类用于监督微调和 RLHF 的数据还得按用例手工整理(少数人) > 他们不发布,是因为那玩意儿就是他妈的互联网快照。(@Onavo)

指责用户对隐私和大模型双标

  • 同一批人在头版痛骂智能电视里塞 VPN SDK,转头就用前沿大模型挣工资,在家嫌技术脏、出门享受它的收益(少数人)

认为那份 AI 阅读清单是政策空谈

  • 清单几乎不碰技术前沿,大多是政策层面的废话(少数人)

质疑社区里"AI 工程师"的基本功底

  • 怀疑在座谈对齐、AI 安全、递归自我改进的人里有多少能写出 ELBO,谈"重校准先验"的产品经理里有多少清楚先验是什么;LLM 在架构上离 2015 年以来的神经网络并不远,只是规模大了几个数量级,本不该显得如此神奇(少数人) > 把脑袋从 Roko 的蛇怪屁股里拔出来,去读读技术报告和论文。(@Onavo)

顺带问一句 2026 年还该不该看 Sebastian Raschka

  • 想补 LLM 内部原理,不确定他的内容在 2026 年是否仍是最好的,没人接话(少数人)

有价值的补充

  • @Onavo 认为《Attention Is All You Need》之后最值得读的是 DeepSeek 那篇用强化学习引导出"思考"思维链的论文,他记为 R2 版本,并称这是理解 LLM 如何超出基础神经网络的关键一步。
  • 同一评论顺带把 ELBO、prior 这类术语当成检验分界线:会用这些词的人未必真懂,而真正该被追问的是能不能把定义写出来。