这篇博客围绕近期关于大型语言模型(LLM)强化学习后训练的论文展开,此论文引入马太效应(Matthew Effect)并提议用永不放弃(Never Give Up)解决,内容以交互且较不正式的方式呈现,更像是在聊研究想法与实验过程而非刻板宣读论文。
正文
你的评测到底在测什么?
每个RL从业者想必都见过评测曲线上升。我们在用RL训练 Olmo 3.1 RL-Zero Math 时的 AIME 2025 评测便是如此(见 Olmo 3.1 博客与 arxiv)。
在 Dolci RL-Zero math 上用RL训练 Olmo 3 7B 基座,改善了它的整体数学能力。抑或并非如此?
评论
少数人认为持久化模型随时间会变得高度有效,多数人则质疑平台评论排序埋没好内容、指出原文链接有误,并提醒大模型确认存在推理偏误。
认为持久化模型随时间推移会变得高度有效
- 以 OpenAI 高度持久的内部模型为例,认为这类模型经时间积累能展现极强效果,且是 HF-OAI 事件的主要驱动(少数人) > 像 OpenAI 那样高度持久的内部模型,随着时间推移会极其高效,它们才是 HF-OAI 事件背后的主导(@aswegs8)
质疑平台评论排序机制埋没高质量评论
- 观察到在评论尚少时,有深度的见解迅速沉没而琐碎内容留存,对当前平台的排序或下沉机制表达困惑与不满(少数人) > 为什么这个帖子下两条高质量评论一发布就死了,留下来的全是琐碎内容(@tpoacher)
指出原文声称的论文与代码链接实际指向同一页面
- 发现文章顶部引导读者查看深度技术细节的链接并未分开指向 arXiv 论文与 GitHub 代码,而是全部导向同一个地址(少数人) > 顶部那些指向论文和代码的链接,其实都指向了同一个页面(@MiliasGeiger)
提醒大模型确认存在确认偏误,性能实测须排查全栈瓶颈
- 结合个人性能测试经历,指出初期测得超高消息速率是被内存队列与执行循环速度错配误导,而大模型因相同逻辑偏误确认了错误数字;修正后才知真实瓶颈在内存,且拆开调用栈虽提速却牺牲稳定(少数人) > 错误的数字被 Claude 确认,是因为它和我一样陷入了基于合理逻辑推导出的确认偏误(@austin-cheney)
有价值的补充
- 网络消息处理中实际仅约 0.08% 时间花在 CPU 与网络,剩余 99.92% 消耗在内存;将消息推送放入独立调用栈可使单套接字吞吐达六百万每秒,但会牺牲传输稳定性。
- 修正队列管理能将真实传输速率从十万每秒提升至八十万每秒,表明工程调优需综合考量缓冲排空速度与执行循环速度匹配。