Hacker News 中文摘要

RSS订阅

Qwen 3.8 效仿 GPT-5.5 Pro 的推理预填充 -- Qwen 3.8 follows GPT-5.5 Pro reasoning prefills

作为推理预填充实验的后续,v1.1改由GPT-5.5 Pro担任教师,在几个开源模型上重新运行了一遍。每道题下,目标模型各生成两份回复:一份不带预填充;另一份先把GPT-5.5 Pro推理内容的前1%插入自身推理通道,再继续生成可见答案。随后统计教师可见答案在目标模型回答前100个token中的出现比例。

正文

几个开放模型的推理预填充,v1.1

此版本是《几个开放模型的推理预填充》和《被偷走的思想》的后续,用 GPT-5.5 Pro 作教师模型重跑推理预填充实验。

对于每个问题,每个目标模型生成两种回答: 1. 普通无预填充回答; 2. 以 GPT-5.5 Pro 推理过程前 1% 开头、插入目标模型推理通道的回答。

可见答案仍自由生成。之后衡量教师可见答案有多少出现在目标模型答案的前 100 token 中。分数仍为 unigram、bigram、trigram 源召回率均值,差值以绝对百分点计。

所有问题

评测含 45 题:15 道 STEM、15 道非 STEM、15 道合成谜题。

| 模型 | n | 无预填充 | GPT-5.5 Pro 推理预填充 | 差值 | | --- | --- | --- | --- | --- | | DeepSeek V4 Flash | 45 | 27.30% | 26.13% | −1.17 pp | | Inkling | 45 | 19.99% | 20.45% | +0.46 pp | | Kimi K3 | 45 | 31.11% | 35.65% | +4.54 pp | | Qwen3.8 A95B | 45 | 16.79% | 34.97% | +18.18 pp |

按类别看 Qwen

| 类别 | n | 无预填充 | GPT-5.5 Pro 推理预填充 | 差值 | | --- | --- | --- | --- | --- | | STEM | 15 | 19.26% | 46.24% | +26.99 pp | | Non-STEM | 15 | 20.62% | 33.42% | +12.80 pp | | Puzzle | 15 | 10.49% | 25.23% | +14.75 pp | | All | 45 | 16.79% | 34.97% | +18.18 pp |

讨论

早先实验中 Qwen 几乎未向 Opus 4.8 靠拢,此处却向 GPT-5.5 Pro 移动 +18.18 点,对私有合成谜题效果明显。数据表明 Qwen 可能从 GPT-5.5 Pro 或相近 GPT 模型学习,而非 Opus。

Kimi K3 有无预填充都与 GPT-5.5 Pro 重叠最高(31.11% 和 35.65%),但预填充仅增 +4.54 点。

评论

社区就 Qwen3.8 是否借助窃取的前沿模型思维链训练展开讨论,解释性评论多倾向于证据显示可能性较高,少数用户质疑推断严谨性并指出公开数据可能被投毒,同时有人以玩笑点明前沿实验室自身也无道德优势。

认为 Qwen 很可能使用了窃取的前沿模型推理轨迹

  • 通过恢复思维链并对比预设推理开头的贴合度,博客发现 Qwen3.8 明显向 GPT-5.5 Pro 偏移,且训练时间晚于漏洞论文发布;有用户实测几何题推理开头风格高度相似。(较多人) > 他们用恢复思维链的方法发现 Qwen3.8 在预设 GPT 推理开头后表现大幅接近,暗示其训练用了 GPT-5.5 Pro(@wongarsu)

质疑从偏移数据直接推断蒸馏的结论

  • 仅因开源模型答案向某前沿模型靠近就认定其从中学习,逻辑跳跃;另有人指出公开推理痕迹可能是被故意污染的对立面,中国实验室未必会天真使用。(少数人) > 仅凭 Qwen 向某模型答案偏移就推断它从该模型学习,这种逻辑令人费解(@jari_mustonen)

指出前沿实验室自身爬数据无权抱怨

  • 玩笑式表达反映部分社区情绪:那些未经许可抓取网络训练产品的公司,如今抱怨被类似对待是双重标准。(代表情绪) > 没授权就爬全网的公司反过来抱怨被爬,水还是湿的天还是蓝的(@CamperBob2)

担忧中国实验室若仅复制则落后前沿

  • 若证实只是复制推理轨迹而非自主前沿探索,意味着相关实验室比真正前沿滞后一年以上,令用户感到悲观。(少数人)

好奇本地模型能否利用类似前缀技巧提效

  • 有本地模型使用者询问是否存在“魔法咒语”式前缀可泛化提升开源模型表现,但当前漏洞利用似乎不通用。(少数人)

猜测 Qwen 提升源于混合双方推理轨迹

  • 有评论猜想 3.8 版本变强正是因为混合了双方推理痕迹进行训练。(少数人)

有价值的补充

  • 论文方法是从前沿模型恢复可读思维链,取前 1% 作为开源模型起点,观察贴合度来检测蒸馏,此前已用于发现 Kimi 接近 Claude(基于 @wongarsu 解释)。
  • 真实案例中 GPT-5.6 Sol 曾将内部推理泄漏进工具调用,证实了恢复思维链漏洞的存在,用户借此比对了 Qwen 输出(@spijdar)。
  • 公开释放的推理痕迹恰应是怀疑被注入蒸馏毒化的地方,盲目使用反而可能受害(@c7b)。