Jack Morris对OpenAI新发布的GPT-OSS模型的训练数据感到好奇，因此生成了1000万个示例并进行了分析，结果发现了一些异常现象，决定进一步深入研究。

标题：Jack Morris在X平台上探讨OpenAI新GPT-OSS模型的训练数据

主要内容： Jack Morris在X平台上发布了一篇关于OpenAI新GPT-OSS模型训练数据的深入分析。他生成了1000万个来自GPT-OSS-20B模型的示例，并进行了详细分析，结果发现这些数据相当奇特。他邀请读者一起深入探讨这一发现，并附上了相关链接和图片。

细节： - 发布平台：X（原Twitter） - 发布时间：2025年8月8日晚上7:21 - 分析内容：生成了1000万个GPT-OSS-20B模型的示例，并进行了分析 - 结果：分析结果相当奇特，值得深入探讨 - 互动：帖子获得了69.5万次浏览

无关内容： - 关于X平台的登录、注册、服务条款、隐私政策、Cookie使用、广告信息等内容与主题无关，已删除。

1. 关于获取无限制版本的问题：

   • flabber 询问如何获取无限制版本，提到 xcancel 不可用。
     • 引用："I don't know how to get a unwalled version. What's the best way to do that these days? xcancel seems unavailable."
   • k310 指出除了特定图片外，其他内容需要登录，并提到 Facebook 也有类似情况。
     • 引用："Anything but this image requires a login. I get the same deal with Facebook."

2. 关于模型输出可读性的讨论：

   • orbital-decay 提到模型在没有训练/约束的情况下会自然地进行奖励黑客行为，导致输出从英语逐渐变为“Neuralese”。
     • 引用："That's just natural reward hacking when you have no training/constraints for readability."
   • esperent 询问“Neuralese”是什么，并提到搜索结果未能解释清楚。
     • 引用："What is Nueralese? I tried searching for a definition but it just turns up a bunch of Less Wrong and Medium articles that don't explain anything."

3. 关于模型处理版权内容的能力：

   • pinoy420 认为模型在处理版权内容方面表现更好，能够输出《星球大战》第四集的全部内容，但需要删除角色名称。
     • 引用："5 seems to do a better job with copyrighted content. I got it to spit out the entirely of ep IV (but you have to redact the character names)."

4. 关于模型训练和输出的技术问题：

   • ma2rten 推测模型在训练后被设计为对提示生成响应，而不是复制提示本身，因此空提示会导致输出超出分布范围。
     • 引用："Presumably the model is trained in post-training to produce a response to a prompt, but not to reproduce the prompt itself."

5. 关于评论者对内容理解的困惑：

   • revskill 和 puttycat 分别对评论中的某些术语和内容表示不理解。
     • 引用："What does that mean?" (revskill)
     • 引用："What does this mean?" (puttycat)
   • james-bcn 对分析过程表示困惑，希望有人能解释。
     • 引用："This looks very interesting but I don't really understand what he has done here."