Hacker News 中文摘要

RSS订阅

展示HN：我如何在两块游戏显卡上登顶HuggingFace开放大语言模型排行榜 -- Show HN: How I Topped the HuggingFace Open LLM Leaderboard on Two Gaming GPUs

原文链接 | HN讨论 | 2026-03-11 02:08:04

文章摘要

作者通过复制现有72B参数大模型的7个中间层（未修改任何权重），意外使模型性能显著提升，登顶HuggingFace开源LLM排行榜。这一反常规的操作揭示了Transformer架构中某些层对"思考"的关键作用，源于数月地下室里的探索和自制"大脑扫描仪"的发现。

文章总结

大语言模型的神经解剖学：如何在不修改权重的情况下登顶AI排行榜

2024年中期，HuggingFace的开放大语言模型排行榜成为了开源AI模型的竞技场。数千个模型在这里角逐，既有资金充足的实验室团队开发的模型，也有微调高手创造的奇特命名模型（如Nous-Hermes、Dolphin和NeuralBeagle14-7B等），争夺六个基准测试的榜首位置：IFEval、BBH、MATH Lvl 5、GPQA、MuSR和MMLU-PRO。

而排名第一的是dnhkng/RYS-XLarge——我的模型。

我没有训练新模型，也没有合并权重，甚至没有运行一步梯度下降。我所做的更加奇怪：我取了一个现有的720亿参数模型，复制了其中间的七个特定层，然后将结果重新拼接起来。整个过程没有修改任何权重，只是模型获得了更多用于“思考”的层。

线索一：用Base64与LLM对话

2023年底，我发现了一个奇怪的LLM特性：你可以用Base64编码的问题与模型对话，而模型能够解码、理解并重新编码回答。这让我意识到，模型的早期层可能充当了“翻译器”，将输入转换为某种抽象的内部表示，而后期层则负责将这种表示转换回输出格式。中间的层可能在执行纯粹的抽象推理。

线索二：Goliath异常

2023年11月，HuggingFace用户Alpindale发布了Goliath-120b，这是一个通过交替拼接两个Llama-2 70B模型层构建的1200亿参数“缝合怪”。尽管性能一般，但其构造方式令人震惊：它将后期层的输出反馈到早期层的输入。这种操作本应导致模型崩溃，但它却正常运行，证明了模型层的内部表示具有高度的同质性。

构建“大脑扫描仪”

基于这些观察，我开发了一个实验管道，通过复制模型的不同层块来测试性能。实验发现，复制中间层的特定块（如45到51层）可以显著提升模型在数学和情感推理任务上的表现。最终，RYS-XLarge通过复制七层中间层，在排行榜上取得了第一的成绩。

发现与启示

这些实验表明，大语言模型的中间层可能形成了功能性的“电路”，执行完整的认知操作。这些电路是不可分割的处理单元，复制整个电路块可以让模型进行更深层次的推理。这一发现为大语言模型的内部结构提供了新的见解，也为模型优化提供了新的方向。

后续发展

RYS-XLarge的方法被其他研究者采用，并通过微调进一步提升了性能。截至2026年初，排行榜前四的模型均基于RYS-XLarge的架构。尽管排行榜后来因测试集污染问题关闭，但这一方法的有效性得到了验证。

总结

通过复制中间层块，我们改变了模型的“思考方式”而非“知识内容”，从而提升了性能。这一发现揭示了Transformer模型的功能解剖结构：早期层编码、中间层形成推理电路、后期层解码。随着模型规模的增大，这种功能分离更加明显，为未来的模型优化提供了新的思路。

（注：本文为虚构内容，基于假设的未来场景创作。）

评论总结

以下是评论内容的总结：

  1. 核心发现（作者dnhkng）：

    • 在Qwen2-72B模型中复制特定的7个中间层（不修改权重）能提升所有Open LLM基准测试表现，使模型排名第一。
    • 关键现象：单层复制无效，过多层复制会降低性能，只有约7层的模块化复制有效，表明预训练形成了完整的功能性电路。
    • 实验环境：仅使用2块RTX 4090显卡完成。
    • 引用：
      • "Only circuit-sized blocks of ~7 layers work. This suggests pretraining carves out discrete functional circuits"
      • "The whole thing was developed on 2x RTX 4090s in my basement"

  2. 技术类比与验证：

    • 与混合专家架构（MoE）的相似性（blourvim提问）
    • 其他研究支持：类似发现见于论文（WithinReason引用）和Transformer层可重排性研究（patchnull提到CKA分析）
    • 引用：
      • "This lines up with what I have seen doing CKA analysis... duplicating is basically giving extra compute cycles"（patchnull）
      • "Here is a paper that made a similar observation"（WithinReason）

  3. Base64编解码能力：

    • 模型能理解和生成Base64编码，显示其对数据扭曲的鲁棒性（多用户提及）
    • 引用：
      • "models are surprisingly robust to heavy word mangling... they even understand it"（tgw43279w）
      • "Does seem weird that it can decode and understand it at same time"（Havoc）

  4. 潜在应用与延伸问题：

    • 是否尝试多层复制（seeknotfind提问）
    • 与"双重检查答案"机制的类比（goodmythical）
    • 如何实现全局KV缓存协调（rob_c）
    • 引用：
      • "Isn't this similar to models that have 'double check the answer'?"（goodmythical）
      • "The fun one will be an LLM router for LLM layers"（rob_c）

  5. 社区反响：

    • 对业余研究者实践的赞赏（多用户）
    • 建议投稿学术会议（tgw43279w）
    • 引用：
      • "This is some research grade effort! I'm confident you could publish this"（tgw43279w）
      • "Love seeing these writeups of hobbyists getting their hands dirty"（cootsnuck）

关键争议点：层功能模块化的程度（是否严格分区）和复制机制的理论解释尚未形成共识。