这篇论文提出了一种名为Tiny Recursion Model(TRM)的小型递归推理模型，仅用700万参数就在ARC-AGI测试中取得了优异成绩。研究表明，通过递归自我更新答案的方式，小型模型也能解决复杂问题，无需依赖昂贵的大型基础模型。这挑战了当前过度关注大模型的趋势，证明了"少即是多"的可行性。

标题：小即是多：微型网络的递归推理之道

本文介绍了一种名为"微型递归模型"(TRM)的创新方法，该模型仅用700万参数的微型神经网络，就在ARC-AGI-1测试中取得了45%的优异成绩，在ARC-AGI-2测试中也达到了8%的准确率。这项研究打破了"必须依赖大公司耗资数百万美元训练的大型基础模型才能解决复杂任务"的思维定式。

作者受到近期"分层推理模型"(HRM)的启发，但认为其设计过于复杂，过度依赖人脑生物学原理。TRM将递归推理简化为最本质的形式：模型从初始输入问题x和初始答案y出发，通过最多K次迭代改进答案。每次迭代包含两个步骤：首先基于当前问题、答案和潜在状态z递归更新潜在状态，然后基于更新后的潜在状态改进答案。这种设计使模型能够以极少的参数量实现渐进式答案优化，同时有效避免过拟合。

研究表明，通过递归自我改进的机制，小型模型同样能够完成复杂推理任务，而不必一味追求模型规模的扩大。这一发现为人工智能发展提供了新的思路方向。

这篇评论主要围绕Tiny Recursive Model (TRM) 和 Hierarchical Reasoning Model (HRM) 两种小型递归神经网络模型的性能、潜力和局限性展开讨论，观点如下：

1. 对TRM性能的肯定

   • 作者guybedo指出TRM仅用7M参数就在ARC-AGI任务上超越多数大语言模型（LLMs），如"45% test-accuracy on ARC-AGI-1... higher than most LLMs with less than 0.01% parameters"。
   • 用户briandw认为这一结果"very impressive"，并联想到了Jeff Hawkins的层级时序记忆理论（"Superficially reminds me of Hierarchical Temporal Memory"）。

2. 对模型潜力的乐观与质疑

   • Balinares提到该研究若可推广将具有变革性，甚至可能颠覆现有AI数据中心投资（"instantly void the value of trillions of pending AI datacenter capex"）。
   • 但shawntan引用ARC-AGI组织者的分析，指出传统Transformer在相同数据增强设置下表现接近HRM（"vanilla Transformers do pretty well, close to the 'breakthrough' HRM"），质疑基准测试的专有性。

3. 关于模型有效性的验证

   • krychu通过实验复现发现HRM架构本身贡献有限（"HRM architecture itself didn’t play a big role"），与ARC-AGI团队结论一致。
   • Timsky提出递归模型应测试更复杂任务如汉诺塔问题（"can it solve the Towers of Hanoi beyond level six"）。

4. 技术实现讨论

   • infogulch提出硬件效率提升后大模型是否仍有价值的思考（"Will gigantic models still be useful?"）。
   • 开源代码被多次引用（github.com/SamsungSAILMontreal/TinyRecursiveModels），显示社区对技术细节的关注。

总结：评论者肯定小模型的高效性，但对其普适性和架构创新性存在分歧，同时关注实际应用潜力与现有技术生态的冲突。