作者在1.5小时内用5090显卡训练了一个小型Transformer模型，在ARC-AGI-1测试中达到44%准确率，成本仅67美分，性能超越许多大语言模型，且开源。该模型在ARC-2上也获得7%准确率。
正文
好的，这是根据您的要求，对原文进行中文重述和精简后的版本：
标题：仅花费67美分，在ARC-AGI-1上达到44%准确率
作者在1.5小时内，用一块5090显卡从头训练了一个小型Transformer模型。该模型在ARC-1基准测试上的得分与TRM/HRM等模型持平，并超越了众多大型语言模型（LLMs）。相比之前的版本，新模型更快、更便宜、性能更好，并且保持开源。此外，该模型在ARC-2上也能达到7%的准确率。
研究动机
作者认为样本效率是当前AI领域最重要的问题。这项工作的目的是：（1）探索在Transformer和当前深度学习方法限制下，样本效率的极限；（2）降低成本，使迭代更快、更便宜。ARC基准测试非常适合验证这一点，因为它样本极少（仅1000个谜题）、是一个元学习基准、所需先验知识少、对人类来说极其简单，且尚未被（数据效率方面）饱和。
技术细节
整体方法与之前类似，但进行了一系列升级。核心思路是：将每个输入-输出对转换为token序列，由一个小型Transformer进行自回归训练。在测试时，模型会在训练集和评估集的谜题上从头开始训练（测试标签隐藏）。为了实现跨任务学习，每个谜题都有一个单独的可学习嵌入。由于每个序列包含两个2D网格，位置编码使用了3D RoPE。序列会通过颜色和二面体排列进行增强。推理时，对测试输入进行增强，并对输出进行逆变换，最终提交最常见的两个输出。
主要改进
- 性能提升：得益于现代架构（SwiGLU、RMSnorm）、更多样化的数据和更好的数据打乱、以及模型规模扩大（8层）。
- 成本降低：大幅减少数据增强、使用Normuon优化器替代AdamW、以及采用Flash Attention等技术。
- 关键变化：不再对输入token进行训练，损失函数仅包含输出token（使方法变为监督学习）。这使得分从40%提升至44%，但作者尚不完全理解原因。此外，通过谨慎筛选，加入了ARC-2中不重叠的任务来增加训练数据。
有趣的现象
转为监督学习后，测试损失反而变差，但得分却更高，且结果更稳定。作者认为，这指出了当前许多通过追求最低验证损失来提高样本效率的方法存在缺陷。
消融实验
性能提升的最大贡献来自良好的表征（3D RoPE + 每个任务的嵌入）。移除其中任何一个都会导致得分大幅下降至25%。其他实验表明，仅使用ARC-1+ConceptARC训练集、或采用其他训练方式（如CompressARC），性能均不如当前方案。
对未来的贡献
代码已开源。作者认为，在不增加训练数据的前提下，通过进一步改进（如新的位置编码、更现代的架构、手工GPU代码优化等），达到65%的准确率是可行的。他特别希望有人能找出移除数据增强的方法。
对批评的回应
作者回应了关于其方法的各种批评，包括“在测试集上训练是作弊”、“泄露信息”、“违反测试政策”、“未包含训练成本”等。他逐一反驳，认为这些批评要么是基于误解，要么是站不住脚的。例如，他强调在评估集谜题上训练其输入（而非标签）是直推式推理，这在元学习基准中是允许且被鼓励的。他也澄清了测试成本已包含从初始化到推理的全部计算开销。
对其他方法的看法
作者认为，许多其他方法（如HRM、TRM）过度依赖递归，而他的模型证明无需递归也能达到相同性能。他批评HRM和TRM在宣传时误导性地只计算“活跃”参数，忽略了庞大的嵌入层权重。对于基于LLM的方法，他认为其进步主要来自后训练阶段和大量合成数据，而非通用推理能力的提升，且其公开排行榜得分因数据泄露而失去意义。他反对使用合成数据、数据增强和人为设计归纳偏置，认为这些是“反苦涩教训”的作弊行为。
从LLM在ARC上的表现中学到的
LLM在ARC上的进步表明，预训练并不能赋予通用推理能力。即使像O1这样的模型在ARC-1上取得高分，ARC-2的出现也重置了所有LLM的进度，说明后训练同样不能带来通用推理。LLM在ARC-2上的持续进步主要归功于后训练和针对基准的优化，而非样本效率的提升。
评论
根据评论内容，总结主要观点如下：
1. 模型能力与泛化性争议（评分：无） - 批评观点：模型仅针对单一基准测试（ARC）优化，缺乏通用性。评论1指出：“Is the author only running their model against one benchmark? ... the difficulty comes when you want to make the model not benchmaxxed to a specific benchmark”。评论3补充：“Most models completely fail new ARC-AGI tests”，暗示这种专精化策略的局限性。 - 辩护观点：作者（评论7）澄清：“This is NOT an LLM. its a small ar transformer trained from scratch”，强调其目标是展示“extremely complex problems can be tackled without LLMs”，并聚焦于样本效率这一核心问题。
2. 成本与收益的权衡（评分：无） - 评论3质疑“67 cents”的误导性：“You can’t extrapolate from there and think that investing say $100 will get you a lot better results. You hit a ceiling very fast”。作者（评论7）则强调成本约束的重要性：“Sample Efficiency is one of the most important unsolved problems today in AI ... it was important to constrain cost as much as possible”。
3. 对AI研究方法的反思（评分：无） - 评论4讽刺ML专家“don’t have any clue what they be doing, and are eventually API bitches”。评论6呼应：“I have been wondering the same ... We are now exposed to so many stimuli, we are tricked into thinking this is the norm”。作者（评论7）提出更激进的看法：“Personally I think today’s frontier models can be beat by training from scratch”。
4. 技术细节与后续发展（评分：无） - 评论5赞赏：“Really impressive and creative research”。评论8询问新基准测试表现：“How does it perform on ARC-AGI-3?”，并引用其他方案（Schema Harness）的更高成绩。作者（评论7）透露：“Can the perf be improved? Yes but the competition is ongoing”。
5. 个人背景与动机（评分：无） - 评论2提及作者“Saved myself in a medical emergency”。作者（评论7）自述：“I was new to ML when I posted this first (dec ‘25). I basically used ARC as a way to learn ML”。