CrucibleBench是一个评估AI智能体行为的研究基准，将语言模型置于持久化文本世界中，NPC有记忆、信任积累且错误会留痕，模型需在50回合内完成隐藏社交目标。目前第一阶段概念验证已发布，涵盖13个模型、650次运行。

好的，这是根据您提供的英文内容，用中文重新陈述的文章主要内容，已保留关键细节并删减了与主题无关的冗余信息。

标题：CrucibleBench：用旧世界考验新智能体

核心内容：

CrucibleBench 是一个用于评估 AI 智能体行为的研究阶段基准测试。它将语言模型置于一个持久的文字游戏（MUD）世界中。在这个世界里，NPC（非玩家角色）拥有记忆，信任需要积累，错误会留下痕迹。智能体需要在50个回合内，完成隐藏的社交目标，系统会根据其表现进行评分。

当前状态： 第一阶段的概念验证已发布，包含13个模型、650次运行，总花费99.59美元。第二阶段正在积极构建中。

核心理念：

该基准测试借鉴了任天堂设计师横井军平的“枯萎技术的水平思考”理念，即利用成熟、廉价且被充分理解的技术，以新的方式加以应用。CrucibleBench 没有采用逼真的模拟或浏览器自动化，而是选择了MUD（多用户地牢）这种早期互联网的纯文字世界。其局限性恰恰是优势所在：有限的指令空间使模型产生的幻觉行为可被检测；NPC 拥有明确的信任和怀疑状态，能提供清晰的社交反馈；世界状态的持久性意味着物品和信任关系会持续存在。

为何选择MUD：

• 可枚举的行动空间： 7种指令类型、12个房间、14件物品。模型产生的幻觉行为和错误房间的互动都能被检测，行动效率也可量化。
• 明确的社交反馈： 4个NPC拥有0-100的信任和怀疑状态，会根据对话内容实时变化，模型可以据此调整策略，也可能失败。
• 运行内持久性： 物品被拿走就不会再出现，信任一旦建立就会持续。每次运行都会留下完整、可回放的操作记录。

主要发现（关于测量方法而非排名）：

研究最重要的发现是关于测量方法本身。评分流程中一个基于LLM（大语言模型）的评判组件，能使排行榜的排名发生多达6个位次的变化，而传统的聚合可靠性统计指标却对此毫无察觉。

• 评判组件的影响： 移除该LLM评判组件后，排行榜前几名发生了显著变化。例如，Claude Sonnet 4.6 从第4名升至第1名，而 GPT-5.4 则从第1名跌至第5名。
• 结论： 使用LLM作为评判者的基准测试，除了报告聚合可靠性外，还应报告每个模型与评判者的一致性以及移除评判者后的排名稳定性。

行为失败模式：

研究通过状态机遥测，无需人工评判即可识别出三种主要失败模式：

1. 对话循环： 智能体反复对同一个NPC使用“交谈”指令，重复失败的对话策略。这是所有测试模型（包括前沿模型）中最主要的失败模式，发生率为14%至66%。
2. 错误房间互动： 智能体对不存在的NPC或物品发出“交谈”指令，表明其失去了对世界状态的追踪。
3. 探索停滞： 智能体在20多个回合中只探索了不到两个房间，或连续使用“查看”指令，未能将信息收集转化为目标导向的行动。

项目定位：

• 这是一个： 用于持久世界行为评估的概念验证；一个带有隐藏社交目标和规则机制的紧凑型MUD；一种揭示可测量、可解释的失败模式的方法；一个包含650份完整运行记录、源代码和评分代码的完整开源项目。
• 这不是： 一个经过验证的通用社交智能衡量标准；一个前沿模型的最终排行榜；对现实世界智能体部署结果的预测；声称LLM评判者无用（而是证明了需要对其进行逐模型审计）。

下一步：

第二阶段正在建设中，目标是校准和预注册。项目欢迎通过资助、共同构建或参与测试等方式进行合作。

根据评论内容，总结主要观点如下：

1. 对MUD作为AI测试环境的认可（正面） - 多位评论者认为MUD是理想的AI代理测试沙盒，因其约束性使行为可测量。 - 关键引用：评论5 "I vibe coded a few room proof of concept MUD... Interesting to limit the number of turns and see where it gets stuck"；评论11 "a MUD does prove a great constrained sandbox for them to play in... seeing models strength/weaknesses/tradeoffs"

2. 对文章滥用“MUD”术语的批评（负面） - 评论10强烈指责文章使用“MUD”一词不准确，认为其构建的受限环境并非真正的MUD，缺乏源代码和1970年代起源特征。 - 关键引用：评论10 "You didn't use 'a MUD'; you used a very limited 'MUD-style environment'. This is not a MUD... Shame on you for falsely capitalizing on the 'MUD' term."

3. 对MUD文化消逝的怀旧与反思 - 评论1表达对文本角色扮演社区被Discord取代的遗憾，认为平台限制文本表达。 - 评论7、8、14回忆早期MUD和论坛RPG的体验，认为其简单机制反而带来乐趣。 - 关键引用：评论1 "I really wish MUDs were still a thing... Discord... limits the text and leaves most interaction limited by awkward formatting"；评论14 "I remember the very simple mechanic... it made for great rpg. Good times."

4. 对AI评测方法的讨论 - 评论4提出通过调整提示词和评估token消耗来优化LLM成本，认为比单纯测量模型能力更重要。 - 评论12建议应测量LLM在MUD中的战斗、物品获取等核心游戏行为，而非仅NPC对话。 - 关键引用：评论4 "change the prompt and evaluate how many tokens and at what speed it takes to accomplish the task... you will make a ton of money"；评论12 "Why not have the LLM fight NPCs and loot items... then measure character progression?"

5. 其他观点 - 评论6对“MUD的约束使行为可测量”这一表述表示反感，认为这是“LLMisms”（AI领域术语滥用）。 - 评论13指出用户对AI产品兴趣有限，仍偏好传统简单产品。 - 评论9遗憾K3和Gemini Flash 3.6未纳入基准测试。