Terminal-Bench-Science是一个由斯坦福大学主导、多领域专家参与构建的AI科学能力基准测试，基于真实科研工作流评估AI代理。首批包含70项任务，覆盖生命、物理、地球、数学和工程科学。目前最强模型Claude Opus 5的解决率为30%。

中文重述：Terminal-Bench-Science 评估框架

Terminal-Bench-Science 是一个由斯坦福大学研究人员主导、Terminal-Bench 团队与全球多学科领域专家合作构建的基准测试平台。该平台通过来自真实科研工作流程的多样化、专家精选任务，评估AI智能体的科学能力。

与传统的教科书式问题或标准化练习不同，Terminal-Bench-Science 的评估标准由科学家而非模型开发者或数据供应商设定。其首个版本（0.1版）包含来自生命科学、物理科学、地球科学、数学和工程科学的70项任务。目前表现最佳的模型 Claude Opus 5 仅达到30%的解决率，表明该基准为AI智能体留下了巨大的进步空间。

该基准具有三个核心特点：第一，任务来源于真实科研实践，由一线科学家贡献；第二，评估过程在真实环境中进行，通过可重复的特定测试对分析、模拟、证明、代码等具体成果进行评分；第三，它是一个持续更新的基准，会随着AI前沿的发展而演进，定期发布新版本、添加新任务、淘汰已饱和的任务。

在成本与性能方面，不同模型表现各异。Claude Opus 5 达到最高解决率但成本最高（7千美元），而 GPT-5.6 Sol 以不到三分之一的成本（4.2千美元）实现了与 Claude Fable 5 相当的性能。各模型在不同科学领域的表现也存在差异。

Terminal-Bench-Science 0.2 版本的工作已经开始，任务提交截止日期为2026年10月5日。该项目通过 GitHub 和 Discord 平台开放协作，欢迎研究人员贡献新的工作流程任务。

根据评论内容，总结如下：

主要观点与论据：

1. 对科学工作流基准测试的认可（评论2、9、13）

   • 评论2认为“对实际研究流程的评估是正确的方向，大多数智能体基准测试都是玩具任务”。
   • 评论9表示“一直在等待这样的基准测试落地，这将改进科学工作流模型”。
   • 评论13提供了任务链接，强调“任务本身才是关键”。

2. 模型表现对比与争议（评论1、5、6、11）

   • 评论1指出“GPT Sol在数学科学上击败Opus”，并偏好GPT的文风。
   • 评论5质疑“Opus 5在编码任务上感觉不如Fable”，认为结果“奇怪”。
   • 评论6认为“Claude在科学智能上显著高于Sol”，并称“Claude真正掌握了广泛的科学和数学细微差别”。
   • 评论11同样对“Opus 5大幅超越Fable 5”表示困惑。

3. 对科学领域AI应用的担忧（评论10、12）

   • 评论10担心“基准测试不检查正确性”，指出Claude“无法信任，它撒谎太多”。
   • 评论12强烈反对“科学被‘氛围编码’”，认为“前沿科学不能依赖测试和验证的软件模式”，并警告“科学信任度已处于历史最低点”。

4. 其他观点（评论3、4、7、8）

   • 评论3表示“这些不是AGI……但我不在乎”，并称Luna“足够好”。
   • 评论4遗憾“没有提到Gemini”。
   • 评论7期待“自我改进涵盖硬件和材料科学”。
   • 评论8分享“上下文工程”经验，并好奇科学家是否使用类似启发式方法。

平衡性总结： - 支持方：认为基准测试方向正确，能推动模型改进（评论2、9）。 - 质疑方：对模型表现不一致（评论5、11）和正确性（评论10）提出质疑。 - 反对方：担忧科学领域滥用AI导致“科学垃圾”泛滥（评论12）。 - 中立观察：关注具体任务设计（评论13）和模型实际体验（评论1、6）。