Hacker News 中文摘要

RSS订阅

Unreal Agent:全新 AI 智能体 -- Unreal Agent

部署代理时希望快速响应且成本效益高。观察到代理耗大量时间令牌管理工具调用,促使构建虚幻代理(Unreal Agent)以降低模型工具管理开销。其框架异步管理工具调用,免去模型处理等待轮询心跳。用户可随时引导代理无须等候工具结束,代理也能在模型调用间安排更多任务,实现前沿成本效率。当前版本相比代码(Codex)最高省40%成本、相比派(Pi)最高省20%。

正文

编码智能体的质量与成本前沿,突出 Unreal Agent 使用 GPT-6 Astra 在 xhigh 推理努力下。

在真实环境部署智能体时,我们希望它们能快速响应用户,同时运行成本低。我们注意到,智能体会花大量时间和 token 管理工具调用,这促使我们构建 Unreal Agent,用一个 harness 减少模型的工具管理开销。

Unreal Agent harness 以完全异步的方式管理工具调用,让底层模型不必管理工具的等待、轮询和心跳。

这种方法带来两个主要好处。第一,用户始终可以介入引导智能体,无需等待工具调用完成。第二,智能体可以在模型调用之间安排更多有用的工具调用工作,实现前沿成本效率。当前版本在真实工作负载和智能体基准测试中,相比 Codex 最高节省 40% 成本,相比 Pi 最高节省 20%。

我们认为 harness 设计本身就是一个研究领域,还有许多有前景的想法有待研究和实现。

动机与架构

如果你尝试构建智能体优先的产品,很快会发现没有一条黄金路径。大品牌厂商提供不同的 SDK 来构建智能体,每种都有不同的取舍,而这些取舍未必会立刻显现。

在 Unreal Labs,我们构建过多个智能体产品,也从中了解到一些流行 SDK 的特点。

例如,面向 CLI 的 SDK,如 Claude 的 Agent SDK,带有对本地会话、子进程和资源限制的假设,这些假设不能很好地转化到生产环境。要可靠处理完成、取消和后台任务,通常需要围绕它们自行构建生命周期管理。

支持其他提供商还会增加兼容工作:切换 API 模式可能破坏工具或压缩,SDK 升级可能改变消息格式,迫使集成重写。重型依赖树会给运行时增加维护和供应链风险,而运行时本来就需要我们自己理解和修补。

在我们看来,依赖 harness 钩子和专用工具来做安全与审批,通常比在 harness 之外使用确定性的环境或沙箱约束更需要维护,也不够稳健,比如允许/禁止的主机、细粒度访问令牌、带审批门的代理。

除了这些技术动机,我们还想构建一个 harness,能够始终无延迟地接受用户引导消息,并处理异构工具调用,而不给模型增加额外认知负担。例如,我们希望智能体能启动可能需要几分钟的开发环境设置,同时并行探索代码库和搜索网页,且不产生额外 token 税。

每当 Unreal Agent 发出工具调用,我们会立即在事件日志中追加一条记录,表示工具已返回“进行中”状态,同时继续在后台执行。工具真正完成后,我们把结果追加到会话日志并调用 LLM。要让它在不破坏缓存的情况下运作,本身就是一项有趣的工程挑战。

成本效率

从表面看,Unreal Agent 用更少的模型轮次和更少的输入 token 达到相同结果。

我们把成本节省归因于两个因素:

  1. 最小的 harness 足迹,以及精心设计工具输出的使用方式。Unreal Agent 有简单的提示、token 优化的工具结果,没有子智能体或工作流。
  2. 每个模型轮次做更多工具工作。Unreal Agent 有一个直接明了的异步工具调用模型,并向 LLM 清楚解释。这让它能在每个模型轮次发出更多重型工具调用,而不浪费 token 去轮询或等待。

基准测试

我们构建 Unreal Agent 是为了交付真实生产工作流,但它在基准测试中也表现不错。我们用 GPT-6 Astra xhigh 测试,并与 Codex 和 Pi 比较。以下是一些结果。

通过率存在边际差异,我们将其归因于基准方差。

Terminal-Bench 4.0

GPT-6 Astra · xhigh。Codex(排行榜)是排行榜基线。

| 智能体 | 通过率 | 总成本(美元) | 每试用输入 | 每试用输出 | 轮次 | 工具调用 | | --- | --- | --- | --- | --- | --- | --- | | unreal-agent | 57.9% | 1428 | 1.73M | 32k | 28 | 37 | | Codex(排行榜) | 57.9% | 2350 | — | — | — | — | | Pi | 55.0% | 1827 | 2.83M | 35k | 44 | 57 |

SWE-Atlas Codebase QnA

| 智能体 | 通过率 | 总成本(美元) | 每试用输入 | 每试用输出 | 轮次 | 工具调用 | | --- | --- | --- | --- | --- | --- | --- | | unreal-agent | 65.8% | 936 | 898k | 15k | 16 | 27 | | Codex | 63.3% | 1303 | 1.69M | 17k | 22 | 21 | | Pi | 64.0% | 1033 | 1.29M | 16k | 24 | 60 |

DeepSWE 1.1

| 智能体 | 通过率 | 总成本(美元) | 每试用输入 | 每试用输出 | 轮次 | 工具调用 | | --- | --- | --- | --- | --- | --- | --- | | unreal-agent | 72.4% | 1367 | 1.60M | 28k | 26 | 38 | | Codex | 69.0% | 1633 | 2.19M | 30k | 30 | 29 | | Pi | 69.6% | 1584 | 2.21M | 30k | 40 | 75 |

Agents’ Last Exam · ALE-CLI

完整通过率和平均分如下。这些运行不在 Harbor 上。

| 智能体 | 完整通过率 | 平均分 | 总成本(美元) | 每任务输入 | 每任务输出 | 轮次 | 工具调用 | | --- | --- | --- | --- | --- | --- | --- | --- | | unreal-agent | 30.0% | 59.7 | 217 | 0.76M | 18k | 18 | 23 | | Codex | 29.0% | 58.1 | 292 | 1.59M | 15k | — | 21 | | Pi | 29.0% | 59.2 | 262 | 1.19M | 19k | 27 | 37 |

我们主要运行编码基准测试,因为它们可以在 Harbor 上获得,便于复现和验证,但该 harness 与领域无关。

开始使用 Unreal Agent

Unreal Agent SDK 目前提供:

  • 可直接集成到代码库中的 Go 库
  • 类似 claude -p / codex exec 的运行器可执行文件
  • 与 Harbor 兼容的基准运行器

如果想亲自试用,可以查看我们的 GitHub 仓库。

评论

多数评论吐槽项目取名“Unreal”易与虚幻引擎混淆、存在商标风险且令期待者失望;少数技术讨论则赞赏异步 harness 方向,或质疑其 token 节省论证及基准对比公平性。

认为项目名“Unreal”蹭品牌、易混淆且可能惹官司

  • 大量用户以为这是虚幻引擎相关工具,发现无关后表达失望,指出 Epic 很可能发起商标诉讼,并批评作者放弃独特命名(较多人) > 以为这是虚幻引擎的功能,结果根本无关,非常失望(@basisword)

认可异步工具调用是 harness 设计的正确方向

  • 实时模型交互本质异步,新设计利于交互性;有开发者自2月使用类似方案效果极佳,且近期模型对异步更友好(少数人) > 实时与模型的交互本质就是异步的,这对交互性大有裨益(@solarkraft)

质疑 token 节省逻辑与基准测试公平性

  • 不清楚等待同步调用时模型消耗何种 token;头条图表拿不同档次模型对比显得奇怪;Codex 高耗 token 部分源于自身无意义轮询而非异步独有优势(少数人) > 不太理解异步工具调用如何转化为 token 节省,模型等待时到底用了什么 token?(@nylonstrung)

认为当前 agent 抽象层级过低,应转向异步 actor 系统

  • 仍将 harness 建模为聊天并塞入 shell 会话而非带沙箱功能的异步 actor 系统很荒谬,正确抽象能轻松获益(少数人) > 还在把智能体框架当成聊天塞进 shell 会话而不是构建异步 actor 系统,这很离谱(@rafaelmn)

顾虑订阅支持与 API 成本阻碍采用

  • 多人询问能否用现有 Codex 等订阅,不支持则放弃;API 定价昂贵抑制了框架实验与开发,呼吁实验室开放 OAuth 订阅(少数人) > 若不支持订阅对我而言就不可行(@vb-8448)

有价值的补充

  • tekacs 指出 Codex 因无端热轮询任务浪费大量 token,其 fork 修复后节省规模与 Unreal 展示相近,且 OpenAI 已加异步工具调用支持(非完全等同)。
  • dvt 分享未被充分挖掘的方向:分形工具发现(代理下钻找工具避免上下文污染)、利用 splay 树缓存近期工具链、WASI 沙箱 Python 笔记本挂载资源,认为该空间低垂果实多。
  • vblanco 基于虚幻引擎团队实践,暴露编辑器 Python 脚本并导出蓝图/资源为纯文本供 agent grep,效果远超官方 MCP 及同类 agent。
  • ChaseRensberger 等指出 Go 语言原语适合并发网络 harness,列举 wingman 与 shelley 等 Go 实现。
  • 其他用户提到 omp.sh 结构化工具执行、swival.dev、maki.sh 成本优化等替代方案可供对比。