2026年9月，Specific Labs（Specific Labs）发布基准Real-SWE，评估前沿AI模型在私有、真实的企业代码库上的表现。每道任务取自一家真实公司授权使用的私有生产代码库，是工程师实际处理的问题，包含现有产品的上下文与复杂性。改动常涉及计费、税费、客户迁移等影响业务运转的环节，还要遵循企业自己的规则与代码风格。编码智能体真能做现实世界中软件工程师的工作吗？

2026年9月

介绍 Real-SWE

在私有、真实的企业代码库上评估前沿AI模型。

01 引言

今天我们发布 Real-SWE，一个在私有、真实企业代码库上评估前沿AI模型的基准。每个任务来自从真实公司授权的私有生产代码库，是其工程师处理的问题，带有现有产品的全部上下文和复杂性。

• 私有代码库：智能体必须摸索专有系统，其代码和解决方案不在公开互联网上。
• 带有业务后果的工作：正确计费、计算税费、迁移客户。常跨多个服务影响业务运行。
• 公司特定复杂性：每家公司有自己的规则和代码风格。智能体需理解这些约定并做适配现有系统的修改。

编程智能体能否在真实世界完成软件工程师的工作？

各模型与 harness 组合的解决率如下（相当于 pass@1，每任务八次独立运行平均，显示95%置信区间）：

| # | 模型 | Harness | 解决率 | | --- | --- | --- | --- | | 1 | Fable 5.1 | Claude Code | 38.8% | | 2 | GPT-6 Astra | Codex CLI | 33.8% | | 3 | Gemini 3.8 Flash | Gemini CLI | 31.2% | | 4 | GLM 5.3 | Claude Code | 28.8% | | =5 | Grok 4.6 | Grok Build | 23.8% | | =5 | Muse Spark 1.3 | Muse Code | 23.8% | | 7 | Kimi K3 | Kimi Code | 18.8% | | 8 | GPT-5.6 Sol | Codex CLI | 16.2% |

专家生成或合成任务设计良好，但并非真实公司工程师实际做的原样任务。我们的任务在两个维度不同：底层编码工件和指令的具体性，都增加了挑战当今前沿模型的复杂度。

我们使用原生 harness 反映企业工程师实际工作，评估模型与 harness 组合而非孤立模型。

真实公司任务需要公司特定上下文

正确计费依赖业务规则和外部服务

修复发票计费，让每个企业收取正确税费，豁免客户不征税。

计费周一重开，此服务发出的发票都无税。平台上每个企业结算税方式不同：有的自维护税率，有的按买家目的地通过税务机构 provider 计价，有的不收。有豁免的客户不论其企业配置均不收费。目的地计价需向机构提供双方地址、定价行和该企业销售的产品类别，根据账户在沙箱或生产机构；机构拒绝的地址必须报告且不停止发票。税率、税额和总额需出现在发票上，结算后销售按发票号归档给机构对账。欧洲各方间发票显示双方增值税注册。机构与账本在 TAXJARURL、PRODTAXJARURL 和 INFLUXURL。

沙箱中的服务：

• TaxJar sandbox
• TaxJar production
• InfluxDB ledger
• NestJS service
• TypeScript

智能体跨代码、基础设施和业务工具工作

Real-SWE 任务环境跨工具与服务，每个任务仅暴露其工作流所需的服务。

• AWS emulator
• Docker
• Kubernetes
• GitHub
• Linear MCP
• PostgreSQL
• MySQL
• MongoDB
• Gel
• Redis
• Go
• Python
• Node.js
• Vitest
• Slack
• Intercom
• Google Drive
• Email
• ClickUp

代码库选择

我们通过严格筛选选择代码库，聚焦有实质使用、强工程团队、高要求生产负载的真实公司。以下样本任务来自这些代码库，包括：

• Luma/Partiful 竞品，20万+用户，App Store 前100排名
• 消费金融科技平台，处理10万+银行对账单
• 企业AI销售平台，支持复杂业务工作流

我们优先选为满足实际用户或业务需求写的代码，而非专为基准写的。生产工程需理解现有架构、保持用户依赖行为、在真实运营约束内改动。

简短指令可能需改动多个文件

任务描述所需改动，让智能体在代码库和周边工具中发现实现细节。验证器要求的行为必须声明或可合理发现。这导致提示略欠指定，约与 DeepSWE 和 Terminal Bench 相当，但足够具体不遗漏指令。工作跨职能复杂：单处改动可跨越应用多部分。智能体需理解现有业务逻辑和公司编码模式，同时保持周边系统工作。

提示长度中位数：典型 Real-SWE 指令 1,742 字符。

• FrontierCode 2,056 chars
• DeepSWE 1,975 chars
• Terminal-Bench 3 1,584 chars
• FrontierSWE v2 992 chars
• Real-SWE 1,742 chars

参考解决方案编辑文件数中位数：Real-SWE 11 个，FrontierCode 和 DeepSWE 均为 6 个。

• FrontierCode 6
• DeepSWE 6
• Real-SWE 11

以上均为中位数，对比数据来自 Cognition 等公开比较。

模型即使在短运行中也失败

10分钟以下运行中 71.4% 失败，较长运行 73.4% 失败。在充满业务逻辑和编码模式的代码库中分类多系统、理解需求很难。

• 10分钟以下：70/98 失败
• 10分钟及以上：398/542 失败

每个任务启发自或原样取自私有真实代码库。我们发现此类任务极有趣，原因有三：

1. 私有代码库任务天然分布外：此类任务不在互联网任何地方，任何AI模型不太可能训练过。企业99% token 隐藏在前沿模型外。
2. 经济可行工作：每个任务直接关联支出，分配给领薪工程师。多数基准测有趣实验能力，而非真实广泛工作。
3. 公司特定工程模式重要：AI代码是否达真实企业标准？结果显示相距甚远。许多企业关心代码标准和模式。我们发现当今模型弱于理解公司编码模式，常漏需求或不敢验证假设。

02 分析

以下对我们基准小样本任务的分析。若感兴趣可请求访问。

10个任务中6个解决率低于15%

每任务每模型8次运行。

| 任务 | Fable 5.1 | GPT-6 Astra | Gemini 3.8 Flash | GLM 5.3 | Grok 4.6 | Muse Spark 1.3 | Kimi K3 | GPT-5.6 Sol | 解决率 | | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | | Multi-region sweep | 7/8 | 8/8 | 8/8 | 2/8 | 3/8 | 8/8 | 2/8 | 5/8 | 67.2% | | API keys & environments | 8/8 | 5/8 | 7/8 | 5/8 | 4/8 | 6/8 | 0/8 | 7/8 | 65.6% | | Entitlement overage lines | 8/8 | 7/8 | 5/8 | 3/8 | 1/8 | 1/8 | 6/8 | 1/8 | 50.0% | | Customer identity migration | 3/8 | 1/8 | 3/8 | 4/8 | 8/8 | 3/8 | 4/8 | 0/8 | 40.6% | | Billing schedule migration | 3/8 | 1/8 | 2/8 | 2/8 | 0/8 | 0/8 | 1/8 | 0/8 | 14.1% | | API token metering | 1/8 | 5/8 | 0/8 | 1/8 | 0/8 | 0/8 | 1/8 | 0/8 | 12.5% | | S3 datastore measurement | 0/8 | 0/8 | 0/8 | 3/8 | 2/8 | 1/8 | 1/8 | 0/8 | 10.9% | | Linearizable scan | 0/8 | 0/8 | 0/8 | 2/8 | 1/8 | 0/8 | 0/8 | 0/8 | 4.7% | | Tax jurisdiction | 1/8 | 0/8 | 0/8 | 1/8 | 0/8 | 0/8 | 0/8 | 0/8 | 3.1% | | Analytics stream reducer | 0/8 | 0/8 | 0/8 | 0/8 | 0/8 | 0/8 | 0/8 | 0/8 | 0.0% |

遗漏需求是最常见的失败

失败按提交行为分组，使用与 DeepSWE 相同的分类法跨模型观察。失败类型包括未验证假设、遗漏需求、集成错误、回归、错误文件。

没有模型解决所有任务

每个 rollout 一方块，每行任务每列试验，每模型每任务8次试验。

不同模型以不同方式失败

百分比基于各模型失败运行而非所有运行。

03 努力与前沿

预计运行成本从 $2.50 到 $6.96

| 排名 | 模型 | 预计成本（美元） | | --- | --- | --- | | 1 | Gemini 3.8 Flash | $2.50 | | 2 | GPT-5.6 Sol | $2.65 | | 3 | Muse Spark 1.3 | $2.74 | | 4 | Grok 4.6 | $3.44 | | 5 | Kimi K3 | $3.90 | | 6 | GPT-6 Astra | $4.67 | | 7 | GLM 5.3 | $5.12 | | 8 | Fable 5.1 | $6.96 |

每 rollout 均值，按任务。各模型总 token 大致：Fable 5.1 64k，GPT-6 Astra 24k，Gemini 3.8 Flash 94k，GLM 5.3 117k，Grok 4.6 67k，Muse Spark 1.3 87k，Kimi K3 43k，GPT-5.6 Sol 23k。

04 评估设置

每个智能体在隔离沙箱运行。所有任务为 Harbor 格式，验证器在评分时注入。验证器启发自代码库现有测试套件或直接使用那些测试。

这场讨论对这类私有代码库基准整体持怀疑态度，分歧主轴是榜单排名能否对应真实编码体验。最能撕裂社区的是 Gemini 3.8 Flash 的高位：一方说它实际用起来很差，另一方说它恰好印证了自己的经验。

认为这种评测从方法上就无法验证

• 任务取自向真实公司授权来的私有代码库，外界看不到代码、也不知道公司是谁，等于只凭承诺的评测；还有人直接追问这种"授权"在操作上究竟如何成立（较多人） > 你说它表现好，但除了"来自某家不知名公司的大型代码库"之外什么都讲不出来，这跟让我们信你有什么区别。（@traceroute66）

认为榜单排名和实际使用感受明显脱节

• 排名差距远小于实际使用中速度与顺手程度的差距，榜上更高的 Fable 实际比 Astra 慢出数倍、对话体验也更差；可选的就那么两三个，自己试一遍比读榜靠谱（较多人） > 榜单说 Fable 比 Astra 强，可实际用下来 Astra 快得不是一点半点，也远没那么烦人。（@IshKebab）
• 有人看到 GPT-5.6 Sol 垫底时，反而没法判断自己的反应是理性判断还是情绪反应（少数人）

认为 Gemini 3.8 Flash 的高分正好说明基准有问题

• 实际拿它做真实工作会毫无理由地反复读同一个文件、为一个小改动发起上百次工具调用，这种表现却排名靠前；发帖者补充说换成别的 CLI 依然如此，不是 harness 的问题（较多人） > 自己拿它做点真活儿就知道了，它会绕圈子把同一个文件读上二十遍。（@bdlowery）

认为 Gemini 3.8 Flash 的好评也确有依据

• 它在边界明确的环境里表现不错，例如在企业代码库中定位和修具体问题；对接 agent 的场景下，除 Fable 外它好过其他模型（较多人） > 它在开放式问题上经常跑偏，但在企业代码库这种定义清楚的环境里确实擅长解决问题。（@hollars）

少数意见认为这份基准最贴近真实体验

• 做大型功能开发时 Astra 略逊于 Fable 5.1，Fable 更能判断什么值得做，也能预判数据量从 x 涨到远大于 x 时会出问题，而 Astra 会做不值得做的事、漏掉明显重要的风险；Gemini 3.8 被低估了（少数人） > Astra 有时去做不值得做的事，却漏掉明显重要的部分，Fable 更能抓住优先级。（@visiondude）

担心所谓私有代码库早已进入训练数据

• 目前最优秀的大型"私有"代码库很多可能已不再私有，同领域做评测的经验是每次都必须检测模型污染；用公开代码做盲测的人同样承认这一风险（较多人） > 一个教训是，每次都得把模型污染当成必查项。（@lmeyerov）

认为模型整体水平仍被高估

• 约 30% 的得分符合实际经验，包括 Astra 在内的模型仍会犯相当低级的错误（较多人） > 我一直以为自己要求太高，其实它们还是不行，今天早上它修问题时搞砸了一件很基础的事。（@prometheus1992）

想看还没被纳入的模型

• 希望榜单覆盖 DeepSeek、Kimi、GLM、Grok 等可以用很低月费订阅访问的模型（少数人） > 这些模型用一个每月十美元的 OpenCode Go 订阅就都能试到。（@bel8）

有价值的补充

• 有人用公开的 Lisp 代码库做过同思路的盲测代码审查，耗时数月、消耗大量 token，结论是 OpenAI 领先，唯一剩下没解决的痛点是网络安全方向。
• 讨论里也有人把问题拉回起点：现在到底还有哪些基准值得看；另一部分人只关心什么时候能在本地跑起来。
• 一条玩笑代表了不少人的情绪：真正的软件工程基准，是你上班能扛住多少压力。