一项生成章鱼操作管风琴SVG的测试在2026年运行6个模型。开放人工智能（OpenAI）的GPT-6星辰（GPT-6 Astra）用时2分19秒、耗资0.37美元；安索匹克（Anthropic）的克劳德寓言5.1（Claude Fable 5.1）用时3分22秒、耗资0.79美元；谷歌（Google）的双子闪存3.8（Gemini 3.8 Flash）用时4分40秒、耗资0.12美元；深度求索（DeepSeek）的深度求索V4 Pro（DeepSeek V4 Pro）用时1分36秒、耗资0.10美元；阿里巴巴（Alibaba）的通义千问3.8 Max（Qwen3.8 Max）用时12分37秒、耗资0.20美元；萨卡纳人工智能（Sakana AI）的河豚超二代（Fugu Ultra v2）用时4分21秒、耗资0.65美元。2025年运行含10个模型如克劳德Sonnet 4.5等。
正文
1. 章鱼操作管风琴
"生成一个章鱼操作管风琴的 SVG"
2026 轮（6 个模型）： - GPT-6 Astra（OpenAI）2 分 19 秒，$0.37 - Claude Fable 5.1（Anthropic）3 分 22 秒，$0.79 - Gemini 3.8 Flash（Google）4 分 40 秒，$0.12 - DeepSeek V4 Pro（DeepSeek）1 分 36 秒，$0.10 - Qwen3.8 Max（阿里巴巴）12 分 37 秒，$0.20 - Fugu Ultra v2（Sakana AI）4 分 21 秒，$0.65
2025 轮（10 个模型）：Claude Sonnet 4.5（Anthropic）、Claude Opus 4.5（Anthropic）、GPT-5.1（OpenAI）、GPT-5.2 Pro（OpenAI）、Gemini 2.5 Pro（Google）、Gemini 3.0 Pro Preview（Google）、Grok Code Fast 1（xAI）、DeepSeek V3.2-Exp（DeepSeek）、GLM-4.6（Z.ai / 智谱）、Qwen3-VL-235B-A22B-Thinking（阿里巴巴）
2. 长颈鹿组装落地钟
"生成一个长颈鹿组装落地钟的 SVG"
2026 轮（6 个模型）： - GPT-6 Astra（OpenAI）2 分 26 秒，$0.36 - Claude Fable 5.1（Anthropic）1 分 58 秒，$0.46 - Gemini 3.8 Flash（Google）2 分 16 秒，$0.07 - DeepSeek V4 Pro（DeepSeek）4 分 44 秒，$0.05 - Qwen3.8 Max（阿里巴巴）11 分 47 秒，$0.19 - Fugu Ultra v2（Sakana AI）6 分 0 秒，$1.02
2025 轮：10 个模型（同上）
3. 海星驾驶推土机
"生成一个海星驾驶推土机的 SVG"
2026 轮（6 个模型）： - GPT-6 Astra（OpenAI）82 秒，$0.20 - Claude Fable 5.1（Anthropic）66 秒，$0.30 - Gemini 3.8 Flash（Google）2 分 31 秒，$0.09 - DeepSeek V4 Pro（DeepSeek）3 分 48 秒，$0.06 - Qwen3.8 Max（阿里巴巴）9 分 45 秒，$0.15 - Fugu Ultra v2（Sakana AI）5 分 30 秒，$0.96
2025 轮：10 个模型（同上）
4. 驼鹿指挥旋转木马
"生成一个驼鹿指挥旋转木马的 SVG"
2026 轮（6 个模型）： - GPT-6 Astra（OpenAI）2 分 22 秒，$0.32 - Claude Fable 5.1（Anthropic）2 分 44 秒，$0.65 - Gemini 3.8 Flash（Google）2 分 9 秒，$0.08 - DeepSeek V4 Pro（DeepSeek）5 分 59 秒，$0.08 - Qwen3.8 Max（阿里巴巴）14 分 56 秒，$0.25 - Fugu Ultra v2（Sakana AI）13 分 13 秒，$1.86
2025 轮（9 个模型）：同上，但无 GPT-5.2 Pro
5. 火烈鸟维修望远镜
"生成一个火烈鸟维修望远镜的 SVG"
2026 轮（6 个模型）： - GPT-6 Astra（OpenAI）2 分 2 秒，$0.28 - Claude Fable 5.1（Anthropic）2 分 7 秒，$0.48 - Gemini 3.8 Flash（Google）3 分 36 秒，$0.11 - DeepSeek V4 Pro（DeepSeek）3 分 24 秒，$0.04 - Qwen3.8 Max（阿里巴巴）10 分 26 秒，$0.18 - Fugu Ultra v2（Sakana AI）14 分 4 秒，$2.05
2025 轮：9 个模型（同上，无 GPT-5.2 Pro）
6. 刺猬拉手风琴
"生成一个刺猬拉手风琴的 SVG"
2026 轮（6 个模型）： - GPT-6 Astra（OpenAI）86 秒，$0.19 - Claude Fable 5.1（Anthropic）79 秒，$0.35 - Gemini 3.8 Flash（Google）1 分 52 秒，$0.07 - DeepSeek V4 Pro（DeepSeek）4 分 5 秒，$0.05 - Qwen3.8 Max（阿里巴巴）8 分 44 秒，$0.15 - Fugu Ultra v2（Sakana AI）2 分 30 秒，$0.35
2025 轮：9 个模型（同上，无 GPT-5.2 Pro）
7. 水母驾驶摩天轮
"生成一个水母驾驶摩天轮的 SVG"
2026 轮（6 个模型）： - GPT-6 Astra（OpenAI）2 分 6 秒，$0.32 - Claude Fable 5.1（Anthropic）74 秒，$0.33 - Gemini 3.8 Flash（Google）2 分 32 秒，$0.09 - DeepSeek V4 Pro（DeepSeek）4 分 5 秒，$0.08 - Qwen3.8 Max（阿里巴巴）9 分 3 秒，$0.15 - Fugu Ultra v2（Sakana AI）3 分 36 秒，$0.69
2025 轮：9 个模型（同上，无 GPT-5.2 Pro）
8. 大象用打字机打字
"生成一个大象用打字机打字的 SVG"
2026 轮（6 个模型）： - GPT-6 Astra（OpenAI）1 分 42 秒，$0.21 - Claude Fable 5.1（Anthropic）66 秒，$0.26 - Gemini 3.8 Flash（Google）2 分 14 秒，$0.08 - DeepSeek V4 Pro（DeepSeek）3 分 5 秒，$0.05 - Qwen3.8 Max（阿里巴巴）2 分 40 秒，$0.05 - Fugu Ultra v2（Sakana AI）3 分 14 秒，$0.41
2025 轮：9 个模型（同上，无 GPT-5.2 Pro）
9. 变色龙给三角钢琴调音
"生成一个变色龙给三角钢琴调音的 SVG"
2026 轮（6 个模型）： - GPT-6 Astra（OpenAI）2 分 40 秒，$0.37 - Claude Fable 5.1（Anthropic）2 分 56 秒，$0.63 - Gemini 3.8 Flash（Google）3 分 13 秒，$0.11 - DeepSeek V4 Pro（DeepSeek）6 分 48 秒，$0.08 - Qwen3.8 Max（阿里巴巴）17 分 24 秒，$0.27 - Fugu Ultra v2（Sakana AI）8 分 22 秒，$1.05
2025 轮：9 个模型（同上，无 GPT-5.2 Pro）
10. 企鹅耍电锯
"生成一个企鹅耍电锯的 SVG"
2026 轮（6 个模型）： - GPT-6 Astra（OpenAI）1 分 37 秒，$0.22 - Claude Fable 5.1（Anthropic）46 秒，$0.20 - Gemini 3.8 Flash（Google）1 分 36 秒，$0.06 - DeepSeek V4 Pro（DeepSeek）3 分 2 秒，$0.05 - Qwen3.8 Max（阿里巴巴）9 分 53 秒，$0.17 - Fugu Ultra v2（Sakana AI）5 分 38 秒，$0.89
2025 轮：9 个模型（同上，无 GPT-5.2 Pro）
11. 树懒驾驶挖掘机
"生成一个树懒驾驶挖掘机的 SVG"
2026 轮：尚未为该提示生成
2025 轮：9 个模型（同上，无 GPT-5.2 Pro）
12. 蜻蜓平衡吊灯
"生成一个蜻蜓平衡吊灯的 SVG"
2026 轮：尚未为该提示生成
2025 轮：9 个模型（同上，无 GPT-5.2 Pro）
13. 犀牛画灯塔
"生成一个犀牛画灯塔的 SVG"
2026 轮：尚未为该提示生成
2025 轮：9 个模型（同上，无 GPT-5.2 Pro）
14. 海马查看显微镜
"生成一个海马查看显微镜的 SVG"
2026 轮：尚未为该提示生成
2025 轮：9 个模型（同上，无 GPT-5.2 Pro）
15. 孔雀转陶轮
"生成一个孔雀转陶轮的 SVG"
2026 轮：尚未为该提示生成
2025 轮：9 个模型（同上，无 GPT-5.2 Pro）
16. 袋鼠爬无线电塔
"生成一个袋鼠爬无线电塔的 SVG"
2026 轮：尚未为该提示生成
2025 轮：9 个模型（同上，无 GPT-5.2 Pro）
17. 龙虾擦竖琴
"生成一个龙虾擦竖琴的 SVG"
2026 轮：尚未为该提示生成
2025 轮：9 个模型（同上，无 GPT-5.2 Pro）
18. 豪猪推割草机
"生成一个豪猪推割草机的 SVG"
2026 轮：尚未为该提示生成
2025 轮：9 个模型（同上，无 GPT-5.2 Pro）
19. 壁虎安装卫星天线
"生成一个壁虎安装卫星天线的 SVG"
2026 轮：尚未为该提示生成
2025 轮：9 个模型（同上，无 GPT-5.2 Pro）
20. 鬣蜥雕刻图腾柱
"生成一个鬣蜥雕刻图腾柱的 SVG"
2026 轮：尚未为该提示生成
2025 轮：9 个模型（同上，无 GPT-5.2 Pro）
21. 犰狳升起吊桥
"生成一个犰狳升起吊桥的 SVG"
2026 轮：尚未为该提示生成
2025 轮：9 个模型（同上，无 GPT-5.2 Pro）
22. 螳螂研究六分仪
"生成一个螳螂研究六分仪的 SVG"
2026 轮：尚未为该提示生成
2025 轮：9 个模型（同上，无 GPT-5.2 Pro）
23. 鸵鸟拉人力车
"生成一个鸵鸟拉人力车的 SVG"
2026 轮：尚未为该提示生成
2025 轮：9 个模型（同上，无 GPT-5.2 Pro）
24. 鱿鱼拆印刷机
"生成一个鱿鱼拆印刷机的 SVG"
2026 轮：尚未为该提示生成
2025 轮：9 个模型（同上，无 GPT-5.2 Pro）
25. 蝴蝶检查蒸汽机
"生成一个蝴蝶检查蒸汽机的 SVG"
2026 轮：尚未为该提示生成
2025 轮：9 个模型（同上，无 GPT-5.2 Pro）
26. 螃蟹下防火梯
"生成一个螃蟹下防火梯的 SVG"
2026 轮：尚未为该提示生成
2025 轮：9 个模型（同上，无 GPT-5.2 Pro）
27. 捕蝇草吞路灯
"生成一个捕蝇草吞路灯的 SVG"
2026 轮：尚未为该提示生成
2025 轮：9 个模型（同上，无 GPT-5.2 Pro）
28. 珊瑚清洗船舵
"生成一个珊瑚清洗船舵的 SVG"
2026 轮：尚未为该提示生成
2025 轮：9 个模型（同上，无 GPT-5.2 Pro）
29. 海葵穿织布机
"生成一个海葵穿织布机的 SVG"
2026 轮：尚未为该提示生成
2025 轮：9 个模型（同上，无 GPT-5.2 Pro）
30. 兰花支撑藤架
"生成一个兰花支撑藤架的 SVG"
2026 轮：尚未为该提示生成
2025 轮：9 个模型（同上，无 GPT-5.2 Pro）
评论
讨论整体带着“这个基准还测得出什么”的怀疑：多数人认为各家输出高度雷同，说明相关任务早已进了训练集，测不出真正的涌现能力；少数人则单纯享受看图，并在 Gemini、Qwen、Grok 之间各有偏好。
认为基准已被训练集喂过，无法衡量真正的涌现能力
- 用一段荒诞描述生成 SVG 这类题目已经被 Goodhart 化，各家多半只是往训练集里加了同类任务，指标一旦被针对性优化就不再有效（较多人） > 各家大概只是往训练集里塞了类似的题，我们再也判断不了模型真正的涌现能力。（@vova_hn2）
- 有人直接猜测 Google 用的训练集和其他家不是一套，这也解释了它在风格上的差异（少数人）
从输出高度雷同推测共享训练数据或蒸馏关系
- 不同模型的产出相似得反常：驼鹿都站在画面左侧，长颈鹿的配色也基本一致，很难相信这是各家“独立”泛化出来的结果（较多人） > 各模型“独立”泛化出驼鹿站在左边、长颈鹿用同一套配色，未免太巧了。（@outlore）
- 有人进一步判断，三个美国模型各有自家风格，而 Qwen3.8 明显是从 Claude 蒸馏出来的；也有人只是感慨各家设计实在太像（少数人）
认为活物与器物的交织仍是主要难点
- 早年模型连鹈鹕的腿和轮子都对不齐，如今整体已相当可靠，但 GPT 仍把章鱼腿画成从乐器里长出来，而不是长在章鱼身上；把生命体与非生命体缠在一起依旧吃力（较多人） > GPT 让章鱼腿从乐器里长出来而不是长在章鱼身上，两种实体交缠仍然很难。（@samayashar）
- 一个细节佐证：几乎没有一只章鱼是真正面朝管风琴的（少数人）
认为 Gemini 表现亮眼，但画风处理引人不解
- 有人觉得 Gemini 3.8 是全部样本里最好的，风格更鲜亮；也有人认为 Gemini 3.8 flash 在性能与成本之比上是个异类；还有人指出 Gemini 2.5 Pro 是唯一知道摩天轮操作员该站在哪儿的模型（较多人） > Gemini 2.5 Pro 是唯一一个知道摩天轮操作员该站在哪里的模型。（@pohl）
- 反方意见是 Gemini 3.8 flash 把画面搞得一片模糊，让人看不懂 Google 在做什么（少数人）
看重 Qwen 的性价比，并希望纳入本地量级版本
- Qwen 3.8 按成本算输出相当惊艳；但更该被测的是 Qwen3.8-27b，因为那才是多数人在本地实际跑的型号（较多人） > 想看 Qwen3.8-27b，毕竟那才是大多数人本地在跑的模型。（@kennywinker）
质疑题目本身是否有效，并调侃基准已经饱和
- 有人直接追问“为什么这算一个好测试”，没有得到正面回应；也有人调侃这个基准已经饱和，接下来该比谁更快黑进五角大楼（少数人） > 这基准已经饱和了，下一个比什么，比谁多快黑进五角大楼吗。（@neilellis）
有价值的补充
- Little Dorrit Benchmark 把视觉推理和结构化输出压进同一个任务，随着通用能力提升排序基本正确；最高分目前 0.78 F1 尚未饱和，而几年前起步时顶级模型只有 0.1～0.2 区间（@svcrunch）
- 有人提议用折纸步骤图的 SVG/JPEG 当新题，同时考验顺序与空间关系（@eddytrex_）
- 有人希望基准加入“渲染—检查—修正”的迭代环节，让便宜模型能自我纠错（@miohtama）
- 若要求把结果做成动画，任务会再难一层（@qiine）；另有评论认为 MacBook Pro 的 3D SVG 是更有实用价值的题目（@ianberdin）