LLM AssBench 页面以 Prompt 为入口,顶部给出指向 PROMPT.md 的 Prompt 链接,点击后可复制内容或关闭面板。抓取到的只是缓存快照,页面提示可能尚未完全加载。页面主体区域显示 No matches,没有匹配结果,同时带有添加窗格等界面控件。
正文
评论
整串讨论基本是一场围绕荒诞「屁股基准」的集体狂欢,真正的分歧集中在它算不算 NSFW、能不能出现在工作场合;穿插其中的少数评论则认真比较了各模型的实际表现。
把它当成「最重要的基准测试」来庆祝
- 荒诞地给这个评测戴上「最重要基准」的帽子,并顺势预言未来会出现专门刷这个榜的优化,以及下一个「香蕉基准」(较多人)
- 建议把测试对象放上自行车,算是对「鹈鹕骑自行车」那类老基准的接力与反讽(较多人) > 我们终于抵达顶峰了。(@sethkim)
争论它到底算不算 NSFW
- 有人要求加 NSFW 标签,也有人庆幸公司网络把页面拦掉了,认为这类内容不该默认出现在工作场景(较多人)
- 另一派认为技术上仍属安全内容,但仍希望先取得社区共识再发到工作频道,并主动说明自己刚做完手术、判断力可能受影响(较多人) > 我很想把它发到工作 Slack 里,因为实在太好笑了,可我不确定会不会被同事往 HR 那边捅。(@threethirtytwo)
认真比较模型在这个任务上的表现
- 意外于 Opus 5.5 的表现如此之好(较多人)
- 认为 Luna 在最高推理档下的发挥超出预期,形象虽奇怪,但以它的低价位提供高推理档很有性价比;并拿一年前的顶级 GPT 模型作参照,认为后者在通用网格生成上会更差(少数人)
怀疑提示词未指定肤色,暴露了模型的默认偏见
- 指出生成用的提示词并未要求白人肤色,因此质疑这是否说明模型存在种族倾向(少数人)
对「鹈鹕骑自行车」式基准已经厌倦
- 有人一度想写个浏览器扩展屏蔽所有相关提及,觉得那些测试毫无用处,但对新的这个反而愿意接受(少数人)
有价值的补充
- 有评论用一段虚构的时代侧写来调侃当下:经济凋敝、沙尘暴毁了粮食供应,而全国票房第一的电影叫《Ass》,九十分钟就演这个。
- 评论区的整活方向已经自发延伸到下一批基准设计,包括香蕉基准和「把对象放上自行车」。
- 有人预言半年后大家会开始争论模型训练是否属于「assmaxxing」,把荒诞命名推进到训练流程层面。
- 认真讨论模型表现的那条评论顺手澄清,自己此前要求模型生成的是网格而不是屁股,专门补了一句以免误解。