文章摘要
文章介绍了Claude Token Counter工具的升级,新增了对比不同模型token计数的功能。重点提到Claude Opus 4.7首次更新了tokenizer,导致相同文本的token数量比4.6版多出约1.0-1.35倍。作者测试发现4.7版系统提示的token数量是4.6版的1.46倍。工具支持当前所有主要Claude模型的token计数对比。
文章总结
标题:Claude Token Counter工具新增模型对比功能
主要内容: 开发者Simon Willison升级了其Claude Token Counter工具,新增了不同模型间的token计数对比功能。此次更新主要针对Anthropic最新发布的Claude Opus 4.7模型,该模型首次采用了更新的tokenizer。
关键细节: 1. 模型对比范围:工具支持对比Opus 4.7/4.6、Sonnet 4.6和Haiku 4.5四个主要版本 2. tokenizer变化:Opus 4.7的tokenizer改进导致相同输入的token数量增加1.0-1.35倍 3. 实测数据: - 系统提示文本测试显示Opus 4.7的token数量是4.6的1.46倍 - 高分辨率图片(3456x2234像素)测试显示token数量增加3.01倍 - 但低分辨率图片(682x318像素)测试显示token数量基本持平 - 30页文本PDF测试显示token数量仅增加1.08倍
影响说明: 虽然Opus 4.7定价与4.6相同(输入$5/百万token,输出$25/百万token),但由于token膨胀效应,实际使用成本可能增加约40%。该模型还提升了图像处理能力,支持最高2576像素边长(约375万像素)的图像输入。
工具特性: - 支持文本和图像的token计数 - 可自由选择对比模型组合 - 直观显示各模型的token数量及增长倍数
(注:原文中的图片描述和具体URL等非核心信息已简化处理,保留了关键数据对比和功能说明)
评论总结
总结评论内容如下:
关于Tokenizer变更的动机猜测
- 主要观点:Tokenizer变更可能是为了提高语义理解能力,但会导致token数量增加
- 关键引用:
- "my educated guess is that they might have made the tokenizer more semantically aware"(kouteiheika)
- "Notice that this makes much more sense now - the model now only has to learn what..."(kouteiheika)
对变更的负面看法
- 主要观点:认为这是变相涨价("rugpull"),缺乏透明度
- 关键引用:
- "This is the rugpull that is starting to push me to reconsider my use of Claude subscriptions"(aliljet)
- "Anthropic has not published anything about why they made the change"(lifis)
实际影响
- 主要观点:token使用量显著增加(40%-46%)
- 关键引用:
- "Opus 4.7 used 1.46x the number of tokens as Opus 4.6"(kouteiheika)
- "My prompt was 40% more tokens using Opus 4.7"(onchainintel)
正面可能性
- 主要观点:质量提升可能抵消token增加的成本
- 关键引用:
- "Aren't these increases offset by the quality of the responses?"(hugodan)
- "A denser tokenizer that actually carves at the joints...pays for itself in quality"(sergiopreira)
用户应对策略
- 主要观点:考虑降级使用旧版本或转向本地模型
- 关键引用:
- "I might go back to 4.6 as default"(tpowell)
- "reconsider my use of Claude subscriptions...send simple problems to local llms"(aliljet)
主要争议点:Tokenizer变更是否为了提升质量(技术优化)还是变相涨价(商业行为),目前缺乏官方说明。