Hacker News 中文摘要

RSS订阅

Claude Token计数器,现已支持模型对比 -- Claude Token Counter, now with model comparisons

文章摘要

文章介绍了Claude Token Counter工具的升级,新增了对比不同模型token计数的功能。重点提到Claude Opus 4.7首次更新了tokenizer,导致相同文本的token数量比4.6版多出约1.0-1.35倍。作者测试发现4.7版系统提示的token数量是4.6版的1.46倍。工具支持当前所有主要Claude模型的token计数对比。

文章总结

标题:Claude Token Counter工具新增模型对比功能

主要内容: 开发者Simon Willison升级了其Claude Token Counter工具,新增了不同模型间的token计数对比功能。此次更新主要针对Anthropic最新发布的Claude Opus 4.7模型,该模型首次采用了更新的tokenizer。

关键细节: 1. 模型对比范围:工具支持对比Opus 4.7/4.6、Sonnet 4.6和Haiku 4.5四个主要版本 2. tokenizer变化:Opus 4.7的tokenizer改进导致相同输入的token数量增加1.0-1.35倍 3. 实测数据: - 系统提示文本测试显示Opus 4.7的token数量是4.6的1.46倍 - 高分辨率图片(3456x2234像素)测试显示token数量增加3.01倍 - 但低分辨率图片(682x318像素)测试显示token数量基本持平 - 30页文本PDF测试显示token数量仅增加1.08倍

影响说明: 虽然Opus 4.7定价与4.6相同(输入$5/百万token,输出$25/百万token),但由于token膨胀效应,实际使用成本可能增加约40%。该模型还提升了图像处理能力,支持最高2576像素边长(约375万像素)的图像输入。

工具特性: - 支持文本和图像的token计数 - 可自由选择对比模型组合 - 直观显示各模型的token数量及增长倍数

(注:原文中的图片描述和具体URL等非核心信息已简化处理,保留了关键数据对比和功能说明)

评论总结

总结评论内容如下:

  1. 关于Tokenizer变更的动机猜测

    • 主要观点:Tokenizer变更可能是为了提高语义理解能力,但会导致token数量增加
    • 关键引用:
      • "my educated guess is that they might have made the tokenizer more semantically aware"(kouteiheika)
      • "Notice that this makes much more sense now - the model now only has to learn what..."(kouteiheika)
  2. 对变更的负面看法

    • 主要观点:认为这是变相涨价("rugpull"),缺乏透明度
    • 关键引用:
      • "This is the rugpull that is starting to push me to reconsider my use of Claude subscriptions"(aliljet)
      • "Anthropic has not published anything about why they made the change"(lifis)
  3. 实际影响

    • 主要观点:token使用量显著增加(40%-46%)
    • 关键引用:
      • "Opus 4.7 used 1.46x the number of tokens as Opus 4.6"(kouteiheika)
      • "My prompt was 40% more tokens using Opus 4.7"(onchainintel)
  4. 正面可能性

    • 主要观点:质量提升可能抵消token增加的成本
    • 关键引用:
      • "Aren't these increases offset by the quality of the responses?"(hugodan)
      • "A denser tokenizer that actually carves at the joints...pays for itself in quality"(sergiopreira)
  5. 用户应对策略

    • 主要观点:考虑降级使用旧版本或转向本地模型
    • 关键引用:
      • "I might go back to 4.6 as default"(tpowell)
      • "reconsider my use of Claude subscriptions...send simple problems to local llms"(aliljet)

主要争议点:Tokenizer变更是否为了提升质量(技术优化)还是变相涨价(商业行为),目前缺乏官方说明。