Kilo在OpenRouter上首次突破每月1万亿令牌的使用量，开源AI编码工具（Cline、Roo、Kilo）本月快速增长。部分增长源于Cursor和Claude开始限制用户使用，导致用户转向开源AI编码工具。未来，每位开发者的AI相关支出可能高达每年10万美元。

未来AI开发成本或达每年10万美元

Kilo在OpenRouter上首次突破了每月1万亿次的令牌使用量。开源AI编码工具家族（包括Cline、Roo和Kilo）在本月均实现了快速增长。这一增长部分归因于Cursor和Claude开始限制用户使用量，导致用户转向开源AI编码工具。

行业曾错误地认为，随着原始推理成本的快速下降，应用推理成本也会迅速降低。然而，尽管原始推理成本确实同比下降了10倍，但应用推理成本却并未如预期般下降，反而有所上升。这主要是因为前沿模型的每个令牌成本保持稳定，而每个应用的令牌消耗量大幅增加。

前沿模型的令牌价格保持稳定，原因是模型规模的扩大和测试时扩展的增加。测试时扩展，也称为长思考，是AI扩展的第三种方式，它增加了推理成本。同时，由于模型允许更长的上下文窗口和更大的建议，每个应用的令牌消耗量也大幅增加。这两个因素共同导致应用推理成本在过去两年中增长了约10倍。

目前，顶级订阅服务的价格为200美元，但重度用户在使用大量推理时会受到限制。如果不希望受到限制，用户需要自行支付推理费用。开源编码工具家族（Cline、Roo、Kilo）基于“永不限制用户”的原则，通过多种方式帮助用户降低成本，例如将工作拆分为多个小任务、使用不同模式、结合闭源和开源模型、优化提示和上下文效率等。

尽管采取了这些措施，我们预计重度用户的成本仍将继续增长。未来，随着更多并行代理的使用和人类反馈前完成更多工作，应用推理成本将迅速上升。这两个因素将推动顶级用户的成本达到每年10万美元。

虽然每年10万美元的成本看似高昂，但与AI训练阶段的成本相比，仍然微不足道。AI训练工程师的年薪和支出可能高达1亿美元，而顶级前沿实验室在AI训练上的支出更是高达数十亿美元。这种巨大的薪酬差异源于他们的相对影响力：一个模型由少数人训练，但被数百万人使用。

评论主要围绕AI开发成本、开源模型、并行代理、以及AI工具的经济性展开，观点多样且涉及多个方面。以下是总结：

1. AI开发成本与开源模型：

   • 支持开源模型的观点认为，开源模型在质量和速度上已经足够好，未来可以在本地运行，降低成本。例如，g42gregory提到：“开源模型将在一年内变得足够好，可以在本地运行。”（“In a year or so, the open source models will become good enough to run locally.”）
   • 反对者则认为，尽管开源模型在进步，但前沿模型的推理成本仍然高昂，且开源模型与专有模型之间仍存在差距。crestfallen33指出：“前沿模型推理是昂贵的，总得有人为此买单。”（“frontier model inference is expensive, and someone has to pay for it.”）

2. 并行代理与任务管理：

   • 一些评论者讨论了并行代理的使用，认为开发者可以同时处理多个任务，但成本会随之增加。hx8提到：“如果假设每个任务每月花费400美元，那么年度账单将达到24,000美元。”（“If we assume 5 tasks, each running $400/mo of tokens, we reach an annual bill of $24,000.”）
   • 也有人对并行代理的实用性表示怀疑，认为管理多个任务超出了大多数人的能力范围。zeld4表示：“在当前AI工具的水平下，管理10多个异步任务所需的注意力超出了大多数人的极限。”（“On the current level of ai tools, the attention you need to manage 10+ async tasks are over limit for most human.”）

3. AI工具的经济性与替代性：

   • 一些评论者质疑AI工具的高成本是否合理，认为与其支付高昂的AI费用，不如雇佣更多的开发者。IshKebab指出：“为什么你会支付超过一个全职开发者工资的AI费用，而不是直接雇佣另一个人？”（“Why on earth would you pay more than a full time developer salary on AI tokens when you could just hire another person instead.”）
   • 另一些人则认为，AI工具的价值在于提高生产力，尽管成本高，但其带来的效率提升可能值得投资。daft_pink表示：“如果你每月被限制在200美元，你可能应该再支付200美元购买第二个订阅，因为价值是存在的。”（“if you are throttled at $200 per month, you should probably just pay another $200 a month for a second subscription, because the value is there.”）

4. AI的未来与成本趋势：

   • 一些评论者认为，随着技术进步，AI模型的训练和运行成本将逐渐降低。chiffre01提到：“随着时间推移，训练和运行这些模型的成本只会越来越低。”（“It’s only going to get cheaper to train and run these models as time goes on.”）
   • 但也有人担心，尽管单位成本下降，但使用量的增加可能导致总体成本仍然上升。StratusBen指出：“供应商不断降低单位成本，但客户的消费增长速度更快，最终账单仍然在增长。”（“vendors keep dropping unit costs, customers keep increasing consumption faster than prices fall, and in the end the bills still grow.”）

总结：评论中对AI开发成本、开源模型、并行代理和AI工具的经济性存在不同看法。支持者认为开源模型和AI工具的未来前景广阔，而反对者则对高昂的成本和实用性表示怀疑。