文章摘要
文章探讨了OpenAI和Anthropic在推理任务上是否真的在亏损。作者通过简化计算,仅考虑原始计算成本,质疑了普遍认为的推理成本高到不可持续的观点。尽管作者承认这是粗略估算,但他基于对云计算和高吞吐量服务成本的了解,认为当前的模型即使没有改进,其经济效益也可能被低估。
文章总结
标题:OpenAI和Anthropic真的在推理上亏钱吗?
主要内容:
近年来,关于AI推理成本高昂的讨论不绝于耳,尤其是OpenAI和Anthropic等公司在推理任务上是否真的在亏钱。尽管表面上看这种说法似乎合理,但作者对此持怀疑态度,并决定深入探讨这一问题。
成本假设与分析:
作者首先假设了H100 GPU的成本为每小时2美元,并基于DeepSeek R1的架构(671B参数,37B通过专家混合激活)进行推理成本的计算。通过计算,作者发现输入处理和输出生成的成本存在显著差异:输入处理每百万token的成本约为0.003美元,而输出生成每百万token的成本则高达3.08美元,相差千倍。
实际应用中的经济学:
- 消费者计划:以ChatGPT Pro用户为例,每月20美元的费用下,实际成本仅为3美元左右,OpenAI的利润率高达5-6倍。
- 开发者使用:Claude Code Max用户的使用模式偏向于大量输入和少量输出,这使得其成本结构非常有利,利润率可达20倍。
- API利润:当前的API定价与实际成本相比,利润率高达80-95%,显示出API业务的巨大盈利潜力。
结论:
尽管分析中做了许多假设,但即使考虑到可能的误差,AI推理的经济学仍然显示出高度的盈利性。输入处理的低成本与输出生成的高成本之间的巨大差异,解释了为什么某些应用场景(如代码助手、文档分析工具)能够实现高利润,而视频生成等输出密集型任务则面临较高的成本压力。
作者认为,关于AI推理成本高昂的叙事可能更多地服务于现有企业的利益,而非反映真实的经济现实。如果计算准确,尤其是对于输入密集型工作负载,AI推理的盈利门槛可能远低于普遍认为的水平。
总结:
AI推理的成本结构并非不可持续,输入处理的低成本与输出生成的高成本之间的巨大差异,使得某些应用场景具有极高的盈利潜力。我们不应过分夸大成本,而应关注AI推理的实际经济学。
评论总结
评论主要围绕AI公司(如OpenAI)的盈利能力和商业模式展开,观点分为支持和质疑两派:
支持AI公司盈利能力的观点: 1. 推理成本低,盈利潜力大:部分评论认为推理成本较低,AI公司可以通过订阅服务盈利。例如,评论5提到“他们声称在计算上有80%的利润率”,评论6指出“如果推理不像人们想象的那么耗电,他们应该能从订阅中赚到不少钱”。 2. 未来盈利模式:评论14认为,AI公司可以通过广告等商业模式实现盈利,“一旦他们通过PPC/付费广告获利,他们的利润/查询应该会转为正值”。
质疑AI公司盈利能力的观点: 1. 忽略模型成本:评论2指出,许多分析忽略了模型训练和研发的成本,“如果你忽略我们亏损的地方,我们就没有亏损!”,评论9也提到“纯推理在真空下可能是现金流为正的,但这并不是人们越来越质疑这些企业财务健康的原因”。 2. 实际亏损:评论12引用Sam Altman的话,“如果我们不支付训练费用,我们会是一家非常盈利的公司”,评论28则直接指出“他们非常非常不盈利,这就是为什么他们需要无休止的投资来支撑”。 3. 推理成本的低估:评论17质疑推理成本的估算,“这种估算假设你24/7不间断地进行推理”,评论18则指出“文章的数学计算至少偏差了1000倍”。
其他观点: 1. 商业模式分化:评论22提出,可能需要区分训练模型的公司和进行推理的公司,“一种是训练模型并授权,另一种是在模型上进行推理”。 2. 开源模型的潜力:评论27质疑为什么没有更多便宜的API提供商,“如果推理这么便宜,为什么没有多个API提供商以极低的价格提供模型?”。
总结:评论中对AI公司的盈利能力存在较大分歧,支持者认为推理成本低且未来商业模式有潜力,而质疑者则指出模型成本被低估且实际亏损严重。