文章摘要
文章作者表达了对Claude Code工作流被A/B测试干扰的不满。作为付费用户,他需要工具的稳定性和透明度,而非核心功能在不知情下被改动。虽然理解公司优化产品的初衷,但认为应在不破坏用户体验的前提下进行测试,并提供退出选项。
文章总结
请不要对我的工作流程进行A/B测试
作为Anthropic公司的长期支持者,我一直是Claude Code的忠实用户。但最近一周,我发现自己的工作流程因平台进行的A/B测试而受到严重影响。
核心问题在于: 1. 付费用户(200美元/月)的专业工具突然改变核心功能(如计划模式) 2. 测试缺乏透明度,用户无法选择退出 3. 关键功能变更未提前告知,影响工作效率
具体案例显示,Claude Code被强制要求: - 计划输出限制在40行以内 - 禁止包含上下文说明 - 保留文件路径但删除说明文字
这反映出AI工具部署中存在的重要问题: - 需要更多透明度而非更少 - 应允许用户配置工作流程 - 必须保证"人在回路"的指导权
虽然理解企业需要优化产品,但对专业工具进行影响核心功能的隐蔽测试,会严重损害用户体验。建议开发方: 1. 对专业版用户提供测试选择权 2. 保持功能变更的透明度 3. 增强用户配置权限
(注:原文中涉及技术验证细节及部分情绪化表达已做删减处理,保留核心论点)
评论总结
以下是评论内容的总结:
1. 关于A/B测试的争议
支持A/B测试的观点: - A/B测试是改进产品的必要手段,但需要合理设计(评论10) - "I don't believe A/B testing is an inherent evil, you need to get the test design right" - 像医生使用安慰剂一样,用户不知情才能获得真实测试结果(评论25) - "Doctors use placebos because it doesn't work if the user knows about it"
反对A/B测试的观点: - 专业工具需要可靠和可复现的结果,LLM无法提供(评论2) - "A professional tool provides reliable and replicable results, LLMs offer none of this" - 开发者工具需要确定性,不可见的特性标志不可接受(评论21) - "determinism is a non-negotiable requirement...reproducing a bug becomes literally impossible"
2. 关于产品条款的讨论
- Anthropic的条款明确允许修改产品(评论6)
- "Section 6.b...says they can and will change the product offering"
- 用户不应假设高价订阅意味着产品不会改变(评论4)
- "did you assume a $200 subscription meant a frozen product?"
3. 关于模型性能的反馈
- 用户观察到性能波动和计划模式问题(评论15)
- "nine out of ten times, it is objectively terrible"
- LLM既有价值也有局限(评论12)
- "so useful with boilerplate...but you REALLY need to know your stuff"
4. 关于价格与成本的讨论
- 200美元/月的定价可能仍低于成本(评论8,13)
- "They lose money at $200/month"
- "$200/month would cost $400/month"
5. 关于逆向工程的争议
- 部分用户支持逆向工程以了解工具行为(评论26)
- "We deserve to know what these tools are doing"
- 但条款明确禁止反编译(评论6,20)
- "section 3.3 explicitly disallows decompilation"
6. 替代方案建议
- 开源工具可以避免无通知变更的问题(评论27)
- "Open source tools solve the problem...changing without notice"
- 本地模型可能是不错的选择(评论18)
- "local Qwen 3.5 35b...comparable in quality"
不同观点保持平衡,既包含对A/B测试合理性的辩护,也包含对产品稳定性和透明度的要求。核心争议集中在:专业工具是否需要绝对确定性VS产品改进需要实验数据之间的张力。