文章探讨了人工智能产品在概率时代的开发与应用，指出人们往往难以接受AI技术的快速进步及其不可预测的行为模式。作者通过互联网发展初期的类比，强调新技术带来的颠覆性变化需要时间来被大众理解和接受。最终，技术行业逐渐适应并发展出构建和扩展数字产品的强大本能，达到新的平衡。

标题：在概率时代构建AI产品

最近，我试图说服一位朋友，ChatGPT并没有记住所有的医疗记录，当她在输入血液检查结果时，模型只是在做模式匹配，甚至连OpenAI也无法完全预测其行为。她无法相信这一点，我完全理解她的困惑。我们发明了一种我们并不完全理解的技术，它展现出的行为超出了我们的预期，这确实让人难以接受。

这种对AI进步的怀疑并不新鲜。主流直觉和文化影响总是滞后于新技术的能力。三十年前，当我们在互联网上创业时，类似的怀疑也存在。向陌生人寄送支票或免费提供服务在当时看来是荒谬的，但那些理解了零边际成本和无限扩展分发的人最终变得非常富有。他们意识到，旧有的假设不再适用，并据此采取了行动。

如今，AI再次颠覆了科技行业的规则。许多过去的经验已经过时，通用人工智能的出现彻底改变了我们设计、构建和扩展软件的方式，进而影响了以软件为核心的业务。我们正处于一个过渡期，工具的发展速度超过了我们理解它们的框架。这是一个技术、认识论和组织上的变革，卓越的AI公司已经开始以与过去几十年完全不同的方式运作。

就像物理学从牛顿的确定性宇宙转向波函数的奇异世界一样，软件也在经历其量子转变。我们正在离开一个代码可靠且确定性地将输入转化为输出的世界，进入一个机器生成统计分布的新世界。构建概率性软件是我们从未经历过的挑战。

经典世界

今天的科技行业由软件的核心性质塑造。数字产品将已知的输入映射到预期的结果，具有确定性。例如，Instagram用户可以上传图片、发送消息、留言、关注账号；Netflix用户可以搜索、选择并播放视频。用户选择某个动作，并期望得到相应的结果。

我们可以将这些产品视为函数 F: X → Y，其中每个输入 x 是用户在产品中的动作，如“在WhatsApp上发送消息”或“在Uber上预订乘车”。对于每个动作 x，产品会产生一个结果 y。工程师的目标是确保 F(x) 每次都能可靠地产生 y，因此测试驱动开发、谨慎的重构和分层是软件工程的标志。

产品管理和设计也是关于将 x 可靠地映射到 y，只是抽象层次不同。产品经理和设计师的目标是构建一个函数 F，使得输入 x 如“用户第一次观看Instagram故事”能够产生现实世界的结果 y，如“用户一个月后仍在使用产品”。好的产品管理是通过价值漏斗引导用户，设计师和产品经理预先知道他们优化的目标，并努力达到100%的用户转化率。

量子时代

2010年代末，AI模型开始展现出真正的泛化能力。研究人员发现，通过大量数据预训练深度学习模型，可以使其发展出通用能力，这些能力可以转移到下游任务中。例如，Google的T5和OpenAI的GPT-2展示了预训练模型如何发展出通用能力，而无需事先定义所有任务。

这些模型并没有在所有任务上进行显式训练，而是通过大规模数据预训练和少量指令微调，显著提高了在未见任务上的零样本性能。这种“未见”和“通用”能力标志着计算历史上的一个真正转折点。我们不再只是教机器识别垃圾邮件，而是教它们说话；不再只是教机器识别自行车或区分动物，而是赋予它们视觉本身。

这种变化使得AI产品的构建变得复杂。用户可以用ChatGPT做任何事情，从法律建议到情感支持，从代码分析到占星预测。输入空间的基本上是无限的，输出的正确性也不总是有保证。AI模型的输出是一个估计，有时甚至是幻觉。我们无法完全解决幻觉问题，因为有些问题本身就没有“正确”答案。

从工程到经验主义

在概率时代，成功的组织需要从工程思维转向经验主义。传统的工程领导倾向于在概率性软件上施加可靠性指标，但这会削弱模型的灵活性。目标不再是追求完美，而是管理不确定性。AI产品构建者应确定可接受的不可预测性，以保持模型处理复杂性的能力。

每次新模型发布时，所有关于其行为的假设都应被重新审视。Replit在从Sonnet 3.5升级到3.7时，完全重构了产品，这需要科学家的思维方式。模型更新可能意味着完全重写产品，因此必须遵循经验主义方法，唯一的有效假设是“我不知道”。

数据是新的操作系统

尽管模型行为本质上是不可知和不确定的，但构建一个有效的数据功能仍然非常困难。模型的涌现特性使得合成测试变得难以捉摸。工程师需要保持评估数据集与实际用户行为分布同步，但由于输入空间不再有限，传统的测试驱动开发不再适用。生产环境中的A/B测试也变得至关重要，但优化目标本身也难以定义。

在AI产品中，用户探索的是可能性领域，传统的增长漏斗不再适用。我们需要通过聚合“用户轨迹”来理解用户行为。数据成为决定企业成功的关键因素，它是整个组织的共享操作系统，能够描述现实并指导行动。

这次不同

经过几十年的技术创新，世界对科技炒作产生了抗体。主流观众对“世界正在改变”的大胆声明持怀疑态度。但在AI领域，这次确实不同。我们正在从确定性机制转向涌现的未知行为，从规划和工程转向观察和假设。

这种转变是真实的，它影响了科技行业的每个部分，改变了我们制造产品、研究和设计产品以及围绕它们构建工作的方式。采用经验主义方法、思考概率并测量复杂轨迹的组织将定义下一个技术时代。其他组织将继续试图将波函数塞入电子表格，并疑惑为什么他们的确定性仪表板无法捕捉产品的魔力。

欢迎来到概率时代。

评论内容主要围绕AI技术的确定性、应用前景及其与人类期望的差距展开，观点多样且争议较大。以下是总结：

1. AI的确定性与不确定性

   • 支持者认为AI的非确定性是其创新之处，类似于人类历史上的多用途工具。
     引用：
     "Humans have been building flexible, multi-purpose tools... since before the invention of the wheel." (thorum)
     "Building with non deterministic systems isnt new." (ankit219)
   • 反对者则认为AI的不确定性可能导致不可靠的结果，甚至需要重新构建系统。
     引用：
     "It can regress so much that anything you built on this has to be redone." (ath3nd)
     "We’re throwing away determinism just like that?" (therobots927)

2. AI的应用与局限性

   • 部分评论者认为AI在某些领域（如物理、数学）可以给出确定性答案，但在其他领域（如情感问题）则无法提供“正确”答案。
     引用：
     "But physics questions do. Code vulnerability questions do. Math questions do." (therobots927)
     "What even is the 'correct' when the question is 'should I leave him?'" (therobots927)
   • 也有评论者指出AI的不可预测性可能限制其在严肃工作中的应用。
     引用：
     "Probably not an ideal workflow for real work." (bithive123)

3. AI的未来与行业趋势

   • 支持者认为AI的发展是不可避免的，尽管其非确定性可能改变传统的工程思维。
     引用：
     "It seems like that’s the direction we’re inevitably going." (ipdashc)
     "This time it does feel different." (ath3nd)
   • 反对者则认为AI的炒作可能形成泡沫，且其复杂性可能导致技术倒退。
     引用：
     "Get ready for the next bubble when the crypto grifters that moved to 'AI' will soon move on to the NEXT-BIG-THING!" (mentalgear)
     "I hope this dark age doesn’t last as long as the last one." (therobots927)

4. AI与科学方法的关系

   • 有评论者指出AI的开发更接近科学方法，而非传统工程。
     引用：
     "It feels more like you’re supposed to be a scientist than an engineer." (ipdashc)
     "Instead of planning we observe and hypothesize." (therobots927)

总结：评论者对AI的确定性和应用前景持不同看法，支持者认为其非确定性是创新，而反对者则担忧其不可靠性和潜在泡沫。同时，AI的开发方式与传统工程思维的差异也引发了争议。