“苦涩的教训”指出，依赖计算扩展的通用方法最终最为有效，而人为注入知识的方法虽短期有效，长期却会限制进步。这一观点在多个AI领域得到验证，尽管其成功常因挑战了人类中心主义而令人难以接受。近期，这一概念被频繁引用，反映了其影响力的上升。

标题：苦涩的教训是否有局限性？

主要内容：

近年来，“苦涩的教训”这一概念备受关注。这一概念由Rich Sutton在一篇文章中提出，核心观点是“利用计算的通用方法最终是最有效的，且效果显著”。为什么称之为“苦涩的教训”？Sutton解释道，历史表明，AI研究者常常试图将知识嵌入他们的智能体中，这在短期内有效且令研究者满意，但长期来看会阻碍进步，而突破性进展往往来自于基于计算扩展的搜索和学习方法。这种成功带有苦涩，因为它击败了以人为中心的传统方法。

Sutton通过计算机象棋、围棋、语音识别和计算机视觉等领域的发展，展示了这一教训的普遍性。然而，随着这一概念的广泛引用，人们开始质疑其是否具有局限性。

对人类自尊的打击：

“苦涩的教训”让人联想到Donna Haraway提出的“对人类自尊的四大打击”，包括哥白尼革命、达尔文进化论、弗洛伊德的潜意识理论以及机器人技术的发展。这些理论削弱了人类在宇宙中的中心地位，而“苦涩的教训”则进一步揭示了人类在AI发展中的局限性。

对“苦涩的教训”的质疑：

尽管“苦涩的教训”在理论上具有说服力，但在实际应用中却面临挑战。首先，这一教训依赖于高质量的数据，而数据本身具有局限性，且许多事物难以被简化为数据点。其次，增加计算资源并不总是可行或最优的解决方案。例如，在象棋领域，Stockfish通过结合深度学习技术和高效的搜索算法，击败了完全依赖计算的Leela模型，展示了非通用方法的优势。

结论：

“苦涩的教训”是一篇极具说服力的文章，但其在现实世界中的应用并非完美无缺。虽然通用计算方法能够带来新的思路和技术，但在某些领域，结合人类知识和非通用模型可能更为高效和实用。对于AI开发者来说，理解并应用这一教训的同时，也应考虑实际应用中的限制和需求，避免盲目追求计算扩展。

总结：

“苦涩的教训”揭示了计算扩展在AI发展中的重要性，但其应用需结合具体领域的实际情况。在构建AI应用时，开发者应灵活运用通用方法和定制逻辑，以实现最佳效果。

1. 关于“苦涩教训”的讨论：

   • 评论3指出，“苦涩教训”是从整个职业生涯的角度来看的，强调通用方法在长期内更有效，因为它能捕捉硬件进步带来的收益，而不是在特定时间点对比不同方法。
     • 引用：“The Bitter Lesson is from the perspective of how to spend your entire career. It is correct over the course of a very long time, and bakes in Moore's Law.”
   • 评论14认为，Sutton的观点是通用、简单的系统在规模扩大时往往优于手工设计的系统，而不是说LLM或GD是最好的系统。
     • 引用：“He’s saying that general, simple systems that get better with scale tend to outperform hand engineered systems that don’t.”

2. 对“苦涩教训”的质疑：

   • 评论5质疑“苦涩教训”是否被计算资源销售商或能购买大量计算资源的人所推动。
     • 引用：“How much of the recent bitter lesson peddling is done by compute salesmen? How much of it is done by people who can buy a lot of compute?”
   • 评论20指出，“苦涩教训”没有明确区分什么是计算“技巧”和真正的架构突破。
     • 引用：“The problem with the Bitter Lesson is that it doesn't clearly define what is a computational 'hack' and what is a genuine architecturally breakthrough.”

3. 技术进步的讨论：

   • 评论4讨论了价格/性能比是否已达到财务极限，并提到晶圆厂成本的增加并未阻止技术进步。
     • 引用：“The question is when price/performance hits financial limits. That point may be close, if not already passed.”
   • 评论10提到，使用小型神经网络在无人机控制中表现出色，尽管它并不依赖于大量计算资源。
     • 引用：“It’s not better because of huge computation resources, it’s actually more computationally efficient than some classic alternatives, but it is more general.”

4. 对AI应用的看法：

   • 评论24认为，AI在企业中的规模化应用存在挑战，尽管LLM在文本处理方面非常有用，但很难从中获取大量价值。
     • 引用：“Scaling AI across the enterprise is hard. There should be a name for the curse - revolutionary technology that makes many people vastly more productive, but there is no real way to capture that value.”
   • 评论25指出，在用户端AI应用中，使用经过验证的、传统的ML方法更为稳妥，而不是追求最新的技术突破。
     • 引用：“Stay to tried-and-true, boring ML methods that have been proven at scale and then add human knowledge and rules to make it all work.”

5. 对“苦涩教训”的反思：

   • 评论26认为，Sutton的“苦涩教训”过于模糊，难以具体测试和验证。
     • 引用：“Sutton's 'bitter lesson' is rather vague and unspecified (i.e. hard to pin down and test) for at least two reasons.”
   • 评论22提出，可能会出现“苦涩教训2.0”，即对“苦涩教训”本身的反思。
     • 引用：“It would not be surprising if a bitter lesson 2.0 comes about as a bitter lesson to the bitter lesson.”

总结：评论围绕“苦涩教训”展开了广泛讨论，支持者认为通用方法在长期内更有效，而质疑者则指出其模糊性和可能被商业利益驱动的风险。同时，评论也探讨了技术进步、AI应用的实际挑战以及对“苦涩教训”的反思。