过去15年，尤其是最近5年，人工智能取得了显著进展，虽然重大突破不常见，但通过持续的小步改进，AI能力呈指数级增长。有人认为这类似于“AI的摩尔定律”，尽管作者对此持保留态度，但不可否认AI每年都在变得更智能、更快速、更便宜。这种进步主要得益于学术界和工业界的研究，尤其是系统层面的优化，如2022年斯坦福的FlashAttention技术。

文章主要讨论了人工智能（AI）在过去十五年，尤其是最近五年取得的显著进展，并探讨了未来AI发展的可能方向。以下是文章的关键点和重要信息：

1. AI进展的现状

• 持续进步：AI每年都在变得更智能、更快、更便宜，且这种进步似乎没有尽头。研究人员提出了“AI的摩尔定律”，认为AI在某些任务上的能力随时间呈指数增长。
• 研究驱动：进步主要来自学术界（如MIT、斯坦福、CMU）和工业界（如Meta、Google、中国实验室）的研究成果。近年来的一些重要技术突破包括：
  • FlashAttention（2022年）：斯坦福研究人员提出的优化内存使用的方法。
  • Speculative Decoding（2023年）：Google开发的加速推理的技术。
  • Muon（2024年）：互联网爱好者开发的优化器，可能成为未来训练语言模型的标准。
  • DeepSeek-R1（2025年）：开源的推理模型，性能媲美闭源模型。

2. 进展是否放缓？

• 质疑声音：尽管研究不断推进，但一些人认为AI进展正在放缓。例如，最近的Grok 3和GPT-4.5模型在能力上仅比前代略有提升，且在数学奥林匹克竞赛中的表现不佳（仅5%的得分）。
• 大突破的频率：真正的范式转变（如深度神经网络、Transformer、RLHF、推理模型）似乎发生得较慢，且这些突破大多是基于已有的技术重新应用。

3. 突破的本质

• 数据驱动的突破：每个重大突破都解锁了新的数据源：
  • ImageNet（图像数据）：推动了计算机视觉的进步。
  • 互联网文本：Transformer模型使得大规模文本训练成为可能。
  • 人类反馈（RLHF）：通过人类标注提升模型输出质量。
  • 验证器（如计算器、编译器）：用于评估语言模型的输出。
• 数据的上限：研究表明，从特定数据集中能学到的知识存在上限，模型架构的改进可能无法突破这一限制。

4. 未来范式转变的方向

• 新数据源：未来的突破可能来自解锁新的数据源，而非新的算法或模型架构。两个潜在的候选者是：
  • 视频数据：YouTube每分钟上传500小时的视频，包含比文本更丰富的信息（如语音、物理、文化等）。
  • 机器人数据：通过更智能的传感器和计算能力，机器人可以收集和处理大量数据，用于训练更强大的模型。

5. 结论

• 数据的重要性：文章强调，数据可能是推动AI进步的关键因素，而非新的技术或算法。未来的范式转变可能来自对未开发数据源的利用，如视频或机器人数据。
• 研究方向：AI研究应更多地关注如何获取和利用新数据，而不是一味追求新的算法或模型架构。

总结：

文章认为，AI的进步主要依赖于新数据源的解锁和利用，而非技术上的创新。未来的突破可能来自视频数据或机器人数据，而研究界应更多地关注如何获取和处理这些新数据，以推动AI的进一步发展。

以下是对评论内容的总结，涵盖了主要观点和论据，并保持了不同观点的平衡性：

1. 数据集的重要性

   • 支持观点：许多评论认为数据集是AI进步的关键。例如，kogus指出，人类的问题解决能力很大程度上依赖于记忆、训练和教育背景，因此改变数据集可以产生不同的模型。
     • 引用：“我们的记忆、训练、教育、背景等是我们问题解决能力的很大一部分。”（"our own memories, training, education, background, etc are a very large component of our own problem solving abilities."）
   • 反对观点：piinbinary认为，当前的AI训练只是让AI记住数据集，而不是思考和得出结论。
     • 引用：“AI训练目前是一个让AI记住数据集的过程，它并不涉及AI思考数据集并得出结论。”（"AI training is currently a process of making the AI remember the dataset. It doesn’t involve the AI thinking about the dataset and drawing (and remembering) conclusions."）

2. AI创新的现状

   • 乐观观点：voxleone认为，尽管AI在语言和视觉领域取得了显著进展，但当前的技术只是触及了表面，未来的AI将需要处理更多感官信息。
     • 引用：“语言和视觉只是开始——我们首先能够数字化的部分，并不一定是智能的核心。”（"Language and vision are just the beginning — the parts we were able to digitize first - not necessarily the most central to intelligence."）
   • 悲观观点：lossolo认为，近年来的AI进步主要依赖于参数和数据的增加，真正的创新有限，未来可能会面临收益递减。
     • 引用：“从GPT-3到GPT-4的变化只是参数增加、训练数据改进和引入新的模态。”（"What changed from GPT-3 to GPT-4? It was the increase in the number of parameters, improved training data, and the addition of another modality."）

3. AI的局限性与未来方向

   • 局限性：EternalFury指出，当前的AI只能在特定任务上表现出色，无法像人类一样快速适应新任务。
     • 引用：“根据我的定义，没有发展出智能，只是在狭窄任务上的专业知识。”（"no intelligence has been developed, only expertise in a narrow set of tasks."）
   • 未来方向：cadamsdotcom提出，未来的AI应该能够主动获取数据，通过模拟和反思来学习，而不仅仅是被动接受数据。
     • 引用：“人类婴儿通过尝试和错误来学习，为什么不让模型也这样做？”（"Human babies put things in their mouths, they try to stand and fall over. They ‘do stuff’ to learn what works."）

4. 技术与基础设施的影响

   • 支持观点：lsy认为，技术进步和基础设施的成熟是AI发展的关键，如果没有这些，即使有数据集也无法实现当前的AI成就。
     • 引用：“如果没有成熟的基础设施，即使有数据集，训练LLM的成本也会高得离谱。”（"If we had the dataset to create an LLM in the 90s, it still would have been astronomically cost-prohibitive to train."）
   • 反对观点：mikewarot认为，硬件仍有巨大潜力，通过优化可以大幅降低计算成本。
     • 引用：“硬件远未达到极限，我们可以通过优化减少至少99%的功耗。”（"Hardware isn’t even close to being out of steam. There are some breathtakingly obvious premature optimizations that we can undo to get at least 99% power reduction."）

总结：评论中对AI的进步、局限性和未来方向存在不同看法。数据集被认为是AI发展的关键，但当前的AI仍局限于特定任务，缺乏真正的智能。未来的AI可能需要通过主动学习、多模态感知和硬件优化来实现更大的突破。