2022至2023年间，Meta的LLM架构简洁，而推荐系统复杂。如今，LLM已变得更为复杂，融合了多种注意力变体、混合专家路由、多模态编码及跨GPU推理通信等特性。

文章指出，大型语言模型（LLM）的架构已从2022-2023年Meta时期简洁的Transformer堆叠，演变为如今高度复杂的系统。这种复杂性体现在注意力机制的多样化变体（如分组查询、压缩、滑动窗口等）、混合专家模型（MoE）的广泛路由应用，以及多模态编码器的深度融合。作者类比推荐系统的发展历程，认为这种复杂性源于持续提升能力与保持推理效率之间的张力。

文章强调，虽然智能体（Agent）可能通过自动生成优化内核来简化问题，但实际需要先建立可验证的基准基线。以PyTorch的FlexAttention为例，它通过Triton模板实现了注意力操作的可组合性与可验证性，在性能影响极小的情况下支持架构探索。最后，作者引用Andrej Karpathy的观点，指出在推进前沿研究时，架构的简洁性与可组合性比单纯的自动化研究循环更为关键。

根据评论内容，总结如下：

主要观点一：比较对象选择不当
- 评论1指出作者未将Llama 3与更标准的注意力机制LLM（如GLM 5.2）进行比较，导致结论缺乏新意。
- 关键引用：
- "Why didn't this author compare Llama 3 with GLM 5.2... which is a more standard attention based LLM?"
- "To compare 2 separate families of LLMs... detracts from the point the author is trying to make."

主要观点二：技术发展进入精细化阶段
- 评论2认为，随着技术成熟，早期“苦涩教训”式的粗放增长（如增加数据或资源）已转向需要精细工程优化。
- 关键引用：
- "It's the bitter-lesson to feature-engineering lifecycle."
- "Companies have to start investing more and more effort into engineering for each small, incremental gain."

平衡性说明：
- 评论1侧重批评比较方法，强调应选择同类模型（如GLM 5.2）以突出差异；评论2则从宏观视角解释技术演进规律，两者观点互补而非对立。