文章指出大语言模型的实际有效上下文窗口远小于厂商宣传的规模，约10万token后模型注意力会显著下降，进入"迟钝区"。研究表明广告中的百万级上下文窗口只是营销噱头，真实可用部分并未同步增长，性能会随窗口填充逐渐劣化。

标题：不要轻信大上下文窗口的营销神话

原文链接：https://garrit.xyz/posts/2026-05-06-dont-trust-large-context-windows 发布时间：2026年6月13日

核心内容： 作者通过观察发现，大语言模型的上下文窗口存在明显的"智能区"和"迟钝区"分界。当处理超过10万标记（tokens）后，模型注意力会显著下降，记忆能力急剧减弱。尽管厂商标榜20万、100万甚至200万的上下文窗口容量，但研究表明实际可用部分仅为标称值的很小比例。

技术现状： 1. 最新研究（如RULER论文和Chroma的上下文衰减报告）证实，随着上下文窗口填充，模型性能会逐渐下降 2. 现代编码助手会快速消耗标记量，几个文件读取或调试会话就能轻松突破10万标记 3. 虽然Claude等工具已具备自动压缩功能（通过总结历史会话来重置状态），但这种补救措施本身就是在模型性能下降后进行的

实用建议： 1. 采用"面包屑"策略：主动创建简明规范文档，作为新会话的起点 2. 参考superpowers/skills等项目，将工作流程分解为小型命名构件（需求文档、计划、技能等） 3. 将上下文窗口视为有限预算，尽可能将信息转移到外部文档中

作者主张将重要信息主动转移到书面记录中，而非依赖不断膨胀的上下文窗口，这才是保持工作效率的关键。

以下是评论内容的总结，按主要观点分类整理：

1. 支持分块处理/短上下文

• 建议将任务分解为多个小请求（da-x） "compacting the context can be made in multiple requests over smaller chunks"
• 习惯性清除上下文以获得最小化工作环境（mcapodici） "I /clear all the time out of habit... you know the seed conditions"

2. 动态代理循环技术

• 采用"转置代理循环"技术：运行多个短循环，动态生成提示（afc） "run many short agent loops, generating prompts dynamically"
• 通过递归调用控制token使用（bob1029） "prevent all tool calling in top-level conversation... recursive invoke"

3. 支持大上下文窗口

• 实际使用中未遇到800k token以下的问题（kelnos） "routinely push past 500k tokens... don't see this problem"
• 100万token窗口是明显升级（mock-possum） "1M window is very clear upgrade"

4. 上下文质量比长度更重要

• 上下文质量比单纯长度更关键（steveridout） "depends on quality and consistency of the context"
• 错误信息会干扰模型判断（wood_spirit） "debris or wrong directions... drowning out important things"

5. 工程化解决方案

• 手动压缩上下文（WilcoKruijer） "/last command... allows manual compaction"
• 建议开发token优化技术（torginus） "context engineering could be huge boon to input token curation"

6. 文档化替代方案

• 通过文档记录而非依赖上下文记忆（SwellJoe） "document its work... good developer docs... ideal memory"
• 变量名可压缩为单token（torginus） "variable should be represented by single token"

7. 质疑大窗口必要性

• 训练语料可能不支持长上下文（petesergeant） "training corpus largely consists of shorter documents"
• 建议主动限制窗口大小（amunozo） "why not limit the context window to something smaller"

8. 其他观点

• 类似人类记忆机制（dalemhurley） "like giving person instructions... more they will forget"
• 性能峰值出现在15-20%窗口时（jackxlau） "peak performance within 15-20% of context limit"

主要争议点：大上下文窗口的实际效果（支持方认为实用，反对方认为存在"上下文腐烂"现象），以及最优解决方案（分块处理vs工程优化vs文档记录）。