Claw-compactor是一款LLM令牌压缩工具，通过6层确定性上下文压缩技术，可将AI代理的令牌成本降低高达97%。它支持提示压缩、上下文窗口优化和成本降低，适用于任何LLM流程，且无需依赖LLM本身。该工具专注于AI代理工作空间的效率提升。

Claw Compactor：LLM Token 压缩与成本优化工具

核心功能

• 14阶段融合压缩管道：采用多阶段专业压缩技术（包括代码AST分析、JSON统计采样、语义去重等），通过不可变数据流架构实现高效处理。
• 显著成本节省：平均压缩率达54%，峰值JSON压缩达81.9%，可降低AI代理token成本最高97%。
• 零LLM推理开销：完全基于确定性算法，无需调用大语言模型。
• 可逆压缩：通过RewindStore实现压缩内容的按需还原。

技术亮点

1. 智能内容识别：

   • Cortex模块自动检测16种编程语言和内容类型（代码/JSON/日志等）
   • 门控机制确保无关处理阶段零成本跳过

2. 关键压缩阶段：

   • QuantumLock：优化KV缓存命中率
   • SemanticDedup：基于SimHash的跨内容块去重
   • Neurosyntax：基于tree-sitter的AST感知代码压缩
   • Ionizer：JSON数据统计采样与模式发现

3. 基准测试表现：

   • 相比传统正则方法提升5.9倍压缩率
   • 在0.3压缩率下ROUGE-L得分0.653，优于LLMLingua-2达88.2%

使用场景

• AI工作区上下文窗口优化
• 聊天消息历史压缩
• 代码仓库/日志文件存储优化
• LLM流水线成本控制

快速开始

shell git clone https://github.com/open-compress/claw-compactor.git cd claw-compactor python3 scripts/mem_compress.py /path/to/workspace full

项目数据

• 代码量：12,000+行Python
• 测试覆盖率：1,676项测试
• 许可证：MIT开源协议
• 依赖：零必须依赖（tiktoken和tree-sitter为可选优化）

该工具特别适合需要处理大量文本/代码数据的AI开发者，能有效解决LLM应用中的token成本与上下文长度限制问题。其模块化设计也支持自定义压缩阶段的扩展。

注：精简了原始内容中的导航菜单、页脚等非核心信息，保留技术细节和关键数据。压缩了重复的基准测试表格，突出核心对比数据。调整了部分技术术语的表述以符合中文技术文档习惯。

这篇评论介绍了一个开源的LLM API调用令牌压缩引擎，主要观点如下：

1. 技术方案优势

• 采用14级流水线进行内容类型检测和专项压缩："runs a 14-stage pipeline that detects content type...and applies specialized compression"
• 纯启发式算法无需机器学习模型："No ML models needed, runs purely on heuristics"

2. 实际效果突出

• 显著降低API成本："Cuts our weekly spend roughly in half"
• 各类内容压缩率优异："54% average reduction...82% on JSON payloads, 25% on source code"

3. 功能设计特点

• 可逆压缩与缓存机制："Compression is reversible...goes into a hash-addressed cache"
• 轻量无依赖："Zero required dependencies"

作者特别邀请大规模运行智能体的用户提供反馈，展示了该方案在Agent应用场景中的实用价值。