这篇文章讲述了作者在Minecraft的ComputerCraft模组中遇到存储空间不足的问题，需要压缩Lua代码。经过比较，作者认为bzip压缩算法虽然已不再流行，但仍是短小精悍、压缩效率高的最佳选择，最终用它压缩了一个327KB的Lua代码文件。

赞歌献给bzip：一个被低估的文本压缩算法

背景故事
作者在Minecraft的ComputerCraft模组中编写Lua代码时，发现存储空间不足。需要寻找一个解码器体积小、压缩率高的压缩方案。

压缩性能对比
测试一个327KB的Lua代码文件（含英文注释）时，各算法表现： - 无压缩：327005字节 - gzip（zopfli）：75882字节 - zstd：69018字节
- xz：67940字节 - brotli：67859字节
- lzip：67651字节
- bzip2：63727字节
- bzip3：61067字节

bzip家族以明显优势胜出，甚至击败了自称"多数情况下优于bzip2"的lzip。

技术原理差异
1. 主流算法（LZ77系）
- 通过查找重复文本并用指针替代 - 需要复杂编码处理偏移量/长度/频率 - 包含gzip/zstd/xz/brotli/lzip等

2. bzip的独特之处
   • 使用BWT（Burrows-Wheeler变换）重组文本
   • 将相似上下文字符集中排列
   • 配合游程编码（RLE）高效压缩
   • 处理代码等结构化文本时效果极佳

优势分析
1. 确定性压缩
- 不像LZ77需要启发式搜索 - 压缩级别参数几乎不影响结果

2. 解码器精简

   • 去除兼容性代码后，bzip2解码器可缩小至1.5KB
   • 比多数LZ77变种更紧凑

3. 速度误区

   • 编码时：zopfli等优化版gzip反而比bzip更慢
   • 解码时：在Lua等高级语言中差异不明显

实践建议
- 对于代码/文本压缩，bzip是理想选择 - bzip3压缩率更高但解码更慢 - 自定义实现时可简化标准格式获得更小解码器

深层启示
数据压缩的进步往往来自： - 更好的数据结构重组（如BWT） - 而非复杂化的算法 - 这点与机器学习领域有相通之处

尽管bzip已不再是主流通用压缩格式，但在处理文本和代码时，它依然保持着独特的优势——或许这就是其名字中"b"的真谛：best（最佳）。

以下是评论内容的总结：

1. bzip2被低估但性能不足

   • 有人认为bzip2像"默默无闻的优秀员工"，而gzip因"够用"获得更多关注
     "bzip2 is the compression algorithm equivalent of that one coworker who does incredible work but nobody ever talks about"
   • 但bzip2压缩速度慢，相比zstd等现代算法效率低
     "bzip2 and xz are extremely slow to compress"

2. 现代压缩算法更优

   • zstd和xz在压缩时间和空间节省上表现更好
     "xz and zstd have gotten more popular than bzip...better tradeoffs"
   • 实际测试显示zstd压缩率更高（1GB SQL文件：bzip2 83MB vs zstd 52MB）
     "bzip2 -9 shrinks it to 83MB. zstd -19 --long to 52MB"

3. 技术细节讨论

   • bzip3与bzip2实质不同，是"精神续作"
     "bzip3 has close to nothing to do with bzip2...spiritual successor"
   • BWT（Burrows-Wheeler变换）本质上是PPM（部分匹配预测）的变体
     "BWT is a prediction by partial match (PPM) in disguise"

4. 未来趋势

   • 针对特定格式的专用压缩器可能是未来方向
     "the future is a specialized compressor optimized for your specific format"
   • 并行压缩工具（如pxzip）对大数据处理更有优势
     "parallel versions of xz and gzip...use as many cores as you let it have"

5. 怀旧与实用

   • 有人回忆早期使用bzip2打包Linux内核的经历
     "The first Linux kernels...packed as .tar.bz2 images"
   • 但承认现在有更好的压缩选择
     "Yes, there are better compression options today"

总结：评论普遍认为bzip2虽有其技术价值，但在压缩效率上已被zstd等现代算法超越，同时讨论了压缩算法的技术原理和未来发展方向。