三元大语言模型（LLM）将权重存为 {−1,0,+1} 之一，传统计成本约 1.585 比特每权重。主流将五个三元权重打进一字节，因2的幂分组舍入为1.625比特每权重，视三符号等概率。我们测29个三元LLM模型符号分布，零占比最高达51.5%。据此引入BITCOS分布自适应布局，由稠密位图与压缩符号向量组成，零密度z时成本2−z比特每权重。其在29模型中26个比五trit打包更紧，最稀疏达1.485比特每权重，支持AVX-512、AVX2与Intel Xe2 GPU解包。

《打破三元 LLM 的 1.58-bit 壁垒》

三元大语言模型把每个权重都存成 {−1, 0, +1} 三个符号之一，所以人们习惯按信息论的 log₂3 ≈ 1.585 比特/权重来标定三元模型的开销。主流的部署格式把一个字节塞进五个三元权重（five-trit packing），而由于实践中使用的分组大小都是 2 的幂，这个数值向上取整后变成 1.625 比特/权重。这一有效存储位宽把三个符号 {−1, 0, +1} 当作等概率处理。我们测量了 29 个三元 LLM 模型的实际符号分布，发现零最多占全部权重的 51.5%。基于这一发现，我们提出 BITCOS——一种简单的、随分布自适应的布局，由一个稠密的存在位图（presence bitmap）加一个压缩的符号向量组成；在权重零密度为 z 的模型中，它的开销是每个权重元素 2−z 比特。在受测的 29 个模型里有 26 个，BITCOS 的存储比 five-trit packing 更紧凑，在最稀疏的模型上达到 1.485 比特/权重。BITCOS 能在现代处理器和 GPU 上高效解包，我们给出了针对 AVX-512、AVX2 和 Intel Xe2 GPU 的优化解包序列。与生产级最先进的三元矩阵-向量乘法内核相比，在真实三元模型呈现的零密度下，这一布局带来的实际收益最高达 1.28×。最后，我们展示了在 5 种不同平台（客户端与服务器 CPU、集成与独立 Xe2 GPU）上的端到端 LLM 推理结果，解码吞吐在 CPU 上最高提升 1.18×，在 GPU 上最高提升 1.27×。

学科分类：人工智能（cs.AI）；机器学习（cs.LG）

引用格式：arXiv:2609.16338 [cs.AI]（或本版本 arXiv:2609.16338v1 [cs.AI]）；https://doi.org/10.48550/arXiv.2609.16338

提交历史：提交者 Evangelos Georganas。[v1] 2026 年 9 月 14 日周一 20:54:24 UTC（144 KB）

多数读者对三值量化及利用权重稀疏性进一步压缩模型感到兴奋并探索落地，少数观点认为三值量化在训练后量化中不如向量量化等方法。

看好三值量化及基于权重稀疏性的进一步压缩

• 读者正尝试用三值量化将最新模型塞进有限显存，并指出利用实际权重零占多数可进一步压低比特数，若定制硬件将极高效（较多人） > 考察信息熵后能打包更紧，此时用1.58比特描述比三态更合理（@NooneAtAll3）

认为三值量化不如向量量化等方法

• 有读者指出三值量化在训练后量化场景毫无意义，向量量化与基于网格的方法在该区间更优（少数人） > 三值量化说不通，向量量化和网格法在训练后量化里更好（@om8）

有价值的补充

• 利用权重零占比过半可从1.58压到1.48比特每权重，若三值大模型做成定制芯片将极为省电（@infogulch）
• 仅用存在位图记录非零位置后，可尝试算术编码再挤出少许厘比特（@wgd）