文章摘要
文章探讨了在负温度(T=-0.001)下对LLaMA模型进行采样的实验。受统计力学中温度可低于零的启发，研究者发现这种条件下的采样结果极其反常。负温度在统计力学中是一个真实存在的概念，会导致系统偏好高能态而非低能态。
文章总结
负温度下的采样实验
作者：德里克·考夫曼
首次发布时间：2023年7月14日 • 最后更新：2023年7月18日
核心发现：受统计力学中温度定义可低于零的启发，研究团队在T=−0.001条件下对LLaMA模型进行采样测试，结果呈现出极端异常现象。
理论基础
温度的本质
温度概念源于统计力学。对于一个具有能量状态E₁...Eₙ的系统，其热平衡时的状态概率服从玻尔兹曼分布：
pᵢ = e^(-Eᵢ/kBT) / Σe^(-Eᵢ/kBT)
该分布由温度T唯一决定：低温时系统倾向于低能态，高温时状态分布更均匀。
神经网络中的温度
在神经网络最后一层的softmax函数中，概率计算形式与玻尔兹曼分布完全一致（符号差异源于逻辑值越大对应概率越高）。语言模型通过温度参数控制生成文本的创造性：T→0时确定性输出最高概率词元，T→∞时输出完全随机。
负温度现象
当温度低于绝对零度时，概率分布会发生反转：原本最低概率的状态变为最高概率。这种反常现象仅适用于有限状态系统（如神经网络），因为物理系统通常具有无限状态空间。
实验方法
- 选用Meta的LLaMA模型（OpenAI模型不支持负温度采样）
- 修改llama.cpp源码，解除对负温度采样的限制
- 禁用重复惩罚、top-k和top-p采样
- 使用提示词"Temperature is a concept"进行测试
实验结果
- T=0.001：正常输出温度的科学解释
- T=-0.001：生成异常词元"Хронологија"（模型认为最不可能的词元）
- T=1000000：接近完全随机的乱码输出
- 深度分析：
- 负温度下会持续生成嵌入空间中心点附近的特殊词元
- 这些词元在正温度下即使明确提示也不会被复现
- 表明模型对这些特殊词元存在认知障碍
技术细节： - 异常词元如"entferne"在常规交互中会被替换为普通词汇 - 负温度采样暴露出语言模型嵌入空间的特殊区域
引用格式： @misc{Kauffman2023negative-temperature, author = "Derik Kauffman", title = "负温度下的采样实验", year = 2023, howpublished = "博客文章", url = "https://cavendishlabs.org/blog/negative-temperature/" }
（注：本文在保持原技术细节的基础上，优化了中文表达逻辑，删减了部分程序代码和公式推导过程，突出了核心发现和实验结论。）
评论总结
以下是评论内容的总结：
对负温度值的疑问与探讨
- 有评论质疑为何选择T=-0.0001而非T=-1，并探讨负温度下采样和训练的可行性（评论1）。
- 另一观点认为负温度可能导致噪声主导输出，而非有意义的"反逻辑"结果（评论5）。
引用：
"Hm, why T=-0.0001 instead of T=-1 ?"
"flipping the signs... would basically be noise"
温度与模型性能的关系
- 有建议研究温度与智能的关系，提出"平均温度"作为类似困惑度的度量指标（评论9）。
- 作者认为当前领域对温度的理解存在局限，支持通过技术探索改进采样方法（评论4）。
引用：
"has anyone ablated temperature vs intelligence?"
"the whole field critically misunderstands temperature"
跨学科视角的解读
- 从分子动力学角度解释温度与自由度的关系，关联负温度现象（评论2）。
- 类比激光中的粒子数反转现象，提出"激光-LLM"的设想（评论8）。
引用：
"negative temperature closely relates to population inversion in physics"
实验验证问题
- 用户反馈无法复现原文中模型错误重复单词的现象（评论11）。
- 建议限制词汇表或动态调整温度以优化实验（评论9）。
引用：
"It's not working for me, it always repeats the word correctly"
相关技术关联
- 提及与"非似然训练"（unlikelihood training）的相似性（评论7）。
- 赞赏实验对异常令牌机制的解释（评论10）。
不同语言评论（评论3/6）未包含实质性观点。