缩放定律认为语言模型参数与数据越多越强，混合专家（MoE）架构借此仅激活部分参数取得成果，但依赖静态预训练数据。部署模型面临训练集外实时交互数据，而常规模型权重冻结无法学习，仅将知识暂存提示中。受MoE启发，我们提出无限参数大模型（Infinite-Parameter LLM），以紧凑超网络把运行时数据转为共享基网络低秩调制，由实时数据生成前馈权重。

规模定律认为，语言模型的参数和数据越多，能力就越强。混合专家（MoE）架构沿着这条定律取得了显著成果，每个 token 只激活庞大参数库中的一小部分。但这一成功建立在静态预训练数据之上。部署后的模型面对的是另一个世界：让它更有用的数据往往不在训练集里，而在它此刻正在处理的实时交互中，比如用户提供的事实或给出的更正。常规模型无法从这些数据中学习，因为它的权重在训练后就冻结了。运行时提供的知识和行为被放进提示里，通过检索或指令注入，每次请求都要重读一遍，请求结束就被丢弃。

那么，一种架构能否把实时交互写进权重，从而从中学习？受 MoE 启发，我们提出无限参数 LLM。一个紧凑的超网络把运行时给出的数据转成对共享基础网络的低秩调制，于是前馈权重由实时数据生成，而不是存放在固定参数库中。此前的权重生成器只读一次上下文就冻结，而我们为生成器的隐码维护一个贝叶斯信念并在线更新，有效权重会随会话推进从这个不断演化的信念中重新推导，而不是读一次就固定下来。存储占用保持不变，但模型能够编译出的权重实际上是无限的。

对于运行时提供的知识和行为，把它们承载在权重而非提示中，可以在计算上摊薄成本、释放上下文窗口、跨轮次持续存在，并且比在上下文中使用泛化得更好。我们设计了一套评测协议，专门针对这一点与上下文学习和检索进行比较。

社区对持续学习模型既兴奋于其突破潜力也担忧隐患，在稳定性、安全及缩放定律必然性上出现分歧；少数人描绘出去中心化知识网络或 Web 4.0 的反直觉蓝图，而非追求 AGI。

持续学习带来不可控风险与稳定性隐患

• 模型原本就不可预测，持续学习虽有趣但长期实用性和稳定性能否达成令人怀疑，且系统提示篡改可能跨用户造成新漏洞（较多人） > 持续学习令人兴奋，但若编排器在提示里加了推荐逻辑，可能把产品推给不用它的用户（@wood_spirit）

缩放定律只是行业选择而非自然法则

• 认为能力随参数和数据增长而提升的“定律”并非物理规律，只是业界路径选择，并有人引论文支持（少数人） > 缩放定律是一种选择，而不是什么“定律”（@cyanydeez）

持续学习应服务于人类集体记忆而非AGI

• 若将个人解题微进展动态整合进模型，可跳过论文评审慢循环，避免重复失败，比造AI霸主或脚本小子地狱更有价值（少数人） > 随便一个地球另一端的人可能触发解决我瓶颈的提示，我们该把个体思想合成人类记忆网络而非造AI霸主（@lubujackson）

未来网络将是模型直接读取的向量知识图谱

• 设想网站以向量和知识图谱形式存在，AI客户端实时转译回应，使人人拥有前沿模型，淘汰搜索引擎与爬虫（少数人） > 向量库与拥有全部实时数据的AI模型无区别，客户端负责把数据变回应，任何人瞬间有前沿AI（@alightsoul）

有价值的补充

• 未来前沿模型权重可能硬接线进芯片提升能效，而持续适配以额外权重块形式由实验室提供并驻留内存（@yalok）
• 这种去中心化向量网络若落地，可能需 IETF 新协议与 W3C 标准来规范嵌入与图谱互联。