文章摘要
SpikingBrain是一个受大脑机制启发的大模型，结合了混合高效注意力、MoE模块和脉冲编码技术，支持通用转换管道，兼容开源模型生态系统。该模型在少于2%数据的情况下进行持续预训练，性能媲美主流开源模型。SpikingBrain还针对非NVIDIA集群优化了框架、操作符、并行策略和通信原语，确保大规模训练和推理的稳定性，在4M令牌序列上实现了100倍以上的TTFT加速，微观层面脉冲编码达到69%的稀疏性。
文章总结
SpikingBrain：受大脑启发的脉冲大模型
SpikingBrain 是一个受大脑机制启发的大模型，结合了混合高效注意力、MoE模块和脉冲编码，并支持与开源模型生态系统兼容的通用转换管道。这使得在仅使用不到2%的数据进行持续预训练的情况下，仍能达到与主流开源模型相当的性能。SpikingBrain 还针对非NVIDIA（MetaX）集群优化了框架、操作符、并行策略和通信原语，确保大规模训练和推理的稳定性。该模型在4M令牌序列的TTFT（首次令牌时间）上实现了超过100倍的加速，同时在微观层面实现了超过69%的稀疏性。结合宏观层面的MoE稀疏性，这些进展为下一代神经形态芯片的设计提供了有价值的指导。
项目结构
该项目提供了SpikingBrain-7B的完整实现和权重，包括HuggingFace版本、vLLM推理版本和量化版本，支持不同场景下的灵活部署和研究。
vLLM-HyMeta
vllm-hymeta 是 HyMeta（基于MetaX GPU的混合模型）在 vLLM推理框架 上的插件适配，为NVIDIA GPU提供高效的推理支持。通过利用vLLM的插件机制，硬件后端可以模块化集成，带来代码解耦、降低维护成本和快速集成等优势。
W8ASpike
W8ASpike 是 SpikingBrain-7B 的量化推理版本，旨在降低低精度设置下的推理成本，并探索脉冲神经网络（SNNs）的潜力。当前实现采用伪脉冲，即在张量级别将激活近似为脉冲信号，而非在神经形态硬件上真正的异步事件驱动脉冲。
可用模型
模型权重托管在ModelScope上，用户可根据需求选择合适的版本：
- 预训练模型（7B）
- 聊天模型（7B-SFT）
- 量化权重（7B-W8ASpike）
性能评估
SpikingBrain-7B 预训练模型在HuggingFace框架下进行了性能评估，使用基于困惑度的方法进行测试。与其他基线模型相比，SpikingBrain 在中文数据集上表现出色。
引用
如果认为该工作有用，请考虑引用 SpikingBrain：
@article{pan2025spikingbrain, title={SpikingBrain Technical Report: Spiking Brain-inspired Large Models}, author={Pan, Yuqi and Feng, Yupeng and Zhuang, Jinghao and Ding, Siyu and Liu, Zehao and Sun, Bohan and Chou, Yuhong and Xu, Han and Qiu, Xuerui and Deng, Anlin and others}, journal={arXiv preprint arXiv:2509.05276}, year={2025} }
评论总结
评论主要围绕SpikingBrain技术报告展开，观点分为支持和质疑两派。
支持观点： 1. 技术独立性：评论者imtringued认为中国将在几年内完全摆脱对Nvidia的依赖，并提到MetaX等西方不为人知的GPU制造商。 - "In a few years China will be completely independent from Nvidia." - "They have GPU manufacturers that nobody in the west has ever heard of."
质疑观点： 1. 技术实质：评论者cpldcpu和augment_me质疑SpikingBrain的“伪脉冲”技术，认为其与量化感知训练（QaT）或稀疏矩阵乘法类似，缺乏真正的异步事件驱动特性。 - "Isn't that in essence very similar to Quantization Aware Training (QaT)?" - "To me it sounds like sparse matrix multiplication repackaged as 'event-driven spiking computation'."
性能问题：评论者janalsncm和gunalx指出SpikingBrain在与Llama3.1和qwen2.5的比较中表现不佳，认为其在当前技术环境中实用性有限。
- "They compare to Llama3.1 which is 13 months old and qwen 2.5 which is 9 months old. And they don’t beat qwen."
- "So significantly worse than qwen2.5, kinda useless in the current landscape."
营销质疑：评论者RLAIF批评SpikingBrain将“脉冲”视为1-bit量化标签，认为其缺乏真正的神经级稀疏性，质疑其为“神经形态营销”。
- "SpikingBrain treats 'spikes' as 1-bit quantization stickers."
- "If a new circuit diagram cannot 'grow' with every forward pass, then don't blame everyone for treating it as Another Sparse Marketing."
其他观点： 1. 地域偏见：评论者VeejayRampay指出HN社区对中国颠覆性技术的挑剔和嘲讽态度。 - "it's funny to observe how picky and cynical the HN crowd suddenly becomes when the disruptive technology is from china."
总结：评论者对SpikingBrain的技术实质、性能表现和营销策略存在较多质疑，同时也有对中国技术独立性的支持声音。