Pangu Pro MoE提出了一种分组专家混合模型，旨在通过稀疏性提高计算效率。该模型通过将专家分组并动态选择相关专家，减少计算资源消耗，同时保持模型性能。该方法在多个任务中表现出色，为大规模模型的高效训练和推理提供了新的解决方案。

文章标题为《Pangu Pro MoE: Mixture of Grouped Experts for Efficient Sparsity》，主要介绍了一种名为“分组专家混合模型”（Mixture of Grouped Experts, MoGE）的新架构，旨在解决大型语言模型（LLM）中专家混合模型（Mixture of Experts, MoE）的负载不均衡问题，并提升模型的执行效率。

主要内容总结：

1. 背景与问题：

   • MoE模型通过仅激活部分参数来处理每个输入，从而在保持较低执行成本的同时增加模型参数和学习能力。然而，MoE模型中某些专家被频繁激活，导致在并行设备上运行时系统效率低下。

2. MoGE架构：

   • 文章提出了MoGE架构，通过将专家分组并在选择时约束每个预定义专家组内的专家激活数量，从而更好地平衡专家负载。这种设计在多设备分布式执行时，能够确保计算负载均衡，显著提升推理阶段的吞吐量。

3. Pangu Pro MoE模型：

   • 基于MoGE架构，作者构建了Pangu Pro MoE模型，该模型总参数为720亿，每个token激活160亿参数。模型在Ascend NPU上进行了优化，特别针对Ascend 300I Duo和800I A2进行了系统模拟研究。

4. 实验结果：

   • 实验表明，MoGE架构在Ascend NPU上能够更好地平衡专家负载，提升模型训练和推理的执行效率。Pangu Pro MoE的推理性能达到每卡1148 tokens/s，通过推测加速可进一步提升至1528 tokens/s，优于同类的32B和72B密集模型。
   • 此外，Pangu Pro MoE在Ascend 300I Duo上实现了优异的成本效益比，展示了Ascend NPU在大规模并行训练中的能力，使其在100B参数以下的模型中处于领先地位，超越了GLM-Z1-32B和Qwen3-32B等知名开源模型。

5. 贡献与未来方向：

   • 文章展示了MoGE架构在提升模型效率和负载均衡方面的优势，并为Ascend NPU上的大规模模型训练提供了新的优化方向。

图片与链接：

• 
• 查看PDF
• HTML版本

引用与提交历史：

• 文章提交于2025年5月27日，最新版本发布于2025年5月28日，DOI为10.48550/arXiv.2505.21411。

通过MoGE架构，Pangu Pro MoE模型在Ascend NPU上实现了高效的稀疏计算和负载均衡，为大规模语言模型的训练和推理提供了新的解决方案。

评论总结

1. 华为Ascend GPU的意义与影响

   • 正面观点：华为的Ascend GPU为中国企业提供了重要选择，被视为华为的重大胜利。
     • 评论3："huawei's Ascend GPUs is the only choice for many chinese company for now. Huge win for huawei."
       "华为的Ascend GPU目前是许多中国公司的唯一选择，这是华为的巨大胜利。"
     • 评论6："Out of China's perspective it might make sense to take out the wests AI capabilities soon."
       "从中国的角度来看，尽快削弱西方的AI能力可能是有意义的。"
   • 质疑观点：华为GPU的商业化能力和与西方先进GPU的对比尚不明确。
     • 评论12："How good or bad these GPU compares to the SOTA GPU in the west? And does this mean that Huawei has the ability to crank out the GPU commercially?"
       "这些GPU与西方最先进的GPU相比如何？华为是否有能力商业化生产这些GPU？"

2. 美国制裁的影响

   • 制裁的负面效果：美国制裁可能适得其反，加速了中国在半导体领域的自主发展。
     • 评论6："I always thought sceptical of the US sanctions, but that they backfire so fast is insane."
       "我一直对美国制裁持怀疑态度，但它们反噬得如此之快，真是令人难以置信。"
     • 评论10："Sanctions are at best a stopgap measure. Instead, cutting research funding and discouraging foreign students/researchers from coming to the US means that there will be depleted US capability just when China finds its groove."
       "制裁充其量只是权宜之计。削减研究资金和阻止外国学生/研究人员来美，意味着美国的能力将在中国找到节奏时被削弱。"
   • 长期战略对比：中国在半导体领域的长期投入与美国短视的政策形成对比。
     • 评论14："One country is going for the long term while another country is short sighted."
       "一个国家着眼于长期，而另一个国家则目光短浅。"

3. 技术开放与竞争

   • 开放架构的潜力：华为的架构可能使小型玩家也能与巨头竞争，推动开源AI的发展。
     • 评论7："They're laying out an architecture that may mean even small players with cheap GPUs can compete with the majors."
       "他们提出的架构可能意味着即使是拥有廉价GPU的小型玩家也能与巨头竞争。"
     • 评论13："If current LLMs hit a scaling wall and the game becomes about efficiency, I wonder if there's going to be space in the market for small models focussed on specific use cases."
       "如果当前的LLM遇到扩展瓶颈，游戏转向效率，我想知道市场是否会为专注于特定用例的小型模型留出空间。"
   • 许可证与法律问题：欧盟的许可证限制可能阻碍技术分发，但开源权重可能带来安全隐患。
     • 评论8："Does the EU AI act ban this distribution? I think it provides more competition and options for Europeans."
       "欧盟AI法案是否禁止这种分发？我认为它为欧洲人提供了更多竞争和选择。"
     • 评论8："Installing open weights could allow backdoors (in the form of a way to manipulate intelligent agents via specials prompts designated to control the system)."
       "安装开源权重可能会允许后门（通过特殊提示操纵智能代理来控制系统）。"

4. 市场与投资反应

   • 对NVIDIA的影响：华为的崛起可能对NVIDIA构成威胁，引发投资者担忧。
     • 评论11："Time to sell nvidia shares?"
       "是时候卖出NVIDIA的股票了吗？"
     • 评论14："In the short term, money can go to Nvidia, but it won't be long before China creates its own 'Nvidia' like BYD."
       "短期内资金可能流向NVIDIA，但中国很快会创造出自己的‘NVIDIA’，就像比亚迪一样。"

总结

评论主要围绕华为Ascend GPU的意义、美国制裁的影响、技术开放与竞争、以及市场反应展开。华为的GPU被视为中国在半导体领域的重要突破，而美国制裁可能加速了中国自主技术的发展。同时，开放架构和开源权重的潜力与风险也引发了讨论。市场对NVIDIA的未来表现持谨慎态度，认为中国可能很快在半导体领域取得更大进展。