Hacker News 中文摘要

RSS订阅

德国AI联盟发布Soofi S,开源30B模型登顶基准测试 -- German AI consortium releases Soofi S, an open 30B model that tops benchmarks

文章摘要

德国AI联盟发布开源30B参数模型Soofi S,在英德双语基准测试中表现领先。该模型采用混合专家架构,训练数据达27万亿token,远超传统缩放定律建议的20:1参数比。项目技术负责人回应批评称,旧有缩放定律不适用于MoE架构,专家模块从重复数据中获益更多。

文章总结

德国AI联盟发布了一款名为Soofi S的开源语言模型,该模型拥有300亿参数,但在处理每个词元时仅激活约32亿参数,因此计算成本接近30亿参数的模型。Soofi S采用混合Mamba-Transformer架构,在长文本处理中保持高吞吐量,而传统模型在上下文长度增加时性能会显著下降。该模型在德国电信的工业AI云上训练,使用了约27万亿个词元,分三个阶段进行,其中德语数据占比从第一阶段的7.2%提升至第二阶段的15.3%,远高于英伟达参考配方中非英语语言仅占5%的比例。在基准测试中,Soofi S在英语和德语任务上均领先于其他完全开源模型,包括OLMo 3 32B和Apertus 70B,在德语基准测试中甚至以两位数优势胜出。然而,它在德语竞赛数学和长文本提取任务上表现较弱,这与其激活参数较少有关。该模型由德国研究机构和公司组成的联盟开发,旨在构建一个可在主权基础设施上运行的开源欧洲AI模型家族,并已发布模型权重、训练代码和数据清单,但未完全满足欧洲开源数据定义,因为1.3%的训练数据来自商业许可的Genios语料库。

评论总结

根据评论内容,主要观点和论据如下:

1. 基础设施与开源模式受关注(认可度较高) - 评论1认为新闻重点在基础设施而非模型本身,并乐见美中之外的开源模型出现:"I think this news is more about the infrastructure than the model... happy to see two open models from outside the us-cn duopoly" - 评论2赞赏其“完全开源”和“长期免许可”策略,认为这是正确方向:"'Fully open source model' with 'Long-term, license-free availability for industry'... I think, that's the right way"

2. 基准测试存在争议(认可度中等) - 评论3指出基准测试未包含当前最佳可比模型(如Qwen 3.6和Gemma 4),认为这是遗憾:"it's a shame when the benchmarks don't include the current best comparable models" - 评论5质疑其基准成绩,认为训练数据包含测试集:"It tops benchmarks because it uses them in its training data"

3. 环保与能源优势受肯定(认可度较高) - 评论8高度评价其使用可再生能源、冷却水循环和废热回收系统:"Show the others how it's done... making for a proper resource recycling ecosystem"

4. 时机与可用性存疑(认可度较低) - 评论9反映申请访问未获回应,认为相比其他新发布显得“太少太晚”:"this atm just feels like too little too late to be taken seriously" - 评论4以“迟到总比没有好”表达谨慎乐观:"Better late than never. Germans have entered the chat"

5. 其他观点 - 评论7以幽默方式提出“让模型对战”的设想 - 评论6提供了更权威的技术报告链接

总体来看,评论对欧洲开源模型的出现持积极态度,但对其基准测试方法、可用性和时机存在质疑,同时高度认可其基础设施的环保设计。