Hacker News 中文摘要

RSS订阅

Kolibri 发布:一款主权级开放权重模型 -- Kolibri Has Landed: A Sovereign Open-Weight Model

2026年10月3日德国统一日,阿莱夫阿尔法(Aleph Alpha)发布新模型蜂鸟(Kolibri)。蜂鸟为英德双语混合专家Transformer,总参数78B、激活3B,支持最长100万token上下文,已在Hugging Face以完整权重发布并采用Apache 2.0许可。蜂鸟源于模型训练持续迭代,先搭建训练流水线并以蜂鸟起源(Kolibri Origin)验证,该模型总参数30B、激活3B、上下文仅65k token。蜂鸟历经同样流水线,从数据摄入到最终评估,支撑数百次消融实验与稳定预训练。

正文

德国统一日,我们发布新模型 Kolibri。

绿色渐变背景,中央是白色 Kolibri 蜂鸟标志与字标,左右以细阶梯状线条框住

Kolibri 是一个英德混合专家 Transformer,总参数 78B,激活 3B,支持最长 100 万 token 上下文。完整权重可在 Hugging Face 下载,按 Apache 2.0 许可使用。

Kolibri 是模型训练持续迭代的结果。我们先建了模型训练流水线,并通过 Kolibri Origin 验证——总参数 30B、激活 3B,上下文短得多,只有 65k token。Kolibri 走同一条流水线:数据摄取与清洗、消融、预训练、后训练,直到最终评测。它支撑了数百次消融实验,以及无需人工介入的稳定预训练,硬件故障或连接中断时也无需人插手。我们持续监控训练指标,并把自定义基准的监控标准化。在流水线上的投入是值得的,Kolibri 比 Kolibri Origin 好得多,而两者发布时间只隔了很短。

Kolibri 是专用语言模型,面向公共管理、工业和航空航天等受监管领域的主权关键任务。我们针对德语、推理、数学、agentic 行为以及客户生产所需的其他能力做了专精,目的是在客户具体用例中优化表现,让客户在 AI 运营中获得情境化性能并监测经济影响,使 ROI 可衡量并持续增长。

专精还不够,主权同样重要。主权包含两个维度:我们如何构建模型,以及如何转移到客户手中。我们提供完整的供应链完整性,从数据摄取、预训练和后训练到最终评测,每个决策都有交代。我们提供透明度,客户拥有完全的部署自由和知识产权安全,合规是模型的固有属性。

详见技术报告。

Kolibri 交付什么

我们结合各行业特定的领域语言、监管和流程现实,针对广泛行业优化了 Kolibri。它小巧高效,让客户能本地高效运行,不必把内部数据发给第三方推理服务。

企业与政府的基础能力

Kolibri 在模型能力和部署成本之间做权衡,78B 总量中只用 3B 激活参数。无论英语还是德语,Kolibri 都处在质量对服务成本的 Pareto 前沿上。Pareto 前沿是经济学概念,指两个目标下可达的最佳组合,改善一个就要牺牲另一个。比较的模型中没有谁能在同等服务成本下给出更高品质,也没有谁能在同等品质下成本更低。

数学、代码、grounding 和长上下文任务上,Kolibri 可匹敌激活参数量至多四倍的模型,例如 Nemotron 3 Super。

| Benchmark | Kolibri | Kolibri Origin | Qwen3.6-35B-A3B | Nemotron 3 Super 120B-A12B | Mistral Small 4 119B-A6B | | --- | --- | --- | --- | --- | --- | | AIME 2025 | 96.9 | 81.9 | 84.6 | 91.7 | 79.8 | | AIME 2025 (DE) | 87.5 | 73.5 | 82.9 | 85.6 | 72.3 | | AIME 2026 | 96.0 | 81.5 | 91.0 | 90.4 | 83.1 | | AIME 2026 (DE) | 90.0 | 75.2 | 84.4 | 87.5 | 78.5 | | GPQA (diamond) | 84.3 | 68.1 | 83.4 | 78.0 | 74.7 | | GPQA (diamond, DE) | 81.3 | 58.5 | 80.6 | 76.6 | 72.9 | | AA-Omniscience Index | -32.8 | -64.0 | -15.3 | -36.5 | -24.0 | | BrowseComp | 29.4 | 4.4 | 26.9 | 29.1 | – | | τ³-bench banking | 38.1 | 5.7 | 10.6 | 15.5 | 5.7 | | τ²-bench retail | 69.9 | 58.5 | 71.6 | 67.5 | 62.9 | | τ²-bench airline | 76.7 | 58.7 | 70.7 | 72.7 | 40.0 | | τ²-bench telecom | 94.7 | 67.5 | 99.1 | 68.1 | 41.5 | | BFCL v4 overall | 61.4 | 36.4 | 67.2 | 61.0 | 58.0 | | LiveCodeBench v6 | 85.9 | 59.2 | 82.5 | 82.0 | 71.2 | | HumanEval+ | 92.7 | 76.8 | 92.8 | 94.7 | 92.8 | | LongBench Pro | 64.5 | – | 70.8 | 62.9 | 56.4 | | AA-LCR | 68.3 | – | 69.7 | 67.0 | 52.3 |

Kolibri 是均衡的通用模型,在数学、代码、长上下文、agentic 能力和知识上表现都有竞争力。

真实应用的情境化性能

公开基准抓不住行业专精需求,所以我们为客户重视的垂直领域自建内部评测套件,比如德国公共部门、航空、制造和汽车业。每套评测复现该行业所需的技能、工作流和边缘案例,配套的合成训练环境让我们在这些评测上改进 Kolibri,同时绝不用客户数据训练。

内部客户代理基准得分:

  • 汽车供应商 0.72 → 0.99
  • 半导体 0.35 → 0.80
  • 德国公共部门 0.54 → 0.75
  • 工业驱动技术 0.31 → 0.60
  • 航空航天 0.14 → 0.59

答案根植于你的文档。 我们用弃答数据和 Merlin-Arthur 协议训练 Kolibri,让它学会在答案不在上下文中时说“我不知道”。客户看重并要求这个功能,所以我们持续追踪并验证弃答准确性。

原生德英双语模型。 我们开发了德英双语 tokenizer,并在整个训练过程中注重纳入原生德语数据,使 21.3% 的预训练 token 是德语。翻译用得很少(总体 6%),因为译文往往带有源语言的文化印记。结果是模型从设计上就是双语的,而不是一个读过一些德语的英语模型。

设计即控制与合规

我们构建 Kolibri 时从底层就考虑了欧盟 AI 法案、通用人工智能行为准则和 GDPR,版权法是可信赖技术工作的重点。

我们对模型权重和训练数据清洗保持透明,让开发背后的决策可见。通过推理轨迹,模型如何得出某个答案变得可解释。借助 Merlin-Arthur 协议,模型的可信度得到落实:上下文不支持答案时,Kolibri 会拒绝回答。

团队在德国构建模型,在德国和芬兰的基础设施上训练,遵守欧洲和德国法律,不受外部控制。我们拥有从数据清洗、预训练后训练到 Model Factory 优化的全流程。对端到端流程的控制支撑了模型的主权。控制权也传递给客户,Kolibri 的小体量给他们完全的部署自由,并支持可控的推理投入程度,在成本、延迟和答案质量间取舍。

我们如何高速构建 Kolibri

Model Factory:两个模型相隔三个月

Model Factory 是我们对迭代速度的回答,把“知道模型哪里错了”到“训练出更好的模型”之间的时间压到最短。我们把训练流水线实现为代码,让团队的经验沉淀为一份有版本的训练配方,而不是散落的脚本和笔记。

流水线工作从 1 月开始。五个月和数百次消融后,Kolibri Origin 于 6 月 11 日完成目标规模的预训练。Kolibri 于 9 月 11 日完成。两个日期之间的三个月里,我们从 30B 参数走到 78B,上下文从 65k 到最长 1M,训练 token 从 7.5T 到 20T。为得到这 20T,流水线处理了超过 200T 原始数据,过滤、去重、清洗到实际训练用的量。我们改了注意力设计,专家数增三倍,提高稀疏度,替换路由算法,改进后训练数据,环境任务数翻倍多,并教会模型在四种不同投入级别上推理。两个模型每个 token 的激活参数量相近,但得益于效率团队的工作,Kolibri 每 token 训练比 Origin 更快。

| | Kolibri Origin | Kolibri | | --- | --- | --- | | 完成预训练 | 2026 年 6 月 11 日 | 2026 年 9 月 11 日 | | 发布 | 未公开发布 | 2026 年 10 月 3 日 | | 推理模式 | 有(仅一种) | 有(无、低、中、高) | | 总参数 | 30.6B | 78.1B | | 每 token 激活参数 | 3.27B | 3.46B | | 预训练 token | 7.51T | 20T | | 层数 | 50(2 稠密 + 48 MoE,1 共享专家) | 50(全 MoE,1 共享专家) | | 预训练上下文长度 | 8,192(8k) | 16,384(16k) | | 最长训练长度 | 65,536(64k) | 262,144(256k) | | Tokenizer 词表 | 96,000 | 128,000 | | 模型维度 | 2,048 | 2,560 | | 注意力头(查询 / KV) | 32 / 4 | 48 / 4 | | 专家(总数 / 激活) | 128 / 8 | 384 / 6 | | 专家隐藏维度 | 768 | 512 | | 注意力模式 | 全注意力,所有层 | 滑动窗口(512)+ 每 5 层全注意力 | | 知识截止 | 英:2024 年 9 月 1 日,德:2025 年 8 月 1 日 | 英 / 德:2026 年 6 月 18 日 |

支撑这一切的是我们的训练流水线,把研究级模型开发转成完全自动化、可投入生产的基础设施,用于设计和训练大语言模型。流水线代码库由所有人共享。任何代码改动都触发一次小型端到端模型运行,训练、评测,几分钟内发现是否出问题。我们的运行是 GitHub Actions 工作流,复现一次就是检出某个 commit。流水线用于主训练和数百次消融,以决定架构和数据配比。

训练 checkpoint 大约每小时落地一次,流水线自动在英语和德语的知识、数学、代码、指令遵循、工具使用、长上下文、安全、弃答对幻觉和 grounding 上评测。我们每天都能看到能力出现,而不是到最后才知道模型什么样。运行本身比预期更稳。Kolibri 预训练 21 天里,出现 38 次计划外中断,约每 1 万 GPU 小时一次,由硬件故障或连接超时引起。这些都被流水线自动处理,无需人工干预。集群自动在另一组节点上重启训练任务,训练从最多倒退 250 步的 checkpoint 恢复。

由于整个流水线可用、checkpoint 对所有人开放,任何团队都能端到端负责一项能力,而不是装配线上的一个环节。一个团队把 Kolibri 的 grounding 能力作为单一工作训练和评测,无缝集成进整体模型。

但走到这里不是线性过程。我们栽过跟头。发现一个逃过测试的数据打乱 bug 后,我们在几万亿 token 处停下 Kolibri Origin 的预训练,从头重启。我们做消融、做决定,事后又发现 bug 或配置错误,被迫重跑一些实验。除自身经验外,我们跟踪前沿架构、最佳实践和 LLM 最新研究进展。这些积累带来了流程改进和流水线护栏。

看 Kolibri Origin 到 Kolibri 的差距,改进显著,但这也是容易的方向:更多参数、更多数据、架构家族已被充分理解,而且仍在较小规模。随着考虑扩大规模,我们乐于在基础上迎接挑战。但今年最持久的东西不是流水线,而是一支被证明能从原始数据高速构建、后训练和发布 LLM 的团队。

架构与预训练

Kolibri 有 78B 总参数,是 Kolibri Origin 的 2.5 倍,约 3B 激活参数。实验显示,把模型从 32B 增到 123B 会带来持续提升,但更大的体量带来更高的训练和服务成本。后者决定了选择:123B 在两块 H100 上只能处理 3 个 256k 长上下文用户查询,而 78B 能处理 18 个并发请求,解码快 28%。我们用 384 个更小的专家而不是更少更宽的专家,因为测试中表现更好。注意力也遵循效率优先:50 层中只有 10 层处理完整上下文,其余 40 层用 512 token 的窄窗口,使这些层的解码计算和内存不随上下文长度增长。效率收益同时利好模型服务和后训练 RL,后者依赖大量推理。

我们在 768 块 B200 上分三阶段训练 Kolibri:21 天 16k 序列长度的 20T token 预训练,3.44T token 的 64k 中训,200B token 的 256k 长上下文适配,总共近 24T,约是 Kolibri Origin 的三倍。德语占预训练混合的逾五分之一,约 4.3T,英语约 62%,代码 14%。中训数据是更精选的池子,偏向推理、解题、代码和 agentic 数据。长上下文阶段,我们没有只用长文档训练(那会侵蚀先前获得的能力),而是把长文档与前一阶段高质量中训数据交错。长上下文混合中移除了合成长文档,避免人为抬高 RULER 等基准。

优化器沿用 Kolibri Origin 的 Muon。我们特别关注训练稳定性,两个模型都没有出现 loss spike。Kolibri 在训练时的专家路由中引入精确分位数平衡。分位数平衡由 Kimi K3 提出,那里全局分位数用直方图估计,因为精确计算被认为通信代价过高;我们证明它可以以与批量大小无关的固定成本精确计算,而且精确性同时改善负载均衡和模型质量。

大规模后训练

后训练分两步:先监督微调教会核心推理和聊天交互,再大规模强化学习,在多样的长程任务上训练推理。两步都建了流水线,可以对模型行为做细粒度控制。

SFT 阶段生成了 174B token 的合成数据,按质量过滤后与许可宽松的开源数据集混合,得到 268B token 的高质量训练混合。强化学习在超过 120 万个精选任务的环境上训练,涵盖代码与数学推理、agentic 任务、指令遵循、问答、工具调用等。我们为高性能优化了自家训练代码库,使用异步训练:用当前模型在环境中生成数据,同时用已生成的数据训练。

两个阶段都教模型在不同投入级别(无、低、中、高)推理,用户可以控制模型在该任务上投入多少算力,在成本、推理速度和答案质量间取舍。

德语预训练数据

在小代理模型上的实验显示,约 20% 德语数据训练效果最佳,这意味着 20T 规模下需要 4T 德语 token。开放德语数据集有帮助但远不够:去重过滤后只剩 390B 德语 token,远低于目标。如《酸菜而非汉堡》所述,德语能力必须来自高质量德语文本,主要依赖机器翻译会因细微翻译错误和缺乏真实德语文化语境而效果不佳。我们用三种方式补齐缺口。

第一是自己从 Common Crawl 清洗德语数据。我们建了专用于德语的流水线。德语不是英语,不能按英语方式过滤:必须为德语重新调参。语言数据流水线中一个典型过滤器会移除含太多长词的文档,但德语行政文本的平均词长经常超出英语上限,标准设置会悄悄删掉公共管理的语域。重新调参后,德语流水线产出 1.3T 原生德语网页的独立 token。

第二是对已有的德语文档做改写。让 LLM 把原生德语文档改写成百科条目、问答对话或文本段落的风格,保留内容。这教模型用多种表面形式掌握同一批事实,把稀缺数据中的信息放大。这与翻译不同:源文本是德语,主题和文化归属保持德语:是 chancellor,不是 president。它不增加多少新知识,而是对语料中已有知识的新表述。改写带来约 1T 独立 token,是模型德语的最大来源。

第三是翻译,只在 Kolibri Origin 中使用。英译德在模型、提示和分块选择得当时可行,但有两个问题。输出仍可能带翻译腔,习语直译:“Drive safe!” 变成 “Fahre sicher!” 而非 “Komm gut an!”。更重要的是文化语境无法翻译。从英语译来的语料继承英语网络的地理、人口和制度分布,训练出的模型用德语谈论一个看起来像美国的世界。

最终德语以 2.4T token 的独立池进入 Kolibri,其中 80% 由我们清洗或生成,20% 来自开放数据集。模型在预训练 token 中看到德语占 21.3%,20T 训练中经上采样约 4.3T。每个德语 token 平均被看 1.8 次,远在四次 epoch 上限之内。模型读到的德语约 85% 是网页文本,原生或改写的。其余是清洗过的文档——议会记录、法律文本及其他公有领域数据——以及那一小部分翻译。

面向英德的专用 tokenizer

我们构建了英德双语 tokenizer,在各自模型的预训练数据集上训练和专精。由于数据中德语占 21%,它压缩德语的能力优于其他前沿模型,带来更高效的推理(更少 token),降低成本、缩短响应时间。我们提出训练 tokenizer 的新方法 UniBPE,比现有方法更好地尊重语言形态,尤其是德语的复合词结构,同时不牺牲英语 token 效率。

德语网页(FineWeb-2),平均每 token 字节:

  • Kolibri 词表 128,000:4.90
  • Kolibri Origin 词表 96,000:4.69
  • 普通 BPE 128k 词表 128,000:4.89
  • GPT-5 词表 200,019:4.35
  • DeepSeek V4 词表 129,280:3.72
  • Kimi K3 词表 163,586:3.28
  • GLM 5.3 词表 154,856:3.93
  • Qwen3-Next 词表 151,669:3.59
  • Qwen3.5-3.8 词表 248,077:4.17
  • Gemini 词表 262,144:4.13
  • EuroLLM 词表 128,000:4.08
  • Tekken(Mistral、Nemotron、Apertus)词表 131,072:4.03

英语网页(FineWeb):

  • Kolibri 词表 128,000:4.58
  • Kolibri Origin 词表 96,000:4.50
  • 普通 BPE 128k 词表 128,000:4.59
  • GPT-5 词表 200,019:4.67
  • DeepSeek V4 词表 129,280:4.59
  • Kimi K3 词表 163,586:4.62
  • GLM 5.3 词表 154,856:4.61
  • Qwen3-Next 词表 151,669:4.52
  • Qwen3.5-3.8 词表 248,077:4.47
  • Gemini 词表 262,144:4.49
  • EuroLLM 词表 128,000:4.16
  • Tekken(Mistral、Nemotron、Apertus)词表 131,072:4.45

Kolibri 在这一比较中德语压缩最好。普通 BPE 128k 是用与 Kolibri 相同数据和设置训练的标准 BPE,以分离训练方法的效果。每个 token 承载更多文本意味着每个任务用更少 token——越高越好。

主流的 tokenizer 训练方法有两种:BPE 和 Unigram。我们把两者结合,保留 BPE 自底向上的思路,用 Unigram 训练目标选择要加入词表的合并。在 128k 词表、英德数据集上训练,这显著改进了分词。

Bundessozialgerichtes(联邦社会法院,属格):

  • Kolibri:Bundes · sozial · gericht · es
  • GPT-5:Bund · ess · oz · ial · gericht · es
  • Qwen3.8:Bund · ess · oz · ial · gericht · es
  • Gemini:Bund · ess · oz · ial · gericht · es
  • Mistral Medium 3.5 · Nemotron 3 Nano:Bund · ess · oz · ial · gericht · es

silkworm(蚕):

  • Kolibri:silk · worm
  • GPT-5:sil · kw · orm
  • Qwen3.8:sil · kw · orm
  • Gemini:sil · kw · orm
  • Mistral Medium 3.5 · Nemotron 3 Nano:sil · kw · orm

Protokolldaten(日志数据):

  • Kolibri:Protokoll · daten
  • GPT-5:Pro · tok · ol · ld · aten
  • Qwen3.8:Protokol · ld · aten
  • Gemini:Protok · ol · ld · aten
  • Mistral Medium 3.5 · Nemotron 3 Nano:Pro · tok · ol · ld · aten

coprocessors(协处理器):

  • Kolibri:co · processors
  • GPT-5:cop · rocess · ors
  • Qwen3.8:cop · rocess · ors
  • Gemini:cop · rocess · ors
  • Mistral Medium 3.5 · Nemotron 3 Nano:cop · rocess · ors

不同 tokenizer 如何切分同一个词。Kolibri tokenizer 遵循语言形态,英德词汇切成有意义的单位,竞争对手则切断了词素边界。越低越好:每个词切得越少、越干净,token 就越少。

Grounding:减少幻觉

常见的 LLM 训练和评测奖励猜测:猜有几率答对,弃答则没有。因此模型学会用手头的一切回答,即便输入没有提供足够信息。要求模型给引用往往适得其反,同理:模型可以编造看起来合理的来源来为无根据的答案辩护。

对受监管客户,一个懂得弃答的模型是试点和部署之间的差别。我们把说“我不知道”当作重要能力,一是开发并追踪专门的 grounding 和反幻觉指标,二是使用并开发专门训练流程来提升弃答能力。

训练中我们使用正确答案是“我不知道”的样本。虽然弃答微调在全行业兴起,高质量负例仍难获得,尤其在我们客户需要的窄垂直领域,那里数据稀缺。因此我们也用Merlin-Arthur 流程训练,这是内部开发的,通过自动利用模型每一步的弱点,从已有文档生成合成负例,解决数据稀缺。训练变成三方博弈。Arthur 是我们训练和发布的模型。Merlin 拿现有文档上下文,生成新上下文,提高 Arthur 答对的概率。Morgana 通过从文档中剥离相关证据生成新数据点,试图引诱 Arthur 幻觉。Arthur 不知道面对谁,所以有效策略是仔细读问题和上下文,既能在 Merlin 的上下文上作答,又识别出对 Morgana 删改过的上下文弃答是严格必需的答案——任何猜测,哪怕猜对,也是错的。

衡量幻觉弃答时,我们用成熟基准和从客户用例推导的自有代理。我们还开发了“M/A grounding 分数”,从 Merlin-Arthur 设置中得出,代表答案有多少可证明来自文档的下界。

Kolibri 的幻觉远少于 Kolibri Origin:在 AA-Omniscience 的 44% 条目上弃答而非答错(Origin:15%),在 RGB 上更多保留(86% vs 74%),更少编造虚假内容(87% vs 76%)。在我们自己的 M/A grounding 分数上——它证明而非估计答案有多少来自文档——Kolibri 达到 0.23,Origin 和其他一些模型为 0。

| Benchmark | Kolibri | Kolibri Origin | Qwen3.6-35B-A3B | Qwen3-Next 80B-A3B | Nemotron 3 Super 120B-A12B | Mistral Small 4 119B-A6B | | --- | --- | --- | --- | --- | --- | --- | | AA-Omniscience 非幻觉率 | 44.0 | 14.8 | 56.7 | 12.3 | 13.9 | 34.7 | | RGB:保留 | 85.6 | 73.9 | 79.6 | 81.3 | 74.6 | 82.3 | | RGB:不编造 | 87.3 | 75.6 | 84.3 | 83.9 | 86.0 | 87.0 | | FRAMES | 71.2 | 65.7 | 74.7 | 68.9 | 74.9 | 71.9 | | M/A grounding 分数 | 0.23 | 0.00 | 0.12 | 0.00 | 0.00 | 0.06 |

情境化性能

多数公开基准抓不住行业专精需求。要衡量情境化性能——模型处理特定行业独特工作流和领域知识的能力——需要在我们客户重视的垂直领域测量,比如德国公共部门、法律、硬件、消费电子和汽车。

为此我们先建领域专属评测套件,复现关键行业所需的技能、工具调用、工作流和边缘案例。然后生成捕捉这些技能的高质量合成数据,创建训练环境。为提高任务在真实世界的鲁棒性,我们还围绕具体细节(工具、配置、测试框架)随机化环境。

这些一起构成迭代引擎,让我们磨砺模型的 agentic RAG 能力、领域逻辑和能力,在从不训练客户数据的前提下爬坡情境化评测。

这些评测套件作为流水线的一部分自动运行:每个 checkpoint 落地即评分。Kolibri 与竞争的开源权重模型相比表现良好。在 agentic-RAG 基准 Honeypot 上,Kolibri 优于所有对比模型,包括大得多的 Nemotron 3 Super 和 Mistral Small 4。在清洗版的 agentic-RAG 基准 MuSiQue 上,仅次于体量大得多的 Nemotron 3 Super,远超其余。在五个客户应用上,Kolibri 在五个中的四个领先或与最佳模型持平。这些结果表明我们能处理一系列数据和测试框架设置,跨用例,而对比模型对这些细节敏感。

这些衡量情境化性能的评测之所以存在,是因为客户告诉我们他们的应用哪里不足。每一套都编码了从对话中学到的东西:什么文档重要,模型应获得哪些工具,哪些问题难,部署系统今天在哪儿让用户受挫。这让交流双向具体化。展示失败案例的客户得到的是一个每个未来 checkpoint 都要对照的基准,我们无需训练客户数据或冒过拟合风险就能爬坡目标。

| Benchmark | Kolibri | Kolibri Origin | Qwen3-Next 80B-A3B | Qwen3.6-35B-A3B | Nemotron 3 Super 120B-A12B | Mistral Small 4 119B-A6B | | --- | --- | --- | --- | --- | --- | --- | | MuSiQue(清洗) | 77.3 | 42.7 | 50.5 | 61.2 | 79.1 | 66.8 | | Honeypot | 80.8 | 25.3 | 13.5 | 74.3 | 68.8 | 68.1 | | 半导体 | 80.4 | 35.3 | 41.2 | 79.4 | 69.6 | 62.7 | | 德国公共部门 | 75.0 | 54.0 | 29.5 | 72.0 | 78.0 | 50.0 | | 航空航天 | 58.9 | 14.1 | 48.1 | 59.0 | 54.9 | 47.0 | | 汽车供应商 | 99.0 | 72.4 | 84.2 | 92.6 | 91.0 | 87.1 | | 工业驱动技术 | 60.0 | 31.4 | 32.7 | 59.5 | 37.3 | 56.8 |

基准

基准用我们自己的测试框架运行,适用时所有模型使用各自最高的推理投入。

| Benchmark | Kolibri | Kolibri Origin | Qwen3.6 35B-A3B | Nemotron 3 Super 120B-A12B | Qwen3.8 27B | | --- | --- | --- | --- | --- | --- | | Overall (EN) | 75.5 | 54.1 | 71.4 | 73.0 | 80.2 | | Overall (DE) | 70.8 | 46.4 | 67.3 | 67.9 | 79.9 | | Knowledge 平均 (EN) | 50.1 | 39.7 | 52.1 | 52.0 | 56.8 | | Knowledge 平均 (DE) | 57.6 | 44.9 | 61.0 | 59.5 | 69.2 | | GPQA Diamond (EN) | 84.3 | 68.1 | 83.4 | 78.0 | 89.2 | | GPQA Diamond (DE) | 81.3 | 58.5 | 80.6 | 76.6 | 88.1 | | MMLU-Pro CoT (EN) | 80.0 | 70.1 | 84.3 | 82.7 | 85.0 | | MMLU-ProX CoT (DE) | 75.5 | 65.7 | 81.9 | 79.7 | 82.4 | | Math 平均 (EN) | 96.5 | 81.7 | 87.8 | 91.1 | 97.8 | | Math 平均 (DE) | 88.8 | 74.3 | 83.7 | 86.5 | 96.7 | | AIME 2025 (EN) | 96.9 | 81.9 | 84.6 | 91.7 | 97.9 | | AIME 2025 (DE) | 87.5 | 73.5 | 82.9 | 85.6 | 96.5 | | Agentic 平均 (EN) | 63.4 | 41.6 | 62.1 | 54.9 | 66.7 | | Tau2-Bench(电信) | 94.7 | 67.5 | 99.1 | 68.1 | 82.5 | | Tau3-Bench(银行) | 38.1 | 5.7 | 10.6 | 15.5 | 50.0 | | BFCL v4(总体) | 61.4 | 36.4 | 67.2 | 61.0 | 73.2 | | Code 平均 (EN) | 89.3 | 68.0 | 87.7 | 88.3 | 94.2 | | LiveCodeBench v6 | 85.9 | 59.2 | 82.5 | 82.0 | 93.8 | | HumanEval+ | 92.7 | 76.8 | 92.8 | 94.7 | 94.7 | | SWE-Bench Verified | 66.4 | – | 73.8 | 60.2 | 72.6 | | Instruction Following 平均 (EN) | 78.1 | 62.5 | 66.1 | 73.7 | 81.9 | | IFBench(宽松提示) | 78.1 | 62.5 | 66.1 | 73.7 | 81.9 |

开始使用

模型在 Hugging Face 上以 Apache 2.0 许可开放。

Kolibri 需要 aleph-alpha-inference 包,它提供 Kolibri vLLM 插件。可以用容器镜像 ghcr.io/aleph-alpha/aleph-alpha-inference,或从 Aleph-Alpha/aleph-alpha-inference 安装,它同时安装支持的 vLLM 版本:

pip install "aleph-alpha-inference>=1.0"

用推理和工具调用服务模型:

vllm serve Aleph-Alpha/Kolibri-1 --kv-cache-dtype fp8 --reasoning-parser kolibri1 --tool-call-parser kolibri1 --enable-auto-tool-choice

要服务超过 262,144 token 的上下文,加上 --max-model-len 1048576 --hf-overrides '{"maxpositionembeddings": 1048576}'。推荐采样参数为 temperature=1.0、topp=0.97、topk=128。

部署与专精联系

联系我们的团队,他们乐于通过企业部署和专精方案支持你:联系销售。

评论

讨论对 Aleph Alpha 开源 Kolibri 整体是欢迎的,但「主权模型」这个定位成了火力集中点:多数人认为开源权重不等于主权,真正的分歧在于——不大量使用来路暧昧的训练数据,是否还可能训出有竞争力的模型。

认为「主权」一词出现在发布里就等于宣告认输

  • 较多人:这个标签被读成心虚的背书,而且拿同量级开源模型一比就露怯——有人在 Kolibri 自己的 harness 和 benchmark 上跑出 Qwen3.8 27B 以 79.9 比 70.8 胜出(德语任务),结论是这东西还不如 Qwen3.8 27B。(较多人) > 只要发布稿里出现「主权」二字,基本就等于宣告认输。(@tornikeo)

怀疑德语语料里的「主权」成色

  • 少数人:官方说做法之一是用「某个 LLM」把已有德语原文档改写成百科条目、问答或段落,同时保留内容——这等于向那个未具名的模型学习德语百科腔调,主权从何谈起。(少数人) > 「某个 LLM」——那不就等于在向那个模型学德语百科的腔调,这算哪门子主权?(@dosinga)

认为被收购后「主权」叙事就站不住了

  • 少数人:一旦 Cohere 的收购完成,一个九成股权在外部、运营全在多伦多的实体,还能不能继续打「主权」这张牌,被直接画了问号。(少数人) > 等 Cohere 收购完成,他们还能继续用「主权」这套说法吗——九成股权、百分之百在 Toronto 运营?(@amoshebb)

认为不靠「借」训练数据就根本打不赢

  • 较多人:怀疑在当下想做出哪怕稍微有竞争力的模型,都不可能不大量「借用」训练数据;前沿实验室的做法只是先拿数据,再用海量衍生的合成数据把它洗一遍。还有人把这层意思推到极端:开源权重也挡不住自己的内容被无署名吞掉,只是从「外国偷」变成了「国家批准的主权偷」。(较多人) > 在 2026 年,想造出哪怕稍微有竞争力的模型,就几乎不可能不大量「借用」训练数据,我多希望事实不是这样。(@petesergeant)

认为主权应该覆盖整个 agent 栈

  • 少数人:自托管模型只是主权的一环,embedding、检索、记忆这些同样要自己掌控,并追问有没有人真正搭出过 100% 自主可控的完整 agent 栈。(少数人)

有价值的补充

  • 有人指出官方推荐的高端软件配置没考虑 4bit/8bit 量化,却仍在用 A3B,这个组合在便宜硬件上本可以有不错的吞吐;若能跟进 Qwen3.8-Flash-Next,还能靠显存需求的大幅下降再省一笔。
  • 对自定义 tokenizer 是否在实测中真的更好存疑,只是示例看起来有意思。
  • 有人顺着开源权重想得更远:能不能出现「LLM 发行版」——社区主导的分布式训练、周期性发版、开放权重加 FOSS 代码,并追问距离「LLM 的 Debian 时刻」还有多远。
  • 作为支持姿态,有评论者把 Kolibri-1 免费托管出来供人试用几天,强调不用 GPU、不用配置。