科利布里（Kolibri）是英德混合专家Transformer，总参数78.1B，每令牌激活参数3.46B，以Apache 2.0开放权重。阿莱夫阿尔法（Aleph Alpha）构建它用于主权与专业部署，侧重德语与公共行政、工业、航天等受监管领域。模型在预训练、中期训练和长上下文扩展中训练24T令牌，德语占混合超20%，另整理并合成超2T德语令牌。训练后结合精选德英数据监督微调与超1.2M内部任务的强化学习，涵盖推理、工具、指令、代码与检索。

引言

公共行政、工业和航天领域的组织在处理受监管敏感数据。这类模型必须运行在组织可控的基础设施上，基于符合欧洲价值观的数据训练，并同时支持德语和英语。此外，服务成本限制了组织部署模型的规模。我们为这些需求建造的 Kolibri 是一个英德双语 MoE transformer，总参数 78.1B，其中每 token 激活 3.46B（占 4.4%），以 Apache 2.0 许可开放权重，允许部署方在自有基础设施运行。在我们对开源模型的评测中，Kolibri 在英德质量和部署成本上均位于 Pareto 前沿（图1）。图2显示 Kolibri 在智能体、工业、数学、代码和通用知识四个领域的多数基准上高于三个开源模型。模型处理长达 1M token 的上下文，用户可为每次请求设定推理努力等级，以权衡成本、延迟与答案质量。开发流程从一开始就考虑 EU AI Act、通用 AI 行为准则和 GDPR 等法规。数据 pipeline 过滤非法、有害和盗版内容，并从数据源中编辑个人数据；模型答案与欧洲民主共识价值观对齐，并在所提供的上下文不支持回答时主动弃权。德国团队端到端开发了 Kolibri，并在德国和芬兰的基础设施上训练。训练跨越预训练、中训练和长上下文扩展共 24T token，德语占比超过 20%，最终阶段序列长度达 256k。为达到这一比例，我们用自有 pipeline 从网络整理了超过 2T 德语 token，并合成生成了更多。后训练结合在英德策展数据上的 SFT 与超过 120 万项内部策展任务上的 RL，任务涵盖推理、工具使用、指令遵循、代码和检索。前身 Kolibri Origin 是用于在规模上验证完整开发 pipeline 的内部模型。两者都来自 Model Factory，它通过版本控制的工作流连接数据、实验、训练、评估与部署。表1对比两者：Origin 为 30.6B-A3B、8T 预训练 token、64k 上下文；Kolibri 为 78.1B-A3B、24T token、1M 上下文。图3展示了三阶段各自的训练损失。

预训练

本部分介绍生成 Kolibri 基模型的三个阶段：预训练、中训练和长上下文扩展。在 16k 上下文上以九域数据预训练 20T token 后，中训练以 64k 上下文在主要来自策展数据集（而非网页文本）的混合上继续 3.4T token。长上下文扩展再以 256k 上下文添加 200B token。图3显示训练损失。每个阶段相对 Kolibri Origin 都做了缩放：Origin 预训练 7.5T @4k、中训练 122B @8k、长上下文 96B @64k；Kolibri 总 token 约三倍，最大上下文四倍，中训练增长约 28 倍。

模型架构

Kolibri 是解码器仅因果 Transformer，采用混合注意力（交替 SWA 与全注意力块）和稀疏 MoE 的 FFN。总参 78.1B，每 token 激活 3.46B，因此每 token 只用 4.4% 参数，在大数据容量下保持低单 token 计算量（图4，表2）。每个块在注意力和 MoE 子层前后都使用 RMSNorm 三明治归一化。词表 128000，用 UniBPE 训练：它像 BPE 自底向上合并，但用 Unigram 损失打分选择合并。相比 GPT-5 tokeniser，它把更多 token 边界放在词素边界上（德语 65% 对 47%），德语网页文本少需 11.2% token。注意力用 GQA（48 查询头、4 KV 头、头维度 128）。块以 4:1 混合 SWA 与全注意力：每五块中一块全注意力，其余 SWA 看向前 512 个 token。仅 SWA 块用 RoPE（θ=10000）注入位置信息，全注意力块无位置编码。查询和键在 RoPE 前按头做 RMSNorm。每个 MoE 层将 token 路由至 384 个路由专家中的 6 个，并始终计算一个共享专家；专家是 SiLU 门控 FFN。负载均衡结合精确分位数均衡（EQB）与负载误差注入（LEI），预训练全局 MaxVio 平均 0.31。Origin 架构更简单：每块全注意力带 RoPE，前两块稠密，每层 8/128 专家，激活 10.7%。

消融方法

我们在更大规模验证前，用小代理模型做受控形状消融。代理 M 有 0.6B 激活 / 7.8B 总参、训练 97.6B token；代理 L 有 2.1B 激活 / 30.6B 总参、训练 327.6B token。两者宽度更窄、每层专家更少。评估沿三个轴：建模质量、注意力与 MoE 稳定性、训练与解码效率。为隔离形状质量与次优学习率，模型形状扫描时在最小规模调学习率。

Tokeniser

Kolibri tokeniser 词表 128000，用 UniBPE 混合方法：保留 BPE 贪婪自底向上，但用 Unigram 损失目标为每次合并打分，选降低损失最多的合并。训练于 100GB 预训练数据切片，无 Unicode 归一化；预分词改自 GPT4 正则，使每位数字单独成 token，带字节回退。压缩率：德语 4.90 字节/token（参与评测的 12 个 tokeniser 中最高，GPT-5 为 4.35），英语 4.58（GPT-5 为 4.67）。形态上，UniBPE 在词素边界对齐优于普通 BPE：德语前 60 次合并产生 "ing"、"the" 等单元，BPE 无德语单元； Kolibri 在德语词素边界精度 65%，外部最佳仅 49%，英语 50% 对 42%。M 规模 ablation 显示， Kolibri tokeniser 与普通 BPE 在英语德语 BPB 相同，但长上下文变量跟踪和 KV 检索在各长度召回更高。

混合滑动窗口注意力

目标为提升长上下文推理效率。Origin 每块全注意力使计算随序列长度二次增长，KV 缓存也线性增长。M 规模实验显示混合注意力长上下文任务提升而无预训练基准损失（图7）。在匹配训练计算下，混合模型支持序列长度为全注意力模型四倍；推理时更高效。位置编码上，SWA 块对查询键用 RoPE，全注意力块用无位置编码（NoPE），早期实验移除全注意力 RoPE 改善了长上下文表现。QK 归一化用每头 RMSNorm 限制注意力 logits，使训练在高学习率稳定，也因 FP8 KV 缓存不溢出。

窗口大小

我们在 M 规模选窗口 w*∈{128,…,4096}，跨窗口近似匹配总 FLOPs、KV 缓存和参数量（表4）。w=256 预训练精度最高；w=128 长上下文聚合到 64k 领先但 128k 退化；w=512 退化最少。L 规模验证 w=128 与 w=512：256k 时 w=512 高 6.7 个百分点。故 Kolibri 用 w=512 滑动窗口，代价为预训练基准精度降 0.2pp。

稀疏性缩放

稀疏 MoE 以匹配计算增加容量。在 3.4B 激活下将路由专家从 128 增至 256 和 384，总参达 42.1B、82.3B、122.6B。42.1B→82.3B 损失和精度明显改善，82.3B→122.6B 仅微升。推理效率：8 卡 H100 上测解码吞吐，因解码受内存限制，总参增会增权重复制和通信。4k 时 82.3B 和 122.6B 比 42.1B 慢 13% 和 32%，256k 时差距缩至 4% 和 12%（KV 缓存主导）。部署上，两卡 H100 下 122.6B 仅容 3 个并发 256k 请求，82.3B 为 18 个。故目标定为 80B 总参、3.4B 激活。附录显示专家配置以 384 专家隐宽 512 最佳；残差流更宽表现更好。

MoE 负载均衡

EQB 通过双路分位数更新维持全局平衡且无超参；LEI 将每个微批的负载误差直接注入 sigmoid 分数梯度，系数 λ=1e-5、τ=1。两者结合比 Origin 的 SMEBU+GShard 辅助损失超参更少。诊断发现首两层 MoE 几乎不用路由专家（干预率 98.5%，扰动无损失变化），但因 327.6B token 消融未现此象，保留为 MoE。

基础设施

预训练在 768 张 NVIDIA B200 GPU、96 节点（每节点 8 卡）运行。并行 EP8、FSDP16、DP6。中训练和长上下文用 FSDP128、DP6。用 PyTorch 2.14、DeepEP v2 专家并行、FlashAttention 4。

优化

Kolibri 用 Warmup-Stable-Merge (WSM) 配方：学习率在头 100B token 线性预热，然后预训练、中训练、长上下文训练均恒定。各阶段（除预训练）继承前阶段优化器状态无需再预热。长上下文阶段末平均最后 20 个检查点（每 10B token 一个）得基模型权重。上下文 16k→256k，批大小 75.5M→201M token/步。序列由 RSDB 在线组装避免文档跨批。优化器：Muon 用于注意力与专家权重，Adam 用于嵌入与归一化缩放，AdamW 用于 LM 头和路由；采用谱约定使 Muon 学习率与宽度无关。超参迁移：用 μP 使最优学习率宽度无关，用损失外推预测目标 token 地平线的学习率地形，而非昂贵二维缩放律。

数据与训练阶段

概述

Kolibri 基模型三阶段：预训练 20T 广覆盖英德池；中训练 3.4T 转向高质量推理数学代码指令；长上下文 200B 扩至 256k。各阶段数据选择渐精选。除过滤非法有害盗版，所有源编辑 PII；文档编辑字节超 15% 则弃。

阶段1 预训练数据

预训练池含 78 个英德数据集约 29.3T 材料化 token，最终消费 20T，跨九域（表8，图11）。Web 最大，内部 CC pipeline 处理 Common Crawl 得 308B 质量打分文档（图12 各阶段留存移除）。德语占最终预训练 21.3%，因可用性和过滤异于英语单独处理。约 24%（4.8T）为合成。英语合成用 Gemma-4 重述种子文档。德语公开集合计仅约 1.94T（表9），不足以支撑 4T 训练下限，故三途径：1) CC pipeline 调参德语（如词长 0-15 字符）得 0.8T 有机网页；2) 用 Mistral-Nemo 重述德语文档为百科/QA/教育体，得 1.1T 最大单一德语源；3) 翻译有限使用。质量标注：用 Qwen3-32B 评委对百万文档多提示打分，蒸馏为 Luxical 嵌入+MLP 分类器（F1 0.913，近 BERT 0.945），结合 fastText 分类器。数据混合用 OLMix 风格，训练 30M 参数代理群 3354 次拟合对数线性律，选混合使自有 pipeline 供 7.15T（35.7%），外部 64.3%（表11）。

阶段2 中训练

中训练从策展池（87 数据集 12.3T 独特 token，表12）取更高质数学代码推理指令数据。消融用代理模型（11.9B总/0.65B激活）训 84B token。MergeMix 法：每域训专家检查点，按候选混合平均近似全训。生产混合为 S5（C3 先验、KL 0.01），德语指令拉至重复上限。去污染：移除含 226 任务评测文本的文档 1.5M（0.06% token）。HumanEval 背诵：预训练 22-95% 完成匹配参考解，中训练首 0.3T 降至 10% 内。从预训练 M4 到中训练 M4 聚合分升 2.8pp（数学代码升）。知识基准略降（TriviaQA 等）。教训：无 KL 正则求解器将四域置零，需正则保能力。

阶段3 长上下文扩展

策略是将自然长文档与高质量中训练数据交织，而非仅训长上下文数据。候选混合取 1/3 自然长文档池（8k-256k，去合成），s∈{0,1/4,1/3} 来自长度重加权中训练池（logistic 曲线偏好长文档）。域偏移：长文档集中于网页，英语言域从 1.3% 升至 24%，指令域减半（图16）。评估 RULER+HELMET 聚合，s=1/3 合并检查点最高（表15）。原始能力微降但合并恢复。s=1/3 用于生产。基模型训至 256k，评估至 1M：RULER 上针入草堆、变量跟踪、问答优于 Nemotron 3 Nano Base，词提取较差（图18）。

基模型评估

评测套件表16（知识、数学、代码、长上下文英德版）。基线含 Apertus 70B、OLMo 3 7B/32B、Nemotron 3 Nano/Super、Qwen3.5、GLM-4.5 Air、Gemma 4 等。图19：Kolibri Base 在 ≤5B 激活参数中最优，仅 Nemotron Super（12B激活）超之。表17：总 78.1B/激活 3.46B，英总 81.1/德 81.5；数学一致顶尖，代码弱于 12B 激活模型。长上下文表18：RULER 4k→1M，256k 内落后于 Qwen3.5、Nemotron、Gemma，超训练窗后退化最少，1M 最佳。

后训练

后训练为基模型添加指令遵循、推理和智能体工具能力。SFT 与 RL 朝同能力训练。图2 比发布检查点与三开源。德语：SFT 移除其他语言交换中的英语推理，加合成德语数据集；教师生成时加短德语开场（推理 prefill 蒸馏），语言一致从 67% 升至 97%（图22）。长上下文：在 128k-224k 文档上生成多轮对话每轮跨段多跳（图23）。智能体：对开源轨迹做格式化与推理回填（backfilling），并自生成两软件工程数据集（GitHub issue patch、终端修 bug）。检索与幻觉：用 Merlin–Arthur 协议环境 rollout 冷启动 SFT。安全合规：加英德安全数据集，价值观对齐欧洲民主共识，过滤 CCP 叙述与已知政治偏见。

监督微调 (SFT)

SFT 建立新能力（指令、分级推理、工具调用），是 RL 冷启动。跨熵损于助理轮。发布 SFT 检查点为 RL 输入（图20）。

数据集

合法评估编译开放+合成池。再生成部分开放集完成（GLM-5.2/5.3）。德语：生成 chat/math/science/tool use，用推理 prefill 蒸馏使提示、推理、回答全德语，避免翻译泄漏 artifact（图21）。长上下文：长文档分约 40 段，模型写 4 请求绑远段多跳（图23），11% 为德语。工具智能体：开源格式化+推理回填，生成 SWE 轨迹。检索幻觉：用教师模型在环境 rollout 冷启动。

数据池整理

共享管道：去模型身份声称、CCP 叙述、去污染（n=5 gram 按基准内 IDF 加权，删 1097/2200万行）。推理努力标注：按数据集+难度分桶，30/70 百分位软分配 none/low/medium/high（图26,27）。最终池 57 数据集 22M 样本 335.8B token（表21），英 92.6% 德 5%。

MergeMix 混合

为找强混合，按能力分 20 簇，训每簇专家（4.5B token），合并近似全训。候选 C1+C2 在 4000 步全训后 souping（模型参数平均）得最高均分 63.4%（图30）：C1 擅 AIME，C2 擅 AA-LCR。德语上采样 16× 显著改善（表51）。

训练

从基模型 4000 步 268B token @256k。数据加载用 Next-k-Fit 装箱减 padding 至 0.001%，并按注意力代价排序微批提吞吐 84%（表23）。

强化学习 (RL)

从 SFT 检查点，单运行 38 环境（英31 德7）。异步 token 级目标：组相对优势策略梯度 + 平方对数比正则 + 定向 OPSD（低奖励组提示）。B-TV 信任域掩码，每 token 梯度范数界防离群（图31）。训练-推理一致：FP8 量化感知训练、路由重放。环境混合图32：数学 17.8%、代码 13%、SWE终端 36.1%、工具 9.8%、检索长上下文 4.9%、指令 15.9%、身份安全 2.1%、幻觉 0.6%。格式信号乘性作用于正奖励（表24）。德语环境使推理德语一致至 99%、准确率 91%（图34）。长上下文 QA、检索、Merlin–Arthur 幻觉减少、政治平衡、版权、安全均含。随机化系统提示/代码库/错字（图35）。课程按难度桶 hard/trainable/solved 调采样（图41）。基础设施 256 B300 GPU 32 节点，训练 96 推理 144 评判 16，RDMA 推权重（图37），Apptainer 沙箱（图38）。训练 1000 步批 256×8。验证奖励 0.62→0.83（图39）。表25：RL 较 SFT 在 IFBench +25、智能体 +36、代码等全面提升。OPSD 动态显示早期终端错误多后下降（图42）。经验：从小起步、高效权重更新（RDMA 17s）、课程简化、格式奖励分离防过拟合、Origin 用户模拟、序列监控抓 exploit（OpenCode 联网抓补丁、沙箱逃逸禁用户命名空间）、缩放环境。

发布模型评估

套件表27。基线 12 开源。图46：Kolibri 在 3.46B 激活 Pareto 前沿，英超 Qwen3.5 0.8pp、德 1.0pp。数学 AIME 英德均最高（表28/29）。工业 RAG 五基准（图47）英均 89.7 超所有 3B 激活 MoE，德 67.5 仅次于 Qwen3.5。幻觉大减（图48）：M/A grounding 23.4% 而 Origin 0，AA-Omniscience 弃权率 44% 对 15%。

模型工厂

Model Factory 将整个训练流水线实现为代码（MTaC）。Savanna 是其实现：声明式 TOML 描述运行，抽象出检查点、基准、集群、实验。CI 每夜训小模型防回归。基础设施用 Flyte/K8s。代理在流水线中可见状态、有界动作、可爬目标。Kolibri 所有实验由 Savanna 编排（预训练混合、运行、中训练混合消融）。

总结

Kolibri 是家族第二模型，英德 MoE 78.1B/3.46B，Apache 2.0，近 24T token 预训练，1M 上下文，Aleph Alpha 端到端建。三月间改了各阶段：数据、注意力、稀疏、tokeniser、SFT 池、RL 环境。德语特色：UniBPE 128k 词表比 GPT-5 省 11.2% 德语 token；>1/5 预训练德语，>2T 自建/合成；SFT 冷启动德语推理。架构 40/50 SWA + 10 全注意力，每 token 6/384 专家。SFT 537B token，RL >1.2M 任务。能力：3B 激活级最佳，数学代码匹配三倍大模型。工业 RAG 强。幻觉较 Origin 大减。Model Factory 使决策速度超过算力。结论：欧洲团队能短期间训两代并失败前行。

讨论尚未真正展开：目前唯一一条评论并未对模型本身表态，而是先摘出报告要点、再指出这是重复投递，因此还谈不上分歧主轴。

该帖属于重复投递，评论者只是在转述报告要点

• 评论者没有评价模型优劣，而是先把 PDF 摘要里的规模、许可和定位摘出来，方便后来者快速判断，最后补上指向另一条同题讨论的链接（少数人） > 报告介绍的 Kolibri 是英德双语 MoE 模型，总参数 781 亿、每 token 激活 34.6 亿，以 Apache 2.0 开放权重发布。（@senko）

有价值的补充

• Kolibri 每 token 仅激活 3.46B 参数，属于典型的稀疏 MoE 设计：总参数量撑起容量，推理成本却按激活量走。
• 它的目标场景是"主权与专业部署"，重心在德语，以及公共管理、工业、航空航天这类受监管领域。
• 开发方强调掌控完整流程——数据、架构、训练基础设施、后训练、评估——这正是"主权模型"叙事的关键卖点，而非单纯刷榜。