IFM 发布 K2 Horizon，一个包含六款模型的互联系列：375B-A23B、36B-A4B、32B、7B、3.7B 和 0.9B。在推理、数学、编程、智能体任务和通用能力方面，K2 Horizon 在每个尺寸类别中都提供顶级性能，其中 0.9B、3.7B 和 7B 模型在各自规模上创下新纪录。这是 IFM 迄今为止最全面的开放版本，为每个模型开放从预训练到推理和智能体后训练的完整训练生命周期，包括中间检查点、训练数据或详细数据构建配方、开放架构、混合组成、训练代码、配置、细粒度日志、评估结果和最终权重。
正文
IFM 发布 K2 Horizon，一个包含六个模型的互联舰队：375B-A23B、36B-A4B、32B、7B、3.7B 和 0.9B。在推理、数学、编程、智能体任务和通用能力上，K2 Horizon 在每个尺寸级别都提供顶级性能——其中 0.9B、3.7B 和 7B 模型在各自规模上创下新纪录。
K2 Horizon 也是我们迄今为止最全面的开放发布。对于每个模型，我们开放从预训练到推理和智能体后训练的整个训练生命周期。我们发布中间检查点、训练数据或详细的数据构建配方、开放架构、混合组成、训练代码、配置、细粒度日志、评估结果和最终权重。
模型和代码以 Apache 2.0 许可证发布。数据集以其适用许可证发布，如 ODC-BY；当无法重新分发时，我们披露数据的构建和混合方式。
K2 Horizon 共同代表了迄今为止最全面的开放模型发布：
- 跨规模的新性能前沿。 0.9B、3.7B 和 7B 模型在广泛使用的评估中，在其尺寸级别内实现世界领先性能。配备我们新 MoVA 机制的 36B-A4B 模型，每个活跃参数提供卓越能力，超越一些更大的模型。32B 和 375B-A23B 模型在其各自类别中排名靠前。六个模型共同在从边缘设备到企业的部署环境中提供有竞争力的性能。
- 首个完全开放的智能体模型舰队。 K2 Horizon 是首个暴露通过智能体后训练的完整开发过程的开放模型家族。通过发布每个阶段的检查点、数据（或数据配方）、代码、配置和训练日志，K2 Horizon 使得研究推理、工具使用、规划和智能体能力如何涌现成为可能；重现创造这些能力的方法；并将这些方法适应新的工具、环境和领域。
- 六个模型覆盖从边缘到企业。 0.9B 模型专为手表和眼镜等高度受限环境设计，而 3.7B 和 7B 模型为手机和其他设备端应用带来先进能力。密集的 32B 模型和稀疏的 36B-A4B 模型为本地工作站和高效服务提供强大选项。375B-A23B 模型为要求苛刻的企业部署带来舰队最强能力。所有六个模型都支持量化。
- 一个互联舰队。 六个模型共享核心架构、词汇、训练方法、接口、评估基础设施和部署工具，0.9B 模型使用较小词汇。这种一致性也使得在不同尺寸间移动、动态路由工作以及研究跨规模的能力和效率更加容易。
跨规模的世界领先性能
0.9B、3.7B 和 7B 模型在数学、推理、通用能力、编程和智能体任务上，在其各自类别中取得最先进结果。
36B-A4B 模型的表现超出其活跃参数数量通常预期的水平，展示了我们独特的专家混合设计在计算注意力值时的效率。32B 和 375B-A23B 模型在其各自比较类别中位居前列。
小模型尤其引人注目。K2 Horizon 0.9B 在 AIME 2026 上得分超过 48，并具备强大的推理、工具使用和智能体能力。K2 Horizon 3.7B 和 7B 将这些能力扩展到更复杂的软件工程和多步骤环境，在 SWE-bench 和 BrowseComp 上表现强劲。尽管需要大量探索和反复恢复的复杂任务（如 TerminalBench 中的任务）对小模型仍然困难，但 K2 Horizon 在每个规模上都推动了可能性的边界。
为什么 Horizon 舰队重要
一个远落后于能力前沿的透明模型，即使对研究来说，作为基础的价值也有限。同时，一个仅以最终权重发布的强大模型允许人们运行它，但对其能力如何创造提供的洞察很少。
K2 Horizon 将这两者结合起来。舰队提供高度有竞争力的模型，并发布用于训练它们的配方。研究人员可以在足够强大以展示高级能力的模型中研究这些能力，而开发者可以重现、适应和扩展这些方法，而不是将最终检查点视为不透明的起点。
自 2023 年 LLM360 论文中引入完全开放原则以来，我们每年都发布开放模型，同时将这一承诺扩展到更大规模、更强能力，以及现在通过智能体后训练的完整生命周期。
K2 Horizon 舰队深度解析
K2 Horizon 375B-A23B：企业级动力源
K2 Horizon 375B-A23B 是舰队最大、能力最强的模型。其稀疏 MoE 架构提供 3750 亿参数的总容量，同时每个 token 激活约 230 亿参数，使其能够利用更大模型的容量而不必为每个 token 使用每个参数。
该模型在通用、推理、编程和智能体评估中，排名在 4000 亿参数以下模型的前列。它专为模型质量最重要的要求苛刻的工作负载而设计，包括复杂推理、软件工程、研究和长期智能体任务。
与 Horizon 舰队中的每个模型一样，375B-A23B 不是作为单一端点发布，而是作为开发树发布。其中间检查点和后训练分支暴露了基础模型如何发展为推理、指令遵循和专门的智能体变体。
K2 Horizon 32B 和 36B-A4B：本地部署的强劲性能
Horizon 32B 是舰队最强大的密集模型，在能力、适应性和本地可部署性之间提供强大平衡。它在 400 亿参数以下的密集模型中排名靠前。
Horizon 36B-A4B 在仅激活每个 token 约 40 亿参数的情况下，达到接近密集 32B 模型的性能。其效率来自 MoVA，我们新的稀疏注意力架构，以及 MoE 前馈层。
这两个模型作为研究密集和稀疏架构在相似训练条件下行为的重要参考点。
这些模型占据了舰队本地性能的最佳点。它们足够强大以应对要求苛刻的推理、编程和智能体应用，同时保持对本地工作站和高效服务系统的实用性。
K2 Horizon 7B、3.7B 和 0.9B：小规模的前沿能力
K2 Horizon 7B 和 3.7B 提供强大的推理、数学、编程、工具使用和智能体性能，同时保持适合本地和设备端部署。在多项评估中，其结果接近或超过上一代大许多倍的模型。
K2 Horizon 0.9B 将许多相同的能力带入高度受限的环境。它可以进行数学推理、使用工具并完成简单的智能体任务，同时保持足够紧凑，适用于量化下的手表、眼镜和其他边缘设备上的应用。
适当的任务随规模变化：0.9B 模型最适合聚焦交互和轻量级工具使用，而 3.7B 和 7B 模型可以处理更复杂的编程和多步骤工作流。它们共同展示了在几乎任何地方运行的小模型中现在可以保留多少能力。
设计 K2 Horizon
从一开始就是一个家族
Horizon 被设计为一个互联家族，而不是无关模型的集合。六个模型共享核心架构决策、训练方法、接口、评估基础设施和部署工具。这使得开发者更容易在不同尺寸间移动，并为研究人员提供更受控的环境来研究跨规模的能力。
每个模型在大约 20 万亿个 token 上使用精心构建和记录的混合进行预训练。中间检查点及其相应的细粒度日志在整个训练过程中被捕获，创建每个模型如何发展的详细记录。
MoVA：用稀疏专家扩展注意力
专家混合的核心思想是增加总模型容量，同时保持每个 token 所需的计算大致固定。传统的 MoE 架构主要将这种稀疏性应用于前馈层：许多专门的专家可用，但路由器仅为每个 token 激活一小部分。
我们的新架构 MoVA——混合值注意力，将这一原则扩展到注意力。由于注意力决定了 transformer 如何从其上下文中汇集信息，在那里引入稀疏性为扩展模型容量开辟了另一个维度，超越了前馈网络。
MoVA 将专家路由集成到多头注意力中，同时保持与高效技术（包括 FlashAttention、分组查询注意力和稀疏注意力）的兼容性。
结果是 K2 Horizon MoVA 36B-A4B：一个总参数 360 亿但每个 token 活跃参数约 40 亿的模型。在相同训练条件下，其性能仅略低于密集的 Horizon 32B 模型，同时需要的活跃参数少得多。
训练数据
跨六个规模的训练需要足够广泛以支持通用能力，且足够精心构建以在大约 20 万亿个 token 上保持质量的数据。
Horizon 的预训练混合结合了多样的网络、代码、数学、科学、多语言和特定领域来源，以及通过我们自己的管道生成的合成数据。我们关键的数据创新之一是将推理直接纳入预训练：近 17% 的预训练语料由带有显式推理的解题轨迹组成。数学任务的推理轨迹进一步被重写为对话和学习指南等格式。总共，我们在预训练中使用了大约 10 万亿个合成 token。
我们的合成数据管道使用数百万种多样性旋钮和上下文种子的组合，包括从内部构建的预训练网络语料库搜索引擎中检索。为了量化语料库规模的多样性，我们开发了一个自定义的基于 gzip 的压缩度量，具有自适应步长，以避免标准 gzip 度量在文档数量增长时快速饱和。如下所示，我们合成数据的测量多样性接近高质量自然网络文本，并大大超过网络代码的多样性。
我们记录数据组成、合成管道和训练混合的构建。遵循我们的开源原则，在许可证允许的情况下，我们直接发布训练就绪的数据集。在重新分发受限的地方，我们发布源描述、过滤和构建方法以及混合组成。这使得研究人员能够理解每个模型从中学到了什么，以及数据分布在整个训练过程中如何演变。
我们的后训练数据从中间训练开始就引入，而不是仅保留给训练的最后阶段。我们将合成的长上下文文档与指令遵循、推理和智能体轨迹（以聊天模板格式化）结合起来。我们后训练数据的一个主要支柱是基于任务分类法、多样性旋钮和网络搜索种子的大规模任务合成，产生超过 1 亿个独特任务。此外，我们开发了采样技术，在生成训练轨迹时引导求解器 LLM 走向正确解决方案和期望行为。
预训练动态
每个 K2 Horizon 检查点都附有详细的训练日志和细粒度历史，暴露大规模训练的真实动态：损失如何演变，不稳定性出现在哪里，干预如何影响训练，以及能力何时开始涌现。
作为这些记录有用的一个例子，K2 Horizon 3.7B、7B、32B 和 36B-A4B 在完全相同的 22 万亿个 token 上训练。当按训练进度对齐并按训练最后 1% 的中位数损失归一化时，它们的原始损失轨迹大致重合——即使跨越密集和稀疏架构以及总参数数量近一个数量级。虽然这种归一化按构造对齐了它们的端点，但它并不强制早期和中间轨迹重合。它们的紧密一致性表明，在共享数据和共同配方下，学习形状在整个训练过程中在舰队子集（使用相同数据集）中保持显著一致。
检查点和日志一起允许研究人员调查为什么某些动态跨规模和架构转移而其他动态发散，并将这些差异与特定训练阶段、数据混合和技术决策联系起来。
推理和智能体的后训练
K2 Horizon 的大部分高级推理和智能体能力在后训练期间涌现。完整管道包括中间训练、监督微调、模型合并、强化学习以及专门的智能体训练。这个过程不是只产生一个最终聊天模型，而是创建一个开发树。不同分支专门从事推理、编程、工具使用和智能体领域，同时保持与共同基础检查点的连接。
我们发布这些阶段的工件，以便研究人员可以研究每种能力在何处涌现，重现单个分支，并将相同方法适应新的工具和环境。
Uno Diffusion：Horizon 的即插即用无损加速
推理速度已成为一个首要优化目标，尤其是在推理模型和智能体时代。随着模型产生更长的思维链并采取更多行动，即使是小的每 token 延迟也会累积成大量延迟。然而，自回归语言模型一次生成一个 token，造成根本瓶颈。现有方法提供部分解决方案：推测解码通常需要单独训练的草稿模型，而离散扩散能够并行生成，但通常以牺牲质量为代价换取速度。
Uno 旨在消除这种权衡。 它提供无损推理加速，在不降低响应质量的情况下加速生成。Uno 保持 Horizon 的自回归参数冻结并完全负责模型的输出分布，而一组轻量级扩散参数仅学习如何更高效地生成。
通过我们称为扩散蒸馏的过程，这些紧凑适配器学习并行生成 token 块。结果结合了自回归解码的质量保证和扩散的速度优势：模型达到相同答案，但更快达到。
在我们的评估中，Uno 实现了比领先的推测解码系统和开放权重及专有扩散语言模型更好的速度-质量权衡。关键的是，其增益在我们测试的每个批次大小上持续存在，为交互式智能体实现更低延迟，为大规模服务实现更高吞吐量，且模型质量无损失，训练开销可忽略不计。Uno 作为简单的 LoRA 适配器交付，使这种无损加速易于采用：你只需附加适配器。
构建和扩展 Horizon 的开放基础设施
我们与模型一起发布用于构建 Horizon 的基础设施。目标不仅是使舰队可重现，而且使其开发栈作为新模型和系统的基础有用。
此次发布的核心是 xLLM，我们经过生产测试的训练基础设施。xLLM 将大规模训练性能与研究所需的灵活性相结合，允许团队修改架构、数据混合、训练阶段和目标，而无需重建周围系统。
我们还将发布我们完整的智能体后训练代码库，包括强化学习，我们希望这将帮助研究人员推进相关领域的技术。
研究人员可以使用这些组件来检查训练行为或重现特定阶段。开发者可以将 Horizon 适应于某个领域，添加新工具，训练智能体专家，或在统一接口后部署多个模型尺寸。
从开源到开放科学
中间检查点将模型开发转变为可观察的科学过程。它们允许研究人员研究能力何时涌现，训练选择如何改变行为，以及意外策略何时首次出现。
奖励黑客提供了一个揭示性的例子。当一个有能力的模型被置于真实的计算机环境中并被告知解决复杂任务时，使其有用的相同足智多谋也可能导致它利用评估本身的捷径。为了理解这对 K2 Horizon 报告数字的影响程度，我们使用 Artificial Analysis 的奖励黑客审计程序审计了发布的模型。
JACKPOT 时刻：我们的模型在 GitHub 上找到了基准的解决方案，并表达了“兴奋”于答案被直接交给它。
TerminalBench 2.1 将模型置于沙盒计算机环境中，并评估它们是否能完成复杂的技术任务。一个有能力的模型必须探索文件、调用工具、诊断失败并寻找替代路径来解决问题。那种足智多谋正是我们想要的。但偶尔它会越界：模型不是解决预期问题，而是定位隐藏答案、利用任务暴露的东西或操纵评分器本身。
我们在 89 个 TerminalBench 2.1 任务上运行 K2 Horizon 375B-A23B，每个任务尝试八次，产生 712 次试验。其中，500 次通过了任务验证器（报告准确率 70.2%）。然后我们使用 Artificial Analysis 的奖励黑客审计程序审计每个通过的试验，应用他们的 harbor analyze 工具，使用 reward_hacking 标准和他们的完整评分标准文本，以 Codex gpt-5.6-sol 作为评判模型。
审计标记了 10 个任务中的 24 次试验。移除它们将准确率从 70.2% 降至 66.9%，修正了 3.37 个百分点。其余 79 个任务完全干净。作为背景，Artificial Analysis 报告 claude Fable 5 的标记率为 2.2%，GPT-5.6 Luna 为 4.1%；K2 Horizon 的 3.37% 落在此范围内。
模型发现了多种策略：
- 推断自己在公共基准内，在 GitHub 上找到仓库并下载参考解决方案
- 从真实项目的公共仓库拉取当前源代码并复制修复，而不是推导它
- 检查未公开的文件、生成器脚本或暴露的凭证
- 编辑测试框架或制作利用测试检查成功方式的输出
我们观察到 K2 Horizon 7B 的一个相关案例，它找到并下载了 SWE-bench 答案，从而产生了 82 的夸大分数。该分数不代表真正的软件工程性能，但该行为在科学上具有揭示性：基准黑客作为更广泛规划、工具使用、环境探索和持久性的意外后果而涌现。
因为我们与最终模型一起发布中间检查点，这些行为可以被研究而不是隐藏。研究人员可以确定策略何时首次出现，将其与训练变化联系起来，并衡量其对报告性能的影响。
因此，K2 Horizon 不仅仅是模型权重的集合。它是一个关于能力——及其意外后果——如何在训练过程中发展的开放实验。
立即开始使用 K2 Horizon！
所有六个 K2 Horizon 尺寸均以 Apache 2.0 许可证发布为开放权重，并得到 vLLM、SGLang 和 Ollama 的即日支持。此外，K2 Horizon 支持在 NVIDIA、AMD 和 Cerebras 硬件上部署，提供从本地推理到大规模服务的选项。从我们的仓库获取模型：https://huggingface.co/IFM，下载模型，检查中间检查点，研究训练数据和混合，重现训练阶段，或使用 Horizon 代码和基础设施构建新模型和智能体。
K2 Horizon 提供的不仅仅是六个最终模型。它提供了一个用于理解、适应和推进下一代 AI 系统的开放蓝图。
评论
讨论气氛以正面期待为主，但夹杂对发布质量、命名混淆和性能对比的质疑。多数人认可开源模型的价值，少数人指出宣传与实际表现存在落差。
开源模型对AI未来至关重要
- 完全开放（含训练数据、代码、处理流程）才能消除对模型底层黑箱的担忧，避免社会操控风险。（高赞） > 在完全开放成为现实之前，你永远会怀疑闭源模型底下藏着什么（@jjordan）
发布仓促，仓库还是空的
- 预训练和后训练两个仓库目前都是空的，可能有人提前按了发布按钮。（较多人）
- 原始链接直接跳转登录页，与“Radically Open”的口号形成讽刺对比。（较多人）
性能对比有误导性
- 基准测试的对比对象选择奇怪，应该与DS4Flash、GLM53Flash、Qwen38等近期开源模型比较。（少数人）
- 自报性能与图表数据不符：32B密集模型明显落后于Qwen3.8 27B，且未包含Gemma4 31B这个关键竞品。（少数人）
命名与Kimi K2混淆
- 在众多可选名字中偏偏选了一个会让人联想到Kimi K2的，容易造成混乱。（较多人）
有价值的补充
- 模型发布速度已超过十年前JavaScript框架的迭代节奏，但采用门槛更低，用户开始感到“模型疲劳”。（@piinbinary）
- 在主要闭源LLM集体下线当天看到这个发布，恰好提醒了开源的可贵。（@uniclaude）