MoonshotAI在GitHub上开源了Kimi-Linear项目，该项目可能与线性模型相关，但具体功能需进一步查看代码或文档确认。

GitHub项目：MoonshotAI/Kimi-Linear 技术解析

项目概述 Kimi-Linear是由MoonshotAI开发的开源混合线性注意力架构，通过创新的Kimi Delta Attention（KDA）机制，在保持模型性能的同时显著提升了计算效率。该项目已发布两个预训练模型版本（基础版和指令版），参数量达480亿，支持长达100万token的上下文处理。

核心技术 1. KDA机制：改进版门控DeltaNet，通过精细化门控设计优化有限状态RNN内存使用 2. 混合架构：采用3:1的KDA与全局MLA比例，减少75%的KV缓存需求 3. 性能优势： - 在MMLU-Pro基准测试（4k上下文）达到51.0分 - 在RULER测试（128k上下文）实现84.3分，速度提升3.98倍 - 处理百万级token时，TPOT速度比MLA快6.3倍

模型下载 | 模型类型 | 参数量 | 激活参数 | 上下文长度 | 下载地址 | |---------|--------|----------|------------|----------| | 基础版 | 48B | 3B | 1M | HuggingFace链接 | | 指令版 | 48B | 3B | 1M | HuggingFace链接 |

使用指南 1. 环境要求： - Python ≥ 3.10 - PyTorch ≥ 2.6 - fla-core ≥ 0.4.0

2. 推理示例代码： ```python from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.frompretrained( "moonshotai/Kimi-Linear-48B-A3B-Instruct", torchdtype="auto", devicemap="auto", trustremote_code=True ) ```

3. 部署方案： shell vllm serve moonshotai/Kimi-Linear-48B-A3B-Instruct \ --port 8000 \ --tensor-parallel-size 4 \ --max-model-len 1048576

项目状态 - 许可协议：MIT - GitHub数据： - 星标数：367 - Fork数：8 - 贡献者：2人 - 技术报告：查看PDF

（注：原文中重复的导航菜单、页脚信息等非核心内容已精简，保留了主要技术说明和使用指南）

总结：

1. 资源分享观点

• 评论1分享了AI模型比较的网页链接 引用："https://lifearchitect.ai/models-table/"

2. 技术认可观点

• 评论2认为Kimi Linear模型表现优秀，在保持准确性的同时提高了效率 引用："Efficient attention with strong results could make large models faster without much accuracy loss."

3. 简单支持观点

• 评论3用简短语句表达了对项目的支持 引用："Let's GO!"