Strata 让普通游戏电脑也能跑 1250 亿参数的大模型：它把通义千问（Qwen）3.8-Flash-Next 装在本地，显卡用 NVIDIA 或 AMD、显存 12GB 以上，Windows 或 Linux 都能一键安装，免费开源。这个原本要服务器才带得动的模型会聊天、写代码、读图，接受图片输入，一段提示词就能在 RTX 5070 上生成体素宝塔庭院。

你可以在自己的游戏电脑上运行一个1250亿参数的AI模型。需要 NVIDIA 或 AMD 显卡（12 GB 以上）、Windows 或 Linux，免费且开源。

一个体积像素宝塔花园，单次提示词在 RTX 5070 上用 Strata（IQ3_S，128K 上下文）生成 · 完整视频（49秒）

Strata 能在普通电脑上运行 Qwen3.8-Flash-Next。这是一个通常需服务器的大型智能模型，可聊天、写代码、读图并与你的应用和编程代理协作，数据不会离开电脑。

它有多快？

我们在两台普通游戏电脑上做了测量。一个 token 约 ¾ 个单词。

• 写回答： 短聊天中回复出现的速度。60 tokens/s 快过阅读。
• 读提示词： 摄入你发送内容的速度（此处为 32K token 文档、代码或聊天记录）。

NVIDIA：RTX 5070 (12 GB), Ryzen 5 7600, 64 GB RAM

| 尺寸 | 写回答 | 读提示词 | | --- | --- | --- | | Q20 | 94 tokens/s | 2,650 tokens/s | | IQ2XS | 79 tokens/s | 2,090 tokens/s | | IQ3XXS | 62 tokens/s | 1,750 tokens/s | | IQ3S | 53 tokens/s | 1,620 tokens/s | | Coder | 55 tokens/s | 2,180 tokens/s |

AMD：RX 9070 XT (16 GB), Ryzen 9 3900X, 47 GB RAM

| 尺寸 | 写回答 | 读提示词 | | --- | --- | --- | | Q20 | 60 tokens/s | 1,160 tokens/s | | IQ2XS | 52 tokens/s | 1,110 tokens/s | | Coder | 44 tokens/s | 1,420 tokens/s |

NVIDIA 的 Q2_0 用引擎 0.1.36，其他行用 0.1.26（4K 回答、32K 提示词）。完整表格见 DETAILS.md。显存更大的卡更快：RTX 3090 (24 GB) 写回答约 100-140 tokens/s。

你需要什么

| | | | --- | --- | | 显卡 | NVIDIA GeForce RTX 20/30/40/50 系列，或 AMD Radeon RX 7900 XT/XTX、RX 7800 XT/7700 XT、RX 9060 XT、RX 9070/9070 XT、Radeon AI PRO R9700 或 RX 6800/6900 系列。需 12 GB 以上显存。 | | 内存 | 32 GB 以上。内存决定适用模型。64 GB 可跑所有尺寸。 | | 磁盘 | 约 80 GB 空闲。尽量用 SSD，首次启动更快。 | | 系统 | Windows 10/11 或 Linux，以及 NVIDIA/AMD 最新驱动。 |

安装器会配置其余部分。两到三张卡可共享模型（多GPU）。

社区实验性支持：

• 旧显卡（Tesla P40/V100、GTX 10、Radeon VII/MI50、RX 6700 XT、RX 5500 XT）：见 Older GPUs。
• Intel Arc，Linux 源码编译：见 Intel Arc。
• 无 AVX2 的旧处理器：可用但慢，见 Older CPUs。

完整列表见 docs/INSTALL.md。

安装

让你的 AI 来安装

如果你使用 AI 编程助手（Claude Code、Cursor、Codex、GitHub Copilot 等），把以下内容粘贴给它：“Set up Strata on this PC for me: https://github.com/Niko1221/Strata - follow docs/AI_SETUP.md in that repository.” 它会检查显卡、内存、磁盘并选合适模型，然后安装启动并告诉你如何连接应用。AI 工具也可通过 MCP server 安装启停 Strata。

或者自己动手

下载 Strata 解压（或 git clone）。Windows 双击 START-HERE.bat，Linux 在文件夹运行 ./setup.sh。NVIDIA 和 AMD 步骤相同，安装器识别显卡并配置引擎，会问几个问题：模型尺寸、上下文长度、是否读图。每次回车选推荐。然后下载模型（约 70 GB）并启动，中断重跑续传。浏览器打开 http://127.0.0.1:8080。

模型启动时电脑可能慢或假死 1-3 分钟（首次最长），因 Strata 将 35-55 GB 载入内存并锁定部分给显卡，属正常。等待勿关窗口。

下次运行 START-HERE.bat 或 ./setup.sh 立即启动不重复下载。关窗口停模型。UPDATE.bat 更新不启动。更多见 docs/INSTALL.md。

该选哪个模型？

安装器按内存推荐。同模型有不同压缩尺寸，越小越快，越大越聪明。

| 你的内存 | 选 | 原因 | | --- | --- | --- | | 32 GB | Coder | 适配 32 GB，专为代码（24 GB 卡也能跑 Q20/IQ2XS） | | 48 GB | IQ2XS（或最快 Q20） | 更大尺寸放不下 | | 64 GB | IQ2XS（推荐），或 IQ3XXS/IQ3S | 所有尺寸皆可，IQ3S 最好最慢 | | 96 GB+ | IQ3S，或 Unsloth UD-IQ4XS（~4-bit） | 可容纳最大尺寸 |

• Coder： 砍掉一半专家的编码版，达完整模型 SWE-bench Verified 91% 分（作者测），适配 32 GB。非代码弱，含中文等 CJK 文本差（#438），那些需用 Q20/IQ2XS/IQ3_S。
• Swift 1.5： 微调版，回答前思考更短，更快出答案质量近似。
• Unsloth UD-IQ4XS： ~4-bit，质量介于 IQ3S 与 UD-Q4KXL。下载 94 GB。内存少于 ~80 GB 时 Strata 边答边从 SSD 读，较慢（NVMe 佳）。
• Unsloth UD-Q4KXL（实验）： 最近完整模型，但主要靠 SSD 读，64 GB 机写速仅 7-8.5 tokens/s。
• OrcaRouter's Uncensored IQ3_XXS： 手动安装，不在菜单。

尺寸下载等见 docs/MODELS.md。后加模型运行 SETUP.bat（Linux: ./setup.sh --setup）。

使用

• 浏览器： 开 http://127.0.0.1:8080，有 Chat、实时 Monitor、About 设置地址。
• 应用与编程代理： 加 “OpenAI 兼容” provider，基址 http://127.0.0.1:8080/v1，任意 API key 和模型名。用 Anthropic API 的应用：http://127.0.0.1:8080/v1/messages（Claude Code: ANTHROPIC_BASE_URL=http://127.0.0.1:8080）。Codex CLI 等用 OpenAI Responses API：/v1/responses（设置）。
• 思考： 聊天菜单或应用内选 off/low/medium/high，off 最快，high 适难题。
• 图片： 安装时选 Images? yes，聊天点 Picture 或应用附图。AMD 卡 Linux 经处理器读图，Windows 暂不支持。
• 手机或其他电脑： START-HERE.bat --setup --host 0.0.0.0 --api-key <secret>，务必设 key。
• 同时一请求： 默认依次回答，设 "parallel": 2 可并发（BATCHING.md），12 GB 卡会变慢。
• 长提示词： Strata 全文读首条消息，约每 3万 token 1 分钟，后续消息秒回。

更多见 INSTALL.md 与 DETAILS.md。

出问题了？

• 首次启动电脑冻屏： 载入模型正常，等待勿关。10 分钟仍冻则重启关程序或选小尺寸。
• 下载安装中断： 重跑续传。
• 极慢且磁盘灯闪或报引擎意外停止： 内存不足，关其他程序或选小尺寸（Q20/IQ2XS）。
• 端口 8080 被占： Strata 已在跑，找窗口。

更多见 TROUBLESHOOTING.md。仍卡可开 issue 附日志，安全问题私报 SECURITY.md。

工作原理

此类模型通常在数百 GB 显存服务器运行，你的卡仅 12-24 GB。Strata 让模型适配 by 共享整台 PC 工作。如厨房：常用放台面，其余仓储。

• 模型是 24,576 个小专家团队，每词只需 10 个。
• 显卡 存最常用几千专家，内存 存全部，处理器 同时算其余，SSD 存大查找表。

• 先猜后查： 小助手猜下几个词，大模型一次查完，同答案快 1.6-1.8 倍。
• 长文大块读（一次至多 8,192 token），超 1,000 tokens/s。

详解见 HOWITWORKS.md 与 论文。

致谢与许可

模型为 Qwen 团队 Qwen3.8-Flash-Next，由 ISTA-DASLab、UkisAI (Swift 1.5)、Unsloth 压缩。Strata 用 llama.cpp / ggml 部分。开源 MIT License，部分模型自有许可。

讨论整体偏「谨慎兴奋」：多数人认可把大模型塞进消费级显卡的工程水平，但怀疑代价是极限量化和砍专家换来的数字游戏；少数实测者的正面体验和有独显以外硬件路线的成功案例，构成了另一条明显不同的声音。

认为靠极限量化换来的速度没有实用价值

• 指出 Q2 甚至 Q1 量化、砍掉一半 MoE 专家的做法在长周期真实编码任务上不可靠，因为那恰恰依赖被削掉的推理层，所谓「没有免费的午餐」：要么攒够显存跑 Q4，要么老老实实用小模型（较多人）
• 有人直接表示对 Q2 量化不感兴趣，也不认为这类演示能支撑原文的性能宣称（较多人） > 把一个大模型「脑叶切除」只为证明你能跑得快，没什么实际用处。（@0xbadcafebee）

实测派：在 4090/3090 上确实又快又能用

• 4090 + 128G DDR5 报告 124 tokens/s；3090 用户形容「飞起来」，还拿它做 PHP 代码库安全审计，效果不错（较多人）
• 也有人日常使用 Q4 量化版本，并提到另一款引擎 Dwarfstar 已支持该模型（较多人）
• 在 DGX Spark 上用 sglang 跑 nvfp4，约 50 tokens/s，评价为优秀模型（少数人） > 我在 3090 上跑，速度飞快，扔给它的任务完成得也相当好。（@prettyblocks）

生成速度只是容易的那一半，长上下文预填充才是关键

• 质疑 MoE 卸载场景下真正难的是 prompt 处理，想知道 16k 上下文时的预填充速度（较多人）
• 无独显的 Ryzen 8845HS + 96G 内存跑 IQ3_XXS：生成约 7 tokens/s、填充约 60 tokens/s、最大约 120K 上下文，前提是能容忍跑上几个小时（少数人） > 速度好看的是生成那一半，16k 上下文下你的 prompt 处理是什么水平？（@quietFalcon）

量化模型的真实能力应该用基准测试交代清楚

• 建议把「量化模型的基准成绩」变成发布标准做法，否则无从判断有效智力水平（较多人）
• 希望在真实编码任务上比较不同小量化档位，具体想知道从 IQ3S 降到 Q20 损失多少质量（较多人） > 有人算过这些量化模型的有效智能吗？发布量化版本时附基准应该成为惯例。（@esafak）

与其炫耀昂贵硬件，不如看 8GB 内存的设备能跑什么

• 对「大而贵的模型跑在 99% 人买不起的硬件上」兴趣不大，更想看 Chromebook 或 8GB 手机上的最优解（少数人）
• 由此延伸出的判断是：内存的普及可能才是 AI 公司真正的威胁，而超大模型仍会更强（少数人）

一批 AI 生成的专用推理引擎正在比 llama.cpp 更快

• 观察到如今大量 AI 生成的本地推理引擎，每个都更窄但普遍快过 llama.cpp，因此 llama.cpp 可能需要重新考虑策略（较多人）
• 有评论把这件事的看点总结为：这是通用推理引擎的模型专用分支，却让消费级硬件跑起了原本跑不动的大模型并保持可用性能（较多人）
• 也有人提醒 FreeToken 一个月前发布时就已支持，暗示并非首创（少数人） > 现在有这么多 AI 生成的本地推理引擎，都比 llama.cpp 快，也许 llama.cpp 该重新想想策略了。（@nialv7）

质疑 AI 生成仓库的文档与配置可信度

• 认为 README 全是 AI 生成的，也没写明是否把 KV 缓存量化到 q4 或更低，这类仓库需要打问号（较多人）
• 不喜欢配置项一半走命令行参数、一半走环境变量，并把这视为 LLM 写代码的典型痕迹；甚至有人拿「把仓库文档交给 AI 自己照着装」类比成 curl | bash 级别的危险（少数人）

本地模型与前沿闭源模型仍有明显差距

• 回忆本地 27B 模型虽然评测热闹，实战完全比不过同期云端模型，并追问追上顶级闭源模型是否真需要五万美元级硬件（少数人）
• 另一面仍抱期待：越来越接近「本地跑一个顶级模型」的那一天，是很多人的梦想（少数人）

推理效率的持续进步说明数据中心扩张可能是泡沫

• 论点是大规模数据中心建设假设 AI 需要不断增长的电力与场地，这与整个计算史相矛盾；而电力和场地正是成本大头，会形成巨大的提效压力（少数人）

有价值的补充

• 无独显路线的具体数据值得参考：旧 Ryzen 8845HS + 96G 内存跑 IQ3_XXS，吞吐低但可用，前提是能接受跑数小时。
• 「配置项一半用参数、一半用环境变量」这个细节，被当作识别 LLM 生成代码的实用经验。
• 同一时间线上已有多款引擎支持该模型，比较时最好把引擎、量化档位和上下文长度一起列出，否则速度数字没有可比性。