Hacker News 中文摘要

RSS订阅

Redis 创建者推出 ds4：本地运行 LLM -- From the creator of Redis; run LLM locally with ds4

原文链接 | HN讨论 | 2026-10-03 07:43:23

DwarfStar 4（ds4）是一个面向高内存 Mac、CUDA 与 ROCm 机器的精简 C 推理引擎，支持 DeepSeek V4 与 V4.1 Flash、GLM 5.x 和 Qwen3.8 Flash Next，把文本与视觉模型、本地 API、CLI 和原生 agent 放进同一套栈里。它从本地运行这一约束出发，处理 2840 亿参数的 DeepSeek V4 Flash 混合专家模型，用非对称量化只针对路由专家做压缩，同时保留关键路径，让模型在高内存机器上变得可用。

正文

用 ds4 在本地运行前沿开放权重模型

DwarfStar 4 是面向高内存 Mac、CUDA 和 ROCm 机器的精简 C 推理引擎。支持 DeepSeek V4 与 V4.1 Flash、GLM 5.x 和 Qwen3.8 Flash Next，涵盖文本与视觉模型，在同一栈内提供本地 API、CLI 和原生智能体。

支持：DEEPSEEK V4 / V4.1 + GLM 5.x + QWEN3.8 · MIT 许可证 · C / METAL / CUDA / ROCM · 64GB 上的 QWEN

ds4 · 本地会话

$ ./ds4 DwarfStar 4 · DeepSeek V4 Flash · ds4f-q2 本地后端就绪 · 模型已加载 >/read sr

原则 · 本地模型栈

阶段 1 · 巨人

一颗 2840 亿参数的星

DeepSeek V4 Flash 是大型混合专家模型。通常走远程服务路线；ds4 从相反约束起步。

阶段 2 · 坍缩

压缩，而非阉割

非对称量化瞄准路由专家，保留关键路径，让模型在高内存机器上实用。

阶段 3 · 矮星

稠密、常驻、属于你

本地引擎暴露 CLI、HTTP API 与原生智能体，共享同一模型状态和缓存。

坍缩如何运作 →

设计选择

窄而专的本地前沿推理

不是通用 GGUF 运行器。ds4 跟进少量机会型模型系列，端到端验证每种受支持布局。

核心 01

非对称 2-bit 量化

压缩路由专家，保持关键共享路径精确，使受支持的路由 MoE 构建适配目标机器。

核心 02

KV 缓存作为磁盘公民

长前缀存 SSD，按提示哈希恢复，重启无需全量重预填充。

核心 03

一个引擎，三个接口

用 ./ds4 聊天，./ds4-server 提供本地 API，./ds4-agent 跑持久编码会话。

  • SSD 流式传输
  • TE6VPG W63/YAGOTFK
  • 会话批处理
  • DSPARK + MTP
  • 视觉输入

架构

ds4 栈如何组合

投影 GGUF、自包含引擎与面向上层的接口，对照官方模型输出验证。

运行时地图 · 简化。完整图示见 架构笔记。

运行

三步运行 ds4

下载项目 GGUF，编译后端，启动 CLI 或服务器。通用 GGUF 非目标。

步骤 1 · 获取权重

ds4 · zsh

$ git clone https://github.com/antirez/ds4 $ cd ds4 && ./download_model.sh ds4f-q2

步骤 2 · 为后端编译

ds4 · zsh

$ make $ make cuda-spark

步骤 3 · 与它对话

ds4 · zsh

$ ./ds4 $ ./ds4-server --ctx 100000

适配检查

ds4 硬件适配：本地、流式与分布式

选平台与内存，获保守起步路径，了解适用执行模式。

✓ 运行良好

V4 Flash Q2 为基线。128 GB 下 GLM 5.3 Q2 与 Qwen Q4 也能装入；V4.1 Q2 从 SSD 流式加载。

./download_model.sh ds4f-q2 && make 参考 · M5 Max 128GB · 32K 上下文：生成 34.4 T/S · 预填充 557 T/S

估算来自 ds4 基准表。完整指南见 硬件 和 安装。

基准

ds4 基准：预填充与生成

上游参考行。预填充与生成分开看，尤其长上下文智能体负载。

| 机器 | 上下文 | 预填充 t/s | 生成 t/s | | --- | --- | --- | --- | | M5 Max, 128 GB | q2 · 2,048 tok | 790.2 | 39.4 | | M5 Max, 128 GB | q2 · 65,536 tok | 398.5 | 27.6 | | DGX Spark, 128 GB | q2 · 2,048 tok | 825.8 | 18.1 | | DGX Spark, 128 GB | q2 · 65,536 tok | 823.0 | 13.8 |

全部基准 →

API 与智能体

从 Codex、Claude Code 和 OpenCode 使用 ds4

ds4-server 说 OpenAI 与 Anthropic 风格 API，本地编码智能体可用 base URL 连到你机器。

掌控你的本地 AI 推理

从快速入门始，查硬件矩阵，后将编辑器、智能体或 API 客户端连本地服务器。

评论

社区主要分享 ds4 推理引擎在本地高端硬件上的流畅运行与衍生开发，少数人质疑 dsv4 量化检查点质量或认为介绍材料低质。

认为 dsv4 量化检查点效果不好

  • 指出 dsv4 的检查点导致量化后模型质量不理想（少数人） > 问题在于 dsv4 的检查点，量化后效果不彰（@doctorpangloss）

在高端硬件上运行 ds4 体验优秀并衍生扩展

  • 用户实测在 128GB M5 Max 上搭配 Qwen 3.8 Flash Next 速度极快、上下文长，是最佳启动器，偶发遗忘可能源于上层代理框架（较多人） > 自发布起就在 M5 Max 上使用，目前跑 Qwen 3.8 Flash Next 表现出色，长上下文极快（@ttoinou）
  • 有人为 ds4 实现共享库与 Go 语言绑定，添加视觉与 Qwen 支持，并提供终端界面简化模型下载（较多人）
  • 受启发在 Intel 低功耗笔记本上写推理引擎支持量化 Gemma-4，并期待未来支持更多混合专家模型（少数人）
  • 有人在 Mac 上实现融合技术以支持百万上下文，并计划移植高性能 Metal 内核（少数人）

疑问项目技术选型与呈现质量

  • 好奇作者为何用 C 而非 Rust 实现，并询问该引擎与其他大模型运行器区别（少数人）
  • 认为介绍网站质量低，应直接看原代码仓库（少数人） > 这个网站纯粹垃圾，建议直接链原仓库（@Almondsetat）

有价值的补充

  • 近期本地推理速度有飞跃，Tensorfold、oMLX 等通过 CPU 辅助预填充、投机解码等技术获得翻倍提升，本地运行大模型渐趋实用（较多人）
  • 另有 Local Code 等类似方案针对 Apple 高端芯片提供视觉支持与自定义量化（少数人）
  • 有面向消费级显卡如 3090 的社区项目让普通人也能跑 Qwen 3.8 27B（少数人）

名称引发的玩笑

  • 项目名令人联想到美剧《硅谷》，社区觉得有趣（纯玩笑，代表轻松情绪） > 名字让我笑，像《硅谷》里的命名风格（@fierycatnet）