Hacker News 中文摘要

RSS订阅

Ollaya：开源版 Ollama，专注 Jev 风格决策模型 -- Ollaya – Ollama for open-source, Jev-style decision models

原文链接 | HN讨论 | 2026-09-26 04:06:54

奥拉亚（Ollaya）可对任何文本或JSON提出类型化问题，并在毫秒内得到校准答案，私有开源且运行于自有硬件。执行命令调用拉亚（Laya）模型预设triage分析本月被重复扣费欲退款的反馈，返回表格显示意图退款概率1.00、是否紧急否0.87、沮丧度1.59/3概率0.36、退款请求是0.88、流失风险否0.89。实际输出路由至laya:en，在RTX 4090上耗时8.9毫秒。

正文

针对任意文本或 JSON 提出类型化问题，便能在毫秒间得到校准过的答案。它注重隐私、开源，且运行在你自己的硬件上。

下载 浏览模型

运行命令：ollaya run laya --preset triage "我这个月被扣了两次款，想要退款。"

模型返回的答案：

| 问题 | 答案 | 概率 | | --- | --- | --- | | 意图 | 退款 | 1.00 | | 是否紧急 | 否 | 0.87 | | 挫败感 | 1.59/3 明显不满 | 0.36 | | 要求退款 | 是 | 0.88 | | 流失风险 | 否 | 0.89 |

实际输出：被路由到 laya:en，在 RTX 4090 上耗时 8.9 毫秒完成回答。

快

毫秒级决策。决策模型只需单次前向传播，无需逐 token 生成。在你自己的 GPU 上，通过 HTTP API 向 Laya 发送含五个问题的请求，端到端耗时约 10 毫秒。

所有模型同一量级·中位数延迟，越低越好：

  • laya:multilingual 8.1 毫秒
  • laya:en 9.6 毫秒
  • gliclass 14.7 毫秒
  • nli 20.4 毫秒
  • decider:0.8b 155 毫秒
  • decider:2b 190 毫秒
  • TypeSafe Jev 托管 API 236–276 毫秒

Ollaya 的数据来自 NVIDIA RTX 4090 上通过 HTTP API 发送五问题请求的中位数（laya 用 fp16，其余 fp32）。Jev 的数据来自第三方基准测试的托管 API 请求中位数，含网络开销。设置不同，请视作数量级对比。

即插即用兼容

兼容 TypeSafe 的 API。Ollaya 提供 /v1/systemone 和 /v1/models 接口，请求与响应格式与 TypeSafe 一致。官方的 TypeSafe Python SDK 0.7.1 可不作修改地对接本地服务器。

将 SDK 环境变量指向本地服务后，可用 curl 调用 /v1/systemone，传入模型名、用户语句及问题定义（如意图分类标准）。返回结果包含答案（例如意图为 invoice、置信度 0.9547、概率分布中 invoice 占 0.9698）、用量统计（输入 43 token，输出 0）等。

TypeSafe 兼容性指南

开放模型

开放权重，随时拉取。先从 Convai Innovations 的 Laya 系列开始：含英文模型、百种语言模型、为类型化决策微调的模型，以及自动为你选择的路由模型。

数据归你所有

默认隐私保护。工单、邮件和用户消息往往是最敏感的数据，用 Ollaya 可在它们原本所在之处完成评分。

平台

在你工作的地方运行。提供 macOS、Windows、Linux 的桌面应用和命令行，以及服务器用的 Docker 镜像。所有模型都能跑在 CPU 上；在 Linux、WSL 2 或 Docker 中使用 NVIDIA GPU 可将请求压至毫秒级。

| 平台 | 桌面应用 | 命令行 | GPU | | --- | --- | --- | --- | | macOS Apple 芯片 | 菜单栏 .dmg | 安装脚本 | 仅 CPU | | Windows 10/11 x64 | .exe 或 .msi | PowerShell 脚本 | 仅 CPU，NVIDIA 需通过 WSL 2 | | Linux x86-64 | AppImage, .deb, .rpm | 安装脚本 systemd | NVIDIA, CUDA 13 | | Linux ARM64 | 不支持 | 安装脚本 systemd | 仅 CPU | | WSL 2 | 不支持 | 安装脚本 同 Linux | NVIDIA, CUDA 13 | | Docker amd64/arm64 | 不支持 | GHCR 镜像 | NVIDIA CUDA 13 镜像, amd64 |

按平台安装

NVIDIA 显卡需 R580 或以上驱动，安装器仅在检测到时获取 CUDA 库。在 Apple、AMD 和 Intel 显卡上，模型运行于 CPU。

几分钟即可上手

单一二进制文件，一条命令：ollaya run laya。

下载

macOS、Windows、Linux 与 Docker · Apache-2.0 · GitHub

评论

社区对该本地决策模型项目反应分化，多数人质疑其相较于Jev的质量及被Ollama轻易替代的风险，少数人赞赏其开源价值。

认为Ollama随时可支持决策模型使项目竞争力存疑

  • 指出Ollama能在任意时刻添加决策模型支持，项目并非不可替代，且惊讶团队尚未实现此功能（较多人） > 如果这类决策模型显要，Ollama肯定会支持，意外团队还没做（@george_max）

质疑Laya实际决策质量不如Jev且示例名不副实

  • 用户反馈Laya在复杂查询上自信不足且错误更多，同时项目示例仅为文本分类而非真正决策，有评论认为直接训练分类器更明智（较多人） > 据经验Laya表现明显更差，复杂查询常做错决策（@george_max）

认可项目作为开源替代方案的价值

  • 认为项目赋能开源生态，试用体验出色，并期待未来与系统一整合（少数人） > 很棒的项目，推进开源替代品（@eserozvataf）

认为项目过于初创似随手编码而不具严肃性

  • 以反讽追问定价与企业采购，吐槽项目疑似两天前才开始的凭感觉写代码（纯玩笑代表社区情绪） > 你两天前才开始凭感觉写代码的实验技术，我怎么给你数十亿美金（@0xbadcafebee）