Hacker News 中文摘要

RSS订阅

Laya (OS Jev) 于 Mac M4 CoreML 离线达成每秒45决策 -- Laya (OS Jev) on Mac M4 CoreML Offline (45 decisions per second)

在搭载 M4 芯片的苹果电脑(Mac M4)上,借助核心机器学习框架(CoreML)实现 Laya(Laya)离线运行的方法被公开分享。相关实现代码已提交至 mizorewww 在代码托管平台(GitHub)创建的离线项目(laya-coreml)仓库,内容覆盖如何不依赖网络调用设备本地算力处理相关任务。

正文

在 Mac M4 上离线运行 Laya CoreML,项目地址 https://github.com/mizorewww/laya-coreml

  • mkdir test-laya
  • cd test-laya
  • uv init
  • uv add 'laya-coreml[demo]'
  • hf download aac6fef/laya-multilingual-coreml-ane --local-dir models/snake
  • uv run laya-coreml-snake --model models/snake

fordnox 评论于 2026年9月20日(编辑过)

测试 https://github.com/mizorewww/laya-coreml

2026-09-20 19:02:52 截图

内存使用情况:对 python 进程(pid 26208)每毫秒采样,该进程为 python3.12,ARM64 架构,运行于 macOS 27.0,由 uv 启动。物理内存占用 560.4M,峰值 778.0M。采样时间 2026-09-20 23:05:12,启动时间 23:03:49。

coezbek 评论于 2026年9月20日

想看看 Laya 能做什么,将其置于 Cloudflare 的 typesafe/jev API 后,示例请求:

curl https://laya.inference.zaitlabs.com/ai/run -H "Content-Type: application/json" -d '{"state": "Help! My payouts have been failing for 3 days.", "questions": {"is_urgent": {"type": "noul", "instructions": "Does this convey urgency?"}}}'

返回 JSON:{"answers":{"is_urgent":{"type":"noul","noul":0.7894}}}

条款:https://laya.inference.zaitlabs.com/terms

评论

社区对本地模型操控游戏的演示呈现好奇与观望,个别人畅想本地可控模型将颠覆数据中心叙事,多数人则聚焦文章解释缺失与实现细节。

认为本地大模型用于控制问题是未来且数据中心存在泡沫

  • 本地可运行且能可靠用于控制的模型能打破许多应用壁垒,看到 Jev 与 Laya 这类模型觉得可能推动长期被忽视的强化学习落地,并预测数据中心狂热终将导致市场崩溃(少数人) > 本地大模型若能可靠用于控制系统,将打破我关心的许多壁垒,这让我非常感兴趣(@PaulRobinson)

质疑演示说明不足并询问实现细节

  • 读者不确定这究竟是本地模型在玩贪吃蛇,文章未提供相应解释;同时有人追问是否微调了自有模型以及测试机 M3 Max 128GB 统一内存下的具体占用,反映对实操落地的关注(较多人) > 这看起来像是本地模型在玩贪吃蛇,但文章完全没解释(@tentacleuno)

认为 Laya 更适合确定性任务且与 Jev 定位不同

  • 基于有限研究,Laya 应在具备训练数据的确定性任务上发力,零样本表现不及 Jev,提示模型选型需看场景(少数人) > Laya 该用于有训练数据的确定性任务,零样本表现不如 Jev(@imranq)