Hacker News 中文摘要

RSS订阅

基于闲置 Apple Silicon 设备构建动态分布式虚拟 GPU 云 -- A Dynamic and Distributed Virtual GPU Cloud Built on Idle Apple Silicon Devices

GPU加速机器学习推理需求上升,暴露集中式GPU基础设施成本高、弹性有限、资源受限时等待久局限。同时,搭载苹果芯片(Apple Silicon)的 Mac系统(macOS)设备拥有强大GPU,日常闲置。Minions是聚合跨macOS设备闲置苹果芯片GPU的动态分布式虚拟GPU云,执行大规模机器学习推理任务,无需额外采购GPU即可利用现有硬件,并支持灵活容错与高效利用资源;在集中式GPU受限,闲置macOS设备成分布式GPU推理平台。

正文

GPU 加速的机器学习推理需求持续增长,暴露出集中式 GPU 基础设施的局限:成本高、弹性有限,且在资源受限时等待时间长。与此同时,现代基于 Apple Silicon 的 macOS 设备虽然配备了强大的 GPU,但在日常使用中大多处于闲置状态。论文提出 Minions——一个动态、分布式的虚拟 GPU 云,可聚合跨 macOS 设备的闲置 Apple Silicon GPU,执行大规模机器学习推理工作负载。Minions 使团队无需额外采购 GPU 即可利用现有硬件;该系统提供灵活的 GPU 推理任务执行、容错能力以及高效的资源利用。我们的实践经验表明,在集中式 GPU 资源受限的环境中,闲置的 macOS 设备可以被改造成实用的分布式 GPU 推理平台。

评论

讨论整体以质疑和调侃为主,多数人认为这不过是把闲置 Mac 组成推理集群,重复几十年前的周期窃取(cycle scavenging)或 HPC 思路,缺乏原创性,甚至不配发论文。少数人则觉得它在企业错峰推理或去中心化“我们的云”场景里仍有实际价值。

认为只是在重造 exo、Salad 或古老的闲置算力集群

  • 项目被概括为一个 CRUD 数据库加一批 Mac,输入输出存到 S3,是再基础不过的做法,看不出创新(@brandonpelfrey)(较多人)
  • 它和 exo、Salad 没有本质区别,只是把日常设备集群换成了苹果硬件(@gempir、@eikenberry)(较多人)
  • 本质是几十年前的周期窃取(cycle scavenging)或没有 OS X Server 的 HPC 集群思路的复刻(@cmdrk、@pjmlp)(较多人) > 苹果等于在四十年后重新发明了周期窃取(cycle scavenging)。(@cmdrk)

质疑它不配作为论文,缺乏技术深度

  • 论文极短,被吐槽是 FAANG 宣传过的最短论文,内容更像博客文章而非研究成果(@djoldman、@bouk)(较多人)
  • 对使用 Ollama 以及相比苹果此前小模型和研究显得缺乏深度感到失望(@skhameneh)(少数人) > 这为什么是篇论文?直接发篇博客不就行了。(@bouk)

认为作为内部系统, novelty 有限且靠管理解决滥用

  • 如果这是内部系统,防止“白嫖”只是 IT/HR 的管理问题,本身没什么新东西(@tw1984)(少数人)

担忧这会在未充分授权下占用设备与电力

  • 关键疑问是采用主动加入还是默认开启的授权模式,若是后者就相当于默认占用机器和电力(@mindwork)(少数人) > 苹果会在你上厕所时偷走你的电。(@sehw)

讽刺苹果仍不卖可上架的机架产品

  • 有人吐槽他们能拼出这套集群,却依然不卖你能放进机架的机器,延续了在服务器形态上的缺席(@Bric3d)(少数人)

认为在错峰推理与去中心化算力网络中仍有价值

  • 对已有 Mac 的企业,在空闲时段跑不要求实时的推理/分析任务是实用场景,只是技术不算突破(@tom1337)(少数人)
  • 若解决隐私、滥用和授权,把 Mac/NVIDIA GPU 组成“我们的云”、按贡献算力换取额度,是摆脱公有云的潜在路径(@magicmicah85)(少数人)
  • 消费级愿景也有吸引力:让家里手机、平板、笔记本空闲时组成超级计算机做渲染或推理(@lynndotpy)(少数人)
  • 类似思路还可纳入利用率不足的 DGX 设备,扩大可用算力池(@jacquesm)(少数人)

有价值的补充

  • 社区外已有类似实践:有人正在做“Classify @ Home”的 P2P 网络,用 CPU 跑分类模型,和这套 Mac 集群思路同构但面向不同负载(@nico)