Hacker News 中文摘要

RSS订阅

AI在家 第一部分:一箱废料 -- AI At Home Part 1: A Box Of Scraps

文章摘要

作者认为AI编码工具虽革新了软件开发,但依赖外部服务存在风险。他主张用废旧零件在家自建小型AI数据中心,以保持技术自主可控。

文章总结

好的,这是根据您的要求,对原文进行的中文重述,保留了核心细节,并删减了与主题无关的评论性内容。


文章标题: 在家搭建AI(第一部分):一箱“电子垃圾”

核心内容:

作者认为,基于Transformer的大语言模型是软件领域近年来真正有趣的技术突破。然而,他无法信任那些受他人控制的云端AI服务,因此决定利用手头的“电子垃圾”,在家中亲手搭建一个属于自己的小型AI数据中心。

由于当前电脑配件短缺,高性能GPU价格昂贵,作者选择了AMD为云游戏业务生产但最终滞销的V620工作站显卡。这些卡拥有32GB显存,但因软件支持不佳而价格低廉。他通过eBay购入了四块这样的显卡,以及一块2017年的X299平台主板和一颗性能不佳但价格便宜的Intel Core i9 10900X CPU。内存和固态硬盘则从家中其他电脑上拆借而来。

为了给这些没有自带风扇的服务器显卡散热,作者用3D打印制作了一个风扇导流罩,将两个高转速(10000 RPM)的80mm服务器风扇固定在四块显卡上。这些风扇噪音极大,初期因主板无法独立控制风扇转速,作者不得不佩戴耳罩进行调试。

在解决启动问题(需在BIOS中开启Resizable BAR和MMIO High Size)并安装Ubuntu 24.04系统后,作者编译了推理服务器llama.cpp。他首先测试了Gemma4模型,运行良好;随后成功加载了目标模型Deepseek V4 Flash,虽然速度较慢,但至少证明了硬件可以容纳该模型。

为了解决噪音问题,作者没有依赖主板的风扇控制功能,而是使用一块Arduino Nano开发板和一个自制的原型电路板,搭建了一个独立的PWM风扇控制器。他甚至让AI服务器(Deepseek V4 Flash)为自己编写了根据GPU温度调节风扇转速的控制脚本。

最终,这台由“电子垃圾”拼凑而成的AI服务器稳定运行。作者表示,将在下一章节中深入探讨如何优化其运行速度。

评论总结

根据评论内容,总结主要观点如下:

1. 风扇噪音问题(高认可度) - 评论1指出10000 RPM风扇噪音极大,远超预期:“I had no idea a small 12V fan could be this loud” - 评论10建议使用大尺寸风扇(如14cm)并配合3D打印导流罩,可更安静地散热:“A single 14cm fan at low speeds was enough to keep them cool at 62 degrees max”

2. AMD显卡的稳定性与性能(中等认可度) - 评论2对使用AMD表示好奇,关注软件稳定性:“Quite courageous to go with AMD... how he solves the software stability” - 评论9期待后续内容,希望看到AMD显卡的潜力:“I want to know what you can squeeze out of those AMD cards”

3. 硬件配置与改造(中等认可度) - 评论4、8认为“废料箱”定义差异大:“Our definition of 'Box of Scraps' is wildly different” - 评论10指出机箱PCI插槽数量限制:“Cases that can take four dual-slot cards is rare” - 评论11建议使用PETG-CF而非PLA打印部件,因PLA在55°C会软化:“PLA begins to soften at as low as 55 degrees Celsius”

4. 本地AI推理的可行性(中等认可度) - 评论5认为本地推理依赖更新模型,存在不确定性:“Local inference will keep depend on updated models for quite a while” - 评论6表示已成功用本地硬件替代云服务:“I can definitely say I don't need it anymore”

5. 项目整体评价(正面) - 评论9赞赏项目的“hacky”风格和简洁网页设计:“I love this! Hacky recycling of old computer parts” - 评论3幽默地描述了深夜施工的疯狂:“Ahh, one of those projects”