Hacker News 中文摘要

RSS订阅

Tinybox- 离线AI设备 1200亿参数 -- Tinybox- offline AI device 120B parameters

文章摘要

tinygrad是一个简单而强大的神经网络框架,将复杂网络分解为三种基础操作类型(元素操作、归约操作和移动操作)。该框架由tiny corp团队开发维护,具有代码简洁、性能高效的特点,支持从基础运算到复杂模型(如LLaMA、Stable Diffusion)的实现。

文章总结

简洁而强大的神经网络框架tinygrad

tinygrad框架简介

tinygrad是一个快速发展的神经网络框架,其核心特点是将复杂网络拆解为三种基础操作类型: 1. 元素级操作:包括一元、二元和三元运算(如SQRT、ADD等) 2. 归约操作:对张量进行降维处理(如SUM、MAX) 3. 移动操作:通过ShapeTracker实现无拷贝数据重排(如RESHAPE、PERMUTE)

框架优势体现在: - 为每个操作编译定制内核 - 采用惰性张量实现操作融合 - 后端代码简化10倍以上

人才招聘

tiny corp已获得融资,正在招募: - 全职软件工程师(接受优秀实习生) - 硬件和运营人才(需有tinygrad贡献经历) 可通过悬赏任务页评估适配度。

tinybox高性能计算机

现推出三款机型: | 型号 | 红色v2 | 绿色v2 Blackwell | exabox(2027) | |------|--------|------------------|-------------| | 价格 | $12,000 | $65,000 | ~$1000万 | | 特点 | 4×9070XT GPU | 4×RTX PRO 6000 | 720×RDNA5 | | 性能 | 778 TFLOPS | 3086 TFLOPS | ~1 EXAFLOP |

产品优势: - 深度学习性价比最优 - 通过MLPerf训练4.0基准测试 - 支持全球发货(一周内交付)

常见问题

  • 应用场景:已用于openpilot驾驶模型
  • 开发状态:alpha阶段(目标明年Q2超越PyTorch 2倍速度)
  • 参与方式:通过GitHub贡献或加入Discord

公司愿景

"加速发展,让每个人都能使用AI" —— 致力于实现petaflop计算平民化。

(注:已剔除产品规格细节等次要信息,保留核心框架特性、商业产品和公司发展关键内容)

评论总结

总结评论内容:

  1. 产品定位与市场质疑
  • 对高价产品(如65k美元和1000万美元的exabox)的目标市场表示困惑 "Who is the target market here?" (heinternets) "I have no idea who would buy this" (vessenes)
  • 认为性价比不高,可自行组装更便宜 "it's possible to custom build...within 9k budget" (ekropotin) "for $65k, I'd expect much better CPU" (bastawhiz)
  1. 技术规格讨论
  • 质疑产品能否支持大模型运行 "no way the red v2 is doing anything with a 120b parameter model" (bastawhiz)
  • 讨论AMD GPU的适用性 "Surprising to see this with AMD GPUs" (vlovich123) "Are we at the point where 2x 9070XT's are viable?" (operatingthetan)
  1. 设计评价
  • 正面评价外观设计 "pretty case" (wongarsu) "beautifully designed things" (droidjj)
  • 指出设计问题 "I'm confused why this is 12U. My whole rig is 4u" (bastawhiz)
  1. 政治立场争议
  • 对创始人政治观点表示不满 "My interest...took a colossal nose dive today" (jauntywundrkind)
  • 网站设计获得好评 "reads as extremely NOT AI-generated" (ivraatiems)
  1. 实用性讨论
  • 讨论本地AI训练的价值 "future of AI is in locally-trained models" (ivraatiems)
  • 实际应用场景质疑 "way too HOT to go in a home" (throwatdem12311)
  1. 幽默评论
  • 调侃产品价格 "$12,000, $65,000, $10,000,000" (operatingthetan)
  • 游戏性能玩笑 "Finally, a computer...run Monster Hunter" (throwatdem12311)