Petals 是一个分布式平台，允许用户通过 BitTorrent 风格的方式，使用消费级 GPU 在本地运行和微调大型语言模型（如 Llama 3.1、Mixtral 等），提供灵活的 PyTorch 接口和交互式应用支持。

Petals项目允许用户在家中使用BitTorrent风格运行大型语言模型。用户可加载模型的一部分，并加入网络共享其他部分，支持Llama 3.1（最高405B）、Mixtral（8x22B）、Falcon（40B+）或BLOOM（176B）等模型，使用消费级GPU或Google Colab即可生成文本和微调。单批推理速度可达Llama 2（70B）每秒6个token、Falcon（180B）每秒4个token，足以支持聊天机器人和交互应用。除经典API外，用户还可使用PyTorch和🤗Transformers进行自定义微调、采样、执行模型路径或查看隐藏状态。项目受BigScience研究研讨会支持，并曾在TechCrunch上报道。

根据评论内容，总结如下：

主要观点与论据：

1. 技术可行性存疑（评分：None）

   • 评论1认为节点间带宽不足会导致项目失败："Not gonna work, will be starved by inter node bandwidth."
   • 评论3指出时机过早，需低延迟千兆网络才可能可行："If more people had reliable low latency gigabit or ideally 10gbit throughput, then it might start to approach feasibility."

2. 项目现状与替代方案（评分：None）

   • 评论2指出Petals是2022年老项目，目前活跃度低："Doesn't look like it's very active nowadays."
   • 评论5认为小型模型和量化技术已进步，AI Horde等方案更成熟："For distributed inference of smaller LLMs... there are already pretty good solutions such as AI Horde."

3. 潜在改进方向（评分：None）

   • 评论6建议引入加密货币激励机制："Imagine if there was some kind of way to cryptographically 'prove' your GPU is doing some kind of 'work' here."
   • 评论4提出更小模型方案，让模型完整运行在单机上："The entire model has to fit on a single computer."

4. 其他观点（评分：None）

   • 评论10期待分布式训练："Now we also need distributed training of models!"
   • 评论11担忧被滥用："will be abused to death"

平衡性总结： - 支持方：认为概念有趣（评论3）、技术酷炫（评论11）、期待分布式训练（评论10） - 反对方：质疑带宽瓶颈（评论1）、时机过早（评论3）、项目已不活跃（评论2） - 中立/改进方：提出替代方案（评论5）、激励机制（评论6）、更小模型（评论4）