谷歌推出TorchTPU，使PyTorch能原生运行在TPU上，支持大规模机器学习任务。这一突破让开发者能充分利用谷歌TPU的强大算力来加速PyTorch模型的训练和推理。

谷歌发布TorchTPU：在TPU上原生运行PyTorch的突破性技术

核心内容：
谷歌开发者博客于2026年4月7日宣布推出TorchTPU，这是一项让PyTorch框架能直接在谷歌张量处理器（TPU）上高效运行的技术。该技术由谷歌核心机器学习团队主导开发，旨在解决大规模AI模型训练中的性能、硬件兼容性和易用性问题。

技术亮点：

1. 无缝集成

   • 开发者只需将代码中的设备初始化改为"tpu"，即可直接运行现有PyTorch脚本，无需修改核心逻辑。
   • 通过PyTorch的"PrivateUse1"接口实现深度集成，保留PyTorch原生的动态图（eager execution）体验。

2. 三重执行模式

   • 调试模式：同步执行单操作，便于排查错误；
   • 严格模式：异步执行单操作，保持PyTorch默认体验；
   • 融合模式：自动合并操作流，性能提升50%-100%。

3. 编译优化

   • 结合Torch Dynamo和XLA编译器，将PyTorch算子直接转换为StableHLO中间表示，生成高度优化的TPU二进制代码。
   • 支持自定义Pallas/JAX内核，未来将兼容PyTorch Helion DSL。

4. 分布式训练突破

   • 支持DDP、FSDPv2和DTensor等分布式API，突破传统SPMD限制，允许不同计算节点执行差异化代码（MPMD）。

5. 硬件感知设计

   • 提供针对TPU架构的优化建议（如调整注意力头维度至128/256以匹配TensorCore特性），平衡可移植性与性能。

2026年路线图：

• 动态形状编译支持
• 开源代码库及详细文档
• 与vLLM、TorchTitan等生态工具深度集成
• 多队列支持异步代码迁移

意义：TorchTPU消除了PyTorch与TPU硬件间的适配障碍，使开发者能直接利用谷歌超算基础设施训练下一代AI模型。该技术已应用于Gemini、Veo等谷歌AI平台及云客户的大规模工作负载。

（注：原文中大量导航菜单、作者列表、社交媒体分享等非技术内容已精简，保留核心技术创新点和实施细节。）

总结：

1. 对现有PyTorch/TPU工具的不满

• 指出PyTorch/XLA存在文档缺失和bug问题
• "it was a mess of undocumented behavior and bugs (silently hanging after 8 hours of training!)"
• 作者分享了自己开发的替代方案链接

2. 对TorchTPU技术实现的疑问

• 询问这是fork项目还是新的后端支持
• "is this a fork, or a new backend they're building in (like MPS)?"

3. 对项目的期待

• 表达了对TorchTPU的兴奋之情
• "Very excited for this."