文章探讨了谷歌Tensor Processing Unit(TPU)在AI领域的开创性地位。TPU作为专为深度学习设计的硬件加速器，虽公开文档丰富却长期仅供谷歌内部使用，这种独特优势使其在AI竞赛中占据先机。文章指出，正是十年前打造专用加速器的决策，奠定了谷歌今日在AI领域的领先地位。

触摸大象：谷歌TPU芯片的演进之路

TPU的诞生与神话

谷歌的Tensor Processing Unit（TPU）在AI硬件领域享有近乎神话般的地位。尽管NVIDIA凭借GPU主导了深度学习市场，但TPU才是首个专为AI设计的专用加速器。2013年，谷歌面临数据中心容量翻倍的需求，而传统扩建方式成本高昂且耗时。15个月后，TPUv1诞生，标志着谷歌在AI竞赛中的关键布局。2025年，第七代TPU Ironwood发布，单机柜集成9216芯片，算力达42.5 Exaflops，功耗10MW，展现了从研究项目到超算级系统的跨越。

硬件 scaling 的困境与专用加速器的崛起

过去，芯片性能提升依赖摩尔定律和登纳德缩放（Dennard Scaling），但2010年后，晶体管密度和能效的提升放缓，而AI模型对算力的需求激增。TPU的核心理念是专用化：牺牲通用性以换取性能。它专注于神经网络中的核心运算——大规模张量的矩阵乘法（GEMM），其计算复杂度（O(n³)）与数据访问（O(n²)）的比值随规模提升而优化，适合硬件加速。

TPUv1：专为推理设计的初代芯片

TPUv1是单线程协处理器，通过PCIe连接主机，核心是256×256的8位整数脉动阵列（MXU）。其设计极简：
- 无缓存层级：依赖24MiB软件管理的统一缓冲区（Unified Buffer）和8GiB DDR3 DRAM。
- 无分支预测/多线程：通过确定性运行时调度隐藏延迟，MXU利用率达峰值。
- 性能对比：推理速度比NVIDIA K80 GPU快15-30倍，能效高30-80倍。

TPUv2/v3：支持训练的架构重构

训练神经网络需要反向传播和高精度梯度，TPUv1无法满足。TPUv2的改进包括：
- 双核设计：每核含128×128 BF16（BrainFloat16）MXU，通过ICI（Inter-Core Interconnect）互联。
- 软件协同：XLA编译器将程序分解为VLIW指令包，通过标量/向量单元协调执行。
- 拓扑扩展：256芯片组成16×16 2D环面（Torus），利用ICI实现高带宽同步（15.9Tbit/s）。
TPUv3进一步增加HBM容量和ICI带宽，支持1024节点液冷机柜。

TPUv4：系统级优化与光学互联

第四代TPU聚焦总拥有成本（TCO），关键创新包括：
- 4D张量DMA：减少内存访问次数，提升数据移动效率。
- 稀疏核心（SparseCore）：加速推荐系统中的稀疏矩阵运算，性能提升30倍。
- 光学电路交换（OCS）：通过MEMS镜动态配置光链路，支持4096节点集群，故障率降低至0.1%。

软件栈：从SPMD到Pathways

• SPMD模型：单一程序多数据，XLA自动分片模型，跨设备同步依赖集体通信（AllReduce）。
• Pathways系统：虚拟化数据中心资源，支持异步数据流和跨Pod动态路由（如MoE模型）。

未来：Ironwood与Trillium

第七代TPU Ironwood采用chiplet设计，支持9216芯片互联，FP8算力42.5 Exaflops，能效较v4提升6倍。其核心思想仍是专用化与系统协同，但设计维度已从芯片扩展至数据中心。

启示：专用硬件的哲学

TPU的成功源于对约束与权衡的深刻理解：
- 硬件：每一代TPU都在通用性与效率间寻找平衡，如BF16精度、脉动阵列规模、光互联引入。
- 软件：XLA、SPMD、Pathways等工具链将复杂性转移到编译时，保持硬件简洁。
- 经济性：早期投资CMEM、OCS等高成本组件，通过长期TCO摊薄。

在AI算力爆炸的时代，TPU的故事提醒我们：真正的创新不是魔法，而是数百个平凡决策的叠加。

总结评论内容：

1. 对文章实用性的肯定

• 认为文章对TPU的讲解清晰实用，不同于其他文章 "This was a nice breakdown...connects the concepts in a way that clicks" "总是觉得大多数TPU文章都跳过了实用部分"

2. 关于TPU架构演进的讨论

• 指出TPU经过多代发展才达到当前水平 "TPU架构是经过七代(Ironwood)才发展起来的" "这很重要"

3. 对中国TPU发展的担忧

• 认为中国可能通过技术窃取和资源优势威胁美国企业 "中国在几年内大规模生产TPU应该是更大的新闻" "TPUv4和TPUv6文档在2022/2023年被中国公民窃取" "已经有中国初创企业在生产TPU集群并获得收入"

4. 补充学习资源推荐

• 推荐了关于TPU的教材资源 "《Scaling ML》教材关于TPU的部分也很出色"

5. 对Google云平台TPU使用的批评

• 抱怨GCP中TPU使用受限 "TPU在GCP中是否还受限于Google bucket的限制？" "我讨厌这一点"