TorchTPU：在 Google 规模的 TPU 上原生运行 PyTorch

Source: Google Developers Blog

概述

TorchTPU 是一个全新的工程栈，旨在为在 Google 的 TPU 基础设施上运行 PyTorch 工作负载提供原生的高性能体验，且只需最少的代码更改。它采用 “Eager First” 方法，支持多种执行模式，并利用 XLA 编译器对大规模集群的分布式训练进行优化。进入 2026 年后，项目的目标是进一步降低编译开销，扩展对动态形状和自定义内核的支持，以确保下一代 AI 的无缝可扩展性。