BestBlogs·AI 高分精选 2026-11-09 08:00 中文网页快照

宣布在 TPU 上使用 MaxText 上下文并行进行长上下文训练

📌 One-Sentence Summary Google 宣布 MaxText 支持在 TPU 上使用 4 种上下文并行策略（All-gather、A2A、P2P、USP）进行长上下文训练，并搭配 Tokamax Splash Attention 内核；在 TPU 5p 上处理 4M-token 序列时 MFU 最高达 70%，在 TPU 7 上处理 14M-token 序列时 MFU 达 50

来源：BestBlogs·AI 高分精选 · www.bestblogs.dev

Announcing Long-Context Training on TPUs with MaxText Context Parallelism

Google announces MaxText support for long-context training on TPUs using four context-parallel strategies (All-gather, A2A, P2P, USP) with the Tokamax Splash Attention kernel, achieving up to 70% MFU for 4M-token sequences on TPU 5p and 50% MFU on TPU 7 for 14M-token sequences.