The Symmetry That Breaks Neural Network Averaging
The article explains how permutation symmetry in neural networks causes weight averaging to fail unless models are aligned, and outlines practical rules for safe model merging and ensembling.
打破神经网络权重平均的对称性
📌 One-Sentence Summary 本文解释了神经网络中的置换对称性如何导致权重平均失效（除非模型经过对齐），并提出了实现安全模型合并与集成的实用准则。 📝 Summary 文章首先阐述了一个令人困惑的现象：将两个独立训练的神经网络的权重进行平均，尽管两者达到了相似的损失，但得到的模型效果往往比任何一个独立模型都要差。文章将这一现象归因于置换对称性：由于神经网络是自行学习基函数的，隐藏单
来源：BestBlogs·AI 高分精选 · www.bestblogs.dev