中训练、后训练持续升温,模型快速迭代,成为 AI for AI 最佳试炼场
这正是近期讨论度很高的 AI for AI。 它不是研发工具的升级,是下一代大模型的核心命题。所有人都试图在这个赛道里,触碰人类终极智能。
中训练与后训练:
AI for AI 最先落地的地方
索引器预热,50B tokens : 冻结模型其余参数,只训练新加入的 DSA 索引器,以原来全局注意力的分布为参照,先让索引器学会挑出关键信息;
稀疏注意力训练,3T tokens : 切换到稀疏注意力,进行大规模继续预训练(也就是中训练),让模型适应新的信息读取方式,同时重点强化编程和 AI 研发能力;
学习率衰减,200B tokens : 进入 SFT 阶段,逐步降低学习率,让能力稳定成型。
当 AI 成为研究员,
Naive‑N0.5‑Flash 是如何诞生的
AI 研究员的两大实战
深水区思辨:
AI 研究员迈向“强 RSI”的五大卡点
独家丨盛大挖角代季峰,筹建新 AGI 公司对标 DeepSe ...
GPT-6 Sol 降价 50% 的秘密:消失的 Terra,一场模型梯队平移
GPT-6 砍掉思考 Token,俄罗斯人砍掉通信 Token,Token 经济开始崩了?
深度解读 DeepSeek V4.1 Flash 全新架构,如何成为显存杀手
GPT-6 Sol 降价 50% 的秘密:消失的 Terra,一场模型梯队平移
工作流可以自我进化了,英伟达开源 SoL-Pi,每小时省13.5刀!
深度解读 DeepSeek V4.1 Flash 全新架构,如何成为显存杀手