AI 日报hiw3c.com

中训练、后训练持续升温,模型快速迭代,成为 AI for AI 最佳试炼场

雷峰网·AI 科技评论 www.leiphone.com 网页快照

中训练、后训练持续升温,模型快速迭代,成为 AI for AI 最佳试炼场

这正是近期讨论度很高的 AI for AI。 它不是研发工具的升级,是下一代大模型的核心命题。所有人都试图在这个赛道里,触碰人类终极智能。

中训练与后训练:

AI for AI 最先落地的地方

索引器预热,50B tokens : 冻结模型其余参数,只训练新加入的 DSA 索引器,以原来全局注意力的分布为参照,先让索引器学会挑出关键信息;

稀疏注意力训练,3T tokens : 切换到稀疏注意力,进行大规模继续预训练(也就是中训练),让模型适应新的信息读取方式,同时重点强化编程和 AI 研发能力;

学习率衰减,200B tokens : 进入 SFT 阶段,逐步降低学习率,让能力稳定成型。

当 AI 成为研究员,

Naive‑N0.5‑Flash 是如何诞生的

AI 研究员的两大实战

深水区思辨:

AI 研究员迈向“强 RSI”的五大卡点

独家丨盛大挖角代季峰,筹建新 AGI 公司对标 DeepSe ...

GPT-6 Sol 降价 50% 的秘密:消失的 Terra,一场模型梯队平移

GPT-6 砍掉思考 Token,俄罗斯人砍掉通信 Token,Token 经济开始崩了?

深度解读 DeepSeek V4.1 Flash 全新架构,如何成为显存杀手

GPT-6 Sol 降价 50% 的秘密:消失的 Terra,一场模型梯队平移

工作流可以自我进化了,英伟达开源 SoL-Pi,每小时省13.5刀!

深度解读 DeepSeek V4.1 Flash 全新架构,如何成为显存杀手