MiniMax M3 如何构建:稀疏注意力与原生多模态训练|Olive Song
📌 One-Sentence Summary MiniMax 研究员 Olive Song 解释了 M3 如何结合适配 GQA 的稀疏注意力与原生图文预训练,以及块级检索和从零融入视觉能力为何影响长上下文效率与视觉理解。 📝 Summary Olive Song 介绍 MiniMax M3:这款开放权重模型支持百万 token 上下文、编码智能体任务,并从预
MiniMax 的模型与产品动态:M 系列大模型、语音与多模态能力、开源与商业化进展。
已收录 4 条 · 近 30 天 2 条
📌 One-Sentence Summary MiniMax 研究员 Olive Song 解释了 M3 如何结合适配 GQA 的稀疏注意力与原生图文预训练,以及块级检索和从零融入视觉能力为何影响长上下文效率与视觉理解。 📝 Summary Olive Song 介绍 MiniMax M3:这款开放权重模型支持百万 token 上下文、编码智能体任务,并从预
严文韬,1991年生,高瓴创投合伙人
15秒视频,50秒出片
8月28日-9月1日,SkyProduction(天工工作台)联合阿里巴巴通义万相,推出了Wan 3.0模型限时免费活动