质量意识VLA预培训中的重要性:基准和实证研究
作者:Mingxuan Yan, Litian Gong, Dihong Huang | 在视觉-语言-动作预训练过程中,应该如何处理示范数据的质量,以在目标任务微调之后提升性能呢?我们通过使用5000个自然上来说不理想的人类示范数据,以及24个目标任务,来比较不同权重分配、过滤方式以及条件设置对性能的影响。在每一轮视觉-语言-动作预训练中,我们都会对示范数
训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
已收录 295 条 · 近 30 天 207 条 · 第 2 / 15 页
作者:Mingxuan Yan, Litian Gong, Dihong Huang | 在视觉-语言-动作预训练过程中,应该如何处理示范数据的质量,以在目标任务微调之后提升性能呢?我们通过使用5000个自然上来说不理想的人类示范数据,以及24个目标任务,来比较不同权重分配、过滤方式以及条件设置对性能的影响。在每一轮视觉-语言-动作预训练中,我们都会对示范数
作者:胡文波、Shamar Pramanick、Krishna Kumar Singh|长视野代理因其自主工作(从数小时到数天)的能力而受到越来越多的关注,这一能力对于自动发现和循环自我改进(RTI)至关重要。然而,开源模型在长期任务中仍然遇到困难,这主要是因为缺乏训练数据和工作配方,而且扩展两者都很困难:长期、复杂的任务
作者:Dennis Grinwald、Ankur Singha、Khaled Kahouli|采样平衡场配置仍然是格场论中的一个主要计算瓶颈,推动了可以产生独立配置的生成式采样器的开发。扩散模型在这方面很有希望,但它们的标准去噪分数匹配目标需要来自目标分布的样本,似乎重新引入了原始的采样p
作者:李元特、全俊伟、邱凯|具有可验证奖励的强化学习(WLVR)依赖于昂贵的模型生成响应,从而激励更大的推出批量和平方根学习率扩展。据报道,每次部署只需一个优化器步骤即可大致保留每个样本的进度,但在实际的多步骤训练中,这条规则的理解较少。我们开发了一个两时钟框架,可以分离制作所需的样本
作者:唐宇建、严安子|知识蒸馏训练学生模型了解教师对迁移任务能力的反应,但这些反应也可能携带其根源的行为倾向。我们调查源教师是否可以塑造学生的行为,超出蒸馏旨在转移的能力。我们构建同一基础教师的接受伤害和避免伤害的变体,使用
作者:Mehdi Makni、Natalia Ponomareva、Rahul Mazumder|训练后修剪可以实现高效部署,但传统方法没有明确保留稀疏和密集模型之间的内部梯度对齐。我们研究了压缩模型的下游性能与通过影响函数保留保留梯度信息的能力之间的新型联系。这种联系的核心是弯曲感知目标,该目标考虑到
作者:Judah Goldfeder、Ayush Rai、Philippe M.怀德|建筑物造成了美国近40%的碳排放。在建筑物排放总量中,空调系统约占40- 60%,占全球能源消耗的15%。尽管人工智能取得了进步,但大多数建筑的运行效率仍然像几十年前一样低下。建筑优化,也许比任何其他优化问题都更重要,具有巨大的p
📌 One-Sentence Summary EXL 工程师解释了如何在固定告警预算下,用带时间约束的交易图提升欺诈识别,并处理采样、数据泄漏、可解释性和低延迟在线评分。 📝 Summary Rai 和 Sharique 展示:同一笔交易的行级特征不变,一旦模型看见近期关联欺诈,风险分数就可能从 0.04 升到 0.91。由于分析师只能审阅得分最高的约 0.
当Keelan Miskell今年开始结束他的加密初创公司时,他认为它的数据没有多大价值:用户是匿名的,公司才成立几年。但此后他将公司的数字档案变成了真钱。他为他的代码库净赚了大约25,000美元,还有一笔仍在等待中的金额(可能大约.
阿里巴巴的Qwen团队推出了QwenGyre,这是一个用于超长视野代理训练的弹性强化学习RL框架。QwenGyre是阿里巴巴的一个在线强化学习系统,它通过未经修改的黑盒线束来训练编码代理。它的目标是运行数小时并处理近100万个令牌的推出。The post阿里巴巴Qwen推出QwenGyre:面向XLong-Horizon Agents的弹性强化学习RL ap
Sakana AI的MASS方法让一种语言模型通过解决任务、判断结果和细化工作流程来改进自己,两轮后相对于基础模型的获胜率接近70%。但当模型在所有三个角色中错过了相同的错误时,它可能会将它们误认为是进步,并在培训期间强化它们。文章Sakana AI的自我改进模型在解决和判断方面变得更好,但无法抓住自己的盲点,首先出现在The Decoder上。
一家使用气象气球和人工智能预测天气的硅谷初创公司赢得了一份价值近5000万美元的美国军事合同。
📌 One-Sentence Summary 模型判断让数据转换更灵活,但可靠答案仍依赖面向具体决策的定义、独立校验和有边界的优化。 📝 Summary Hrishi Olickel 认为,单一企业本体无法解释「客户」或「交易」在计费、支持和合规场景中的不同含义。他主张在明确决策问题后构建所需的本体,并保留定义与证据以供复用。俄亥俄州竞选财务数据的实体消歧项
刘念邱很难被归进典型的具身创业者模板里。 他不是从机器人实验室出来的学者,也不是过去两年才进入 Physical AI 的连续创业者。他曾在英特尔做过新工艺和设备研发,创业做过物联网和工业智能化。2018年加入自动驾驶公司元戎启行,他又从硬件一路做到Robotaxi运营、产品、数据、量产和售后。 2026年,刘念邱又多了一个身份——费莫一科技创始人。 事实上
📌 One-Sentence Summary NVIDIA 研究员 Dhruv Nathawani 演示如何用图谱种子生成多跳搜索题和工具调用轨迹,将目标搜索行为转化为可复现的智能体训练数据流程。 📝 Summary Nathawani 介绍 NVIDIA 开源的 NeMo Data Designer,示范如何把目标智能体行为变成可版本化的数据流水线。工作坊
Epoch AI和Anthropic独立发现了同样的事情:GPT-5.6 Sol和Claude Fable 5等当前的人工智能模型可以运行实验,但缺乏科学的自我批评和真正的创造性思维。Sol充其量达到了人类参考分数的15%,甚至这也来自研究人员已经知道的方法。这些模型最大的弱点仍然是他们无法批判性地质疑自己的结果。研究发现,文章人工智能代理夸大了他们的结果,
📌 One-Sentence Summary Yoni Michael 与 Brandon Callender 主张以确定性事实构建可查询的上下文图谱,并通过连接安全、依赖分析、符号解析和重复评估,展示数据及编码智能体为何不能只依赖文本搜索。 📝 Summary 这场较长的工作坊上半场解释:当智能体不了解表的粒度、连接基数、业务定义、数据血缘和依赖关系时,S