hiw3c 日报精选

数据与训练

训练侧的门道：数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

已收录 295 条 · 近 30 天 207 条 · 第 4 / 13 页

星期三 · 10 条
  1. IEEE Spectrum AI国际媒体21:49快照

    HiPHI：高精度人体运动和对象交互的大规模基准

    本白皮书向机器人研究人员和工程师概述了一个新的大规模运动捕获数据集，该数据集旨在缩小限制人形机器人学习的数据差距。它还展示了在数据集上训练的政策如何转移到真正的人形机器人。您将学到什么：为什么人形机器人学习是体现人工智能和物理人工智能的核心问题，需要互联网视频和现有运动捕捉数据集无法提供的数据。FrameNet是一个人类动作的语言框架，如何引导动作捕捉收集系

    快照阅读原文 ↗
  7. arXiv cs.AI/CL/LG信号源（脚本内置抓取）01:59快照

    IdeaAnchor：教授法学硕士将文学转化为研究理念

    作者：陈子宇、赵亦伦、孙家硕|科学研究通常从综合一系列相关论文中的想法开始，以找出差距并制定新的方向。然而，训练语言模型以执行这种形式的基于文献的构思仍然具有挑战性，因为基于提示或反馈的现有方法缺乏对如何合成论文的结构化监督。我们引入IdeaAnchor，这是一种范式

    快照阅读原文 ↗
  8. arXiv cs.AI/CL/LG信号源（脚本内置抓取）01:58快照

    夏尔巴人：教学法学硕士要适应性教学

    作者：徐伟贤、张彦哲、王若若|大型语言模型（LLM）已成为越来越有能力解决问题的人，但能够解决问题并不等同于能够教授它。现有的培训LLM作为教师的方法依赖于演示、偏好数据或预定义的教学标准（指定好的教学是什么样子）。然而，这些信号通常并不基于学生个人的学习。

    快照阅读原文 ↗
  9. arXiv cs.AI/CL/LG信号源（脚本内置抓取）01:57快照

    瓶子里的代理：LLM代理能否将其能力转化为廉价、可扩展的产品？

    作者：Ankit Sonthalia，Haritz Puerto，Alexander Rubinstein|大型语言模型（LLM）可以解决许多狭窄的任务，但单独查询它们以获取数百万个相关实例的成本可能会高得令人望而却步。LLM代理能否为此类工作负载自主创建更便宜的解决方案？我们将这种能力称为“装瓶”：将一般能力转化为针对特定任务的解决方案的能力，平衡答案质量

    快照阅读原文 ↗
  10. arXiv cs.AI/CL/LG信号源（脚本内置抓取）01:50快照

    VeriFine：可扩展验证，以促进推理中的自我改进

    作者：周泽伟、罗Rachel Luo、曹宇龙|自我完善的政策不断暴露新的失败模式，改变法官必须能够验证的内容。然而，当前的固定法官限制了优化反馈和有用训练示例的发现，限制了进一步的自我改进。这一挑战在体现推理中更加尖锐，可靠的评估必须考虑空间基础、因果推理

    快照阅读原文 ↗

星期二 · 6 条
  5. arXiv cs.AI/CL/LG信号源（脚本内置抓取）01:59快照

    基本模型可以通过从训练数据中获取线索来推理

    作者：Sophie L.王、阿米尔·德拉维德、绍儒林|在本文中，我们研究了训练数据如何在基础模型响应开始时的标记与随后的推理行为之间创建关联。首先，我们证明，修复特定的起始令牌线索可以使基本模型的性能与其在数学和编码方面的强化学习（RL）训练的对应模型的性能具有竞争力。例如，提示“。\ n\n好吧”上升

    快照阅读原文 ↗
  6. arXiv cs.AI/CL/LG信号源（脚本内置抓取）01:58快照

    走向正确的循环模型，第二部分：定点重新思考

    作者：黄本浩、石楚凡、陈俊林|循环语言模型的每次重复都会增加训练、解码、预填充和强化学习（RL）的成本。循环状态越接近固定点，到达它们的路径就越不重要。这可以在训练中实现截断反向传播;共享用于解码的终端密钥值（KV），几乎没有损失准确性;经过提炼的学生预填充速度可提高1.79倍;以及RL更新

    快照阅读原文 ↗

星期五 · 7 条
  4. MarkTechPost国际媒体08:32快照

    Google Research的Kauldron编码指南：纯数据配置、字符串连接的组件以及您可以端到端阅读的JAX训练器

    在这本全面的编码指南中，我们探讨了Google Research的Kauldron--一个针对研究速度和模块化进行了优化的JAX训练库。了解konfig如何将实验转化为纯词典、kontext通过字符串路径连接组件以及ktyping强制执行运行时形状检查。Google Research的Kauldron编码指南：纯数据的配置、通过字符串连接的组件以及您可以端到

    快照阅读原文 ↗
  6. arXiv cs.AI/CL/LG信号源（脚本内置抓取）01:59快照

    TACO：用于LLM微调的三进制绝对最大列单稀疏优化器

    作者：Jichao Jiichao Jiang、Cristian McGee、El Houcine Bergou|大型语言模型（LLM）的全参数微调会产生大量的优化器状态内存负担，从而限制了适合现代图形处理器的模型大小。现有的方法要么压缩优化器状态、放弃一阶梯度，要么在保留密集状态的同时更改更新几何形状。最近推出的Muon优化器通过矩阵值更新减少优化器内存。

    快照阅读原文 ↗