K2 Horizon:由六种开放型号组成的互联车队
HN ð255· 82 评论
HN ð255· 82 评论
HN ð191· 57 评论
HN ð299· 94 评论
HN ð45· 22 评论
HN ð10· 7 评论
HN ð192· 54 评论
HN ð109· 87 评论
作者:Dulhan Jayalath、Benjamin Ballyk、Oiwi Parker Jones|语音脑机接口(语音BCI)将神经活动转化为语言,为瘫痪患者恢复言语提供了一条途径,并更广泛地说,实现新形式的自然人机交互。尽管有这一承诺,但该领域缺乏一个共同的进步衡量标准,因为系统使用不同的数据集、记录方法、语音类型和词汇表,因此他们
作者:Kelvin Li、Dhruv Pendharkar、Anish Pahilajani|最近的Web代理使用世界模型进行测试时的动作选择,通过对候选动作进行采样,预测产生的Web状态,并使用排名模型或过程奖励模型(PRM)对它们进行排名。这些世界模型通常通过监督下一状态预测进行训练,以生成固定的表示,如HTML或AXTree快照。然而,这一目标与悲观情
作者:侯林泰|我们引入了图形机(GM),这是一种维护$O(n)$大小的状态并通过稀疏动态路由访问它的架构。与具有固定大小状态或稀疏但静态路由的方法不同,GM在其稀疏层中保留了$O(n)$复杂性,而不会将潜在可访问的状态大小限制为$O(1)$。相反,GM使用边缘-类似指针的对象,通过以下方式进行有区别地更新
作者:Alessio Spurio Mancini|常微方程(ODE)是科学和工程模型的基础,许多应用需要其解相对于参数的求导。独立轨迹的集合适合图形处理单元(图形处理单元),但当前的图形处理单元(图形处理单元)必须做出权衡:最快的集合求解器无法在反向模式下以其求解速度区分,而求解器
作者:Cagri Temel|由深度学习驱动的自主机器人面临着根本的可预见性挑战:当事件发生时,调查人员无法重建系统做出具体决策的原因。本文介绍了TRACE(可信执行透明推理架构),这是一个决策框架,可确保每个自主动作都可以通过记录的因果链追溯到传感器证据。日
作者:Shachar Don-Yehiya、Leshem Choshen、Omri Abend|利用用户交互中自然发生的反馈为大型语言模型(LLM)提供了一个有希望的学习信号。然而,最近的研究表明,这种反馈本质上是嘈杂的,难以有效利用。我们通过证明用户反馈是一个高度可操作的改进信号来挑战这一概念,而其感知的无效性源于
作者:叶宇汉、刘凯兆|我们研究在光滑凸优化中,通过预定的步骤可以加速梯度下降(VD)多远。超越Nemirovsky和Yudin的经典$Q(n ' s)$一阶Oracle下界,我们证明了$Q(n ' s)$非任何时间下界和$Q(n ' s)$任何时间下界。这些改进了Ma和Chen最近的$Q(n &{-1.932})$非任何时候下界以及$Q(
作者:詹姆斯·米肯斯|LLM经过训练以生成自然语言。然而,各种证据表明,LLM的外部化语言输出和机械提取的语言特征对于理解内部模型计算来说可能是一个不可靠的镜头。我们引入了“语言晦涩难懂”一词,广泛地指LLM将语言外部化或机械探索的场景
作者:Aleksander Ficek、Sean Narenthiran、Mehrzad Samadi|竞争性编程已成为大型语言模型推理的关键测试,IOI和ICPC等国际竞赛代表了其最具挑战性的环境。我们提出了一个端到端的专业化管道,结合了大规模问题策划、合成推理痕迹、监督微调(SFT)和强化学习(RL)。我们使用22,000个精心策划的问题来培训NE
作者:Robert Hu、Carlo Luschi、Paul Balanca|稳定的4位浮点(FP 4)预训练很困难,因为E2 M1有效负载仅代表很窄的幅度范围。英伟达的Transformer Engine \RST {}食谱通过当前张量缩放、随机Hadamard变换(RHT)和bfloat 16(BF 16)最终层解决了这个问题,并在FP 4矩阵相乘之外添