hiw3c 日报精选

数据与训练

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

已收录 295 条 · 近 30 天 207 条 · 第 5 / 13 页

星期四 · 7 条
  1. arXiv cs.AI/CL/LG信号源(脚本内置抓取)01:59快照

    删除计时快捷方式改善无创大脑到文本

    作者:Dulhan Jayalath,Oiwi Parker Jones|我们发现,在没有任何大脑数据的情况下,从非侵入性大脑记录中解码单词的主要改进在很大程度上是可重复的。在d ' Ascoli等人(2025)颇具影响力的工作中,感知连续语音的受试者的大脑活动时间序列被分割成从每个单词开始的固定长度窗口。然后,神经网络生成对

  2. arXiv cs.AI/CL/LG信号源(脚本内置抓取)01:59快照

    图像分类器是高效的自我监督视频表示学习者

    作者:Owais Iqbal、Sudipta Sarkar、Shyam Marjit|我们引入VideoMSN,这是一个Masked Siamese Network框架,用于在视频中进行高效的自我监督时空表示学习。我们不再依赖重型3D架构或基于重建的自动编码器来使用未标记的数据进行学习,而是通过将视频表示为超级图像来重新利用标准图像Vision Transf

  3. arXiv cs.AI/CL/LG信号源(脚本内置抓取)01:57快照

    在DP-Singapore下,权重绑定对于私人环境中仅解码器的LLM仍然有利吗?

    作者:Razan El Mais、Ali Chehab、Ibrahim Issa|差异私有随机梯度下降(DP-BCD)是大型语言模型(LLM)的隐私保护微调的领先方法。许多仅限解码器的LLM在输入和输出嵌入之间采用权重绑定,这是一种设计选择,最初是为了参数效率和改进非私有环境中的语言建模性能而引入的。然而,体重束缚的影响

  4. Microsoft Research海外官方00:00快照

    预测电网的空间天气风险

    极端的空间天气事件可能会破坏地球上的电力系统,降低GPS的准确性和卫星的运行。一种新的机器学习系统可以在风暴到来前30-60分钟预测可能发生损害的地方。预测电网空间天气风险的帖子首先出现在微软研究中心。

星期三 · 3 条

星期二 · 3 条
  1. arXiv cs.AI/CL/LG信号源(脚本内置抓取)01:59快照

    望远镜语言模型

    作者:郭志林、张博桥、Hakan Aktas|一种部署的语言模型通常必须满足许多计算预算,但满足每个预算仍然意味着每个点需要单独的训练或压缩运行。我们将望远镜语言模型(TLM)训练为连续体:一个由带有全锚点的随机前置监督的嵌套容量Transformer。在每一步中,容量轴的一个随机截断前缀针对

  2. arXiv cs.AI/CL/LG信号源(脚本内置抓取)01:59快照

    复合自适应控制的压缩动态表示的统计学习

    作者:Min Kim、José Leonardo Brenes、Fred Hadaegh|我们提出了一个用于动态耦合干扰下复合自适应跟踪控制的表示学习框架。该框架将经典的干扰调节控制(ADC)与最近的最后一层自适应干扰抑制方法连接起来。具体来说,我们引入了一个有统计原则的硬期望最大化(硬EM)程序,硬期望中有卡尔曼平滑器

星期一 · 7 条
  1. 雷峰网·AI 科技评论中文媒体20:54中文快照

    中训练、后训练持续升温,模型快速迭代,成为 AI for AI 最佳试炼场

    当模型开始参与研发下一代模型,大模型的研发方式正在发生什么样的变化? 作者丨 高允毅 编辑丨 岑 峰 大多数科研构想,从未被充分验证。 这并不是研究者缺少灵感。恰恰相反,新的架构猜想、训练策略无时无刻不在涌现。但大多数想法,却在写不完的训练脚本、调不完的参数、排队等调度的 GPU 集群中,被无声消磨。 如果换种玩法,重构大模型研发呢? 你只说了半句话:“我猜

  2. 雷峰网·AI 科技评论中文媒体18:36中文快照

    枢途科技完成近亿元 Pre-A 轮融资,一个月内连获三轮头部机构投资,加速建设具身落地新基建

    近日,枢途科技完成近亿元人民币Pre-A轮融资,本轮由鼎晖百孚、鲲鹏基金(大数据方向国家级基金)联合领投,广州产投、亿合资本联合投资,老股东趋势投资超额追投。这是公司一个月内完成的第三轮融资。 在持续完善现有视频升维数据产品、提升交付能力的基础上,本轮融资将进一步支持触觉数据表征训练的研发与验证,推动SynaTac触觉产品线的技术与产品迭代,加快拓展面向机器