hiw3c 日报精选

数据与训练

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

已收录 295 条 · 近 30 天 207 条 · 第 8 / 13 页

星期五 · 11 条
  1. 雷峰网·AI 科技评论中文媒体14:28中文快照

    在 AI「囤粮潮」里,拆解智谱 50 亿美元的「技术账本」

    AI下半场,谁能用钱换来“技术代差”? 作者丨 徐晓飞 编辑丨 刘 伟 眼下,AI行业的竞争重心,已经从“能不能做出来”变成“能不能持续迭代、不断摸高”。前者可能是一次灵感迸发,但后者更多取决于组织、产品、资金、战略等一系列综合实力的沉淀。 尤其资金,是支撑其他生产力要素的“弹药与粮仓”。 这也是今年以来,智谱、字节、阿里、腾讯等头部厂商相继融资的核心原因。

  2. 雷峰网·AI 科技评论中文媒体14:02中文快照

    英伟达开源 IMO 金牌配方:不仅是「人海战术」,1.5TB 显存做实 AI「 推恩令」?

    用三套 checkpoint 完成多轮证明搜索,用过程透明平息学术怒火,用 1.5TB 显存门槛锁定算力霸权。名为代码平权,实则算力集权。 作者丨 郑佳美 编辑丨岑 峰 9 月 9 日,NVIDIA 公布了 Nemotron 3 Ultra 在 2026 年 IMO 上使用的整套数学推理系统。 这套系统最终拿到 30/42 分,超过当届 29 分的金牌线。整

  3. arXiv cs.AI/CL/LG信号源(脚本内置抓取)01:59快照

    嵌入模型以特殊方式进行测量

    作者:Juri Opitz、Andrianos Michail|嵌入空间定义了语义相似性和距离的概念。我们研究这些嵌入是否反映了质量、距离、时间和体积的物理测量,这承认了语义等效和距离的独特、客观的概念。我们发现,物理测量在嵌入空间中仅被弱建模,相反,可以观察到相当奇怪的测量模式。毛皮

  4. arXiv cs.AI/CL/LG信号源(脚本内置抓取)01:59快照

    ERCPMP-Gx:用于结直肠息肉病形态学、组织病理学和基因组学特征的内窥镜图像和视频数据集

    作者:Zahra Ghaffari、Massih Bahar、Mojgan Forootan|遗传性息肉病综合征可能是结直肠癌的先兆病变,并与广泛的结肠外肿瘤相关。这些综合症的早期识别和准确分类对于及时诊断、个性化患者管理和针对受影响家庭的有针对性的监测策略至关重要。然而,公共内窥镜数据集很大程度上是组织起来的

  5. arXiv cs.AI/CL/LG信号源(脚本内置抓取)01:59快照

    分布变化如何影响神经PED替代者的训练前收益?

    作者:Pochinapeddi Sai Bhargav、Nithin Somasekharan、Rohit Sunil Kanchi|预训练神经PDE代理可以减少几何或建模物理变化时所需的新CFD数据量。然而,目前尚不清楚分配转移的不同组成部分如何影响这一好处。我们对代理人进行来自一个机翼系列的254,909 RANS解决方案预培训,并在具有匹配自由飞行范围

  6. arXiv cs.AI/CL/LG信号源(脚本内置抓取)01:58快照

    网络话语中群体间敌意的统一模型

    作者:Patrick Gerard,Julia Mendelsohn,Kristina Lerman|针对社会群体的敌对言论可能会使排斥正常化并为虐待辩护,并加剧两极分化和政治暴力。缓和网络言论中敌对言论的努力借鉴了社会和道德心理学以及政治学的基础理论。然而,这些理论在很大程度上是平行发展的,往往提出不同的,有时是相互矛盾的。

  7. arXiv cs.AI/CL/LG信号源(脚本内置抓取)01:58快照

    以分数为中心稳定政策外强化学习

    作者:Martin Marek、Max Ryabinin|众所周知,大型语言模型的强化学习(RL)对训练和推理引擎之间的微小差异敏感,通常称为训练-推理不匹配(TIM)。然而,完全消除TIM是不切实际的,因为这将给部署效率带来重大代价。本文表明,TIM下RL的不稳定性主要是由漂移引起的:

星期四 · 11 条
  1. 雷峰网·AI 科技评论中文媒体18:14中文快照

    九识建成首个L4万卡集群,无人驾驶进入多模态大模型新范式

    一家做无人车的公司,为什么需要一万多张GPU? 9月10日,九识CEO孔旗在广州宣布战略升级为“城市级物理AI”。一周后的9月17日,CTO庄立首次披露支撑这次升级的底层能力:九识已建成业内首个L4级万卡集群,算力集群总规模近1.5万卡。九识也成为首个建成万卡集群的L4团队。 而万卡算力的背后,是一个正在从百亿级迈向千亿级的九识APEX多模态基座大模型。 无

  2. 雷峰网·AI 科技评论中文媒体16:02中文快照

    独家丨BAT 天价挖 Gemini 大牛,可惜都挖错了

    据雷峰网独家获悉,一位 Google Gemini 的预训练专家,于近期已加入国内某互联网大厂。 该研究员在 Google 的职级或是 L7- L8,接近总监级别,长期在英国工作,入职后主要从事预训练相关工作,也经常往返国内出差。 一位知情人士看来,这可能是国内大厂这一轮争抢 Gemini 人才以来,第一次真正“找对了人”。 上述人士告诉雷峰网,此前多家大厂

  3. 雷峰网·AI 科技评论中文媒体10:12中文快照

    独家解读丨国产GPU四份半年报出炉,赚钱后才发现二级市场「难哄」

    早前,壁仞科技、天数智芯、沐曦股份和摩尔线程陆续交出上市后的首份或最新半年报。9月,燧原科技也正式启动申购,国产GPU正在以前所未有的密度进入资本市场。 但当越来越多国产GPU公司开始接受公开市场检验,一个最直观的问题“谁先赚钱”,反而正在失去解释力。 四份半年报给出了截然不同的利润表:壁仞营收增长近20倍,仍处亏损;天数智芯和沐曦已经实现账面盈利,但利润中

  4. AWS ML Blog海外官方02:59快照

    使用NVRx在Amazon EKS上进行容忍分布式训练

    将NVIDIA Resiliency扩展(NVRx)集成到Amazon EKS上的PyTorch FSDP训练中,以将检查点I/O与训练重叠,并在几秒钟内从图形处理器故障中恢复。这篇文章涵盖了Deliverc检查点、进程内重启和ft_launcher作业内重启,2到8个节点的H100基准测试显示出99%以上的训练效率和二次规模恢复。

  5. arXiv cs.AI/CL/LG信号源(脚本内置抓取)01:59快照

    目标与搜索:分解好代币器的组成部分

    作者:Ahmetcan Yavuz,Clara Meister,Tiago Pimentel|现代语言模型使用两种主要的标记化算法:字节对编码(BPE)和UnigramLM。它们在两个垂直轴上有所不同:它们的优化目标(压缩vs. log似然)和它们的搜索过程(自下而上合并vs.自上而下修剪)。现有的比较混淆了这些轴,使其不清楚它们观察到的差异是否源于什么是b

  6. arXiv cs.AI/CL/LG信号源(脚本内置抓取)01:55快照

    ScienceIDE:将世界科学代码库转变为代理可学习环境

    作者:耿贺佳,黄泽森,李浩洋|科学代码库将数十年的人类知识编码在可执行的模型、方法和工具中。然而,碎片化的工具链、隐含的领域惯例和专门的正确性标准使得这些知识难以转化为可靠的学习体验--我们称之为科学体验瓶颈的挑战。我们介绍ScienceIDE,将世界科学