AGI新战场谷歌亚马逊巨头激战,杀出个中国LimiX-2赢了又赢
LimiX让模型理解数据背后的因果机制
训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
已收录 295 条 · 近 30 天 207 条 · 第 8 / 13 页
LimiX让模型理解数据背后的因果机制
AI下半场,谁能用钱换来“技术代差”? 作者丨 徐晓飞 编辑丨 刘 伟 眼下,AI行业的竞争重心,已经从“能不能做出来”变成“能不能持续迭代、不断摸高”。前者可能是一次灵感迸发,但后者更多取决于组织、产品、资金、战略等一系列综合实力的沉淀。 尤其资金,是支撑其他生产力要素的“弹药与粮仓”。 这也是今年以来,智谱、字节、阿里、腾讯等头部厂商相继融资的核心原因。
用三套 checkpoint 完成多轮证明搜索,用过程透明平息学术怒火,用 1.5TB 显存门槛锁定算力霸权。名为代码平权,实则算力集权。 作者丨 郑佳美 编辑丨岑 峰 9 月 9 日,NVIDIA 公布了 Nemotron 3 Ultra 在 2026 年 IMO 上使用的整套数学推理系统。 这套系统最终拿到 30/42 分,超过当届 29 分的金牌线。整
联合国系统数据共享数据网页
这一转变发生在联合国儿童基金会的一项测试发现领先的人工智能模型难以准确检索全球发展统计数据之后。
作者:Juri Opitz、Andrianos Michail|嵌入空间定义了语义相似性和距离的概念。我们研究这些嵌入是否反映了质量、距离、时间和体积的物理测量,这承认了语义等效和距离的独特、客观的概念。我们发现,物理测量在嵌入空间中仅被弱建模,相反,可以观察到相当奇怪的测量模式。毛皮
作者:Zahra Ghaffari、Massih Bahar、Mojgan Forootan|遗传性息肉病综合征可能是结直肠癌的先兆病变,并与广泛的结肠外肿瘤相关。这些综合症的早期识别和准确分类对于及时诊断、个性化患者管理和针对受影响家庭的有针对性的监测策略至关重要。然而,公共内窥镜数据集很大程度上是组织起来的
作者:Pochinapeddi Sai Bhargav、Nithin Somasekharan、Rohit Sunil Kanchi|预训练神经PDE代理可以减少几何或建模物理变化时所需的新CFD数据量。然而,目前尚不清楚分配转移的不同组成部分如何影响这一好处。我们对代理人进行来自一个机翼系列的254,909 RANS解决方案预培训,并在具有匹配自由飞行范围
作者:Patrick Gerard,Julia Mendelsohn,Kristina Lerman|针对社会群体的敌对言论可能会使排斥正常化并为虐待辩护,并加剧两极分化和政治暴力。缓和网络言论中敌对言论的努力借鉴了社会和道德心理学以及政治学的基础理论。然而,这些理论在很大程度上是平行发展的,往往提出不同的,有时是相互矛盾的。
作者:Martin Marek、Max Ryabinin|众所周知,大型语言模型的强化学习(RL)对训练和推理引擎之间的微小差异敏感,通常称为训练-推理不匹配(TIM)。然而,完全消除TIM是不切实际的,因为这将给部署效率带来重大代价。本文表明,TIM下RL的不稳定性主要是由漂移引起的:
HN Ÿ 96 · 26 评论
了解如何在Amazon SageMaker AI和Amazon Rekognition上构建合成数据增强管道,该管道为工业安全AI生成逼真的自动标记训练图像。这种方法将人员检测提高了高达160%,无需手动注释或在重型机械附近收集危险数据。
一家做无人车的公司,为什么需要一万多张GPU? 9月10日,九识CEO孔旗在广州宣布战略升级为“城市级物理AI”。一周后的9月17日,CTO庄立首次披露支撑这次升级的底层能力:九识已建成业内首个L4级万卡集群,算力集群总规模近1.5万卡。九识也成为首个建成万卡集群的L4团队。 而万卡算力的背后,是一个正在从百亿级迈向千亿级的九识APEX多模态基座大模型。 无
据雷峰网独家获悉,一位 Google Gemini 的预训练专家,于近期已加入国内某互联网大厂。 该研究员在 Google 的职级或是 L7- L8,接近总监级别,长期在英国工作,入职后主要从事预训练相关工作,也经常往返国内出差。 一位知情人士看来,这可能是国内大厂这一轮争抢 Gemini 人才以来,第一次真正“找对了人”。 上述人士告诉雷峰网,此前多家大厂
早前,壁仞科技、天数智芯、沐曦股份和摩尔线程陆续交出上市后的首份或最新半年报。9月,燧原科技也正式启动申购,国产GPU正在以前所未有的密度进入资本市场。 但当越来越多国产GPU公司开始接受公开市场检验,一个最直观的问题“谁先赚钱”,反而正在失去解释力。 四份半年报给出了截然不同的利润表:壁仞营收增长近20倍,仍处亏损;天数智芯和沐曦已经实现账面盈利,但利润中
奖励曲线、显卡故障全公开
我使用果蝇大脑的开源地图来构建一个名为PitchFly的网站。它的头条建议令人高兴。
将NVIDIA Resiliency扩展(NVRx)集成到Amazon EKS上的PyTorch FSDP训练中,以将检查点I/O与训练重叠,并在几秒钟内从图形处理器故障中恢复。这篇文章涵盖了Deliverc检查点、进程内重启和ft_launcher作业内重启,2到8个节点的H100基准测试显示出99%以上的训练效率和二次规模恢复。
HN345· 67 评论
作者:Ahmetcan Yavuz,Clara Meister,Tiago Pimentel|现代语言模型使用两种主要的标记化算法:字节对编码(BPE)和UnigramLM。它们在两个垂直轴上有所不同:它们的优化目标(压缩vs. log似然)和它们的搜索过程(自下而上合并vs.自上而下修剪)。现有的比较混淆了这些轴,使其不清楚它们观察到的差异是否源于什么是b
作者:耿贺佳,黄泽森,李浩洋|科学代码库将数十年的人类知识编码在可执行的模型、方法和工具中。然而,碎片化的工具链、隐含的领域惯例和专门的正确性标准使得这些知识难以转化为可靠的学习体验--我们称之为科学体验瓶颈的挑战。我们介绍ScienceIDE,将世界科学
HN ð25· 2 评论