hiw3c 日报精选

数据与训练

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

已收录 295 条 · 近 30 天 207 条 · 第 6 / 13 页

星期日 · 4 条
  1. The Decoder国际媒体23:18快照

    人工智能代理在模型开发中完成了更多工作,但人类仍然做出决策

    一个研究团队分析了构建自己的人工智能模型的769个任务日志。人工智能代理提供了高达55%的方法提案,但人类做出了超过85%的最终决定。如果没有人工智能,三分之一的任务就无法尝试。作者警告说,更多的代理活动并不意味着更多的自主权。文章人工智能代理在模型开发中完成了更多工作,但人类仍然会做出首先出现在The Decoder上的决定。

  2. The Decoder国际媒体16:17快照

    高盛预计,到2027年,科技巨头将在人工智能基础设施上花费1.2万亿美元,令华尔街的估计相形见绌

    高盛预计,亚马逊、Alphabet、微软、Oracle和Meta将在2027年向人工智能基础设施投入总计1.2万亿美元,比今年的水平高出50%以上。以GDP衡量,这将是自19世纪铁路建设以来最大的投资周期。不过,电力、劳动力和存储芯片的瓶颈可能会减缓步伐。高盛预计,到2027年,大型科技公司将在人工智能基础设施上花费1.2万亿美元,这使华尔街首次出现在The

星期六 · 3 条

星期五 · 9 条
  1. AWS ML Blog海外官方23:49快照

    使用Amazon SageMaker HyperPod和Qumulo进行多地区培训

    Amazon SageMaker HyperPod和Cloud Native Qumulo允许您将训练计算放置在一个AWS区域,同时将数据集保留在另一个AWS区域。这篇文章分享了跨地区培训运行的架构和验证结果,其中远程集群在短暂的Neuralache预热后匹配了位于同一地点的集群的吞吐量。

  2. MarkTechPost国际媒体22:30快照

    Perplexity通过提示引导自蒸馏训练其计算机代理犯下的真正错误

    Perplexity Research发表了一项新的培训后研究。它在真实用户会话(包括失败的会话)上训练Perplexity Computer内部的模型。该方法将拒绝采样微调与暗示引导自蒸馏相结合。在实时A/B测试中,在2个经过训练的检查点之间,工具调用失败率从2.24%下降到1.77%。Perplexity团队报告称,这在统计学上具有显著性21.2% [.

  3. BestBlogs·AI 高分精选BestBlogs 精选21:30中文快照

    蒸馏 LLM,不要直接 Serving:DoorDash 搜索与个性化实践 — Raghav Saboo,DoorDash

    📌 One-Sentence Summary DoorDash Staff ML 工程师 Raghav Saboo 指出,市场平台发现的本质是语义理解问题,并展示如何将 LLM 推理离线蒸馏为分级监督、Semantic ID、消费者记忆与可驾驭内容生成四类共享原语,让传统检索与排序系统在十亿级条目规模下低成本 Serving。 📝 Summary DoorD

  4. 雷峰网·AI 科技评论中文媒体18:48中文快照

    梁文锋狙击战:深扒那些梁文锋署名的论文有多牛

    过去三年,梁圣署名了11篇论文,每篇都几乎震动世界。 作者丨高允毅 编辑丨岑 峰 当 RSI 的风吹到了 DeepSeek,这次讨论的是一个新话题“自动化沙箱”。 9 月 19 日,arXiv 更新了一篇 DeepSeek 新论文 《DSec:面向大规模智能体训练的高效沙箱基础设施》 ,论文长达 31 页,首次展示了 DeepSeek 自动化沙箱系统 ——

  5. BestBlogs·AI 高分精选BestBlogs 精选08:00中文快照

    LangSmith 新功能:Engine v2、Managed Deep Agents、Fine-Tuning 等

    📌 One-Sentence Summary LangChain 发布了 LangSmith Engine v2,用于自动化智能体调试和红队测试,同时 Managed Deep Agents 增加了基于身份的记忆功能,并推出新的 Fine-Tuning 工作流,可将智能体轨迹转换为训练数据。 📝 Summary 本公告详细介绍了 LangSmith 平台的多

  6. The Decoder国际媒体00:00快照

    人工智能的性能成本下降速度比以往任何技术都快

    人工智能正在以快速下降的成本达到固定的基准性能水平。Epoch AI衡量价格每年下降约13倍。在剔除硬件收益和竞争后,麻省理工学院认为年度算法进展约为3倍。但这并不意味着当今最好的型号更便宜。例如,推理模型的成本可能会更高,因为它们每个任务使用更多的计算。当选择用于现实世界的模型时,质量、速度和错误率与价格一样重要。文章人工智能性能成本下降速度比之前任何技术

星期四 · 8 条
  1. BestBlogs·AI 高分精选BestBlogs 精选21:00中文快照

    机器人学停滞 70 年:Skild AI 的 Deepak Pathak 谈通用大脑与数据飞轮

    📌 One-Sentence Summary CMU 教授、Skild AI 联合创始人 Deepak Pathak 指出,机器人学之所以停滞 70 年,是因为它一直被当作硬件问题而非通用大脑问题;要像语言模型一样实现规模化,就必须沿可扩展性、多样性、与机器人的贴近度三条轴评估每种数据源,并把部署数据回流成数据飞轮,而这只有「任意机器人、任意任务、单一大脑」

  2. 雷峰网·AI 科技评论中文媒体09:43中文快照

    BAT 集体重做「AI 预训练」,补「脏数据」的坑

    最近大半年,国内一批 AI 模型厂商 密集启动“预训练返工”,起因都指向同一件事:数据不行。 它们中,有的此前花了一年死磕万亿参数模型,落地表现却被市面上 1% 规模的小模型倒挂,最终查出是被脏数据拖了后腿。 有的曾因数据标注规则模糊、评测集污染、垃圾语料冗余等工程硬伤而导致模型进展迟缓。 还有的因数据受限,导致模型遭遇性能瓶颈,索性推倒重来,并重建了数据团

  3. BestBlogs·AI 高分精选BestBlogs 精选08:00中文快照

    在 MaxText 中复现 OLMo 3 7B 预训练:TPU 大规模训练案例研究

    📌 One-Sentence Summary Google 研究人员使用 MaxText 在 TPU 上成功复现了 OLMo 3 7B 的预训练和中训阶段,证明了该框架与原 PyTorch 实现的对等性,并提供了关于大规模训练可靠性和性能优化的详细案例研究。 📝 Summary 本技术案例研究详细介绍了使用 Google Cloud TPU 上的 MaxTe

  4. arXiv cs.AI/CL/LG信号源(脚本内置抓取)01:59快照

    作者身份验证的对比学习

    作者:Peter Kirby|我们的结果表明,在测试设置下,对比学习优于基于分类的作者身份验证方法。我们将损失函数、批量大小、训练持续时间、预训练模型、输入上下文长度和随机文本跨度数据增强确定为模型性能的重要因素。基于这些考虑,我们开发了一个ModernBERT双编码器模型,

  5. arXiv cs.AI/CL/LG信号源(脚本内置抓取)01:30快照

    抑郁严重程度预测的跨量表迁移学习:从PHQ-8到HAMD-17跨语言和临床范式

    作者:冯文杰、Sahba Zojji、中村聪|这项工作解决了数据稀缺情况下从临床访谈记录中连续预测抑郁严重程度评分的问题。我们提出了一种用于跨规模传输的顺序低等级自适应(LoRA)协议:首先在英语DAIC-WOZ数据集(189个化身介导的会话,PHQ-8)上对具有有界回归头的Qwen 3主干进行微调,然后适配器在