使用Amazon SageMaker HyperPod和Qumulo进行多地区培训
Amazon SageMaker HyperPod和Cloud Native Qumulo允许您将训练计算放置在一个AWS区域，同时将数据集保留在另一个AWS区域。这篇文章分享了跨地区培训运行的架构和验证结果，其中远程集群在短暂的Neuralache预热后匹配了位于同一地点的集群的吞吐量。
部署工程
把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
已收录 801 条 · 近 30 天 575 条 · 第 12 / 28 页
-
-
合气道安全发布Altar-1：开放重量安全模型，从GLM-5.3修剪到328 GB
合气道安全发布了祭坛-1，其第一个开放的重量安全模型。它是Z.AI的GLM-5.3的压缩版本，旨在客户控制的基础设施内运行。Altar-1为Aikido Machine提供动力，这是该公司针对本地和空气间隙网络的自主冥想设备。它可以部署吗？是的，权重在Hugging Face上公开，并使用vLLM运行[.]合气道安全发布Altar-1：从GLM-5.3修剪到
-
蒸馏 LLM，不要直接 Serving：DoorDash 搜索与个性化实践 — Raghav Saboo，DoorDash
📌 One-Sentence Summary DoorDash Staff ML 工程师 Raghav Saboo 指出，市场平台发现的本质是语义理解问题，并展示如何将 LLM 推理离线蒸馏为分级监督、Semantic ID、消费者记忆与可驾驭内容生成四类共享原语，让传统检索与排序系统在十亿级条目规模下低成本 Serving。 📝 Summary DoorD
-
Meta的Muse代理为每个用户提供运行Ubuntu Linux的完整云计算机
Meta为每位Muse用户提供了一台运行Ubuntu Linux的免费云计算机，他们可以在其中安装软件、编写代码和浏览网页。“Sentinel”流程监控用户工作空间外的敏感操作，同时用户可以检查系统中的每个文件。Meta在推出第一周就拥有超过50万用户，它押注于产品影响力而不是模型影响力。Meta的Muse代理为每个用户提供一台运行Ubuntu Linux的
-
亮出“中国最强AI芯片”还不够，平头哥又甩出一手开源
大厂造芯，正在从交付芯片，走向更广泛的开放共建阶段。
-
在Mac上运行本地LLM：什么适合，什么是免费的，什么是矫枉过正的
HN10· 8 评论
-
Runway 的 WorldPrompt 与实时世界的工程化
📌 One-Sentence Summary Anastasis Germanidis 来自 Way 讨论了从生成式视频到实时交互世界模型的演进，聚焦于延迟、误差累积和因果一致性的技术挑战。 📝 Summary 本文探讨了 Runway 向 GWM Worlds 2 的转变，这是一款用于实时交互模拟的研究预览。关键在于 WorldPrompt 功能，它允许在
-
谷歌的Suncatcher项目旨在将人工智能数据中心送入由太阳能供电的轨道
谷歌的“Suncatcher”项目旨在利用太阳能在轨道上运行人工智能基础设施。一颗冰箱大小的实验卫星将于10月1日在SpaceX Falcon 9上发射。但挑战是严峻的：你需要大约10，000颗卫星才能匹配地球上的单个1千兆瓦数据中心，杰夫·贝佐斯认为轨道数据中心可能需要20年的时间才能在成本上击败地面数据中心。谷歌的Suncatcher项目旨在将人工智能数
-
一百万个代理是一个分布式系统问题
HN Ÿ 27 · 9 评论
-
SageMaker AI上使用WhisperX进行扬声器标记的转录
AWS WhisperX深度学习容器将Whisper、wav2vec 2强制对齐和扬声器拨号打包到可支持GOP的图像中。了解如何将其部署到Amazon SageMaker AI实时和同步端点，以进行字级、扬声器标记的转录，以及重要的生产细节：图形处理器AMI引脚、扩展和成本控制。
-
谷歌首次Suncatcher轨道数据中心测试将于10月1日启动
谷歌的实验性轨道数据中心将拥有四个TPA，每次仅运行15分钟。
-
使用AgentCore Gateway和HCP构建多账户人工智能代理
构建一个多帐户架构，将每个团队的数据保存在自己的AWS帐户中，同时为人工智能代理提供统一的跨它们查询方式。中央平台帐户使用Amazon Bedrock AgentCore Gateway和HCP运行代理，而业务线帐户则将其数据公开为具有安全跨帐户访问和细粒度授权的LCP服务器。
-
Aderant与Amazon Nova一起构建智能票务分类
了解Aderant如何通过Amazon Bedrock在Amazon Nova Lite上构建智能票务分诊系统，为其云运营团队自动化上下文收集、分类、路由和知识丰富。
-
PCIe显卡被低估了！内核补齐+通信重构，DeepSeek推理吞吐翻近7倍
1.5台6000D跑赢1台B300！
-
与您的代理一起编辑文档看起来很有希望
HN Ÿ 6 · 0 评论
-
5分钟完成机器人纳管、10秒启动跨集群任务，清华大学联合无问芯穹开源具身智能云原生平台RLark
开源一座具身智能的新“塔台”
-
Nori LLM：达到超过100万tok / s
HN800· 1 评论
-
TypSafe AI Jev编码指南：System One模型的类型决策、校准的信心和推测性散开
本教程为TypSafe AI的Jev提供了完整的编码指南，Jev是一个专为非文本结构化判断而设计的System One模型。它涵盖了安装官方Python SDK、使用原始问题类型（Choice、Score、Noul）、实现推测性扇形输出、信任门控路由以及构建Inbox生产工作流程。TypSafe AI Jev编码指南：Typed Decisions、Cali
-
AlloyDB 的智能体数据库架构
📌 One-Sentence Summary Google 推出了 AlloyDB 的智能体数据库架构，通过 Colossus 存储、Jupiter 网络和基于 microVM 的计算等垂直集成栈，使 AI 智能体能够以亚秒级的新鲜度访问实时生产数据，在确保与生产工作负载完全隔离的同时，实现从零到数千个节点的弹性扩展。 📝 Summary AlloyDB 的
-
主动防御：加固代码流水线与 CI/CD 基础设施
📌 One-Sentence Summary Google 提供了一套全面的深度防御蓝图，用于加固软件供应链，重点关注五个关键支柱：端点安全、代码仓库治理、制品管理、CI/CD 基础设施以及自动化扫描门禁。 📝 Summary 本技术指南概述了一套多层防御策略，旨在保护软件开发生命周期（SDLC）免受复杂的供应链攻击。它解决了新兴威胁，如 AI 开发工具利用
-
在 MaxText 中复现 OLMo 3 7B 预训练：TPU 大规模训练案例研究
📌 One-Sentence Summary Google 研究人员使用 MaxText 在 TPU 上成功复现了 OLMo 3 7B 的预训练和中训阶段，证明了该框架与原 PyTorch 实现的对等性，并提供了关于大规模训练可靠性和性能优化的详细案例研究。 📝 Summary 本技术案例研究详细介绍了使用 Google Cloud TPU 上的 MaxTe
-
VSCode的SSH代理是香蕉（2025）
HN Ÿ 94 · 66 评论
-
团队分享提升 Agent Harness Token 效率的提示词 · AIHOT
📌 One-Sentence Summary 来自一个生产级编码智能体团队的详细提示词模板，阐述了如何在不损失质量的前提下将每任务 token 成本降低约 7%，涵盖提示词精简、工具卸载、缓存布局与子智能体调优。 📝 Summary 本文提供了一套可复用的提示词，旨在帮助开发者优化 LLM 智能体 harness 的 token 效率。基于一个生产级编码智能
-
提升智能体框架的 Token 效率
📌 One-Sentence Summary 作者提供了一份详细指南，讲解如何提升智能体框架的 Token 效率，包括降低 token 成本和优化工具定义。 📝 Summary 作者论述了提升智能体框架 Token 效率的重要性，并提供了一份详细指南，涵盖降低 token 成本、精简工具定义以及使用显式断点等具体方法。 📊 Article Meta AI S
-
一旦克劳德能够测量某个东西，它就可以让它更快
HN ð143· 90 评论
-
基于AWS构建的详尽对话视频智能
了解如何使用代理架构在AWS上构建对话视频智能解决方案。单个Strands Agents SDK代理在运行时协调Amazon Bedrock、Amazon Rekognition和Amazon Transcribe，决定调用哪个服务，以便您可以询问有关视频的自然语言问题并在几秒钟内获得答案。
-
使用开放权重模型作为Amazon Bedrock的AI编码代理
将OpenCode（一种开源终端原生人工智能编码代理）与Amazon Bedrock上的开放权重模型配对，以获得安全、灵活、按使用付费的编码助手。了解如何配置多模型工作流程、将正确的模型与每个任务匹配，并将数据保存在您自己的AWS帐户中，无需管理基础设施。
-
现实世界物理人工智能机器人的卸载推理
机器人变得越来越聪明，但它们的硬件如何才能跟上这种增长呢？微软研究院的新研究结果表明，将人工智能推理转移到机器人之外可以提高任务成功率、提高效率并支持更高级的物理人工智能工作负载。现实世界物理人工智能机器人的卸载推理首次出现在微软研究中心。