使用Ray Serve深度学习容器简化和支持您的TorchServe工作负载
TorchServe不再维护，团队将拥有整个图形处理器推理栈。AWS Ray Serve深度学习容器是一个受支持、经过预测试的容器，框架、图形处理器和服务层已经组装好。这篇文章介绍了在单个图形处理器节点上使用Ray Serve DLC在Amazon EKS上部署视觉语言模型。
部署工程
把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
已收录 794 条 · 近 30 天 540 条 · 第 22 / 27 页
-
-
自动化Amazon Quick的用户级自定义权限
Amazon Quick自定义权限允许您通过切换每个用户的功能来强制执行最低权限访问。这篇文章介绍了四种在用户生命周期中自动化自定义权限的模式：RegisterUser API参数、帐户和角色默认值、事件驱动的Amazon EventBridge和AWS Lambda自动化，以及追溯批量更新脚本。
-
Show HN：Geiger -查看您机器上的每个人工智能代理以及它可以触摸什么
HN ð43· 20 评论
-
在 Amazon SageMaker HyperPod 上使用 vLLM 部署 Qwen3.8-2.4T-A95B | Amazon Web Services
📌 One-Sentence Summary 本文介绍如何在 AWS SageMaker HyperPod 上使用 vLLM 和 NVFP4 量化部署阿里巴巴的 Qwen3.8-2.4T-A95B——一个 2.4 万亿参数的 MoE 模型，并详细说明其架构、基础设施和服务配置。 📝 Summary 本文介绍了阿里巴巴开源权重发布的 Qwen3.8-2.4T-
-
RLM 如何重塑长上下文处理：从 Token 到可执行状态
📌 One-Sentence Summary Kevin Madura 介绍了递归语言模型如何将海量源材料保留为 REPL 中的符号状态，再借助代码与递归式子模型委派展开调查，从而形成一条不同于受提示词限制的 RAG 和工具工作流的长上下文路径。 📝 Summary Kevin Madura 将递归语言模型定义为一种面向超出模型舒适上下文窗口的输入或输出的系
-
AWS正在使用高通进行人工智能推理，而高通则使用AWS Bedrock设计芯片
高通正在为AWS设计多个产品代的定制芯片，重点关注人工智能推理。AWS正在使用高通进行人工智能推理，而高通使用AWS Bedrock来设计芯片的文章首先出现在The Decoder上。
-
Hugging Face的新ML Intern允许任何人通过简单的聊天来运行机器学习实验
Hugging Face推出了“ML Intern”，这是一款内置于其聊天机器人中的人工智能助手，可让用户在没有任何ML专业知识的情况下运行机器学习实验。Hugging Face的新ML Intern让任何人通过简单的聊天来运行机器学习实验的文章首先出现在The Decoder上。
-
2026外滩大会：具身智能开始拼大脑，蚂蚁灵波把机器人送进真实场景
机器人没有跳舞，也没有翻跟头，却吸引了诸多媒体的驻足。这就是2026外滩大会科技展览，蚂蚁灵波科技展示的几件看起来并不“炫技”的事：机器人从货架上精准取下一盒药，送到用户手里，在物流场景中持续完成分拣，在工业产线上完成上下料。 （在外滩大会看到具身智能正在走向物理世界） 这恰恰是这个展区值得看的地方。过去几年，机器人行业最吸引眼球的是跑、跳、翻跟头。但当机器
-
具身机器人能搞定超市盘点吗？全球七万门店正在给出答案
从Demo到货架，这两家公司要让具身智能算得过账
-
Meta推出Muse，这是一款个人人工智能代理，可在自己的专用安全云计算机上运行
今天，Meta推出了Muse，这是一种个人人工智能代理，可以采取行动，而不仅仅是回答问题。Muse可以发送电子邮件、预订旅行、协商账单并追求长期目标。关闭应用程序后，它会继续工作，并且仅在需要批准时才返回。对于人工智能开发者来说，更大的故事是建筑。每个用户[.] Meta介绍Muse，一种在自己的专用安全云计算机上运行的个人人工智能代理的帖子首先出现在Mar
-
宣布 ADK for Kotlin 1.0：在 Kotlin、Android 及其他领域构建生产级 AI 代理
📌 One-Sentence Summary ADK for Kotlin 1.0 实现了与 ADK 1.0 Core 的完全功能对齐，同时提供了丰富的 Android 首选、本地扩展套件，使开发者能够构建无缝集成云服务和本地硬件能力的生产级 AI 代理。 📝 Summary Agent Development Kit（ADK）for Kotlin 1.0
-
在Amazon Bedrock上使用GPT-6 Astra完成您最雄心勃勃的工作
OpenAI的GPT-6 Astra现已在Amazon Bedrock上普遍提供。它在专为高性能、安全性和规模而构建的Amazon Bedrock推理引擎上运行，为您最艰巨的任务带来更深入的推理和更敏锐的判断。
-
创始人如何基于 Claude Managed Agents 构建产品
📌 One-Sentence Summary 多位创始人分享 Claude Managed Agents 如何通过结果 rubric、独立验证、分层记忆、沙箱工具和对速度、成本、控制力的取舍，支持会议准备、销售情报与产品分析。 📝 Summary 这场 Claude 圆桌讨论提供了 Managed Agents 在三类生产场景中的具体实践：会议准备与后续跟进
-
Kimi K3（2.8T）在MacBook Pro上以1代币/秒的速度运行，从四个SSD传输
HN ð191· 92 评论
-
英伟达宣布推出CUDA Rust，搭配氧化铜（SIM）和cutile-rs（Tile），用于隔离时间安全的图形处理器内核
英伟达宣布推出CUDA Rust，推动Rust成为图形处理器内核的一流语言。两个开源NVlabs项目涵盖了两种CUDA编程模型：cuda-oxide编译从Rust MIR到Pliron和LL虚拟到NSX的SMT内核，而cutile-rs JIT-编译稳定的Rust 1.89+上的Tile内核。这篇文章首先出现在MarkTechPost上，NVIDIA宣布使用
-
Pathway在Amazon SageMaker HyperPod上的脑启发架构开发
Pathway的Baby Dragon Hatchling（BDH）是一种受大脑启发的后变形金刚架构，在潜在空间中推理，而不是释放思想链代币。了解Pathway如何在Amazon SageMaker HyperPod上开发和扩展BDH，以及BDH-CQ如何在ARC-AGI-1基准测试上树立新的成本效率标记。
-
使用MLFlow和Amazon SageMaker AI模型注册表同步的治理模型：第2部分
跨帐户管理模型是自动模型注册之后的下一步。本文将托管MLflow和Amazon SageMaker AI Model Registry同步扩展到两种跨帐户治理拓扑：一种是使用AWS RAM集中治理的中心辐射模式，另一种是保持开发帐户隔离的混合模式。
-
使用MLflow和Amazon SageMaker AI Model Registry同步治理模型：第1部分
Amazon SageMaker AI上的托管MLFlow现在将更丰富的模型元数据（训练指标、评估结果、推理规范和谱系）同步到SageMaker AI模型注册表中，并进行生命周期阶段升级。第1部分展示了如何使用ILM护栏在单个帐户中管理候选模型。
-
使用Amazon Bedrock AgentCore和GitHub Operations自动化代理评估
将Amazon Bedrock AgentCore评估连接到GitHub Operations管道：将AI代理和受OAuths保护的HCP服务器部署到AgentCore运行时，通过测试提示调用代理，对响应进行评分，并在代理行为回归时自动阻止拉取请求。
-
在SageMaker AI上对小型LLM推断进行基准测试：G7 vs G5和G6
在Amazon SageMaker AI上的G5、G6、G6 e和G7图形处理器实例中对两款30 B Mixture-of-Experts型号Qwen 3-Coder-30 B和NVIDIA Nemotron-3-Nano-30 B进行基准测试。比较吞吐量、延迟和每令牌成本，了解G7的NVIDIA Blackwell图形处理器如何为实时LLM推断提供可衡量的
-
谷歌云竞相追赶埃森哲交易的人工智能部署大战
谷歌云与埃森哲一起扩大了其企业人工智能的推动，押注于前沿部署的工程师来推动采用并克服部署瓶颈。
-
HPE Zerto如何利用Amazon Bedrock构建代理故障排除系统
HPE Zerto构建了一个由Amazon Bedrock提供支持的代理故障排除系统，该系统在客户环境内本地运行。这篇文章描述了多代理体系结构、使用Strands代理构建的本地部署模型，以及在实时灾难恢复数据中接地代理的工程挑战。
-
DiDi如何与Amazon Bedrock建立智能联络中心QA
DiDi在Amazon Bedrock上构建了一个透明的、自有的联络中心质量保证（QA）系统，取代了不透明的第三方工具。西班牙语和葡萄牙语支持的意图验证准确率从38%上升到86%，合规性评分超过90%，客户之声趋势分析从数小时缩短到数分钟。