使用Ray Serve深度学习容器简化和支持您的TorchServe工作负载
TorchServe不再维护,团队将拥有整个图形处理器推理栈。AWS Ray Serve深度学习容器是一个受支持、经过预测试的容器,框架、图形处理器和服务层已经组装好。这篇文章介绍了在单个图形处理器节点上使用Ray Serve DLC在Amazon EKS上部署视觉语言模型。
TorchServe不再维护,团队将拥有整个图形处理器推理栈。AWS Ray Serve深度学习容器是一个受支持、经过预测试的容器,框架、图形处理器和服务层已经组装好。这篇文章介绍了在单个图形处理器节点上使用Ray Serve DLC在Amazon EKS上部署视觉语言模型。
Amazon Quick自定义权限允许您通过切换每个用户的功能来强制执行最低权限访问。这篇文章介绍了四种在用户生命周期中自动化自定义权限的模式:RegisterUser API参数、帐户和角色默认值、事件驱动的Amazon EventBridge和AWS Lambda自动化,以及追溯批量更新脚本。
Chris Lehane认为,更强的人工智能能力需要更强的安全证据、共享标准和持久的政策行动,同时政策窗口仍然开放。
认识GPT-6 Astra,OpenAI最强大的业务模型,具有先进的推理、计算机使用以及更强的写作和设计判断。
OpenAI的GPT-6 Astra现已在Amazon Bedrock上普遍提供。它在专为高性能、安全性和规模而构建的Amazon Bedrock推理引擎上运行,为您最艰巨的任务带来更深入的推理和更敏锐的判断。
Pathway的Baby Dragon Hatchling(BDH)是一种受大脑启发的后变形金刚架构,在潜在空间中推理,而不是释放思想链代币。了解Pathway如何在Amazon SageMaker HyperPod上开发和扩展BDH,以及BDH-CQ如何在ARC-AGI-1基准测试上树立新的成本效率标记。
Amazon SageMaker功能商店现在支持功能级写入。使用新的UpdateRecord API,您可以在单次调用中更新一个或多个特征值,而无需读取或重写整个记录。它适用于标准(Amazon DynamoDB)和内存(Amazon Elastiache)在线商店层。
跨帐户管理模型是自动模型注册之后的下一步。本文将托管MLflow和Amazon SageMaker AI Model Registry同步扩展到两种跨帐户治理拓扑:一种是使用AWS RAM集中治理的中心辐射模式,另一种是保持开发帐户隔离的混合模式。
Amazon SageMaker AI上的托管MLFlow现在将更丰富的模型元数据(训练指标、评估结果、推理规范和谱系)同步到SageMaker AI模型注册表中,并进行生命周期阶段升级。第1部分展示了如何使用ILM护栏在单个帐户中管理候选模型。
将Amazon Bedrock AgentCore评估连接到GitHub Operations管道:将AI代理和受OAuths保护的HCP服务器部署到AgentCore运行时,通过测试提示调用代理,对响应进行评分,并在代理行为回归时自动阻止拉取请求。
在Amazon SageMaker AI上的G5、G6、G6 e和G7图形处理器实例中对两款30 B Mixture-of-Experts型号Qwen 3-Coder-30 B和NVIDIA Nemotron-3-Nano-30 B进行基准测试。比较吞吐量、延迟和每令牌成本,了解G7的NVIDIA Blackwell图形处理器如何为实时LLM推断提供可衡量的
HPE Zerto构建了一个由Amazon Bedrock提供支持的代理故障排除系统,该系统在客户环境内本地运行。这篇文章描述了多代理体系结构、使用Strands代理构建的本地部署模型,以及在实时灾难恢复数据中接地代理的工程挑战。
DiDi在Amazon Bedrock上构建了一个透明的、自有的联络中心质量保证(QA)系统,取代了不透明的第三方工具。西班牙语和葡萄牙语支持的意图验证准确率从38%上升到86%,合规性评分超过90%,客户之声趋势分析从数小时缩短到数分钟。