AWS Quick新功能:更强大的工作流、更新的网页体验,以及协同工作的智能体
AWS Quick 是专为工作打造的 AI 工作空间。今天我们发布更新,助力您的团队完成更多任务:在聊天中构建并运行业务流程流,通过更新后的网页应用进行日常任务分类处理,同时从多个智能体中获取更完整的答案,并连接 Meta Ads 和 Amplitude 等新数据源。
AWS Quick 是专为工作打造的 AI 工作空间。今天我们发布更新,助力您的团队完成更多任务:在聊天中构建并运行业务流程流,通过更新后的网页应用进行日常任务分类处理,同时从多个智能体中获取更完整的答案,并连接 Meta Ads 和 Amplitude 等新数据源。
在GPU上自托管LLM意味着每次交互都要付费重新计算相同的上下文。使用Amazon ElastiCache的分布式KV缓存可将推理成本降低高达40%,首次生成token的时间降低高达80%。本文介绍了AWS Agent Toolkit中的分布式KV缓存技能,该技能可从你的编码代理处评估并设置缓存。
亚马逊SageMaker HyperPod现已提供用于可观测性和用户管理的托管集群扩展功能,将声明式、基于API和控制台驱动的配置引入运行在Slurm集群节点上的软件。本文介绍这些扩展的工作原理,并带领平台团队体验了与他们共同运行共享Slurm集群的一个季度。
亚马逊SageMaker HyperPod引入了Global Inference Gateway,这是一个托管端点,可在单个区域或跨多个区域的HyperPod集群间路由推理请求。它会选择最佳集群,自动故障转移,并通过AWS PrivateLink使用SigV4和IAM对每笔请求进行身份验证。
标准银行集团实现了其生成式AI审批门槛背后的证据自动化处理。该银行与AWS专业服务合作,在其自有AWS账户中构建了评估体系,利用Amazon Bedrock上的LLM-as-a-judge,根据国际AI标准及自身政策对每种用例进行评分,为风险委员会提供一致且可追溯的证据。
宣布Amazon Textract Insights全面可用,这是Amazon Textract的一项全新生成式AI功能。用自然语言描述所需字段,提交文档或混合数据包,即可获得结构化结果,每个值均包含置信度分数和页面级定位信息,无需进行模型训练。
Amazon SageMaker HyperPod 现在提供增强的可观测性功能,有助于您更快诊断 GPU训练问题。它集成了诊断与分析功能,适用于在 Amazon EKS 和 Slurm 调度器上的训练工作负载,能够精准定位涉及 GPU、网络及主机层的问题。