hiw3c 日报精选

星期六 · 8 条
  1. AWS ML Blog海外官方08:14快照

    通过分布式KV缓存代理技能降低自托管LLM成本和延迟

    在GPU上自托管LLM意味着每次交互都要付费重新计算相同的上下文。使用Amazon ElastiCache的分布式KV缓存可将推理成本降低高达40%,首次生成token的时间降低高达80%。本文介绍了AWS Agent Toolkit中的分布式KV缓存技能,该技能可从你的编码代理处评估并设置缓存。

  2. AWS ML Blog海外官方04:37快照

    标准银行集团如何实现生成式AI的AI风险评估自动化

    标准银行集团实现了其生成式AI审批门槛背后的证据自动化处理。该银行与AWS专业服务合作,在其自有AWS账户中构建了评估体系,利用Amazon Bedrock上的LLM-as-a-judge,根据国际AI标准及自身政策对每种用例进行评分,为风险委员会提供一致且可追溯的证据。