Amazon SageMaker Inference:回顾2026年至今的发布
今年迄今为止,Amazon SageMaker AI在两种部署路径上发布了13次推理发布:完全托管的端点和Amazon SageMaker HyperPod推理。这篇文章回顾了每次发布,从推断建议和容量感知实例池到分层的KV缓存以及分解的预填充和解码。
今年迄今为止,Amazon SageMaker AI在两种部署路径上发布了13次推理发布:完全托管的端点和Amazon SageMaker HyperPod推理。这篇文章回顾了每次发布,从推断建议和容量感知实例池到分层的KV缓存以及分解的预填充和解码。
Moonshot AI的Kimi K3现已在Amazon Bedrock上提供,为您提供强大的新开放重量选项,用于编码和知识工作。它提供了原生视觉,100万个令牌上下文窗口和显式提示缓存,以减少延迟和输入成本。