为 Anthropic Claude 模型在 Amazon Bedrock 上提供结构化的输出结果
Amazon Bedrock现在支持为所有Anthropic Claude模型生成结构化输出,这些输出可以在bedrock-runtime和bedrock-mantle端点上获得。生成的JSON数据符合规范的结构化格式,无需进行额外的解析、重试处理或后处理步骤。使用JSON Schema格式进行输出,并且严格遵循相关工具的使用指南。
Amazon Bedrock现在支持为所有Anthropic Claude模型生成结构化输出,这些输出可以在bedrock-runtime和bedrock-mantle端点上获得。生成的JSON数据符合规范的结构化格式,无需进行额外的解析、重试处理或后处理步骤。使用JSON Schema格式进行输出,并且严格遵循相关工具的使用指南。
新的Amazon SageMaker AI客户现在可以通过简单的步骤,进入已完全配置好的SageMaker Studio环境。只需使用您已有的身份认证方式(如亚马逊、苹果、GitHub或谷歌等),大多数客户无需复杂的AWS账户或信用卡信息即可注册使用,同时还可以获得100美元的AWS免费使用额度。
在2026年的前三季度中,Amazon SageMaker JumpStart成功引入了来自30个提供商的100多个新模型。这一进展包括模型导入功能的优化、JumpStart工具的改进,以及简化的模型中心功能、预配置的部署选项,还有与Hugging Face平台的深度链接集成功能。
在柏林的一座旧发电站——Kraftwerk的宽敞大厅里,德国总理弗里德里希·默尔兹与NVIDIA的创始人兼首席执行官詹森·黄坐下来讨论德国的AI发展规划,尤其是AI在工业领域的应用。黄首先提到了NVIDIA与德国工业界的长期合作关系,这些合作始于游戏系统、工作站以及汽车领域……
了解如何将在GitHub Copilot应用程序中的代理会话转移到VS Code中,同时不会丢失对话记录、代码更改或工作上下文。关于如何在VS Code中继续使用GitHub Copilot应用程序的帖子首先出现在GitHub博客上。
TwelveLabs的Pegasus 1.5版本现已在Amazon Bedrock平台上可用。该视频语言模型能够将长视频转换为结构化的、带有时间戳的元数据:用户可以定义出重要的场景,然后以JSON格式获取每个相关片段的信息。该工具还支持多模态提示功能,可以使用参考图片来进行视频分割处理,并且能够实时处理长达两小时的视频数据。
Deepgram与AWS Forward Deployed Engineering团队合作,将其Nova-3语音转文本模型移植到AWS Trainium2平台上,以实现离线批量推理功能。本文介绍了该模型的移植过程、内核级调优方法、基于数据并行技术的Rust运行时环境,以及批量转录操作时的吞吐量和成本效益分析。
vLLM的预填充解码分离技术能够将LLM的推理任务分配到不同的引擎实例上执行,但同时还需要在这些实例之间传输键值缓存数据。这篇帖子介绍了一种基于推送方式的NIXL连接器,该连接器可以将数据传输协调工作从核心路径上分离出来,从而在使用AWS EFA的Amazon EC2 P5en实例进行的基准测试中,实现高达3倍的TTFT性能提升,以及30%的TPOT性能提升
多轮代理式工作负载在每一轮处理过程中都会重新处理不断增长的对话上下文,这会导致延迟增加。而双向KV缓存传输机制则使得预填充和解码节点能够重复使用之前计算出的上下文信息,从而将首次响应时间缩短一半以上——对于Qwen3-32B模型而言,这一时间可缩短至1.6倍;而对于GLM-5-FP8模型而言,则可达3.3倍。这些效果都可以在使用EFA技术的Amazon EC