除了KV缓存之外:在AWS Trainium2上使用原生PyTorch框架,对i14的Laplace 3B线性注意力模型进行训练和部署
了解我如何使用PyTorch在AWS Trainium2上训练并服务于Laplace 3B这一线性注意力模型。该模型的序列长度固定为29.5MB,不受上下文长度的影响,从而避免了传统Transformer模型所需的庞大键值缓存问题,同时还能确保内存使用量具有可预测性。
了解我如何使用PyTorch在AWS Trainium2上训练并服务于Laplace 3B这一线性注意力模型。该模型的序列长度固定为29.5MB,不受上下文长度的影响,从而避免了传统Transformer模型所需的庞大键值缓存问题,同时还能确保内存使用量具有可预测性。
Smartsheet模型上下文协议(MCP)服务器使得AI代理能够读取、更新并处理实时工作管理数据。本文介绍了两种在AWS上连接该服务器的方式:一种适用于商业团队,另一种则适用于开发者。这样,您的代理就可以在继续使用Smartsheet的同时,无需切换工具了。
企业供应链中数据丰富,但洞察力不足。这些数据分散在ERP系统、监控系统、采购系统以及电子邮件系统中。这篇文章展示了亚马逊Bedrock AgentCore如何将这些系统作为统一的工具层进行整合,以及如何通过亚马逊Quick将各种系统融合为一个易于使用的对话式体验,并提供了相关的部署指南。
了解我们如何在Amazon SageMaker HyperPod上对GPT-OSS-20B进行微调,以支持多语言推理功能。同时,也可以学习如何在这两种方法之间进行选择:监督式微调(SFT)与强化学习结合使用的方法。通过SFT,推理语言的准确率从22%提升到了100%;而采用GRPO方法则能在仍有提升空间的情况下带来显著的性能提升。
Octave在Amazon Bedrock上构建了一个安全、可支持多租户使用的AI基础平台。它使用Cohere Embed v4进行文本嵌入处理,而Amazon Bedrock AgentCore则用于实现独立化的代理执行机制。通过这种方式,Octave能够构建一个强大的投诉分类助手,该助手可以搜索20亿份监管文件,同时不会受到不同租户之间的干扰。
加拿大的组织现在可以借助亚马逊云平台的Bedrock平台,使用跨区域推理功能,访问OpenAI的GPT-5.6、GPT-6以及GPT-6.1模型。这些模型适用于加拿大中部和加拿大西部(卡尔加里)地区。本文介绍了这些模型的详细信息、相关设置方法,以及如何使用Responses、Chat Completions和ConverseAPI来调用这些模型。
当代理的工具列表从少数几个工具逐渐扩展到数百个工具时,硬编码的工具配置方式就会变得不可行。这篇文章介绍了一种基于AWS代理注册表的运行时处理流程:在运行时,编排工具可以通过语义搜索来发现MCP服务器和A2A代理,而无需在构建过程中编译每一个工具。
三位Java领域的精英人士分享了他们如何使用GitHub Copilot来解决问题、加快开发速度,同时确保人们仍然对最终成果负责。这篇题为《三位Java精英如何利用GitHub Copilot提高生产力》的文章最初发表在GitHub博客上。
了解如何使用Keyfactor EJBCA和AWS服务中的加密身份技术来保护多代理人工智能系统。该参考架构结合了签名请求包、用户签名的授权声明、RFC 8693规定的受众级令牌以及实时OCSP撤销机制,以此来验证代理的身份,并防止代理之间以及通过MCP工具进行的请求伪造行为。
实验室主任克里斯·怀特参与了许多具有实际意义的研究项目,包括新的战争数据分析方法以及打击人口贩卖的工具开发等方面的工作。他与项目经理魏顺龙讨论了促使他从事这些工作的各种因素。这篇文章《被召唤去服务的:技术、研究与积极影响》最初发表在微软研究院的网站上。