GS Caltex的生产MLOps,使用Amazon SageMaker Canvas,第一部分
GS Caltex将Amazon SageMaker Canvas与Amazon SageMaker Pipelines连接,使流程工程师的无代码模型能够在生产环境中运行。本文介绍了ML工程师如何复用已验证的预处理流和模型,从而将部署时间从约一周缩短至几小时,并每30分钟进行一次批量推理。
GS Caltex将Amazon SageMaker Canvas与Amazon SageMaker Pipelines连接,使流程工程师的无代码模型能够在生产环境中运行。本文介绍了ML工程师如何复用已验证的预处理流和模型,从而将部署时间从约一周缩短至几小时,并每30分钟进行一次批量推理。
编码代理在任务中运行,关键指标是每个解决任务的成本,而非每个令牌的价格。在本文中,您使用AWS CDK在Amazon Bedrock上部署LiteLLM,并引入NVIDIA NeMo Switchyard路由插件,然后针对路由模型组与单模型基线进行每个解决任务成本的对比测量。
亚马逊Bedrock AgentCore运行时V2会保存已初始化的环境快照,并在每个新会话中恢复该环境,因此会话起始时间不再随图像大小而增长。本文介绍V2如何启动会话、如何测量会话起始时间以及四种避免工作从首次请求开始的模式。
在您自己的AWS账户中,通过Amazon SageMaker JumpStart部署OpenFold3-preview,用于预测蛋白质、DNA、RNA及配体复合物的3D结构。该文章涵盖异步推理、多GPU并行处理、用于提升准确性与隐私性的自有MSA,以及缩容至零以降低成本等内容。
了解AssemblyAI如何在AWS上大规模运行成本优化的语音转文本推理,使用亚马逊ECS、亚马逊EC2竞价GPU实例以及基于Amazon SQS的重试架构,在保持欧洲区域的SLA承诺的同时实现70%的成本节约。
Amazon Bedrock提供内置的零仪器成本归因功能,可将每一次推理调用追溯至发起该调用的IAM主体。本文章介绍如何针对AI开发者及生产力工具,使用IAM身份中心、会话标签和CUR 2.0来进行每用户Bedrock成本归因,以及如何实施每用户使用限制。
Amazon SageMaker HyperPod Data Capture将实时推理输入和输出记录至Amazon S3。本篇内容将介绍一个端到端示例:捕获支持路由器的生产流量、利用Amazon Athena揭示新产品方面的盲区、使用HyperPod训练运算符对捕获数据进行微调,以及评估前后提升效果。