优化代理系统提示Amazon Bedrock AgentCore
AgentCore优化将生产跟踪转化为建议的配置更改,然后在升级之前对其进行验证。该发布帖子的这份技术伴侣解释了系统提示优化器的反射器引擎如何工作,并分享了单代理和子代理反射器的基准结果。
把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。
已收录 801 条 · 近 30 天 575 条 · 第 18 / 28 页
AgentCore优化将生产跟踪转化为建议的配置更改,然后在升级之前对其进行验证。该发布帖子的这份技术伴侣解释了系统提示优化器的反射器引擎如何工作,并分享了单代理和子代理反射器的基准结果。
📊 Article Meta AI Screening: 91 Source: Milvus(@milvusio) Author: Milvus Category: 人工智能 Language: 英文 Tags: AI 与智能应用 , 向量数据库 , 音乐文化 Read Tweet
TypSafe AI由前OpenAI研究员Diogo Almeida创立,正在发布一种故意不生成文本的模型。“Jev”不是聊天响应,而是为软件提供纯粹的分类,响应时间从70毫秒开始,代币价格极低。不过,这种方法并不能防止错误。系统仅保证严格遵守预设选项。前OpenAI研究员构建了一个人工智能模型,可以判断选项,而不是编写文本,这篇文章首先出现在The Dec
了解如何使用Amazon Bedrock Data Automation和自定义蓝图、AWS Step Functions和AWS Lambda,从扫描文档中大规模自动化端到端PRI检测和编辑。自定义蓝图以字段级精度编辑敏感字段,而令牌匹配质量检查可以提高降级文档和手写文档的召回率。
系统性能、高效的基础设施扩展和持续的软件优化是决定人工智能推理经济性的关键杠杆。更高的系统性能意味着生成更多的代币,从而带来更高的收入。高效的扩展意味着吞吐量随着硬件的添加而成比例增长,大规模为用户提供服务所需的资源更少。持续优化意味着从基础设施投资中产生更多价值。[…]
人工智能工厂是智能时代的基础设施。负责任地扩展它们将不仅取决于整个电网的创新,也取决于数据中心内部的创新。今天,Emerald AI、谷歌和英伟达宣布成立人工智能能源管理联盟(AEMA),这是一个首创的联盟,致力于推进数据中心的发展,使其能够动态管理其电力使用[.]
了解ChatGPT Work和Codex分析如何帮助团队了解人工智能的使用和支出、识别培训需求并将采用与业务成果联系起来。
量产一代、研发一代、预研一代,这一芯片公司习以为常的战略节奏,如今正被大模型公司压得更紧。 按照OpenAI今年8月公布的进展,尽管第一代自研芯片Jalapeño(下以“小辣椒”代称)计划于年底前开始部署,但第二代已进行深入开发,第三代也开始成形。 更吸引眼球的是OpenAI的官方说法——第一代“小辣椒”从初始设计到流片只花了9个月。据前端设计验证工程师穆洋
智能体让旗舰SoC从拼核心,转向拼系统。 过去数年,旗舰手机芯片的升级路径非常清晰,制程更先进、CPU主频更高、GPU、ISP更强,再加上算力不断增长的NPU。 这套方法在生成式AI进入手机后依旧奏效,却很难完整回答智能体带来的新问题。因为AI不再只在用户点开应用后运行几十秒,而要持续感知声音、画面和环境,在后台理解需求,甚至提前执行任务。 一颗核心能跑多快
[中国,上海,2026年9月16日] 今日,华为坤灵新品发布会2026在上海举行。华为常务董事、ICT BG CEO杨超 斌宣布,华为坤灵全面升级 “4+10+N” 一站式场景化方案,发布20款新品,并面向中国分销伙伴发布“经纬计划”和50个样板点,让智能世界触手可及。 华为常务董事、ICT BG CEO杨超斌发表主题演讲 围绕四大特质,升级“ 4+10+N
2026年 9 月 15 日,AI基础设施公司基元律动(TokenRhythm)与无问芯穹(Infinigence AI)签署战略合作协议。双方将结合无问芯穹的Agentic Infra产品及服务体系与基元律动的多模型服务、智能路由能力,围绕高质量Token的供给、调度与应用展开合作,共同开拓市场。 图注:基元律动与无问芯穹战略合作签约仪式 AI基础设施服务
2026年 9 月 15 日,AI基础设施公司基元律动(TokenRhythm)与无问芯穹(Infinigence AI)签署战略合作协议。
帮助成熟赛道复制方案,帮助新赛道长出场景。
空气污染是一种严重的公共健康风险,在英国估计造成3万人死亡。去年独自一人数据驱动的见解可以提供帮助,但使用传统的基于化学的模型计算空气质量是昂贵的,这限制了它们的详细程度和运行频率。David Topping,一位在[…]
HN ð44· 7 评论
让GPU去忙生成Token
任务通过率提升24.2%,token成本最高下降45%
了解如何利用NVIDIA的cuDNN Frontend Shape API来构建自定义内核融合、自动调整引擎配置、FP 8风格的尾声、扩展的点产品注意力、动态形状和CUDA图形捕获。这个实用教程演示了如何在框架抽象下优化深度学习计算,同时根据PyTorch验证结果。文章Inside NVIDIA的cuDNN Shape API:使用cuDNN Fronten
HN ð609· 204 评论
作者:张聪静、瓦什什塔·帕蒂尔、亨宁·兰格|修剪可以降低大型语言模型(LLM)的部署成本,但其对基于上下文的工具调用的影响仍然知之甚少。我们系统地研究了跨越密集Transformer、密集混合和混合专家(MoE)架构的四个LLM的智能家居工具调用中修剪引起的降级,以及深度、宽度、混合和专家修剪方法。p之后
📌 One-Sentence Summary NVIDIA Groq 3 LPX 利用确定性执行实现精确的电流需求预测,从而进行主动电压控制和时钟周期合成,显著降低功耗开销,同时保持高交互性性能。 📝 Summary NVIDIA Groq 3 LPX 加速器通过确定性执行模型实现功耗效率,该模型允许编译器创建操作和数据移动的周期精确调度。这种可预测性支持两
在硅谷八月一个闷热的夜晚,随着太阳落山,空调负荷激增,硅谷电力公司向一家人工智能工厂发送了调整耗电量的信号。Varun Sivaram和大约四十人一起观看Zoom节目--他在Emerald AI的团队在旧金山会议室里,工程师们[.]
NVIDIA超大规模和高性能计算副总裁Ian Buck周二在AI Infra Summit上就AI工厂效率发表了讲话,该峰会在圣克拉拉会议中心举行,已演变为基础设施技术的Coachella。在拥挤的观众面前-今年有超过8,000名与会者,去年有3,500人- [...]
📌 One-Sentence Summary NVIDIA NVLink 6 通过结合硬件级错误校正、无损流控制和软件驱动的恢复机制,确保大规模 AI 集群的持续运行,并隔离和缓解瞬时故障。 📝 Summary 本文详细介绍了 NVIDIA NVLink 6 的全面可靠性架构,该架构旨在支持高可用性的 AI 工作负载。它涵盖了物理层使用前向错误校正和物理层重
当您重复向基金会模型发送相同的上下文时,Amazon Bedrock中的提示缓存可以将输入令牌成本降低高达90%。这篇文章使用Converse API介绍了六种实用的提示缓存场景:消息内容、系统提示符、工具定义、混合TLR、租户隔离和LangChain集成。
手动标记数千个目录产品是缓慢且不一致的。本演练展示了如何在Amazon SageMaker无服务器模型定制上通过监督微调(SFT)和具有可验证奖励的强化学习(WLVR)来定制Qwen 3 -8B,然后将其部署以进行同步推理以构建具有成本效益的产品标签系统。
Amazon SageMaker AI现在提供培训和处理作业的实例偏好列表。指定最多五种实例类型的有序列表,SageMaker AI会在具有可用容量的第一种类型上自动启动,从而消除手动再试循环和容量监视脚本。