部署工程
把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
已收录 801 条 · 近 30 天 575 条 · 第 1 / 41 页
蓄势待发：全球 PC 应用生态已为 NVIDIA RTX Spark 做好准备 - 驱动之家
7个人、5个月！Anthropic造出了Git替代品 - 搜狐
NVIDIA RTX PRO 4500 Blackwell 服务器版评测：单槽 165W 功耗下实现 L40S 级吞吐量 - StorageReview.com
银行现在正试图出售他们刚刚承保的人工智能数据中心债务
HN ð250· 200 评论
你的Transformer秘密有弹性
作者：Walter Simoncini、Dheeraj Varghese、Gertjan J. Burghouts|扩展变压器产生了具有广泛功能的模型，部署在不同的硬件和波动的工作负载中。然而，型号系列仅提供少数固定尺寸（例如，S、B、L），迫使用户根据硬件和延迟限制承诺模型。在不同的查询负载下，这种刚性通常不是最佳的。我们引入了一种免重新训练的方法，可以弹
Neckbeard -适合您的代理的DevOps/platform/SRE插件
HN ð59· 49 评论
从实验走向生产：Credit Karma 如何治理企业智能体
📌 One-Sentence Summary Credit Karma 工程师介绍以 MCP 网关、LangGraph 策略、可观测性、敏感数据过滤和上下文优化支撑企业智能体上线的方案。 📝 Summary Harish Gaggar 从企业智能体上线所需的基础控制谈起，展示智能体和 MCP 服务的注册、评审与部署路径。中央网关负责客户端认证、按命名空间路由
使用 Amazon Bedrock AgentCore 构建自我改进的文档处理 | Amazon Web Services
📌 One-Sentence Summary 本文介绍了一个基于 Amazon Bedrock AgentCore 构建的代理式智能文档处理 (IDP) 系统，专业 AI 智能体协作对业务文档进行分类、提取、验证和学习，消除了手动模板配置的需求。 📝 Summary 该解决方案通过部署多智能体工作流自动处理新文档格式，解决了基于规则的 IDP 的局限性。八个
使用Amazon Bedrock AgentCore构建自我改进的文档处理
了解如何使用Amazon Bedrock AgentCore构建代理智能文档处理（IDP）系统，该系统可以在最少的人为干预的情况下对业务文档进行分类、提取、验证和学习，自动处理新文档格式，无需手动模板配置。
问题不在 AI，而在基础设施：Jiachen Jiang 谈智能体安全
📌 One-Sentence Summary Jiachen Jiang 借三起智能体事故说明，隔离环境、收窄权限、短期凭证、模型代理与独立日志，比仅靠提示词更能限制实际损害。 📝 Summary 在这场 AI Engineer 演讲中，Coder 产品经理强调，聊天中的行为要求不等于可执行的基础设施边界。她依次讨论 Replit 智能体删除生产数据库的公开
微软与NVIDIA联手打造：第三种PC来临 解决Token焦虑 - 驱动之家
为 AI 规模的提交量重建 CI：Gautam Korlam 谈合并队列与审计证据
📌 One-Sentence Summary Gautam Korlam 指出，智能体大量提交代码后，CI、评审与合并队列会成为新瓶颈；应结合增量检查、风险分级审批和持久审计记录。 📝 Summary Gautam Korlam 结合 Uber 大型单仓库和后续代码审查工具的经验，解释按人类提交速度设计的系统为何难以承受智能体产生的变更量。他回顾 Uber
使用Amazon Bedrock AgentCore生成演示文稿
这篇文章将引导您使用Amazon Bedrock AgentCore构建人工智能代理系统，该系统可以自动从企业文档创建PowerPoint演示文稿。主管代理、Retrial Augmented Generation和Amazon Bedrock Guardrails在90秒内生成接地演示。
如何使用 Amazon Bedrock 构建人工智能驱动的云安全补救 | Amazon Web Services
📌 One-Sentence Summary Tamnoon 开发了 Tami，一个基于 Amazon Bedrock 的代理化云补救编排系统，用于自主调查和补救安全漏洞，将关键云风险降低 90%，并实现零生产问题。 📝 Summary Tamnoon 的 Tami 平台通过自动化调查和补救过程，解决了检测到安全漏洞与其修复之间的差距。使用一套专门针对 Am
Tamnoon如何利用Amazon Bedrock构建人工智能驱动的云安全补救措施
了解Tamnoon如何在Amazon Bedrock上构建Tami，这是一个代理云修复编排器，它可以自主调查和安全地修复来自CNAPP和云原生来源的云安全调查结果。该方法在90天内将关键云暴露减少了90%以上，生产问题为零。
使用Amazon SageMaker ExpressStart部署和评估模型
了解如何从Amazon SageMaker Xpress部署可用模型，使用SageMaker Python SDK运行轻量级且可重复的性能测试，并在测试完成后删除端点。
GitHub - enkiruntime/enki_llm
📌 One-Sentence Summary Enki LLM 是一款纯 Rust 推理引擎，可在 Nvidia T4 上以 ~40 标记/秒的速度运行 Llama-3.2 1B，并具有在生成过程中实现 GPU 显存与 CPU 内存间实时脑迁移的能力。 📝 Summary 该项目实现了一个高性能、零 CUDA 的纯 Rust Transformer 推理引擎
REA：基于 MCP 的开放源码反向工程自动化服务器
📌 One-Sentence Summary REA 是一款开放源码的 MCP 服务器，将底层反向工程工具（如 Ghidra、IDA 和 JADX）集成到一个统一接口中，从而能够由 AI 代理来自动分析编译后的软件特征，并提取可执行代码。 📝 Summary REA（Reverse Engineering Agent）架起了高级 AI 推理与底层二进制分析之