hiw3c 日报精选

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

已收录 801 条 · 近 30 天 575 条 · 第 16 / 28 页

星期六 · 12 条
  1. BestBlogs·AI 高分精选BestBlogs 精选23:30中文快照

    生产环境中的 LLM 推理路由:从引擎信号到策略

    📌 One-Sentence Summary OpenAI 推理工程师 Lu Zhang 与 Qianru Lao 介绍 IRB 如何从反馈环负载均衡器演进为控制面与数据面架构,并通过全局优化器在容量、健康度和缓存约束下分配路由权重,以降低端到端延迟并保持生产稳定性。 📝 Summary Lu Zhang 与 Qianru Lao 介绍 OpenAI 的推理

  2. MarkTechPost国际媒体12:04快照

    GUF vs GPTQ vs AWQ vs EXL 2:LLM模型解释(2026)

    GGUF、GPTQ、AWQ、EXL 2和EXL 3以不同的方式解决同一问题。本指南将文件容器与量化方法分开。它解释了单位重量的位数、校准和硬件适合性。然后它显示为Mac、消费级图形处理器和生产服务选择哪种格式。GGUF vs GPTQ vs AWQ vs EXL 2:LLM模型解释(2026)首次出现在MarkTechPost上。

  3. 雷峰网·AI 科技评论中文媒体09:58中文快照

    华为全联接大会2026:360与昇腾AI联合打造解决方案,为AI Agent全面提速

    2026年9月17日,第十一届华为全联接大会在上海开幕。大会期间,360集团与昇腾AI联合打造解决方案。以360智能体工厂为核心的智能体基础设施与昇腾AI深度协同,面向AI Agent场景实现全面提速,为复杂任务执行、多智能体协作和长链路推理提供更高效、更稳定的底层支撑。这也是双方继2026世界人工智能大会联合展示后,合作成果的进一步深化落地。 图说:华为全

  4. MarkTechPost国际媒体05:21快照

    Jina AI发布jina-ocr-v1:3.4B MoE文档解析器,具有针对低预算图形处理器的内置推测解码

    Jina AI发布了jina-ocr-v1,这是一款视觉文档解析器,可将PDF、扫描、表格、图表和发票转换为Markdown。该模型的总参数为3.4B,每个代币的活跃参数约为5.7亿,并构建在DeepSeek-OCR之上。内置的FastRTP推测解码头每步起草3个令牌,同时保持输出无损。它在OmniDocBench v1.6上的得分为91.14,在olmOC

  5. AWS ML Blog海外官方04:52快照

    Amazon SageMaker Inference:回顾2026年至今的发布

    今年迄今为止,Amazon SageMaker AI在两种部署路径上发布了13次推理发布:完全托管的端点和Amazon SageMaker HyperPod推理。这篇文章回顾了每次发布,从推断建议和容量感知实例池到分层的KV缓存以及分解的预填充和解码。

  6. AWS ML Blog海外官方00:52快照

    在亚马逊Bedrock上介绍Kimi K3

    Moonshot AI的Kimi K3现已在Amazon Bedrock上提供,为您提供强大的新开放重量选项,用于编码和知识工作。它提供了原生视觉,100万个令牌上下文窗口和显式提示缓存,以减少延迟和输入成本。

星期五 · 22 条
  1. AWS ML Blog海外官方21:08快照

    介绍Amazon SageMaker HyperPod推理网关

    Amazon SageMaker HyperPod Infection Gateway是一款适用于Amazon EKS的Kubernetes原生、支持GOP的路由附加组件。它使用实时图形处理器信号将每个推理请求发送到最适合的pod,从而将第一个令牌延迟减少高达82%,而无需更改您的模型服务器或客户端应用程序。

  2. 雷峰网·AI 科技评论中文媒体16:08中文快照

    BAT的「AI云销售」,困在MaaS内卷战中

    8 月 12 日,距离月底,还有剩下不到三周时间, AI云销售张雅达已经开始频繁接到领导的电话,被追问月底的缺口准备怎么补,第三季度业绩能否完成。 这种状态已经持续了将近半年时间。 年初 2 月开战略会议,张雅达就知道今年会有一场硬仗要打,当时公司明确强调今年要重点卖模型和算力。为了让大家重视这场会议,整场会不允许任何人迟到,也不允许任何人请假。 3月,Op

  3. MarkTechPost国际媒体15:34快照

    Salesforce Agentforce:弥合从“Vibe编码”到久经考验的规划的企业人工智能差距

    构建人工智能原型很容易,但大规模操作自主代理需要生产级工具。Salesforce Agentforce通过结合综合压力测试、实时优化、动态代理UI和确定性护栏,弥合了从“vibe coding”到企业可靠性的差距-西南航空公司7倍的投资回报率证明了这一点。The post Salesforce Agentforce:弥合企业AI差距,从“Vibe Codin

  4. 雷峰网·AI 科技评论中文媒体14:48中文快照

    深度解读:智谱为什么要在 Infra 层搞 RSI?

    电话会揭秘智谱策略,以递归式优化跑赢300亿算力成本战。 作者丨高允毅 编辑丨岑 峰 9月17日,唐杰罕见的发了一条长推,这次他聊的是最近最火的话题之一: RSI 。 智谱也在暗暗发力RSI,他们已经把RSI放到了 Infra层面 ,做出一套由GLM-5.3驱动的推理基础设施。正是这套Infra系统,让 GLM-5.3-Flash,即前段时间火遍全球的匿名模

  5. BestBlogs·每日早报BestBlogs 精选14:00中文原文

    EP179 · 失准报告、工程 Skills、Rust 迁移 · 09-18 早报

    📝 今日导语 OpenAI 公开失准案例,Pocock 给出任务拆分,GitHub 推进 Rust 迁移;可借此校准智能体工程方法。 🏷 今日关键词: 模型失准报告 grill-me Ralph loop Copilot Rust 迁移 Graph Engineering OpenViking 经验记忆 📰 今日精选内容 我们报告模型失准的框架 OpenAI

  6. 雷峰网·AI 科技评论中文媒体08:19中文快照

    影视飓风Tim称「iPhoneDuo烫到握不住,可以煎鸡蛋」;罗福莉直播小米大模型训练,每小时烧掉超20万元;曝玛莎拉蒂与华为合作两款新车

    要闻提示 1.影视飓风Tim称“iPhoneDuo烫到握不住,可以煎鸡蛋”,苹果客服回应 2.你会买吗?曝玛莎拉蒂已与华为敲定合作两款新车:尊界工厂负责制造 3.每小时“烧掉”超20万元!“AI才女”罗福莉直播小米大模型训练 4.华为汪涛:昇腾960芯片将提前至2027年Q1发布 5.知情人士否认“2027 年问界撤出华为门店”传闻:部分门店将继续销售 6.

  7. MarkTechPost国际媒体05:21快照

    微软开源TauGrid:适用于图形处理器AI工作负载的Kubernetes-Native Stack

    微软的AKS工程团队于2026年8月28日开源了TauGrid,将tau CLI、Kueue排队、KubeRay编排、图形处理器节点健康状况监控和可观察性打包到一个Helm安装中。它已获得麻省理工学院许可,现在可在任何具有图形处理器节点、kubectl和Helm 3.0或更高版本的Kubernetes 1.30+集群上部署。Microsoft开源TauGri

  8. MarkTechPost国际媒体04:45快照

    Anthropic推出Claude Code项目Beta版:关闭笔记本电脑后继续运行的并行云会话

    Anthropic在Claude Code中重新设计了项目。旧项目是一个文件夹:一些文件加上一个聊天。新的对话是一次持续的对话,克劳德担任协调员。你描述工作,克劳德决定什么成为线索。每个线程都是在其自己的分支上运行的完整Claude Code云会话,并且[..] Anthropic在Beta版中推出Claude Code项目:关闭笔记本电脑后继续运行的并行云

  9. BestBlogs·AI 高分精选BestBlogs 精选02:44中文快照

    Claude 如何提升生物分子建模能力

    📌 One-Sentence Summary Anthropic 展示了 Claude 如何优化 30 多个开源生物分子模型,实现平均 4 倍的加速,并支持在单个 GPU 节点上对大规模分子系统进行建模。 📝 Summary Anthropic 利用 Claude 显著优化了 30 多个用于生物分子建模(包括结构预测和蛋白质设计)的开源深度学习模型的性能和内