hiw3c 日报精选

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

已收录 794 条 · 近 30 天 540 条 · 第 21 / 27 页

星期四 · 20 条
  1. NVIDIA AI Blog海外官方21:00快照

    d-Matrix承诺NVIDIA NVLink Fusion进行机架级XPU部署

    人工智能推理芯片制造商d-Matrix今天宣布,将使用NVIDIA NVLink Fusion将其下一代Raptor XPU连接到NVIDIA的人工智能基础设施平台,加入越来越多的生态系统合作伙伴名单。通过将Raptor连接到NVIDIA NVLink横向扩展和Spectrum-X横向扩展网络、NVIDIA MGX机架架构和更广泛的NVIDIA AI平台,N

  2. BestBlogs·AI 高分精选BestBlogs 精选20:30中文快照

    利用自适应模型路由优化多智能体系统中的 LLM 推理成本

    📌 One-Sentence Summary 本文介绍了一种用于多智能体系统的自适应模型路由架构,该架构根据任务复杂度、推理需求和上下文大小动态分配 LLM,在不牺牲输出质量的前提下显著降低了推理成本。 📝 Summary 本文提出了一种「自适应智能体模型路由」架构,旨在优化多智能体 AI 系统的推理成本。该架构摒弃了静态模型分配方式,通过允许各个智能体生成

  3. 雷峰网·AI 科技评论中文媒体19:00中文快照

    深度解读 DeepSeek V4.1 Flash 全新架构,如何成为显存杀手

    KV 缓存暴降 437 倍,Agent 成本大洗牌。 作者丨高允毅 编辑丨岑 峰 刚刚 DeepSeek V4.1-Flash 上线,最值得关注的是它的全新架构。 这是一次针对长上下文场景的架构重写。过去,更强的智力往往意味着更庞大的算力,超长上下文背后是极高的硬件需求。 但DeepSeek 这次用因果编码器-解码器架构 Causal-Encoder-Dec

  4. MIT Tech Review AI国际媒体19:00快照

    为人工智能提供动力是一个架构问题

    2026年7月22日,弗吉尼亚州阿什本(全球最大数据中心集群的中心)的输电线故障导致电网在几秒钟内失去了超过3千兆瓦的负载。这并不是第一次。两年前,一个发生故障的电涌放电器同时使弗吉尼亚州约60个设施和1,500兆瓦的电力断电。不...

  5. 雷峰网·AI 科技评论中文媒体18:49中文快照

    蚂蚁数科推出 Agentar 金融版 助力金融机构打造智能体超级工厂

    9月10日,在2026 Inclusion·外滩大会见解论坛上,蚂蚁数科AI业务总裁余滨表示,蚂蚁数科推出Agentar 金融版,提供开箱即用的金融智能体专家团、行业 Skill、MCP、智能体评测工具及治理能力,为金融机构打造覆盖智能体开发、部署、协作、评测与管理的智能体超级工厂,加快AI智能体在金融真实业务场景中的落地应用。 AI在金融业的应用已经从问答

  6. 雷峰网·AI 科技评论中文媒体17:41中文快照

    AI业务三位数增长,蚂蚁数科完成AI时代转型

    “过去两年,蚂蚁数科整体业务年均增长近50%,AI To B业务增速达到三位数。”9月10日,蚂蚁数科CEO赵闻飙在外滩大会媒体交流会上披露公司最新业务进展。这也是蚂蚁数科独立运营两年后,首次系统披露业务表现。 在赵闻飙看来,AI正在成为蚂蚁数科新的增长引擎。与此同时,随着企业内部智能体数量快速增长,如何规模化生产、运行和管理智能体,将成为企业AI落地的新需

  7. 雷峰网·AI 科技评论中文媒体16:26中文快照

    成都市武侯区与蚂蚁数科达成合作,共建医疗健康智能应用产业基地

    9月10日,在2026 Inclusion·外滩大会现场,成都市武侯区政府与蚂蚁集团就“AI+医疗健康”领域达成整体合作,共同推进医疗健康数智基础设施建设与AI应用创新。在此次合作框架下,成都市武侯区发展和改革局(区数据局)、成都市武侯区悦湖科技中心与OceanBase、蚂蚁健康、蚂蚁数科共同签署框架协议,将围绕医疗健康数据基础设施、行业大模型、AI应用创新

  8. MarkTechPost国际媒体15:31快照

    DeepSeek AI发布DeepSeek-V4.1-Flash,支持1 M上下文、FP 4 KV缓存和跨层注意力重用

    长期代理已将LLM服务变成了一项投入繁重的工作量。重复的预填充和数百万个令牌上下文会导致KV缓存给HBM、SSD容量和带宽带来压力。DeepSeek AI围绕这一瓶颈构建了其最新版本。DeepSeek-V4.1-Flash是一个多模式专家混合模型,具有552 B主干参数、196 B额外的Engram参数和1 M令牌上下文窗口。It [.] The post

  9. MarkTechPost国际媒体10:13快照

    LandingAI发布带有DPT-3 Pro和DPT-3 Verity的统计文档提取Gen 2

    LandingAI已推出Emotitic Document Extraction Gen 2,这是在DPT-3模型系列上对其文档堆栈的重建。块被退役,取而代之的是文档、页面和块树。DPT-3 Pro以置信度分数计算,DPT-3 Verity以置信度分数计算,Parse计费现在计算输出字符而不是平面页面。Gen 1代码不会针对Gen 2端点运行。Landing

  10. AWS ML Blog海外官方04:01快照

    ICYMI:2026年8月人工智能构建者将迎来什么

    2026年8月,Amazon Bedrock、Amazon Bedrock AgentCore和Strands上的AI构建者发布了以下内容:OpenAI模型的百万令牌上下文、跨区域推理、在专用计算上运行长达14天的代理、扩展的AWS GovCloud可用性以及用于物理部署的Strands Robots。

  11. arXiv cs.AI/CL/LG信号源(脚本内置抓取)01:31快照

    IBIB:通过服务路线而不是模型标识符来衡量企业人工智能系统的协议

    作者:Blake Stenstrom、Charangan Vasantharajan、Brian Sathianathan|企业部署系统,而不是检查点。可用能力共同取决于权重、服务路线、精度、输出合同和利用率,但所有18个审计基准都对广告的模型标识符进行评分。我们将其视为测量错误,并给出一个使其可报告的协议。它有三个部分。金盲能力约束飞行前验证路线可以执行评