hiw3c 日报精选

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

已收录 820 条 · 近 30 天 566 条 · 第 25 / 28 页

星期日 · 13 条
  1. BestBlogs·AI 高分精选BestBlogs 精选23:49中文快照

    生产环境验证有效的多语言 RAG 架构

    📌 One-Sentence Summary 一套经过生产环境验证的多语言 RAG 架构,采用「边缘翻译、单一基础语言推理、全流程保护实体」的策略,基于 14 种语言、50M+次查询的实证数据支撑。 📝 Summary 本文提出了一套经过生产环境验证的多语言 RAG 系统架构,通过「边缘翻译、单一基础语言推理、全流程保护实体」的策略解决常见的故障模式。该架构

  2. 雷峰网·AI 科技评论中文媒体21:10中文快照

    3000万用户、过半是企业,千问办公靠什么拿下B端?

    AI办公的To B化趋势,越来越明显。 9月4日,千问办公上线满一个月,阿里亮出了一个数字:用户数突破3000万,其中企业用户占比超过一半。 单看用户规模,这是一个增长数据;但如果放到整个AI办公市场来看,更值得关注的是:包括阿里在内的大厂,正在推动 办公Agent从个人提效工具,转向嵌入企业组织的内部工作流。 在部分业内人士看来,千问办公上线仅一个月就突破

  3. Simon Willison个人技术博客17:08快照

    糟糕的代码是没有限制的

    我对代码的糟糕程度没有限制的评论-Lobos.rs. [In回复有关当技术债务变得难以承受时烧毁它从头开始的评论]根据我的经验,这种方法很少有效。你宣布旧东西正在无法挽回地淹没在科技债务中。你组建了一个团队从头开始重写它。工作开始。与此同时,旧的东西仍然是一个移动的目标:它正在运营核心业务,因此改变仍然是必要的。正在开发它的开发人员知道它很快就会被新事物淘汰

  4. MarkTechPost国际媒体14:11快照

    加州大学伯克利分校研究人员发布了CUA-Lite,这是一个开放平台,为计算机使用代理统一沙盒、数据、评估和RL

    训练和基准测试计算机使用代理需要四件事-代理,环境,跟踪和评估和训练它们的框架-所有四个都以不兼容的格式提供。CUA-Lite来自加州大学伯克利分校领导的团队,将它们放在一个操作空间和一个数据模式之后,并将OSWorld的每任务虚拟机替换为0.9 GB而不是4.1 GB的普通Docker容器。加州大学伯克利分校研究人员发布CUA-Lite,一个统一沙箱的开放

  5. BestBlogs·每日早报BestBlogs 精选14:00中文原文

    EP167 · 蚂蚁 Harness、Uber 成本、长程导航 · 09-06 早报

    📝 今日导语 沿蚂蚁数科 Harness 验收、Uber 成本治理与 UrbanGround 长程导航,判断工程落地边界。 🏷 今日关键词: 蚂蚁数科 Harness Uber 成本治理 UrbanGround 长程导航评测 AI 软件工厂 边缘推理 📰 今日精选内容 AI Coding 的下一步不是写得更快,而是可验收:蚂蚁数科 Harness 工程实践

  6. MarkTechPost国际媒体11:20快照

    Perplexity详细介绍其图形嵌入栈:Ivy、Tulip和ROSE如何为pplx-embed服务

    人工智能搜索产品的检索质量受两件事的限制:嵌入模型有多好,以及在索引中运行它的成本有多低。本周,Perplexity工程团队发布了《GPU上的快速嵌入》,详细介绍了第二种技术--pplx-embed背后的服务基础设施和使用的排名模型。[.] The post Perplexity Details Its GPU Embedding Stack:How Ivy

  7. MarkTechPost国际媒体03:40快照

    GitHub推出HydraFusion项目:在Copilot CLI中为每个编码任务构建工作流的多模型规划

    我们来看看GitHub的研究预览Project HydraFusion,它将工作流选择视为优化问题而不是模型选择器。我们分解了它之间的三种执行模式- Single、具有质量门的Cascade以及具有只读跨家族审查者的Critique。GitHub推出HydraFusion项目:在Copilot CLI中构建每个编码任务工作流的多模型规划首次出现在MarkTe

  8. MarkTechPost国际媒体03:12快照

    Nous Research为Hermes桌面添加了一键本地模型设置

    Nous Research已将本地模型设置简化为Hermes桌面中的单击即可。该应用程序读取您的硬件,根据您的图形处理器对目录进行匹配检查,选择适合的最高质量构建,下载它,并配置llama.cpp -具有硬4位底层和最低64 K上下文窗口。Nous Research为Hermes桌面添加单击本地模型设置的帖子首先出现在MarkTechPost上。

星期六 · 19 条
  1. MarkTechPost国际媒体11:52快照

    英伟达发布个人AI路由器(PAIR):一款开源虚拟推理路由器,可跨RTX、DGX Spark和Mac节点分发本地AI请求

    NVIDIA Personal AI Router(PAIR)是一款开源虚拟推理路由器,可将本地AI请求传播到家庭网络上的机器上。我们介绍了PAIR如何代理现有的Ollama和LM Studio端点,因此代理工具不需要更改,以及其调度程序如何根据就绪状态、引擎状态、确切的模型存在、作业负载和GPU利用率过滤节点。我们浏览了NVIDIA的五个子代理演示,在一台

  2. AWS ML Blog海外官方05:45快照

    使用Amazon Bedrock AgentCore部署多模式WhatsApp订购助手

    了解如何部署多模式WhatsApp订购助理,该助理在单个企业号码上通过文本、语音留言和实时语音呼叫接受客户订单,该助理基于Amazon Bedrock AgentCore和Amazon Nova 2构建。渠道和订购层保持分离,并且一个共享内存识别所有三个渠道中的每个客户。

  3. MIT Tech Review AI国际媒体02:39快照

    在人工智能时代构建内存和存储

    人工智能推理时代已经到来。想象一下,一个医疗保健系统实时分析数百万个数据点以加速救生医学研究,或者一个智能助理立即解决数千个复杂的客户需求。这些现实世界的突破依赖于先进的基础设施,作为持续智能的引擎,为实时服务提供动力,同时.

  4. AWS ML Blog海外官方01:20快照

    设计AgentCore内存的生命周期策略

    长期运行的人工智能代理会积累过时的记忆,从而降低质量并产生合规风险。了解如何为Amazon Bedrock AgentCore设计内存生命周期策略:通过可部署的AWS CDK堆栈,在夜间AWS Step Functions工作流程中对代理内存进行评分、整合和修剪。

  5. BestBlogs·AI 高分精选BestBlogs 精选00:21中文快照

    前沿推理抵达边缘:如何在 NVIDIA Jetson 上部署和优化模型

    📌 One-Sentence Summary 本指南探讨了在 NVIDIA Jetson 上部署先进推理模型,重点介绍如何利用 NVFP4 量化和投机解码来显著提升性能,同时保持模型保真度。 📝 Summary 文章讨论了边缘 AI 的最新进展,特别是新的紧凑型开源模型如何使本地硬件能够执行复杂的推理任务。它详细比较了密集型 Qwen3.8-27B 和稀疏型

  6. TechCrunch AI国际媒体00:04快照

    苹果的Ternus时代始于Nvidia押注整个AI堆栈

    苹果正式进入了Ternus时代。蒂姆·库克(Tim Cook)本周辞去首席执行官一职,将公司交给前硬件首席执行官约翰·特努斯(John Ternus),他的第一份备忘录承诺“下周将进行大规模发布”--这一时机在他安顿下来之前,苹果的下一次iPhone发布会就摆在了他的办公桌上。不过,库克不会走太远:他将继续担任执行主席,专注于政策类型[.]