显示HN:CUA-S1 - A System One型号供计算机使用
HN ð52· 7 评论
把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。
已收录 801 条 · 近 30 天 575 条 · 第 16 / 28 页
HN ð52· 7 评论
📌 One-Sentence Summary OpenAI 推理工程师 Lu Zhang 与 Qianru Lao 介绍 IRB 如何从反馈环负载均衡器演进为控制面与数据面架构,并通过全局优化器在容量、健康度和缓存约束下分配路由权重,以降低端到端延迟并保持生产稳定性。 📝 Summary Lu Zhang 与 Qianru Lao 介绍 OpenAI 的推理
设计、前端一口气全干了,结果后端没来上班
CANN跨过拐点,华为补上软件生态
GGUF、GPTQ、AWQ、EXL 2和EXL 3以不同的方式解决同一问题。本指南将文件容器与量化方法分开。它解释了单位重量的位数、校准和硬件适合性。然后它显示为Mac、消费级图形处理器和生产服务选择哪种格式。GGUF vs GPTQ vs AWQ vs EXL 2:LLM模型解释(2026)首次出现在MarkTechPost上。
2026年9月17日,第十一届华为全联接大会在上海开幕。大会期间,360集团与昇腾AI联合打造解决方案。以360智能体工厂为核心的智能体基础设施与昇腾AI深度协同,面向AI Agent场景实现全面提速,为复杂任务执行、多智能体协作和长链路推理提供更高效、更稳定的底层支撑。这也是双方继2026世界人工智能大会联合展示后,合作成果的进一步深化落地。 图说:华为全
Jina AI发布了jina-ocr-v1,这是一款视觉文档解析器,可将PDF、扫描、表格、图表和发票转换为Markdown。该模型的总参数为3.4B,每个代币的活跃参数约为5.7亿,并构建在DeepSeek-OCR之上。内置的FastRTP推测解码头每步起草3个令牌,同时保持输出无损。它在OmniDocBench v1.6上的得分为91.14,在olmOC
今年迄今为止,Amazon SageMaker AI在两种部署路径上发布了13次推理发布:完全托管的端点和Amazon SageMaker HyperPod推理。这篇文章回顾了每次发布,从推断建议和容量感知实例池到分层的KV缓存以及分解的预填充和解码。
Jev是一种新型人工智能模型,正在向开发人员展示一条更便宜、更快的软件智能之路。
Moonshot AI的Kimi K3现已在Amazon Bedrock上提供,为您提供强大的新开放重量选项,用于编码和知识工作。它提供了原生视觉,100万个令牌上下文窗口和显式提示缓存,以减少延迟和输入成本。
HN ð40· 14 评论
协同布局AI基础设施
成果中唯一聚焦算电协同全链路运营的AI技术产品
将多模型医疗保健人工智能代理从具有AWS Fargate的自我管理Amazon ECT迁移到Amazon Bedrock AgentCore运行时,保留三重模型编排和载体增强型知识检索,同时减少基础设施管理。框架不可知模式适用于医疗保健、金融服务和制造业。
今天,我们宣布推出新的AgentCore运行时,这是Amazon Bedrock AgentCore的一项功能,旨在满足生产代理所需的速度、灵活性和成本效益。它在会话释放内存时回收内存,并提供一致的冷启动,而不管映像大小或并发性如何。
使用六种开源代理技能在Amazon SageMaker AI上部署可供生产使用的Hugging Face模型。将编码代理指向模型,并返回具有正确的服务容器、自动扩展、Amazon CloudWatch警报和经过验证的拆除路径的实时端点。
从一次成功到一万次稳定执行,具身智能还缺什么?
Amazon SageMaker HyperPod Infection Gateway是一款适用于Amazon EKS的Kubernetes原生、支持GOP的路由附加组件。它使用实时图形处理器信号将每个推理请求发送到最适合的pod,从而将第一个令牌延迟减少高达82%,而无需更改您的模型服务器或客户端应用程序。
哪种开源工具适用于Ollama、LM Studio或llama.cpp?11个已验证的选择,带有许可证和设置规则。The post 2026年本地LLM的最佳开源代理线束appeared first on MarkTechPost .
8 月 12 日,距离月底,还有剩下不到三周时间, AI云销售张雅达已经开始频繁接到领导的电话,被追问月底的缺口准备怎么补,第三季度业绩能否完成。 这种状态已经持续了将近半年时间。 年初 2 月开战略会议,张雅达就知道今年会有一场硬仗要打,当时公司明确强调今年要重点卖模型和算力。为了让大家重视这场会议,整场会不允许任何人迟到,也不允许任何人请假。 3月,Op
构建人工智能原型很容易,但大规模操作自主代理需要生产级工具。Salesforce Agentforce通过结合综合压力测试、实时优化、动态代理UI和确定性护栏,弥合了从“vibe coding”到企业可靠性的差距-西南航空公司7倍的投资回报率证明了这一点。The post Salesforce Agentforce:弥合企业AI差距,从“Vibe Codin
电话会揭秘智谱策略,以递归式优化跑赢300亿算力成本战。 作者丨高允毅 编辑丨岑 峰 9月17日,唐杰罕见的发了一条长推,这次他聊的是最近最火的话题之一: RSI 。 智谱也在暗暗发力RSI,他们已经把RSI放到了 Infra层面 ,做出一套由GLM-5.3驱动的推理基础设施。正是这套Infra系统,让 GLM-5.3-Flash,即前段时间火遍全球的匿名模
📝 今日导语 OpenAI 公开失准案例,Pocock 给出任务拆分,GitHub 推进 Rust 迁移;可借此校准智能体工程方法。 🏷 今日关键词: 模型失准报告 grill-me Ralph loop Copilot Rust 迁移 Graph Engineering OpenViking 经验记忆 📰 今日精选内容 我们报告模型失准的框架 OpenAI
📝 Today's Theme OpenAI reporting, engineering judgment, and Rust migration offer a practical agent-work checklist. 🏷 Keywords: OpenAI safety reporting AI engineering skills GitHub
Git白学了???
要闻提示 1.影视飓风Tim称“iPhoneDuo烫到握不住,可以煎鸡蛋”,苹果客服回应 2.你会买吗?曝玛莎拉蒂已与华为敲定合作两款新车:尊界工厂负责制造 3.每小时“烧掉”超20万元!“AI才女”罗福莉直播小米大模型训练 4.华为汪涛:昇腾960芯片将提前至2027年Q1发布 5.知情人士否认“2027 年问界撤出华为门店”传闻:部分门店将继续销售 6.
该轮融资对这家数据中心巨头的估值为309亿美元。
一项新的基于人工智能的软件程序正在推出,以帮助空中交通管制员更好地完成他们作为美国天空过境警卫的工作。
微软的AKS工程团队于2026年8月28日开源了TauGrid,将tau CLI、Kueue排队、KubeRay编排、图形处理器节点健康状况监控和可观察性打包到一个Helm安装中。它已获得麻省理工学院许可,现在可在任何具有图形处理器节点、kubectl和Helm 3.0或更高版本的Kubernetes 1.30+集群上部署。Microsoft开源TauGri
Anthropic在Claude Code中重新设计了项目。旧项目是一个文件夹:一些文件加上一个聊天。新的对话是一次持续的对话,克劳德担任协调员。你描述工作,克劳德决定什么成为线索。每个线程都是在其自己的分支上运行的完整Claude Code云会话,并且[..] Anthropic在Beta版中推出Claude Code项目:关闭笔记本电脑后继续运行的并行云
HN ð216· 118 评论
📌 One-Sentence Summary Anthropic 展示了 Claude 如何优化 30 多个开源生物分子模型,实现平均 4 倍的加速,并支持在单个 GPU 节点上对大规模分子系统进行建模。 📝 Summary Anthropic 利用 Claude 显著优化了 30 多个用于生物分子建模(包括结构预测和蛋白质设计)的开源深度学习模型的性能和内