hiw3c AI 日报
雷峰网·AI 科技评论 中文 网页快照

华为已为KV Cache单独做存储,专用SSD规格却还没定下来

推理的KV Cache,已经大到需要单独管理了。 这已经成为行业内越来越明确的共识。近日,华为全联接大会上推出了华为OceanStor M900,英伟达也已经推出了CMX Context Memory Storage。 这类AI记忆存储产品,会将推理过程中已经产生、可能再次复用的KV Cache进行分层管理和存储,在后续请求命中时减少相应的重复计算,这将直接节省有关算力开销。 有业者明确表示,即使

来源:雷峰网·AI 科技评论 · www.leiphone.com

华为已为KV Cache单独做存储,专用SSD规格却还没定下来

从DRAM到SSD,换算不是1比1

KV需求冒头,SSD标准却没跟上

存储压力下去了,搬运成本还在

把512 GiB闪存搬到xPU旁边,HBF能打破推理内存墙?

英韧科技董事长吴子宁:从空转到满载,AI SSD如何把 ...

当参数不再决定胜负,AI时代的企业级SSD靠什么「赢」 ...

忆恒创源发布全新企业级SSD,基于平头哥镇岳510打造 ...

独家解读丨国产GPU四份半年报出炉,赚钱后才发现二级市场「难哄」

华为已为KV Cache单独做存储,专用SSD规格却还没定下来

5500颗光引擎如何撑起4096卡超节点?华为NPO的故事还没讲完

Imagination E系列性能首秀:用AI把分辨率翻倍仅需2.3毫秒,Prefill性能提升4.7倍

独家解读丨国产GPU四份半年报出炉,赚钱后才发现二级市场「难哄」