华为在全联接大会推出OceanStor M900,专用于存储推理过程中的KV Cache,实现以存换算。通过分层管理缓存数据,提升命中率至95%可显著降低算力消耗。尽管SSD成本高昂,但长期可节省大量计算资源,推动AI推理效率提升。
推荐理由:解决AI推理算力瓶颈,推动高效推理基础设施发展
来源:雷锋网|原文时间:2026-10-08
原文链接:https://www.leiphone.com/category/chips/JidbQuKCNUBEEV6Z.html
原题:华为已为KV Cache单独做存储,专用SSD规格却还没定下来
华为推专用KV Cache存储
华为在全联接大会推出OceanStor M900,专用于存储推理过程中的KV Cache,实现以存换算。通过分层管理缓存数据,提升命中率至95%可显著降低算力消耗。尽管SSD成本高昂,但长期可节省大量计算资源,推动AI推理效率提升。
扫描二维码,在手机上阅读
