8月12日，华为在一场会议中对外推出AI推理新时间UCM（推理挂牵数据管制器，Unified Cache Manager），这是一款以KV Cache和挂牵管制为中心的推理加快套件，通过推理框架、算力、存储三层协同，优化Tokens在各业务措施中流转的效力，以裁减每Token的推理资本。

华为公司副总裁、数据存储居品线总裁周跃峰在演讲中暗示，AI期间，模子磨真金不怕火、推理效力与体验的量纲齐以Token数为表征，Token经济也曾到来。“但在一定时辰内推理的Token数上，中国头部互联网公司与外洋头部互联网公司仍有差距。”

左证华为会上公布的数据，国外主流模子的单用户输出速率已投入200 Tokens/s区间（时延5ms），而我国大批小于60Tokens/s（时延50 - 100ms），因此，若那儿分推理效力与用户体验的贫瘠山水相连。面前，包括华为在内，各大科技企业齐会在鼎新KV Cache基础上，研发优化推理经过的时间。

以高带宽内存（HBM）为例，在AI推理进度中，本应是数据顺畅流转的 “高速通说念”，但现实是资源时常紧缺。一朝HBM资源不及，AI推理便会出现任务卡顿、反馈平定等问题。UCM的研发场合主要在于不再单纯依赖HBM这一 “独木桥”，而是在存储层面构建起一个多层级、可无邪调配的资源体系，使得推理经过中的数据约略在不同存储介质间合理流动，充分诈骗各级存储的上风。

左证华为的测进修证，UCM可将首Token时延最高裁减90%，系统浑沌最大普及22倍，终了10倍级高下文窗口膨大。

但从时间上看，尽管国内厂商在AI推理的硬件层面，如算力芯片等方面取得了一定确认，但在以KV Cache为中枢的软件体系构建上，尚未变成圆善、闇练且具有无为适用性的处分决议。而在国外，也曾有一些较为闇练的基于KV Cache的推理加快软件框架与器用，约略很好地与各样硬件平台适配。

华为在会上暗示，但愿连接产业界的力量，鞭策以挂牵数据管制为中心的AI推理生态。

“面前业界短少一套在各式场景下齐能普适适用的框架、加快机制与算法，咱们但愿通过将部分限制灵通，促进框架厂商、存储厂商以及GPU厂商共同加快这一框架机制的闇练，最终处分刻下AI行业落地经过中的效力与资本问题。”华为数据存储居品线AI存储首席架构师李国杰暗示，华为筹划在本年9月认真开源UCM。

中国信息通讯筹谋院东说念主工智能筹谋所平台与工程化部主任曹峰暗示，“系统级的推理架构优化也曾变成主流，但不是单点时间的残害，咱们要从通盘这个词芯片级的、软件级的，再到表层的框架级的进行协同磋商，变成通盘这个词推理架构，这亦然改日产业的发展要点。”

举报 第一财经告白合作，请点击这里此执当作第一财经原创，文章权归第一财经通盘。未经第一财经籍面授权，不得以任何容貌加以使用，包括转载、摘编、复制或成就镜像。第一财经保留根究侵权者法律包袱的权益。如需获取授权请筹谋第一财经版权部：banquan@yicai.com 文章作家

李娜

关系阅读 上半年仅完周详年指标28%，岚图新款SUV能否夺得阛阓份额

再搭华为智能化“顺风车”。

5 205 07-13 09:44 深理工与华为开启策略合作 修复新式筹谋型大学东说念主工智能示范应用基地

华为副总裁、供应链管制部总裁汤启兵强调，深圳理工与华为的合作是“科教+产业”的通力和谐。

31 06-24 11:44 华为发布会：6499元起！Pura 80系列售价公布

华为Pura80系列首发搭载HarmonyOS 5.1，起售价为6499元。

8 350 06-11 16:23 晓数点丨6月财经日期请查收！

苹果环球开辟者大会将召开、港股宁德期间加入MSCI中国规范和大盘股指数、国内航路燃油附加费将下调……6月哪些财经大事值得柔和？一图速览

230 05-31 21:39 华为车BU靳玉志：撑握规范智能驾驶宣传

华为智能汽车处分决议BU CEO靳玉志称欧洲杯体育，当今行业竞争狠恶，好多智驾公司转行去作念机器东说念主了。

182 05-31 14:29 一财最热 点击关闭