其他
华为openJiuwen与昇腾推出智能体算力亲和技术,推理效率显著提升
华为openJiuwen开源智能体平台协同昇腾硬件,开发了「算力亲和」技术。该技术通过打通Agent框架、推理引擎与底层算力的全链路协同机制,优化KV Cache管理,使得智能体推理时的首token时延降低50%,推理存储占用减少25%。这解决了Agent任务状态与推理引擎资源分配之间的脱节问题,提升了AI推理效率。
多来源证据
事件时间线
- 微信公众号 WeWe-RSSopenJiuwen协同昇腾打造智能体「算力亲和」技术,首token时延砍半,推理存储占用下降25%