近日沐曦股份已与国际开源社区LMCache达成合作。此次合作双方基于开源行业主流的“Upstream First”上游优先原则沐曦自研软件栈MXMACA正式加入LMCache官方原生支持体系相关代码也已成功合入LMcahe官方核心代码库与主线项目。未来双方将共同推动大模型推理场景下 KV Cache键值缓存技术在沐曦 GPU 平台上的应用与优化。上游优先加速融入全球开源生态随着大模型应用规模的持续扩大推理成本已成为制约大模型落地的关键因素之一。KV Cache 能够有效降低这一成本。KV Cache 是 LLM 模型在推理阶段的一种基础优化技术核心思路是“以存储换计算”。当模型逐字生成文本时需要反复计算历史内容的注意力信息。如果没有 KV Cache生成第 N 个字时就要把前面 N-1 个字重新算一遍计算量呈平方级增长。KV Cache 的做法是把已经算过的N-1个字 Key和 Value Key为用于相似度匹配的特征向量Value为承载token语义信息、用于加权聚合的特征向量 向量存下来生成新 token 时只计算当前的第N个字然后从缓存里读取历史的 K 与 V 一起参与注意力计算。LMCache 本质上则是一个 KV Cache 的管理系统‌专门优化大模型推理性能。当大模型在生成回答时需要把处理过的上下文KV Cache暂存在 GPU 显存里显存有限长文本或高并发时容易引发崩溃。LMCache 的核心思路是将KV Cache高效移出GPU并在不同请求、不同推理实例、不同存储层之间复用升级为可存储、可迁移、可调度的资源避免重复计算显著降低推理延迟并提升吞吐量 。如果说KV Cache 让单次对话生成速度变快LMCache 的核心目标是保证多轮对话、重复前缀、RAG 文档块等复杂场景中的重复内容不再重复计算实现规模化加速。前者是模型推理的标配后者是在此基础上进一步面向企业业级工程项目的部署成本。LMCache最初是由芝加哥大学研究团队发起的开源项目目前已成为全球主流推理生态的核心项目开源社区已有超过 220位贡献者、30 多家行业合作伙伴。此次与LMCache合作沐曦股份坚定践行“ Upstream First ”原则。不同于传统的“下游分支适配” Downstream Fork 模式沐曦股份并没有将适配代码闭源维护或延后合并而是将MXMACA平台的原生支持直接贡献至上游合并至 LMCache 官方核心代码库与主线项目。这一做法的核心价值体现在生态原生性用户可以直接基于LMCache官方代码库在沐曦GPU上编译与部署确保软硬件协同的纯净与高效。版本同频共振双方共建了持续集成CI验证机制沐曦平台的兼容性随LMCache的版本迭代同步演进保障长期的稳定可用。社区共建共赢通过深度融入上游开源主干沐曦股份不仅为国产算力拓宽了前沿技术的接入路径也为LMCache社区贡献了多元异构算力的支持范式。此次与LMCache社区的深度协作是沐曦股份持续拥抱开源、融入全球AI基础设施生态的重要实践。面向未来持续推进主线支持面向未来沐曦股份与 LMCache 社区的合作将建立长期、持续的协作机制主线代码持续演进MXMACA原生支持已完全纳入LMCache官方主线保障生态长期一致性。CI验证常态化双方自动化集成验证机制实时运行确保每次版本更新对沐曦平台的支持稳定可靠。场景与框架拓展后续沐曦将结合社区反馈逐步拓展在更多推理框架、更多部署场景下的深度适配与优化。通过践行“Upstream First”原则沐曦股份将持续推进自身的GPU架构优势与社区最前沿的推理优化技术紧密结合为用户提供更加完善、可持续演进的软硬件协同能力。