控制开销上，OpenAI如今似乎正准备采纳DeepSeek早先采用的路径。

据海外媒体透露，OpenAI已寻觅到一种新的系统优化方法，能将模型推理成本削减过半。

原文是这样描述的：以往的数万台GPU才能应对的需求，如今用数百台便足够了。

实际上，当前AI企业最为焦灼的，并非模型能否变得更为聪慧，而是显赫的智能背后要耗费多少银两。

过去，行业的主导方向始终是提升模型性能、扩展上下文窗口。可结果呢？能力确是增强了，开销也跟着上涨了。

特别是对于OpenAI这类月活跃用户达8亿的平台，推理成本是其商业运转的基础。

当众人皆将AI编程、Agent视为核心议题之际，OpenAI正准备讲述一个新篇章。

一、OpenAI其实很早便着手寻求降低推理成本的办法

尽管OpenAI至今未公开这项方案的技术细节，但有消息人士向外媒证实，推理优化的方向主要来自KV cache的改进。

KV cache究竟是什么？

简而言之，它就是模型在阅读前文后留下的“备忘录”。

大型模型生成一句话，并非一次性完成，而是逐个token地逐步输出。每当生成一个新token，都需要回溯前文，判断接下来该说什么。

若无KV cache，模型每生成一个新token，就必须将前文整段内容重新读取、重新计算。譬如你询问了1万字资料，它生成第1个字需读一遍，生成第2个字还要再读一遍，生成到第10000个字还是得重读一遍，这样成本会急剧攀升。

海外科技博主安德鲁·库兰（Andrew Curran）提到，OpenAI在架构上取得了重大突破，特别是在内存效率方面。最为关键的是，负责开发这个新架构的团队是从OpenAI独立出来的，并且这个团队预计很快就会公布其成果。

其实OpenAI对KV cache的关注并非一天两天。

早在2024年10月的开发者文档更新中，OpenAI便加入了Prompt Caching（提示词缓存）机制。

Prompt Caching本质上就是对KV cache的再利用，模型首次阅读一段前缀后，会生成相应的中间结果；倘若后续请求使用了相同的前缀，系统便可直接复用这部分KV cache，无需重新计算整段prompt。

前缀通常是指开头那段反复出现的内容。比如“你是一个严谨的法律助手，你可以调用搜索、数据库、计算器，以下是合同全文……请找出风险条款”。

其底层逻辑十分简单，许多请求并不是完全从零开始的。

尤其是系统提示、代码库上下文、长对话历史，往往反复出现。倘若每次都把这些前缀重新执行prefill，等于在浪费算力。

官方文档指出，借助Prompt Caching，延迟有望最高降低80%，输入token成本可能最高削减90%。

实际上，2024年5月时，DeepSeek就曾提出过类似思路，目的在于压缩KV cache。在DeepSeek-v2的技术报告中，DeepSeek团队提出了一种新机制，命名为Multi-head Latent Attention（MLA）。

MLA的核心目的就是为了压缩KV cache。报告内称，MLA将KV cache压缩进latent vector，从而实现高效推理。相较于 DeepSeek 67B，DeepSeek-V2的KV cache减少了93.3%，最大生成吞吐增至5.76倍。

DeepSeek在V4发布后很快调整了缓存命中价格，这其实也是发觉到KV cache可以被复用的原因。

目前GPT尚未推出类似的折扣机制，所以本次OpenAI的推理优化，或许倾向于是跟随DeepSeek的老路。

二、KV Cache是如何制约HBM的

KV