减少内存需求的技术，让内存股应声下跌

开篇

订阅者朋友，周三美股市场出现了一幕有趣的场景。在纳斯达克100指数上涨的同时，内存半导体股票却逆势下跌。SanDisk -5.7%，西部数据 -4.7%，希捷 -4%，美光 -3%。扣动扳机的是谷歌研究团队公开的一种名为TurboQuant的压缩算法。韩国股市也立即受到了影响。截至撰写本期新闻通讯的18点，三星电子/SK海力士/韩美半导体/Leeno工业/Wonik IPS等半导体相关企业大多录得下跌。

“让AI减少内存使用的技术”——光看标题，这对内存企业来说似乎是个坏消息。但这项技术实际减少的是GPU上的临时存储空间（KV缓存），而不是插在服务器里的HBM¹​或DRAM模组。市场读到的信号，和技术本身传达的信号之间存在落差，而这个落差的背后，隐藏着一个横跨整个AI硬件领域的更大问题。今天我们就来一起梳理这个落差与问题。（说实话，如果不太关心原理，可以直接跳到“市场为何做出反应”部分！）

TurboQuant实际在做什么

先来梳理一下这项技术。AI在延续对话时，为了记住前面说过的内容，需要把信息存储在一种叫做KV缓存²​的临时内存里。对话越长，这个内存就会呈指数级增长，这也是推高AI服务成本的元凶之一。TurboQuant是一种能把这种记忆尽可能压缩到最小、同时几乎完整保留内容的算法。而且不需要额外的训练或微调。

用比喻来解释核心思路是这样的。原本AI存储的数据，数值大小各不相同。有些值很大，有些值很小，分布参差不齐。这样的数据很难高效压缩。TurboQuant的第一步——PolarQuant——对这些数据施加随机旋转（random rotation），让所有数值的分布变得均匀。就像把大小不一的行李重新打乱整理，让它们都变成差不多的尺寸。这样一来，就能非常高效地装进规格统一的箱子里。用论文的数学表达来说，旋转之后，每个坐标都趋近于服从贝塔分布，坐标之间几乎相互独立，从而可以对每个坐标单独应用最优的标量量化³​。

但这里还有一个问题。AI并不只是单纯存储信息，它还要不断执行比较存储信息之间相似程度（内积运算）的操作。论文的证明显示，针对MSE（均方误差）优化的量化器，会在这个比较值上产生系统性偏差（bias）。因此需要第二步——QJL（量化约翰逊-林登斯特劳斯）。在第一阶段压缩缩小体量之后，再用仅仅1比特对剩余的残差（residual）进行一次修正。正是这种两阶段方法，使得比较值的偏差被完全消除。

从论文的实验结果来看，在3.5比特时，质量与原始模型几乎完全相同；即便更激进地压缩到2.5比特，质量下降也微乎其微。以Llama-3.1-8B-Instruct模型为基准，LongBench基准测试的平均得分与未压缩版本几乎一致（50.06对50.06），在长度达10万4千个token的Needle in a Haystack测试中保持了100%的准确率。压缩率达到4.5倍以上。

尤其令人印象深刻的是速度。现有的乘积量化（PQ）方法对1,536维数据建立索引大约需要240秒，而TurboQuant只需要0.0013秒。相差约18万倍。这是因为TurboQuant是一种不需要针对数据训练码本的在线（data-oblivious）方式。

不过有一点需要指出。谷歌博客中强调的“最高提速8倍”这个数字，是在注意力logit运算这一特定环节，相对于JAX基线测得的，并不是端到端推理吞吐量的8倍。而且“内存缩减6倍”这一说法，在博客和论文之间也存在细微差异——论文的表述更为保守，称为“4.5倍以上”。数字会根据发布渠道被不同程度地包装，这是我们阅读科技新闻时始终需要留意的地方。

市场为何做出反应

市场的逻辑很简单。“如果AI只需用到六分之一的内存，那内存需求不就减少了吗？”今年内存股涨幅本就很大（SanDisk年初至今涨幅超过200%），所以某种程度上也需要一个获利了结的借口。但如果我们退一步来看，就会发现KV缓存和HBM虽然都用了“内存”这个词，但它们运作的层面并不相同。

KV缓存是LLM在延续对话时，为了避免重新计算此前已经计算过的注意力数据，而临时存储在GPU内存中的内容。当上下文窗口扩展到100万个token时，以Llama 3 70B模型为基准，仅KV缓存就要占用约512GB，是模型权重本身容量的4倍之多。因此KV缓存压缩是当前AI基础设施领域最炙手可热的研究课题之一。

相比之下，HBM需求源自模型训练与推理全过程中的带宽瓶颈。据TrendForce预测，2026年HBM需求预计同比增长70%，美国银行则预测2026年HBM市场规模约为546亿美元（同比增长58%）。SK海力士、三星、美光均表示，2026年的HBM产能实际上已经处于售罄（sold out）状态。

用简单的比喻来说是这样的。TurboQuant改善的是办公桌上的便签整理方法，而HBM需求则是整栋建筑需要更多的办公室。把便签整理得更高效，并不会减少对建筑本身的需求。 反而，便签整理得好，一个办公室能处理更多工作，这可能反而会让人更想多盖几栋楼。

不只是谷歌一家的故事——英伟达的KVTC

这里还有一个容易被忽略的背景。KV缓存压缩并不是只有谷歌在做。在同一届ICLR 2026大会上，英伟达也发布了名为KVTC（KV Cache Transform Coding）的技术。它把JPEG图像压缩中使用的变换编码原理应用到了KV缓存上，据称实现了最高20倍的压缩。在特定情况下甚至可达40倍。（天啊，又是你？）

谷歌的TurboQuant（压缩6倍，无需训练）和英伟达的KVTC（压缩20倍，需要预先校准）虽然方法不同，但要解决的问题是一样的。而且英伟达计划将KVTC整合进自家的推理框架Dynamo中。

这为什么重要呢？因为一旦KV缓存压缩技术进入实际部署，同样的GPU就能处理更长的上下文、更多的并发请求。对AI服务商来说，这意味着推理成本的降低。效率提升了，需求就会减少吗？未必如此——可以回想一下上一期新闻通讯中提到的杰文斯悖论⁴​。但市场目前是从另一个角度在解读这项技术。

Oswarld视角

比起TurboQuant本身，我更感兴趣的是市场对这条新闻做出反应的方式。因为这不仅仅是内存股的故事。

从更宏观的角度看，如今整个AI硬件产业链都在面对同样的问题。英伟达在2026财年录得营收2,159亿美元、净利率超过55%这一前所未有的业绩，但股价相较去年10月的高点仍低约11%。美光也是如此。两天前刚公布了历史最佳季度业绩（营收238.6亿美元，毛利率74.9%），但市场的反应却集中在“能否承担250亿美元以上的资本支出”这一问题上。GPU在跌，DRAM在跌，NAND存储也在跌。

市场真正在问的问题是“这种速度的基础设施投资是否可持续”。四大科技巨头（微软、Meta、Alphabet、亚马逊）2026年的资本支出指引合计高达6,500亿至7,000亿美元。这是人类历史上投入单一目的的私人资本中规模最大的案例之一。投资者之间围绕“这项投资的回报率是否能被证明合理”的争论正日益加剧。我们平时所说的“AI泡沫”，也正是在这样的背景下产生的话题。

从GTM战略的角度来看，我的框架是这样的。每一次技术基础设施周期，都会经历一个“建设阶段”和一个“优化阶段”。在建设阶段，“先铺开再说”就是战略。而在优化阶段，战略变成“如何把已经铺开的东西的效率最大化”。TurboQuant、英伟达的KVTC，以及各大超大规模云厂商自研芯片（谷歌TPU、亚马逊Trainium）——所有这些动向，都是优化阶段的信号。

那这算是看空信号吗？我不这么认为。优化阶段不是增长的终点，而是增长走向成熟的过程。只是市场对此定价的方式会有所不同。如果说建设阶段的策略是“全都买”，那么在优化阶段，就需要分辨谁是这场效率提升的受益者、谁又要承担成本。

目前内存市场的基本面依然强劲。HBM产能在整个2026年都处于售罄状态，美国银行预估的市场规模为546亿美元（同比增长58%）。但“算法正在取代硬件”这样的叙事一旦进入投资者的脑海，估值越高的标的，反应就会越敏感。如果SanDisk年初至今涨幅超过200%，那么一篇论文就足以造成-5.7%的跌幅。

关键在于时间轴的区分。像TurboQuant这样的软件优化，能对硬件需求增速产生影响，那是2027年以后的事。2026年的内存供应短缺，是物理性的晶圆厂建设与良率问题，并不是靠算法能解决的领域。当市场混淆这两条时间轴时，那正是机会所在，同时也是风险所在。

结语

最后再补充一点。**TurboQuant原始论文（arXiv:2504.19874）的发表日期是2025年4月28日，几乎是一年前的事了。**有人在一年的时间里不断打磨这项技术，把它发布到谷歌研究博客上，为ICLR 2026的发表做准备，最终搅动了整个市场。从实验室里诞生的一个想法，到最终撬动华尔街股价之间所经历的这段时间里，究竟积累了什么，想想还挺有意思的。

总结一下。TurboQuant是一项能将AI推理效率提升一个台阶的、有意义的技术。但今天内存股下跌的原因，并不只是这一项技术本身，而是因为市场开始读出了整个AI硬件产业链从“建设”走向“优化”这一阶段转折的信号。如果能理解技术所处的层面，并区分好时间轴，就能在这样的波动中做出更好的判断。

如果一年前的一篇论文能撼动今天的市场，那么此刻正从实验室里诞生的那些论文，一年之后又会撼动什么呢？

⚠️ 本新闻通讯并非针对特定股票的投资建议。投资决策请务必基于本人的分析并咨询专业人士后再做出。

参考资料与延伸阅读

• Zandieh, A., Daliri, M., Hadian, M., & Mirrokni, V.，“TurboQuant: Online Vector Quantization with Near-optimal Distortion Rate”，arXiv:2504.19874，2025年。计划在ICLR 2026发表。：本期新闻通讯核心——TurboQuant论文原文。可直接查阅两阶段压缩结构的数学证明与实验结果。特别是Table 1（LongBench结果）和Figure 4（Needle in a Haystack结果）是关键内容。
• Google Research，“TurboQuant: Redefining AI efficiency with extreme compression”，2026年。：为普通读者整理论文内容的谷歌研究博客。不过博客与论文之间在数字表述上存在细微差异，精确数值请参考论文原文。
• Łańcucki等，“KV Cache Transform Coding for Compact Storage in LLM Inference”，ICLR 2026。：英伟达的KVTC论文。对比它与TurboQuant方法上的差异，能看清KV缓存压缩领域的整体格局。
• Investing.com，“MU, WDC, SNDK fall: Why Google’s TurboQuant is rattling memory stocks”，2026年3月25日。：报道今日内存股下跌情况的文章。
• SK hynix，“2026 Market Outlook: SK hynix’s HBM to Fuel AI Memory Boom”，2026年1月。：有助于理解2026年内存市场的结构性需求。文中整理了HBM3E与HBM4的需求预测。
• Fortune，“Rampant AI demand for memory is fueling a growing chip crisis”，2026年2月。：深入报道AI正在如何重塑整个内存市场的文章。
• CNBC，“Even a $1 trillion forecast can’t break Nvidia out of a 2026 funk”，2026年3月。：分析英伟达业绩创纪录但股价横盘原因的文章。有助于理解“建设阶段→优化阶段转换”的市场心理。
• VentureBeat，“Nvidia says it can shrink LLM memory 20x without changing model weights”，2026年3月。：从实际部署角度报道英伟达KVTC技术的文章。是理解其与谷歌TurboQuant差异的良好补充材料。

作者安光涉是世宗大学经营学教授，也是 OBF（Oswarld Boutique Consulting Firm）首席顾问。他在大学教授经营数据管理、商业分析等统计与数据分析课程，同时在产业现场负责 GTM 与人工智能战略咨询，设计技术与商业的连接方式。他曾发表关于 AI 对话系统记忆架构（HEMA）的学术论文，并运营每日策展全球 AI 论文的 Daily Arxiv 项目。他毕业于高丽大学技术经营专业研究生院与 KMBA，著有《把思考交出去的人：Homo Brainless》。

注释

1. HBM（High Bandwidth Memory，高带宽内存）：垂直堆叠在AI芯片（GPU）旁边的超高速内存。由于数据传输速度比普通DRAM快数倍，已成为AI训练与推理中的核心部件。 ↩

2. KV缓存（Key-Value Cache）：LLM在进行对话时，用来存储此前已计算出的“关键信息（Key）”与“数值（Value）”的临时内存。如果不存储这些内容，每次都要从头重新计算，对话越长，这个缓存占用的GPU内存就越大。 ↩

3. 量化（Quantization）：将精确的小数点数值（例如32比特）压缩为更少比特（例如4比特、3比特）的技术。文件体积会因此缩小，但如果压缩过度，信息可能会失真。 ↩

4. 杰文斯悖论（Jevons Paradox）：资源使用效率提高，总使用量反而增加的现象。这一说法源自19世纪英国经济学家威廉·斯坦利·杰文斯的观察——煤炭使用效率的提升，并未带来煤炭消耗量的减少。 ↩