内存墙：为什么 RAM 现在主导了 AI 芯片成本

人工智能的经济学正在发生转变。虽然公众讨论大多集中在 GPU 的原始算力和神经网络的架构精妙性上，但一场更安静、更昂贵的危机正在硬件供应链中展开。最近的数据表明，内存已增长到占据 AI 芯片组件成本的近三分之二。

这种转变将内存从一个辅助组件转变为 AI 基础设施的主要成本驱动因素。对于行业而言，这意味着“内存墙”不再仅仅是关于数据传输速度的技术瓶颈，而是一个威胁到训练和推理成本通胀的财务瓶颈。

AI 硬件中的经济转变

多年来，高性能计算的成本一直由逻辑部分主导——即执行实际计算的晶体管。然而，现代大语言模型 (LLMs) 的海量参数量需要惊人的高带宽内存 (HBM) 来不断为处理器提供数据。

这种需求造成了供需失衡，其影响远超 NVIDIA 数据中心的围墙。随着内存制造商优先考虑高利润的 AI 市场，连锁反应正冲击着更广泛的半导体生态系统。用户报告称标准 RAM 的价格大幅上涨，一些人指出，高容量内存模块的成本在短短几年内就翻了几倍。

人们可能会想，为什么新玩家不能简单地进入市场来缓解这些短缺。现实情况是，内存制造受到强大的知识产权“军火库”的保护。

内存制造商坐拥庞大的 IP 军火库。因此，即使有人拥有多余的晶圆厂产能并希望进入内存制造领域，他们也将不得不面对大约无数专利的艰难战斗。

除了法律障碍外，建造新晶圆厂 (fab) 所需的资本支出是天文数字。虽然超大规模云计算提供商 (hyperscalers) 在芯片上花费数百亿美元，但垂直整合进入内存制造的风险和复杂性仍然很高。这创造了一个市场，少数主导玩家对全球 RAM 供应拥有显著的杠杆作用。

正如一些社区成员所描述的那样，“AI 怪兽”实际上正在蚕食消费电子市场。由于内存制造商有动力将产能分配给利润最高的 AI 组件，消费级硬件正遭受损失。

价格通胀： PC 爱好者和玩家发现 DDR4 和 DDR5 内存的成本攀升到了相对于系统其余部分而言显得“荒谬”的水平。
硬件停滞： 有报告称笔记本电脑内存容量处于停滞状态，因为行业正专注于高端 AI 企业市场。
市场转向： 一些分析师指出，NVIDIA 在报告中的转变——将 "GeForce" 合并到 "Edge-Computing" 中——标志着一种转变，即不再将游戏视为主要驱动力，而是转向一个未来，即消费级硬件成为 AI 基础设施的附庸。

有没有办法走出这种成本螺旋？社区和行业专家提出了几种潜在的轨迹：

有一种乐观的观点，即如果制造规模能够满足当前的用量激增，推理和训练的硬件成本可能会看到显著下降（可能达到 2 倍到 3 倍），而无需任何新的技术突破——只需通过使 DRAM 价格回归正常即可。

随着内存成为一种溢价商品，行业可能会回归“旧方法”，即优先考虑内存效率。这包括开发更高效的训练和推理手段，例如 Apple 的 SeedLM 方法，该方法专注于推理过程中的内存效率。

有一种日益增长的情绪，即如果内存成本继续上升，那么“臃肿软件” (exemplified by frameworks like Electron) 的时代可能会面临清算。当 RAM 便宜时，开发者会忽略效率；当 RAM 成为机器中最昂贵的部件时，精简的代码将再次成为一种竞争优势。

内存现在构成 AI 芯片成本的大部分这一事实，是一个严峻的提醒，即软件始终受限于硬件的物理特性和经济学。在供应链赶上或模型利用内存的方式发生根本性转变之前，AI 的成本将继续与少数关键大宗商品组件的价格挂钩。