記憶體牆：為何 RAM 現在主導了 AI 晶片成本

人工智慧的經濟學正在發生轉變。雖然大眾討論多集中在 GPU 的原始運算能力和神經網路的架構精妙之處，但一場更安靜、更昂貴的危機正在硬體供應鏈中展開。近期數據顯示，記憶體已佔 AI 晶片組件成本的近三分之二。

這種轉變將記憶體從輔助組件轉變為 AI 基礎設施的主要成本驅動因素。對於產業而言，這意味著「記憶體牆」不再僅僅是關於數據傳輸速度的技術瓶頸，而是一個財務上的瓶頸，威脅著要推高訓練和推理的成本。

AI 硬體中的經濟轉變

多年來，高效能運算的成本一直由邏輯電路主導——即執行實際計算的電晶體。然而，現代大型語言模型 (LLMs) 的龐大參數數量需要驚人的高頻寬記憶體 (HBM) 來持續為處理器提供數據。

這種需求造成了供需失衡，其影響遠超 NVIDIA 的數據中心範圍。隨著記憶體製造商優先考慮高利潤的 AI 市場，漣漪效應正衝擊著更廣泛的半導體生態系統。用戶反映標準 RAM 的價格大幅飆升，有些人指出高容量記憶體模組的成本在短短幾年內就翻了幾倍。

人們可能會好奇，為什麼新玩家不能直接進入市場以緩解這些短缺。現實是，記憶體製造業受到強大的知識產權「軍火庫」保護。

記憶體製造商坐擁著知識產權的軍火庫。因此，即使有人擁有過剩的晶圓廠產能，並希望進入記憶體製造業，他們也必須在無數的專利中進行艱苦的戰鬥。

除了法律障礙外，建造新晶圓廠 (fab) 所需的資本支出也是天文數字。雖然超大規模雲端服務商 (hyperscalers) 在晶片上投入了數千億美元，但垂直整合進入記憶體製造的風險和複雜性仍然很高。這創造了一個市場，少數幾家主導廠商持有對全球 RAM 供應的重大槓桿作用。

正如某些社群成員所描述的，「AI 怪獸」實際上正在蠶食消費性電子產品市場。由於記憶體製造商有動力將其產能分配給利潤最高的 AI 組件，消費級硬體正遭受打擊。

價格通膨： PC 愛好者和玩家看到 DDR4 和 DDR5 記憶體的成本攀升至與系統其餘部分相比顯得「荒謬」的水平。
硬件技術停滯： 有報告指出筆記型電腦的記憶體容量正趨於停滯，因為產業正專注於高階 AI 企業市場。
市場轉向： 一些分析師指出，NVIDIA 的報告方式轉變——將「GeForce」併入「Edge-Computing」——預示著一種趨勢，即不再將遊戲視為主要驅動因素，而是轉向一個消費級硬體對 AI 基礎設施而言只是附帶產物的未來。

有沒有辦法擺脫這種成本螺旋？社群和產業專家提出了幾種潛在的發展軌跡：

有一種樂觀的看法，即如果製造規模能滿足目前的用量激增，硬體對於推理和訓練的成本可能會顯著降低（可能降低 2 到 3 倍），而不需要任何新的技術突破——只需透過將 DRAM 價格正常化即可。

隨著記憶體成為高價商品，產業可能會回歸「舊方法」，優先考慮記憶體效率。這包括開發更有效率的訓練和推理方式，例如 Apple 的 SeedLM 方法，其重點在於推理期間的記憶體效率。

有一種日益增長的觀點，即如果記憶體成本持續上升，「臃腫軟體」(exemplified by frameworks like Electron) 的時代可能會面臨清算。當 RAM 很便宜時，開發者會忽略效率；當 RAM 是機器中最昂貴的部分時，精簡的代碼將再次成為一種競爭優勢。

記憶體現在構成 AI 晶片成本的大部分這一事實，有力地提醒了軟體始終受限於硬體的物理學和經濟學。在供應鏈趕上之前，或者在模型利用記憶體的方式發生根本性轉變之前，AI 的成本將繼續與少數關鍵大宗商品組件的價格掛鉤。