主權 AI：挪威建立國家語言模型的雄心

人工智慧的追求通常被框架化為少數全球科技巨頭之間的競賽。然而，另一種不同形式的競賽正在興起：對「主權 AI」的追求。挪威目前正處於這場運動的前沿，其國家圖書館 (Nasjonlbiblioteket) 正承擔著一項艱巨的任務，即建立一個專門為理解和反映挪威語言、歷史和文化的大型語言模型 (LLM)。

這一倡議是由一個根本性的信念所驅動的：全球訓練、以英語為中心的模型缺乏真正代表一個國家遺產所需的細微差別。正如圖書館的 IT 平台負責人 Marius Husnes 所言，任何沒有主權 LLM 的國家都處於劣勢，因為通用型模型無法完全捕捉到當地語言中所描述的文化背景。

資料引擎：從檔案館到管線

建立主權 LLM 需要的不僅僅是算力；它還需要經過策劃、高品質的數據集。挪威國家圖書館在此任務中具有獨特的優勢，擁有該國最大的書籍、報紙和網頁數位收藏。自 2005 年以來，圖書館已累積了 20 PB 的獨特數據，並以冗餘的 3-2-1 格式儲存（總儲存容量為 60 PB）。

然而，將這些數據從保存檔案館移至訓練管線面臨著重大的工程挑戰。圖書館的保存系統是針對耐用性和成本進行優化的，這意味著它具有高讀取延遲，且設計用於低頻率訪問。相比之下，AI 訓練需要高吞吐量、低延遲的並行數據 I/O。

為了彌補這一差距，圖書館實施了兩階段處理架構：

AI 資料管線： 利用總計 2 PB 快閃記憶體容量的多個 Huawei OceanStor Dorado 全快閃陣列，圖書館為數據攝取、清洗、去重、格式標準化和驗證創建了一個低延遲環境。
訓練集群： 數據準備就緒後，將被移至 Sigma2 Olivia 系統，即挪威的國家超級電腦。這套 HPE Cray Supercomputing EX 系統配備了 448 個 GPU 和 64,512 個 CPU 核心，並由 5.3 PB Cray ClusterStor E1000 儲存系統提供支持。

國家 AI 的挑戰

除了硬體之外，該項目還突顯了在開發國家模型過程中的幾個非平凡障礙：

評估： 目前沒有行業標準工具來評估主權挪威 LLM。該語言的複雜性——包括兩種書寫形式、各種方言和歷史演變——要求團隊必須從頭開始構建自己的評估工具。
治理： 該項目引發了關於誰控制模型訪問權限以及誰決定其許可用途的關鍵政治和制度問題。
協調： 在三個不同的系統——保存檔案館、本地 AI 環境和國家超級電腦——之間協調數據流，仍然是一個持續的技術挑戰。

批判性觀點與反論點

該項目在技術觀察家之間引起了顯著爭論，特別是關於該方法的必要性和效率。

主權模型是否有必要？

一些批評者認為，全球供應商的前沿模型已經在大量多語言數據上進行了訓練，因此專門的國家模型是多餘的。其他人則建議，與其從頭開始建立模型，挪威應該專注於創建高品質的訓練數據集，並與全球模型構建者分享，以提高現有前沿模型中挪威文化的代表性。

硬體與資源疑慮

技術懷疑論者質疑，分配的硬體——特別是 Olivia 系統上的 448 個 GPU——是否足以從頭開始訓練一個真正具有競爭力的、功能完備的 LLM，或者該項目實際上是在對現有的開源模型進行微調 (LoRA)。此外，關於 2 PB 快閃記憶體儲存的規模也存在爭論，有人認為這對於現代數據囤積標準來說規模較小，而其他人則指出，對於用於 LLM 檢查點 (checkpointing) 的高性能 NVMe 快閃記憶體，這是一個重大的部署。

地緣政治維度

在歐洲公共部門項目中使用 Huawei 儲存設備也引起了關注，鑑於圍繞中國硬體在西方基礎設施中的地緣政治緊張局勢和限制。然而，正如一些觀察家所言，挪威作為非歐盟成員國的地位為其在採購選擇上提供了更多的靈活性。

結論：AI 作為文化守護者

挪威的實驗不僅僅是一項技術練習；它是對一個國家是否能在 AI 時代保持其智力與文化主權的測試。正如 Husnes 所言，「AI 需要守護者，而不僅僅是構建者。」無論該項目成功創建了一個實用的工具，還是作為一個關於主權 AI 成本的警示案例，它都為其他面臨同樣困境的非英語國家提供了藍圖：如何確保他們的語言和歷史不會被少數幾家全球企業的算法所抹除或稀釋。