Cosine AI 與主權前沿 AI 之必要性

Cosine AI 與主權前沿 AI 之必要性

主權 AI 的使命

美國對前沿 AI 模型（特別是禁止名為 Fable 的系統）的出口管制，為英國開發自身的主權大型語言模型（LLM）創造了戰略必要性。Cosine 的執行長兼共同創辦人 Alistair Pullen 解釋說，依賴外包的 AI 會造成一種脆弱性，即一個國家的最強大工具可能會因外交政策而被撤銷。

為了應對這一點，Cosine 已獲得英國政府主權 AI 單位的支持，並在布里斯托的 Isambard 超級電腦集群中獲得了關鍵的算力分配。這種政府支持的算力消除了新創公司面臨的主要財務障礙——訓練硬體的巨大成本——使 Cosine 能夠在不需要像美國實驗室那樣投入數十億美元預算的情況下，追求前沿規模的模型。

以百萬而非數十億規模進行擴展

透過將商業模式從「推理公司」轉向「技術授權商」，在較小的預算下建立前沿模型是可能的。

避免推理開銷

大多數美國的前沿實驗室花費數十億美元在數據中心，以託管其自身的 API 並管理 token 邊際利潤。Cosine 避免了這一點，透過將模型直接部署到高度安全、隔離或高側環境（例如金融服務和國防）中。客戶可以選擇在自己的 GPU 上運行模型權重，或者租用自己的超大規模雲端實例。透過授權技術而非銷售 token，Cosine 消除了與大規模託管推理相關的巨額營運支出。

財團回饋迴圈

Cosine 利用由英國大型企業組成的財團，這些企業直接將現實世界的用例和需求輸入到訓練過程中。這創造了一個針對性的回饋迴圈，使模型能夠針對特定的國家和工業需求進行優化，而不是試圖成為整個全球互聯網的通用工具。

前沿性能的架構需求

為了達到像 Claude (Sonnet/Opus) 這樣的閉源模型的性能天花板，Pullen 指出了三個關鍵的架構因素：

  1. 總參數數量： 原始大小仍然是能力的基準線。
  2. 活躍參數數量： 在混合專家模型（MoE）中，前向傳播期間的活躍參數數量決定了模型的「感覺」和推理深度。Pullen 指出，儘管總大小相似，密集型模型（如 Devstral 2）通常比活躍參數數量較低的 MoE 模型（如 gpt-oss-120b）感覺更優秀。
  3. 數據質量與軌跡： 雖然預訓練語料庫在模型達到 30 兆 token 範圍時會趨向收斂，但「alpha」存在於後訓練數據和大規模的強化學習（RL）中。

解決「Slop」並提高代理人（Agentic）可靠性

AI 編碼中的「Slop」是指功能上正確但架構不佳的代碼——例如能通過單元測試但會增加技術債的「義大利麵條式代碼」。

獎勵過程而非結果

傳統的 RL 獎勵模型如果單元測試通過（二進制 1 或 0）。這會強化不效率或不安全的路徑，只要最終結果是正確的。Cosine 正在於軌跡中實施「信用歸因」，以識別導致成功結果的特定 token 或決策點。透過獎勵過程（優雅的路徑）而非僅僅是結果（通過測試），模型會學習形成可重用的抽象，而不是表面的統計相關性。

運行時證明作為代碼審查

為了減輕 AI 生成代碼審查的認知負擔，Cosine 主張「漏洞利用驗證」或運行時證明。與其讓人類閱讀 git diff，系統會在虛擬機中啟動應用程序，並強制代理人證明功能有效（或錯誤已修復）是在一個實時環境中。這將代碼審查從手動閱讀任務轉變為功能性證明的驗證。

進階代理人編排：Swarm

雖然隨著模型變得越來越擅長使用 bash，簡單的代理人框架變得不再那麼重要，但複雜的問題分解仍然需要編排。Cosine 的「Swarm」系統將子代理人編排推向了極致：

  • 層級結構： 高層級的 orchestrator 負責將問題分解為子問題，交給「子規劃器（sub-planners）」，然後由他們管理一層扁平的「工作者（workers）」。

  • 大規模並行： 在一個例子中，Cosine 使用 253 個子代理人在單次嘗試中構建了一個機械錶 SDK，包括物理引擎和 3D 查看器——這是一個對於任何單次通過的 LLM 來說都太過複雜的任務。

  • 衝突管理： 為了防止代理人之間互相覆蓋，系統對文件進行寫入鎖定，並在 swarm 中的另一個代理人編輯文件時提供上下文更新。

內存與合成數據的挑戰

內存黑客行為

Pullen argues 認為當前的 AI 內存（VectorDBs, RAG）是一種「黑客行為」，因為代理人很難知道何時該查詢內存或何時該寫入內存。目標是透過持續學習將內存移入模型的潛在空間（latent space），儘管由於 RL 中的獎勵黑客行為和數據洩漏，這仍然是一個重大的技術挑戰。

用於 RL 的合成評分器

對於那些不是簡單的錯誤修復（缺乏內置測試）的任務，Cosine 使用一個流水線來合成「地面真值（ground truths）」或評分器。透過將現實世界的特性功能開發與合成與實現無關的方式來驗證功能正確性，他們可以為缺乏全面測試套件的語言和技術棧，例如 SystemVerilog，生成 RL 數據。

Sources