microsoft/KBLaM

解決的問題

KBLaM 解決了在不使用傳統方法缺點的情況下，利用外部知識增強大型語言模型 (LLM) 的挑戰。它不需要外部檢索模組（與 RAG 不同），並避免了與長上下文相關的二次方計算開銷（與上下文學習不同），使開銷能隨知識庫大小線性擴展。

運作原理

該系統使用基礎 LLM 結合訓練過的適配器。這些適配器將知識庫轉換為 LLM 可以攝取的特殊知識標記。由於僅訓練適配器，基礎 LLM 保持不變；如果未提供知識庫，模型表現與原始基礎模型完全相同。

適用對象

此專案主要針對尋求高效方法將 LLM 回應建立在外部知識庫基礎上的研究人員。

特點

• 線性擴展：計算開銷隨知識庫大小線性擴展。
• 無需外部檢索：消除了對獨立檢索模組的需求。
• 非破壞性：基礎 LLM 未經修改，保留了其原始的文字輸入能力。
• 廣泛的模型支援：相容於 Llama 3、Llama 3.2 和 Phi-3-mini。