microsoft/KBLaM

解决的问题

KBLaM 解决了在不使用传统方法缺点的情况下，利用外部知识增强大型语言模型 (LLM) 的挑战。它不需要外部检索模块（与 RAG 不同），并避免了与长上下文相关的二次方计算开销（与上下文学习不同），使开销能随知识库大小线性扩展。

运作原理

该系统使用基础 LLM 结合训练过的适配器。这些适配器将知识库转换为 LLM 可以摄取的特殊知识标记。由于仅训练适配器，基础 LLM 保持不变；如果未提供知识库，模型表现与原始基础模型完全相同。

适用对象

此项目主要针对寻求高效方法将 LLM 回应建立在外部知识库基础上的研究人员。

特点

• 线性扩展：计算开销随知识库大小线性扩展。
• 无需外部检索：消除了对独立检索模块的需求。
• 非破坏性：基础 LLM 未经修改，保留了其原始的文本输入能力。
• 广泛的模型支持：兼容于 Llama 3、Llama 3.2 和 Phi-3-mini。