microsoft/KBLaM

해결하는 문제

KBLaM은 기존 방식의 단점 없이 외부 지식으로 거대 언어 모델(LLM)을 확장하는 과제를 해결합니다. 외부 검색 모듈이 필요하지 않으며(RAG와 다름), 긴 컨텍스트와 관련된 이차적 계산 오버헤드를 방지하여(인컨텍스트 학습과 다름) 지식 베이스 크기에 따라 오버헤드가 선형적으로 확장되도록 합니다.

작동 원리

이 시스템은 기본 LLM과 학습된 어댑터를 결합하여 사용합니다. 이 어댑터들은 지식 베이스를 LLM이 처리할 수 있는 특수 지식 토큰으로 변환합니다. 어댑터만 학습되기 때문에 기본 LLM은 수정되지 않으며, 지식 베이스가 제공되지 않으면 모델은 원래의 기본 모델과 정확히 동일하게 작동합니다.

대상 사용자

이 프로젝트는 LLM의 응답을 외부 지식 베이스에 효율적으로 근거를 두는 방법을 찾는 연구자들을 위해 설계되었습니다.

주요 특징

• 선형 스케일링: 계산 오버헤드가 지식 베이스의 크기에 따라 선형적으로 확장됩니다.
• 외부 검색 불필요: 별도의 검색 모듈이 필요하지 않습니다.
• 비파괴적: 기본 LLM이 수정되지 않아 원래의 텍스트 입력 기능을 유지합니다.
• 광범위한 모델 지원: Llama 3, Llama 3.2, Phi-3-mini와 호환됩니다.