IntelLabs/RAG-FiT

해결하는 문제

RAG-FiT(이전 명칭: RAG Foundry)는 대규모 언어 모델(LLM)이 외부 정보를 활용하는 방법을 개선하는 과제를 해결합니다. 검색 증강 생성(RAG) 작업에 특화된 모델을 미세 조정하기 위한 구조화된 프레임워크를 제공하며, 단순한 프롬프트 엔지니어링을 넘어 검색된 데이터를 처리하고 추론하는 모델의 내부 능력을 최적화합니다.

작동 방식

이 라이브러리는 RAG 수명 주기 전체를 관리하는 4개의 모듈식 구성 요소로 구성되어 있습니다.

1. 데이터셋 생성: 원시 데이터를 RAG 증강 데이터셋으로 처리합니다. 검색, 집계, 프롬프트 형식 지정이 포함됩니다.
2. 훈련: 파라미터 효율적 미세 조정(PEFT)과 TRL을 사용하여 증강 데이터셋에서 모델을 훈련합니다.
3. 추론: 훈련된 모델을 사용하여 예측을 생성합니다.
4. 평가: RAGAS, BERTScore, 사용자 정의 로직과 같은 RAG 특정 지표 모음을 사용하여 성능을 평가합니다.

이 프레임워크는 구성-코드 방식으로 Hydra를 사용하며, 계층적 구성 파일과 CLI 재정의를 통해 복잡한 실험을 관리할 수 있습니다.

대상 사용자

이 도구는 RAG 구성을 실험하고 지식 집약적 작업에서 LLM 성능을 미세 조정을 통해 개선해야 하는 연구자와 개발자를 위해 설계되었습니다.

주요 특징

• 데이터 준비부터 평가까지 전체 파이프라인을 포괄하는 모듈식 아키텍처.
• PEFT(파라미터 효율적 미세 조정)에 대한 기본 지원으로 훈련 리소스 요구 사항을 줄입니다.
• RAGAS, Deepeval 및 사용자 정의 지표를 지원하는 광범위한 평가 스위트.
• Hydra를 사용한 구성 기반 워크플로우로 재현 가능한 실험과 SLURM 및 Ray와 같은 도구와의 통합을 지원합니다.