bilibili/Index-1.9B

해결하는 문제

Index-1.9B는 19억 파라미터의 가벼운 소규모 언어 모델(SLM) 시리즈로, 높은 성능의 텍스트 생성, 대화, 장문 처리를 제공하면서도 파라미터 수를 최소화했습니다. 특히 중국어 및 영어 언어와 로ール플레이, 장문 문서 분석과 같은 전문 작업에서, 극소형 모델과 대규모 모델 간의 능력 격차를 메우는 것을 목표로 합니다.

작동 방식

이 프로젝트는 주로 중국어와 영어 코퍼스에서 2.8조 토큰을 기반으로 사전 훈련된 기본 모델을 기반으로 여러 모델 버전을 제공합니다:

• Index-1.9B base: 기반 모델.
• Index-1.9B pure: 지시 데이터의 영향을 검증하기 위해 모든 지시 관련 데이터를 제거한 제어 버전.
• Index-1.9B chat: Supervised Fine-Tuning(SFT)과 Direct Preference Optimization(DPO)를 사용한 대화 최적화 모델.
• Index-1.9B character: SFT와 DPO 위에 Retrieval-Augmented Generation(RAG)을 통합하여 소량의 예시로 사용자 맞춤형 캐릭터를 생성할 수 있는 로ール플레이 모델.
• Index-1.9B-32K: 수집된 장문 데이터에 대한 지속적 사전 훈련과 SFT를 통해 장문(최대 32,000 토큰) 처리에 특화된 버전.

대상 사용자

• 제한된 메모리 환경의 디바이스에 배포 가능한 효율적이고 가벼운 모델을 찾는 개발자.
• 지시 데이터가 모델 성능에 미치는 영향에 관심 있는 연구자 ("pure" 모델을 통해 검증 가능).
• 맞춤형 로ール플레이 캐릭터를 구축하고 싶은 콘텐츠 제작자.
• 35,000단어 이상의 긴 문서 요약 또는 번역이 필요한 사용자.

주요 특징

• 고효율성: 1.9B 파라미터지만 다양한 벤치마크에서 대규모 모델과 경쟁 가능한 성능을 발휘.
• 장문 지원: 32K 버전은 한 번에 35,000단어 이상의 문서를 처리할 수 있음.
• 다국어 강점: 인터넷 커뮤니티 코퍼스 포함으로 동아시아 언어 번역 능력이 특히 뛰어남.
• 로ール플레이 프레임워크: RAG와 대화 코퍼스를 활용한 맞춤형 캐릭터 생성을 위한 전용 프레임워크 제공.
• 광범위한 호환성: transformers, llamacpp, Ollama와 함께 사용 가능.