bilibili/Index-1.9B

A lightweight multilingual LLM

解決的問題

Index-1.9B 是一系列輕量級小語言模型（SLM），旨在以 19 億參數的小型參數規模，實現高效率的文本生成、對話與長文件處理。其目標是彌補極小型模型與大型模型在能力上的差距，特別是在中文與英文語言場景下，以及角色扮演與長文件分析等專業任務中。

工作原理

本專案基於一個在 2.8 兆個主要中文與英文語料上預訓練的基礎模型，提供多個模型變體：

  • Index-1.9B base：基礎模型。
  • Index-1.9B pure：控制版本，透過過濾所有指令相關資料，用於驗證指令資料對模型效能的影響。
  • Index-1.9B chat：使用監督微調（SFT）與直接偏好優化（DPO）對齊對話的模型。
  • Index-1.9B character：在 SFT 與 DPO 基礎上整合檢索增強生成（RAG），支援少樣本客製化的角色扮演模型。
  • Index-1.9B-32K：透過在精選長文本資料上進行持續預訓練與 SFT，專門優化用於長上下文（最高達 32,000 個 token）處理的版本。

適用對象

  • 尋找可在記憶體受限裝置上高效部署的輕量級模型的 開發者。
  • 對指令資料對模型效能影響感興趣的 研究人員（可透過「pure」模型進行驗證）。
  • 希望建構自訂角色扮演角色的 內容創作者。
  • 需要處理 35,000 字以上長文件摘要或翻譯的 使用者。

核心亮點

  • 高效率：僅 1.9B 參數，但在各類基準測試中表現可與更大模型比擬。
  • 長上下文支援：32K 版本可一次性處理超過 35,000 字的文件。
  • 多語言優勢：因納入網際網路社群語料，對東亞語言的翻譯能力尤為突出。
  • 角色扮演框架：提供專用框架，結合 RAG 與對話語料，支援自訂角色建立。
  • 廣泛相容性：適配 transformers、llamacpp 與 Ollama 等主流工具。

相關