bilibili/Index-1.9B

何を解決するか

Index-1.9B は、パラメータ数が19億という軽量な小規模言語モデル（SLM）のシリーズであり、高パフォーマンスなテキスト生成、対話、長文処理を実現しながらも、パラメータ数を最小限に抑えています。中国語および英語の文脈において、極小モデルと大規模モデルの能力のギャップを埋めることを目指しており、特にロールプレイや長文ドキュメント分析といった専門的タスクに特化しています。

仕組み

このプロジェクトは、主に中国語と英語のコーパスから2.8兆トークン分の事前学習を行ったベースモデルに基づいて、複数のモデルバージョンを提供しています：

• Index-1.9B base：基盤モデル。
• Index-1.9B pure：指示データの影響を検証するために、すべての指示関連データを除外した制御バージョン。
• Index-1.9B chat：Supervised Fine-Tuning（SFT）とDirect Preference Optimization（DPO）を用いた対話に最適化されたモデル。
• Index-1.9B character：SFTとDPOの上にRetrieval-Augmented Generation（RAG）を統合し、少数のサンプルでカスタマイズ可能なロールプレイモデル。
• Index-1.9B-32K：収集された長文データに対する継続的事前学習とSFTにより、長文（最大32,000トークン）処理に特化して最適化されたバージョン。

対象ユーザー

• メモリ制限のあるデバイスに展開可能な効率的で軽量なモデルを探している開発者。
• 指示データのモデルパフォーマンスへの影響に興味がある研究者（「pure」モデルを活用）。
• カスタムロールプレイキャラクターを構築したいコンテンツクリエイター。
• 35,000語を超える長文ドキュメントの要約や翻訳が必要なユーザー。

特徴

• 高い効率性：1.9Bパラメータながら、さまざまなベンチマークで大規模モデルと競合可能な性能を発揮。
• 長文対応：32Kバージョンは、一度に35,000語を超えるドキュメントを処理可能。
• 多言語強化：インターネットコミュニティコーパスの導入により、東アジア言語の翻訳能力が特に優れている。
• ロールプレイフレームワーク：RAGと対話コーパスを活用したカスタムキャラクター作成専用のフレームワークを提供。
• 広範な互換性：transformers、llamacpp、Ollama との連携に対応。