bilibili/Index-1.9B

A lightweight multilingual LLM

解决的问题

Index-1.9B 是一系列轻量级小语言模型（SLM），旨在以 19 亿参数的小型参数规模，实现高性能的文本生成、对话和长文本处理。其目标是弥合极小型模型与大型模型在能力上的差距，特别是在中文和英文语言场景下，以及角色扮演和长文档分析等专业任务中。

工作原理

该项目基于一个在 2.8 万亿个主要中文和英文语料上预训练的基底模型，提供多个模型变体：

  • Index-1.9B base：基础模型。
  • Index-1.9B pure：控制版本，通过过滤所有指令相关数据，用于验证指令数据对模型性能的影响。
  • Index-1.9B chat：使用监督微调（SFT）和直接偏好优化（DPO）对齐对话的模型。
  • Index-1.9B character：在 SFT 和 DPO 基础上集成检索增强生成（RAG），支持少样本定制的角色扮演模型。
  • Index-1.9B-32K：通过在精选长文本数据上进行持续预训练和 SFT，专门优化用于长上下文（最高达 32,000 个 token）处理的版本。

适用人群

  • 寻找可在内存受限设备上高效部署的轻量级模型的 开发者。
  • 对指令数据对模型性能影响感兴趣的 研究人员（可通过“pure”模型进行验证）。
  • 希望构建自定义角色扮演角色的 内容创作者。
  • 需要处理 35,000 字以上长文档摘要或翻译的 用户。

核心亮点

  • 高效率：仅 1.9B 参数，但在各类基准测试中表现可与更大模型媲美。
  • 长上下文支持：32K 版本可一次性处理超过 35,000 字的文档。
  • 多语言优势：得益于互联网社区语料的引入，对东亚语言的翻译能力尤为突出。
  • 角色扮演框架：提供专用框架，结合 RAG 与对话语料，支持自定义角色创建。
  • 广泛兼容性：适配 transformers、llamacpp 和 Ollama 等主流工具。

相关