IDEA-CCNL/Fengshenbang-LM

What it solves

Fengshenbang-LM 解决了中文领域与英文社区相比，缺乏系统性研究资源以及进度落后的问题。它旨在为中文认知智能提供一个全面、标准化且以用户为中心开源生态系统，防止重复建设并为社区节省算力。

How it works

该项目提供了一系列按用途分类的预训练基础模型：

• Ziya (姜子牙): 通用型大模型（7B+ 参数），具备翻译、编程、文本分类、信息提取、摘要生成、文案撰写、常识问答和数学计算能力。

• Erlangshen (二郎神): 基于 Encoder 的双向语言模型，专注于自然语言理解 (NLU) 任务。

• Taiyi (太乙): 跨模态模型，用于文本生成图像（包括 Stable Diffusion 的中文版）、蛋白质结构预测和语音-文本表示。

• Wenzhong (闻仲): 专注于语言生成 (NLG) 的模型。

• Randeng (燃灯): 用于语言转换 (NLT) 的模型，例如机器翻译和摘要生成。

• Yuyuan (余元): 特定领域模型，用于医学、金融、法律和编程等领域。

为了支持这些模型，项目提供了 FengShen framework。该框架基于 PyTorch 和 PyTorch-Lightning 构建，能够进行 TB 级数据的高效预训练，并利用分布式训练和内存节省技术，为下游任务进行微调。

Who it’s for

研究人员、开发者、以及需要高质量、开源的中文预训练基础模型用于各种 NLP 和多模态任务的机构，以及算力资源有限、希望对现有基础模型进行微调的人士。

Highlights

• Comprehensive Model Suite: 覆盖了专门为中文优化的 NLU、NLG、NLT 和多模态任务。
• Integrated Framework: FengShen framework 简化了大规模模型预训练和微调的过程。
• Multimodal Capabilities: 包括第一个开源的中文 Stable Diffusion 模。
• HuggingFace Integration: 所有模型都同步到 HuggingFace，可以通过几行代码轻松实现访问。