IDEA-CCNL/Fengshenbang-LM

What it solves

Fengshenbang-LM 解決了中文領域與英文社群相比，缺乏系統性研究資源以及進度落後的問題。它旨在為中文認知智能提供一個全面、標準化且以用戶為中心的開源生態系統，防止重複建設並為社群節省算力。

How it works

該專案提供了一系列按用途分類的預訓練基礎模型：

• Ziya (姜子牙): 通用型大模型（7B+ 參數），具備翻譯、程式設計、文本分類、資訊提取、摘要生成、文案撰寫、常識問答和數學計算能力。
• Erlangshen (二郎神): 基於 Encoder 的雙向語言模型，專注於自然語言理解 (NLU) 任務。
• Taiyi (太乙): 跨模態模型，用於文本生成圖像（包括 Stable Diffusion 的中文版）、蛋白質結構預測和語音-文本表示。
• Wenzhong (闻仲): 專注於語言生成 (NLG) 的模型。
• Randeng (燃灯): 用於語言轉換 (NLT) 的模型，例如機器翻譯和摘要生成。
• Yuyuan (余元): 特定領域的模型，用於醫學、金融、法律和程式設計等領域。

為了支援這些模型，專案提供了 FengShen framework。該框架基於 PyTorch 和 PyTorch-Lightning 構建，能夠在 TB 級別的數據上進行高效預訓練，並利用分佈式訓練和節省記憶體的技術，為下游任務進行微調。

Who it’s for

研究人員、開發人員和機構，需要高品質、開源的中文預訓練基礎模型用於各種 NLP 和多模態任務，以及算力資源有限、希望對現有基礎模型進行微調的人士。

Highlights

• Comprehensive Model Suite: 覆蓋了專門為中文優化的 NLU、NLG、NLT 和多模態任務。
• Integrated Framework: FengShen framework 簡化了大規模模型預訓練和微調的過程。
• Multimodal Capabilities: 包括第一個開源的中文 Stable Diffusion 模型。
• HuggingFace Integration: 所有模型都同步到 HuggingFace，可以透過幾行代碼輕鬆實現存取。"},