IDEA-CCNL/Fengshenbang-LM

What it solves

Fengshenbang-LM は、英語コミュニティと比較して中国語ドメインにおける体系的な研究リソースの不足と進捗の遅れに対処します。中国語の認知インテリジェンスのために、包括的、標準化され、ユーザー中心のオープンソース・エコシステムを提供し、重複建設を防止し、コミュニティの計算資源を節約することを目的としています。

How it works

このプロジェクトは、用途別に分類された事前学習済み基盤モデルのスイートを提供します：

• Ziya (姜子牙): 翻訳、プログラミング、テキスト分類、情報抽出、要約、コピーライティング、常識 QA、数学計算が可能な汎用大規模モデル (7B+ パラメータ)。
• Erlangshen (二郎神): 自然言語理解 (NLU) タスクに特化した Encoder ベースの双方向言語モデル。
• Taiyi (太乙): テキストから画像生成 (Stable Diffusion の中国語版を含む)、タンパク質構造予測、音声-テキスト表現などのシナリオ向けのクロスモーダル・モデル。
• Wenzhong (闻仲): 言語生成 (NLG) に特化したモデル。
• Randeng (燃灯): 機械翻訳や要約などの言語変換 (NLT) モデル。
• Yuyuan (余元): 医学、金融、法律、プログラミングなどの特定分野向けのドメイン特化型モデル。

これらのモデルをサポートするために、FengShen framework が提供されます。PyTorch と PyTorch-Lightning に基づいて構築されており、TB レベルのデータでの効率的な事前学習と、分散トレーニングとメモリ節約技術を使用した、ダウンストリーム・タスクへの微調整が可能になります。

Who it’s for

様々な NLP およびマルチモーダル・タスクのために高品質でオープンソースの中国語事前学習済み基盤モデルを必要とする研究者、開発者、および機関、ならびに、既存の基盤モデルを微調整したいが計算資源が限られている人々。

Highlights

• Comprehensive Model Suite: 中国語に特化して最適化された NLU、NLG、NLT、およびマルチモーダル・タスクをカバーします。
• Integrated Framework: FengShen framework は、大規模モデルの事前学習と微調整のプロセスを簡法化します。
• Multimodal Capabilities: 最初のオープンソースの中国語 Stable Diffusion モデルを含みます。
• HuggingFace Integration: すべてのモデルは HuggingFace に同期されており、数行のコードで簡単にアクセス可能です。