OpenMOSS/MOSS

何を解決するか

MOSS は、流暢な二か国語（中国語と英語）のコミュニケーションとツール利用を可能にする、オープンソースの会話型言語モデルです。複雑な指示に従い、外部ツールと連携してより正確で事実に基づいた応答を提供できる高品質なオープンウェイトモデルの必要性に対応しています。

動作方法

160億パラメータのアーキテクチャに基づき、moss-moonシリーズは約7000億の中国語、英語、コードトークンで事前学習されています。モデルは、自己教師付き事前学習、110万回以上の会話データを用いた教師あり微調整（SFT）、安定性、安全性、事実性を向上させるための好み学習という複数段階の訓練プロセスを経ます。ツール利用のためには、30万回以上のプラグイン拡張会話データで訓練された特別なプラグイン対応バージョンが用意されており、外部API（検索エンジン、電卓、方程式ソルバーなど）を呼び出すための内部の思考と特定のコマンドを生成した後、最終的な応答を生成できます。

対象ユーザー

ローカルで二か国語LLMをデプロイしたい開発者や研究者、特定のタスク向けに微調整したいユーザーに適しています。単一のA100/A800 GPUから、コンシューマー向けNVIDIA 3090（特にINT4/INT8量子化バージョンを使用する場合）まで、さまざまなハードウェア環境で利用可能です。

特徴

• 二か国語の習熟度: 中国語と英語の両方で流暢なコミュニケーションが可能。
• ツール統合: Web検索、電卓、方程式ソルバー、テキストから画像生成など、プラグインのネイティブサポート。
• uma量子化: FP16、INT8、INT4の精度で利用可能で、ローカルデプロイのハードウェア障壁を低くします。
• オープンエコシステム: モデルだけでなく、訓練に使用されたSFTおよび好みデータセットも提供されています。