llm-jp/awesome-japanese-llm

解決する問題

日本語に焦点を当てた大規模言語モデル（LLM）に関する情報は、企業発表、研究論文、モデルハブに散在しており、比較が困難です。このプロジェクトは、公開されている日本語LLM（主に日本語で学習されたモデル）と日本語LLM評価ベンチマークのコミュニティ維持による要約に情報を集約し、読者が多くの情報源を掘り下げることなく主要な事実を並べて見られるようにします。

仕組み

ボランティアが情報を収集し（一部は論文や公開リソースから引用）、GitHub上の構造化テーブルに整理します。各モデルについて、テーブルには公開年、アーキテクチャ（LlamaやMixture-of-Expertsなど）、モデルが入力と出力で処理できるトークン数、使用された学習テキスト、開発者、ライセンスまたは利用規約が記載されています。モデルは目的別にグループ化されています：メインセクションはテキスト生成モデルをカバーし、ゼロから学習された汎用モデル専用のサブセクションがあり、画像も処理するモデル用の別セクションが参照されます。このプロジェクトは重要な注意点も明示しています：多くのモデルはMITやApache-2.0などのオープンソースライセンスを使用していますが、一部は非商用または開発者固有のライセンス（例：CC BY-NC-SA 4.0）を使用しており、真にオープンソースではない可能性があります。より読みやすいウェブ版が利用可能で、修正や新モデルの提案はGitHub Issuesを通じて提出できます。

対象読者

日本語LLMを発見、比較、選択する必要がある研究者、開発者、企業——特にモデルを採用または構築する前に、モデルの能力とライセンスの構造化された概要を迅速に得たい人向けです。

ハイライト

• 日本語LLMと日本語LLM評価ベンチマークの両方を一箇所でカバー
• SB Intuitions、NII / 大規模言語モデル研究センター、Stockmark、Preferred Networks、CyberAgent、ELYZAなど、多くの開発者のモデルをリストアップ
• 各エントリは公開年、アーキテクチャ、コンテキストトークン長、学習データ、開発者、ライセンスを記録
• 約150Mから172Bパラメータまでの幅広いサイズをカバーし、Mixture-of-Expertsモデルも含む
• 非商用または開発者固有のライセンスにより真にオープンソースではない公開モデルを明示的に警告
• 長いコンテキストウィンドウ（最大65,536トークン）を持つ新しいモデルを提供
• GitHub上でボランティアによって維持され、コミュニティの貢献はGitHub Issuesを通じて処理
• llm-jp.github.io/awesome-japanese-llmでより読みやすいウェブ版を提供