theaniketgiri/create-llm

何を解決するか

create-llm は、独自の大型言語モデル（LLM）をゼロからトレーニングする際に発生するボイラープレートや複雑さを排除するためのCLIツールです。標準化されたプロジェクト構造と事前構成されたテンプレートを提供し、空のフォルダから数秒でプロダクション対応のトレーニングパイプラインへと移行できます。

動作方法

このツールは完全なPyTorchベースのトレーニング環境をスケルトン化します。利用者のハードウェアとデータの可用性に応じて、4つの適切なサイズのテンプレートから選択できます：

• NANO (~1Mパラメータ): 学習やCPUでの迅速なテストに適しています。
• TINY (~6Mパラメータ): CPUまたは基本的なGPUでのプロトタイピングに適しています。
• SMALL (~100Mパラメータ): プロダクションレベルのドメイン固有モデルに適しています。
• BASE (~1Bパラメータ): 研究レベルの高品質モデルに適しています。

スケルトン化後、トークナイザのトレーニング（BPE、WordPiece、Unigram）、データ前処理、TensorBoard監視付きのトレーニング、評価、テキスト生成、Hugging FaceまたはReplicateへのデプロイ用スクリプトがプロジェクトに含まれます。

対象ユーザー

アーキテクチャ、データパイプライン、トレーニングループを手動で設定せずに独自の言語モデルをトレーニングしたい開発者や研究者を対象としています。特に、小規模な実験から始めて、より大きなモデルへとスケーリングしたいユーザーに特に有用です。

特徴

• ワンコマンドセットアップ: npx create-llm を使用して、すぐに完全なプロジェクト構造を生成できます。
• 統合ツールキット: トークナイザのトレーニングから、トレーニング済みモデルのテスト用インタラクティブチャットインターフェースまで、すべてを含んでいます。
• スマートデフォルト: 語彙サイズの自動検出、シーケンス長の不一致の処理、オーバーフィット警告を自動で提供します。
• Dockerサポート: Node.jsやPythonのローカルインストールなしで、パイプライン全体を実行できる完全なDockerおよびDocker Compose設定を提供します。
• プラグインシステム: WandBによる実験追跡やHugging Faceによるモデル共有のオプション統合が可能です。