transformerlab-app: AI研究ツールとクラスターオーケストレーションを統合するオープンソースの機械学習プラットフォーム

何を解決するか

Transformer Labは、断片化されたAIツールの状況を統合するために設計されています。ML研究者が、ローカルマシン、オンプレミス・クラスター、およびクラウド環境にわたって、トレーニング、ファインチューニング、推論、評価に至るまで、AIモデルのライフサイクル全体を管理するための単一のインターフェースを提供します。

仕組み

このプラットフォームは、さまざまな推論エンジン（vLLM、Ollama、MLXなど）や計算スケジューラ（SlurmやSkyPilotなど）と統合するコントロールプレーンとして機能します。Apple Silicon、NVIDIA、およびAMDのGPUを含む複数のハードウェア・バックエンドをサポートしています。個人利用の場合は、プライバシーのためにローカルで実行されます。チーム利用の場合は、リモートノード上での集中管理されたオーケストレーション、実験トラッキング、およびインタラクティブな計算セッション（Jupyter、VSCode）を提供します。

対象ユーザー

トレーニングタスクの調整、モデルレジストリの管理、および多様なハードウェアにわたる評価の実行を合理化する方法を必要とするML研究者、ホビーユーザー、およびAI研究ラボ向けに構築されています。

ハイライト

• Unified AI Toolkit: LLM、Diffusionモデル、およびText-to-Speechモデルを一つのUIでサポート。
• Collaborative Orchestration: チェックポイントからの自動復旧機能を備えたSlurmまたはSkyPilotクラスターへのジョブ投入。
• Comprehensive Training: フルファインチューニング、LoRA/QLoRA、RLHF (DPO, ORPO, SIMPO)、およびハイパーパラメータ・スイープをサポート。
• Built-in Evaluation: LLM-as-a-Judge、安全性のためのレッドチーミング、およびEleutherAI LM Evaluation Harnessとの統合を含みます。
• Extensible Architecture: PythonプラグインシステムとLab SDKにより、ユーザーは既存のトレーニングスクリプトを自動ログ記録とともに統合できます。