stochasticai/xTuring

何を解決するか

xTuringは、オープンソースの大規模言語モデル（LLM）をプライベートに微調整・評価・実行するためのスムーズな方法を提供します。カスタムデータ上でモデルをトレーニングする際に通常発生する複雑さと高コストなハードウェア要件に対処し、ユーザーがローカルまたはプライベートクラウド（VPC）内でこれらのプロセスを実行できるようにすることで、データのプライバシーを維持できます。

動作方法

このプロジェクトは、データ準備、トレーニング、推論の複雑さを抽象化する高レベルAPIを使用しています。LoRA（低ランク適応）や低精度量子化（INT8およびINT4）といった効率化技術を活用して、メモリと計算リソースの要件を削減します。また、Intel® Extension for Transformersと統合され、CPU推論を最適化しています。システムはレジストリパターンに基づいて構築されており、一元的なインターフェースを通じてさまざまなモデルバリアント（例：LLaMA、Qwen3、GPT-OSS）を作成・管理できます。

対象ユーザー

独自のデータでLLMをカスタマイズしたいが、そのデータをプライベートに保ちたい開発者や組織、またノートPCからマルチGPU環境まで、限られたハードウェア上で微調整や推論を実行したいユーザーに最適です。

主な特徴

• 広範なモデル対応：LLaMA 2、Qwen3、GPT-OSS、Mistral、Mambaなど、多数のモデルをサポート。
• 効率的なトレーニング：LoRAとINT4/INT8量子化を実装し、GPUメモリ使用量とトレーニング時間を大幅に削減。
• デフォルトでプライベート：ローカルまたはVPCデプロイを想定しており、データのプライバシーを確保。
• 内蔵評価機能：Perplexityなどのメトリクスを使用してモデルのパフォーマンスを評価するツールを備えている。
• インタラクティブツール：モデルとチャットできるCLIと、GradioベースのUIプレイグラウンドを提供。
• データセット生成：自己指示（self-instruction）とQwen3-Omniなどのマルチモーダルチェックポイントを活用して、インストラクションコーパスをブートストラップするユーティリティを備えている。