modelscope/ms-swift

Use PEFT or Full-parameter to CPT/SFT/DPO/GRPO 600+ LLMs (Qwen3.6, DeepSeek-V4, GLM-5.1, InternLM3, Llama4, ...) and 300+ MLLMs (Qwen3-VL, Qwen3-Omni, InternVL3.5, Ovis2.5, GLM4.5v, Gemma4, Llava, Phi4, ...) (AAAI 2025).

What it solves

ms-swift は、ラージランゲージモデル（LLMs）やマルチモーダルモデルのライフサイクル全体（トレーニング、ファインチューニング、評価、デプロイ）をシンプルにするために設計された包括的フレームワークです。多様なモデルアーキテクチャやハードウェア構成の管理の複雑さを取り除き、開発者がモデルを特定タスクに適応させるための統一パイプラインを提供します。

How it works

このフレームワークは、CLI、Web-UI、または Python API を通じて高レベルのインターフェースを提供し、基盤となるトレーニング・推論エンジンを抽象化します。LoRA や QLoRA といった軽量ファインチューニング手法や、DeepSpeed や Megatron のような分散トレーニング戦略を統合し、メモリと速度を最適化します。デプロイ時には、vLLM、SGLang、LMDeploy といったアクセラレーションエンジンを活用し、高性能な推論インターフェースを提供します。

Who it’s for

このフレームワークは、さまざまなハードウェア（NVIDIA、AMD、Ascend NPU など）上で、オープンソースのテキストおよびマルチモーダルモデルを微調整、評価、デプロイしたい AI 研究者や開発者を対象としています。大量のボイラープレートコードを書く必要はありません。

Highlights

  • Massive Model Support：600 以上のテキスト専用モデルと 400 以上のマルチモーダルモデルをサポート。
  • Full-Pipeline Capabilities：事前学習、指示チューニング、人間アラインメント（RLHF/DPO）、量子化、評価、デプロイを網羅。
  • Advanced RL Algorithms：GRPO 系列の強化学習アルゴリズムを組み込みでサポート。
  • Hardware Flexibility：NVIDIA GPU、AMD GPU、CPU、Ascend NPU に対応。
  • Lightweight Training：LoRA、QLoRA、DoRA、RS‑LoRA など多数の PEFT 手法を実装。
  • User‑Friendly Interfaces：コマンドラインよりも GUI を好むユーザー向けに、ゼロハードルの Web-UI を提供。