ztxz16/fastllm

FastLLM – 高性能ローカル LLM 推論エンジン

概要 – FastLLM は C++ ベースのランタイムで、単一マシンで大規模言語モデル（LLM）を実行したり、サービスとして公開したりできます。PyTorch には依存せず、代わりに CUDA、ROCm、CPU、NUMA 用の独自カーネルを同梱し、モデルの一部を SSD に配置することもできます。このプロジェクトは Python パッケージ（ftllm）を提供し、CLI、Web UI、OpenAI 互換 API サーバーを備えています。

主な機能

機能	意味
高速モデルオンボーディング	最近の中国発の多くのモデル（Qwen‑4‑Exp、Qwen‑3.8‑Flash‑Next、DeepSeek‑V4、Kimi‑K3、GLM‑5 など）をすぐにサポート。
Mixture‑of‑Experts（MoE）とハイブリッド展開	通常のレイヤーは GPU で実行し、エキスパートレイヤーは CPU、NUMA メモリ、さらにはディスクに配置できるため、GPU メモリが限られたマシンでも非常に大きなモデルを実行できます。
マルチ GPU テンソル並列	任意の数の GPU（奇数を含む）で動作し、利用可能なデバイスを自動検出できます（--tp auto）。
投機的デコード	MTP、DSpark、DFlash2 を内蔵サポート – 生成を高速化するために事前に「ドラフト」トークンを生成する技術です。
広範な精度サポート	FP16、BF16、FP8、INT4、K‑Quant、AWQ、GGUF などに対応し、dtype を自動選択（--dtype auto）。
OpenAI 互換 API	/v1/chat/completions、/v1/completions、Anthropic スタイルのエンドポイントを提供。ストリーミング、ツール呼び出し、カスタムサンプリングパラメータをサポート。
拡張可能なバックエンド	コアカーネルは C++/CUDA ですが、Triton オペレーション、カスタム Python モデルグラフ、その他のアクセラレータをプラグインできます。

典型的なワークフロー

1. インストール – pip install -U ftllm（Linux/Windows GPU、ROCm 用のプリビルド wheel、その他のハードウェアはソースビルド）。Windows では追加の依存 wheel が必要な場合があります。
2. スモークテスト – ftllm run Qwen/Qwen3-0.6B で小さなテストモデルをダウンロードし、単一推論を実行します。
3. サービスを開始 – ftllm server <model> で OpenAI 互換サーバーを起動（デフォルト 0.0.0.0:8080）。
4. オプションの UI – ftllm webui --api_base http://127.0.0.1:8080/v1 または単に ftllm launch で、ブラウザベースの「Launcher」が開き、モデルのダウンロード、ハードウェア設定の調整、エージェントの管理も支援します。
5. モデルを呼び出す – /v1/chat/completions エンドポイントへの標準的な curl リクエスト。

パフォーマンスチューニング方法（README の例）

• テンソル並列：--tp 0,1 または --tp auto。
• ハイブリッド MoE：--device cuda --moe_device numa または --moe_device "{'cuda':1,'numa':8,'disk':1}" も可能。
• コンテキスト長：--max_context_length 65536 と RoPE スケーリング JSON を組み合わせて、ウィンドウを安全に拡張。
• 投機的デコード：--mtp 4（MTP ドラフトトークン）または外部チェックポイント用に --draft /path/to/draft --draft_tokens 5。
• キャッシュ制御：--kv_cache_dtype fp4、--gpu_mem_ratio 0.9、--tokens 1000000 で大規模 KV キャッシュ。

ドキュメントとコミュニティ

• モデル固有の詳細な展開ガイド（Qwen、DeepSeek、Kimi、GLM、Laguna など）。
• モデルごとのベンチマーク表（TTFT、prefill、decode スループット）。
• ユーザーと開発者向けの QQ/WeChat コミュニティ。
• Apache‑2.0 ライセンス。Issues と PR での貢献を歓迎します。

結論 – FastLLM は、PyTorch なしでローカルに実行できる、本番環境対応の高スループット LLM 推論エンジンです。MoE ミックス、投機的デコードなどの高度な機能をサポートし、一般的なハードウェアで大規模モデルを提供する必要がある開発者や研究者向けに、フルスタック（CLI、Web UI、OpenAI 互換 API）を提供します。