Strata 0.1.10がRTX 4090上でQwen 3.8 Flash Next 125Bを約100トークン/秒で実行

TL;DR – Strataの成果

Strata 0.1.10により、1250億パラメータのQwen 3.8-Flash-Nextモデルを単一のコンシューマー向けGPU（RTX 4090など）で約100トークン/秒で実行可能になり、サーバーグレードのLLMがデスクトップで使えるアシスタントに変わります。これは、高コストなクラウド推論の必要性を排除し、市販のハードウェア上で高スループットかつプライバシーを保護したAIを実現できるという点で重要です。

小規模モデルに匹敵する速度

RTX 4090（24 GB VRAM）と128 GB DDR5 RAMの環境で、著者は124トークン/秒（オーバーヘッドを考慮すると約100トークン/秒）を報告しています。
ローエンドのカードでのベンチマークでも、エンジンが予測通りにスケーリングすることが示されています。RTX 5070（12 GB）ではIQ2_XS量子化モデルで53トークン/秒、AMD RX 9070 XT（16 GB）では同じモデルで79トークン/秒に達します。
**「回答生成」**速度は一般的な読書速度（約60トークン/秒）を上回っており、人間が読むよりも速くテキストを出力できることを意味します。
プロンプト読み込み速度も印象的で、32 KトークンのドキュメントをRTX 5070上で約1200トークン/秒で取り込み、ほぼリアルタイムのコンテキスト更新を可能にします。

"試してみたところ、驚くほど上手く動作しました。私のマシン（Nvidia 4090, 128GB DDR5, Ryzen 7950x3d）では124トークン/秒が出ています" – @snehesht (HNコメント)

最小ハードウェア要件

コンポーネント	最小	推奨
GPU	NVIDIA RTX 20/30/40/50シリーズまたは AMD Radeon 7900 XT/XTX, 7800 XT, 7700 XT, 9060 XT, 9070/9070 XT, 6800/6900シリーズ	最高速度には24 GB VRAM（RTX 4090/3090）; 12 GB VRAMでもスループットを下げれば動作可能
システムRAM	32 GB（最小の「Coder」モデルが収まる）	フルモデルスイート（IQ2_XS, IQ3_XXS, IQ3_S）には64 GB以上
ディスク	約80 GBの空き容量、高速なモデル読み込みにはSSD推奨	最適なスワップパフォーマンスにはNVMe SSD
OS	Windows 10/11 または最新ドライバーを搭載したLinux	—

インストーラーは自動的にハードウェアを検出し、収まる最大のモデルを選択します。

ワンクリックインストール（またはAI支援セットアップ）

リポジトリをダウンロード (git clone https://github.com/Niko1221/Strata.git)。
実行: Windowsでは START-HERE.bat、Linuxでは ./setup.sh を実行します。スクリプトは以下の処理を行います:
- GPU、RAM、ディスク容量を検出。
- モデルサイズ、コンテキスト長、画像サポートについて尋ねます（デフォルトはEnterキー）。
- 約70 GBのGGUFモデルファイルをダウンロードして展開。
待機: モデルがRAMに読み込まれ、GPUキャッシュが生成されるまで1〜3分待ちます。ウィンドウに進行状況が表示されます。このフェーズではPCの動作が重くなることがあります。
アクセス: ブラウザで http://127.0.0.1:8080 を開き、Strata UI（チャット、モニター、About）にアクセスします。

AI支援インストール

言語モデルを使用してセットアップを行いたい場合は、以下の内容をコーディングアシスタントに貼り付けてください:

Set up Strata on this PC for me: https://github.com/Niko1221/Strata - follow docs/AI_SETUP.md in that repository.

アシスタントが同じインストーラーの手順を自動的に実行します。

適切な量子化モデルの選択

RAM	推奨モデル	理由
32 GB	Coder (32 GB)	コード向けに最適化; メモリに収まりやすい
48 GB	IQ2_XS (または Q2_0)	収まる最小サイズ、最速の生成
64 GB	IQ2_XS (デフォルト) または IQ3_XXS / IQ3_S	すべてのサイズが収まる; IQ3_Sは速度低下を抑えつつ最高品質を提供
96 GB+	IQ3_S または Unsloth UD-IQ4_XS (~4-bit)	最大の専門家モデルをロード; UD-IQ4_XSはVRAM使用量を抑えるために速度を犠牲にする

Coder: フルモデルのSWE-benchスコアの91%を達成しますが、コード以外の言語では弱くなります。
IQ2_XS: 2ビット量子化、ほとんどのタスクで最高の速度対品質比。
IQ3_S: 3ビット量子化、サポートされているサイズの中で最高品質; RTX 5070で約53トークン/秒で動作。
Unsloth UD-IQ4_XS: 約4ビット、94 GBのダウンロード; モデルの一部をSSDから読み込むため、低RAMシステムでは生成が遅くなります。

独自のアプリでモデルを使用する

OpenAI互換エンドポイント: http://127.0.0.1:8080/v1。OpenAI APIキーを受け入れるクライアントであればこのURLを指定可能。キーは任意の文字列でOK。
Anthropic互換エンドポイント: http://127.0.0.1:8080/v1/messages (ANTHROPIC_BASE_URLを適切に設定してください)。
バッチ処理: デフォルトではStrataは一度に1つのリクエストを処理します。config.json で "parallel": 2 を設定すると、2つのストリームを同時に実行できます（12 GBカードではリクエストごとの速度が低下する可能性があります）。
画像入力: インストール時に有効化してください。WindowsのAMDカードでは現在画像サポートがありません。
リモートアクセス: START-HERE.bat --setup --host 0.0.0.0 --api-key <secret> を実行してLAN上でAPIを公開します（必ずシークレットキーで保護してください）。

コミュニティのフィードバックとよくある質問

"Opusのようなモデルをローカルで実行できる日が近づいている。夢のようだ！" – @SuperV1234 (HNコメント)

"このモデルは24,576個の小さな専門家（'experts'）のチームで構成されています…" – Strataドキュメント（MoEオフロード戦略の説明）

"128 GB DDR4 RAMを搭載したRTX 4090で110トークン/秒以上出ています" – @mrinterweb (HNコメント)

"64 GB RAMを搭載した5090で、高速なiq2_xs量子化を実行して約200トークン/秒出ています" – @IronWolve (HNコメント)

よくある懸念

品質と速度: IQ2_XSからIQ3_Sに移行するとベンチマークスコアがわずかに低下すると報告されていますが、複雑なコーディングや多言語タスクでは、忠実度の向上がトレードオフに見合うことが多いです。
GPUメモリ制限: 12 GB未満のVRAMを搭載したカードでは、サポートされている量子化モデルは実行できません。コミュニティでは実験的なパッチを使用して古いGPU（Tesla V100, GTX 10シリーズ）での動作を試みていますが、パフォーマンスは大幅に低下します。
並列リクエスト: Strataは現在リクエストをキューに入れます。真の並列推論には、各ストリーム用に個別の専門家サブセットを保持できる十分なVRAMが必要です。
AMD/Windowsでの画像サポート: まだ利用できません。LinuxユーザーはCPUフォールバックを介して画像を処理できます。

Strataが125 Bモデルを12-24 GB VRAMに収める仕組み

Mixture-of-Experts (MoE) オフロード – モデルは24,576個の専門家で構成されており、GPUには常に数千個のアクティブな専門家のみがキャッシュされます。
RAM常駐の専門家プール – すべての専門家はシステムRAMに常駐し、GPUがホットなサブセットを処理する間にCPUが必要な専門家をスワップします。
SSDルックアップテーブル – SSDに保存された大きな静的テーブルが専門家の選択を高速化し、CPU-RAM間のトラフィックを削減します。
推測とチェックのパイプライン – 軽量なヘルパーが候補トークンを提案し、完全なMoEがそれを検証することで、単純なデコードよりも1.6〜1.8倍の高速化を実現します。
チャンク化されたコンテキスト処理 – 長いプロンプトは8,192トークンのブロック単位で1,000トークン/秒以上の速度で読み込まれ、GPUを停止させることなく32 Kトークンのコンテキストウィンドウを実現します。

詳細な技術説明はリポジトリの HOW_IT_WORKS.md および付属の論文 (Strata-Paper.pdf) に記載されています。

ライセンスとクレジット

モデル: Qwen 3.8-Flash-Next (Hugging Face経由でMIT互換利用)。
量子化: ISTA-DASLab, UkisAI (Swift 1.5), Unslothによって実行。
エンジン: llama.cpp / ggml (BSD-3-Clause) をベースに構築。
Strataコード: MITライセンス (リポジトリ内の LICENSE を参照)。
謝辞: Qwenチーム、圧縮の貢献者、および llama.cpp を維持しているオープンソースコミュニティ。

クイックスタート

# Linuxでクローンして実行
git clone https://github.com/Niko1221/Strata.git && cd Strata
./setup.sh   # プロンプトに従い、約70 GBのモデルをダウンロード
# UIを開く
xdg-open http://127.0.0.1:8080

Windowsでは、zipを展開した後に START-HERE.bat をダブルクリックしてください。

結論

Strataは、1250億パラメータのLLMをコンシューマー向けGPU上でローカルに実行でき、対話的な使用が実用的な速度でトークン生成できることを示しています。専門家モデルをRAMとSSDにオフロードすることで、従来のVRAMの壁を回避し、高価なクラウド推論に頼ることなく、プライバシー重視の低遅延AIアプリケーションへの扉を開きます。