Niko1221/Strata

Strata – コンシューマー向けゲーミング PC で 1250 億パラメータの LLM を実行

概要

• 最新の GPU（12 GB 以上の VRAM）を搭載したデスクトップで、Qwen‑3.8‑Flash‑Next 大規模言語モデル（約 1250 億パラメータ）をローカルに実行できるオープンソースエンジン。
• モデルは高度に圧縮され（Q2_0、IQ2_XS、IQ3_S などの GGUF 形式）、RAM/VRAM に収まり、必要に応じて SSD からストリーミングされます。
• OpenAI 互換の HTTP API（http://127.0.0.1:8080/v1）と、チャット、モニタリング、画像入力用の小型 Web UI を提供します。

重要性

• 大規模 LLM は通常、40〜100 GB のメモリを備えたサーバーグレードの GPU を必要とします。Strata の「エキスパート分割」技術は、モデルを GPU、システム RAM、CPU、SSD に分散し、1250 億パラメータのモデルを一般的なゲーミング機器で使用可能にします。
• すべてのデータはデバイス上に保持されるため、プライバシーとオフライン作業に適しています。

主な機能

機能	詳細
対応ハードウェア	NVIDIA RTX 20-50 シリーズ、AMD RX 7900 XT/XTX、RX 7800 XT、RX 9070 XT など。最小 12 GB VRAM、32 GB RAM（推奨 64 GB）。
モデルサイズ	複数の GGUF 量子化：Q2_0、IQ2_XS、IQ3_XXS、IQ3_S、Coder、Swift 1.5、Unsloth UD‑IQ4_XS など。小さいファイルは高速実行、大きいものは高性能。
パフォーマンス	RTX 5070（12 GB）では、最速の Q2_0 は生成約 94 tokens/s、プロンプト処理約 2 650 tokens/s。IQ3_S は約 53 tokens/s。AMD カードのベンチマークも掲載。
インストール	ワンクリックスクリプト（START-HERE.bat / setup.sh）。インストーラーが GPU を検出し、適切なモデルを選択し、約 70 GB の重みをダウンロードして、ローカルサーバーを起動します。
API	OpenAI 互換の /v1/chat/completions、/v1/completions、/v1/responses、および Anthropic スタイルの /v1/messages。任意のクライアント（Claude Code、Cursor、Copilot など）で動作します。
画像サポート	AMD Linux ビルドではオプションの画像入力。Windows ビルドでは現在利用不可。
マルチ GPU	2〜3 枚のカード間でモデルを共有する実験的サポート。
並列処理	デフォルトは単一リクエストモード。制限付きバッチ処理を有効化可能（"parallel": 2）。
モニタリング	Web UI に GPU/CPU/RAM 使用量、トークンスループット、ライブの「モニター」タブを表示。
拡張性	SETUP.bat/setup.sh --setup で新しい GGUF モデルを追加可能。

仕組み（ハイレベル）

• 1250 億パラメータのモデルは 24 576 個の「エキスパート」に分割されます。最も頻繁に使用されるエキスパートは GPU に残り、残りはシステム RAM に配置され、ルックアップテーブルは SSD に置かれます。
• 軽量な「推測」モジュールが候補トークンを予測し、完全なモデルがそれらを検証して、1.6〜1.8 倍の高速化を実現します。
• プロンプト処理はチャンク化され（一度に最大 8 192 トークン）、1 000 トークン/秒以上で、32 KB レベルのコンテキストウィンドウを可能にします。

はじめに

1. 対応 GPU、≥32 GB RAM、約 80 GB の空きディスク容量があることを確認します。
2. リポジトリをクローンするか zip をダウンロードし、START-HERE.bat（Windows）または ./setup.sh（Linux）を実行します。
3. プロンプトに従います – インストーラーが RAM に合ったモデルサイズを選択してダウンロードします。
4. ブラウザで http://127.0.0.1:8080 を開いてチャットするか、開発ツールを http://127.0.0.1:8080/v1 にポイントします。

典型的なユースケース

• データをクラウドに送信せずに大規模なコードベース（最大 32 KB コンテキスト）を読み取れるローカルコーディングアシスタント。
• プライバシーが重要なオフライン研究や創作活動。
• 教育や趣味のプロジェクト向けに、コンシューマーハードウェアで LLM 推論を実験。

制限事項

• かなり高性能な PC（12 GB VRAM、32〜64 GB RAM）が必要。
• 初回起動時、モデルが RAM/VRAM にロードされる間、システムが数分間フリーズする可能性があります。
• デフォルトでは一度に 1 リクエストのみ。並列度を上げるとリクエストごとの速度が低下します。
• 画像入力は現時点では AMD Linux ビルドのみで動作します。

ライセンスとコミュニティ

• Strata のコードは MIT ライセンスです。
• 基盤となるモデルの重みは、Qwen 3.8‑Flash‑Next および各種 GGUF 圧縮ツール（ISTA‑DASLab、UkisAI、Unsloth）のライセンスに従います。
• 貢献は歓迎します。ベンチマークとトラブルシューティングのヒントは docs/COMMUNITY_BENCHMARKS.md ファイルにまとめられています。

詳細情報

• 詳細な速度表：docs/MODELS.md および docs/DETAILS.md。
• インストールガイド：docs/INSTALL.md。
• 技術的な詳細：docs/HOW_IT_WORKS.md および付属の論文（docs/paper/Strata-Paper.pdf）。

---

Strata は、コンシューマー向けゲーミング PC を小型 AI サーバーのように動作させ、1250 億パラメータの LLM へのプライベートでオフラインのアクセスを、使い慣れた OpenAI スタイルの API で提供します。