VecSzn/PolyStrata

解決する課題

大規模 AI モデルは通常、数百 GB のグラフィックメモリを備えたサーバーを必要とします。PolyStrata は、モデルをグラフィックカードとシステム RAM に分散させることで、通常の PC（8 GB のグラフィックカードを搭載したノート PC や 32 GB のデスクトップ）でそれらを実行できるようにします。つまり、チャット、コード作成、独自のアプリやコーディングエージェントをすべて自分のマシン上で使用でき、データが PC から外部に出ることはありません。

仕組み

PolyStrata には、モデルの処理をグラフィックカードと RAM に分割するカスタムエンジンが含まれています。よく使用する部分はグラフィックカードに保持され、残りは RAM で待機します。これは、よく使うものをカウンターに置き、残りをパントリーに置くようなものです。インストーラーがカードに適したエンジンをセットアップし、モデルをダウンロードして、ローカルサーバーを起動します。その後、ブラウザで http://127.0.0.1:8080 にアクセスしてモデルと対話したり、OpenAI または Anthropic スタイルの API をサポートする任意のアプリを接続できます。利用可能なモデルは 10 個あり、そのほとんどは実験的で、いくつかは画像も読み取れます。

対象ユーザー

大規模 AI モデルを自分のハードウェア上でプライベートに実行したい人々——Claude Code や Cursor などのコーディングアシスタントを使用する開発者、高性能なゲーミング PC を持つ愛好家、そしてデータをデバイス上に保持したいすべての人。Windows、Linux、Apple Silicon Mac（1 つのモデル用）で動作し、インストーラーにはベンチマークが含まれているため、自分のマシンでの速度を測定できます。

ハイライト

• Qwen3.6、GLM 5.3 Flash、DeepSeek V4 Flash など、10 個の大規模 AI モデルをローカルで実行。
• 高速なプロンプト読み取り——ノート PC では、llama.cpp よりも 2.7～3.5 倍高速にプロンプトを読み取ります。
• OpenAI および Anthropic 互換 API を介して既存のアプリと連携（例：Claude Code、Codex）。
• データは PC から外部に出ません。すべての推論はハードウェア上で行われます。
• 無料でオープンソース。