carloslfu/slotstream

解決する問題

Slotstream を使用すると、通常はメモリに収まらない非常に大規模な AI モデル（Qwen3.8-Flash-Next、1250 億パラメータ）を Mac で実行できます。ほとんどの Mac は 16～64 GB の RAM を搭載していますが、このモデルを完全にメモリに収めるにははるかに多くのメモリが必要です。Slotstream はモデルの大部分を SSD に保持し、各瞬間に必要な部分のみをロードするため、チャット、画像に関する質問、コーディングエージェントの実行をローカルかつオフラインで行えます。

仕組み

このモデルは混合専門家モデルです。各テキストの生成には、専門家ネットワークの一部のみが使用されます。Slotstream は共有重みを RAM に保持し、必要な専門家を SSD からキャッシュに読み込みます。頻繁に使用される専門家はメモリに残り、ディスク読み取りの繰り返しを減らします。Mac に合わせてメモリ予算とコンテキストウィンドウを自動的に選択し、ガバナーが他のアプリの必要に応じてキャッシュサイズを調整します。エンジン全体は Apple の MLX と Metal 上に構築された単一のネイティブ Swift プログラムであり、リクエストと GPU の間に Python ランタイムはありません。

対象ユーザー

Apple Silicon Mac（16 GB 以上、macOS 14+）を所有し、クラウドアカウントや大容量メモリマシンなしでフロンティアクラスのオープンモデルを実行したい人。また、OpenAI、Ollama、Anthropic 互換 API を介して独自のアプリを接続したい開発者や、Claude Code、Codex、Pi、opencode、Hermes などのコーディングエージェントのバックエンドとして使用したい開発者にも適しています。96 GB 以上のメモリを搭載した Mac（モデルがメモリに収まる）向けには最適化されていません。

ハイライト

• SSD から専門家をストリーミングすることで、16～64 GB の Mac で 1250 億パラメータのモデルを実行
• 48 GB M5 Pro で 33 GB のメモリ予算で毎秒 20.91～23.69 トークンを測定
• 一度モデルをダウンロードすれば完全にオフラインで動作
• MLX と Metal 上のネイティブ Swift — Python 不要、ワンコマンドインストール
• 画像、コーディングエージェント、OpenAI/Ollama/Anthropic 互換 API をサポート
• 他のアプリが RAM を必要とする際の自動メモリプランニングとキャッシュサイズ調整