jesdga95/basalt

解決する課題

Basaltを使用すると、巨大な Qwen3.8-Flash-Next 混合エキスパートモデルを単一のワークステーションで実行できます。GPUのビデオメモリ（VRAM）に収まらないモデルの一部をシステムRAMやセカンダリGPUにインテリジェントにオフロードすることで、メモリ制約の問題を解決します。

仕組み

Basaltは、OpenAIおよびAnthropicの標準と互換性のあるAPIを介してモデルを提供するローカル推論エンジンとして機能します。重み、トークナイザー、エキスパートプロファイルを単一のファイルにパッケージ化するカスタムファイル形式を使用します。実行時には、「エキスパート」（モデルの専門化されたコンポーネント）を動的に管理し、最もアクティブなものをVRAMに保持しつつ、残りをシステムRAMで利用します。NVIDIA Blackwell GPU向けに特別に設計されています。

対象ユーザー

このツールは、大規模なサーバークラスターを必要とせずに、ローカルで大規模かつ複雑なAIモデルを実行する必要がある、ハイエンドハードウェア（特に NVIDIA Blackwell GPU）を持つ開発者やパワーユーザー向けです。

ハイライト

• 単一のワークステーションで大規模な混合エキスパートモデルを実行。
• 統合が容易なOpenAIおよびAnthropic互換のAPIを提供。
• モデルコンポーネントのシステムRAMまたはセカンドGPUへのオフロードをサポート。
• 監視と対話のための組み込みWebインターフェースを搭載。
• パフォーマンスと品質の異なるニーズに合わせて最適化された専用モデルパックを提供。