Indras-Mirror/Xolotl

解決する課題

Xolotlを使用すると、5520億パラメータのDeepSeek-V4.1のような大規模でフロンティアレベルのAIモデルを、単一のコンシューマー向けゲーミングPCで実行できます。高価なサーバーグレードのハードウェアを必要とせず、VRAM、システムRAM、NVMeストレージ間でモデルデータをインテリジェントに管理する階層型メモリシステムにより、ハードウェアの障壁を解決します。

仕組み

このプロジェクトは、モデルの「エキスパート」（特定のタスクに使用されるモデルの特定部分）をキャッシュとして扱う特殊なエンジンを使用しています。最も頻繁に使用されるエキスパートをGPUのVRAMに保持し、残りをシステムRAMまたは高速なNVMeドライブに保存します。モデルがテキストを処理する際、エンジンは次に必要なエキスパートを予測し、ジャストインタイムで取得します。また、推論デコードやカスタム量子化など、さまざまなモデルアーキテクチャ向けの最適化が含まれており、コンシューマー向けハードウェアで高いパフォーマンスを維持します。

対象ユーザー

Xolotlは、RTX 4090などのハイエンドNVIDIA GPUを搭載し、外部APIやサーバーファームに依存せずに、コーディングエージェント、ツール呼び出し、またはプライベートなAIタスクのために、大規模で検閲のない、あるいはフロンティアクラスの言語モデルをローカルで実行したい開発者やパワーユーザー向けに設計されています。

ハイライト

• DeepSeek-V4.1のような大規模な混合エキスパート (MoE) モデルを、24GB VRAMのカード1枚で実行可能。
• OpenAI/Anthropic互換のサーバーインターフェースを提供し、既存のAIツールとの統合が容易。
• 効率的なメモリ管理により、長いコンテキストウィンドウ（最大512K tokens）をサポート。
• 会話キャッシュ、バッチ処理、マルチGPUレイヤー分割などの高度な機能を搭載。
• LinuxおよびWindows環境の両方をネイティブサポート。