Avarok-Cybersecurity/atlas

何を解決するか

Atlas は、エッジデバイスからデータセンターのラックまで、幅広いハードウェア上で大規模モデルを効率的に実行できる高性能なLLM推論エンジンです。PythonやPyTorchのような重い依存関係を必要とせず、軽量で単一バイナリのランタイムを提供し、特に頻繁なツール呼び出しと長いコンテキスト窓を持つエージェントワークロードにおいて、スループットを最大化し、レイテンシを低減します。

動作方法

純粋なRustとCUDAで記述されたAtlasは、特定のハードウェア、モデル、量子化ターゲットに最適化された手動チューニングされたCUDAカーネルを使用しています。以下の高度な最適化技術を実装しています：

• 予測デコード：MTP（マルチトークン予測）ドラフトヘッドとDFlashブロック拡散の両方をサポートし、1秒あたりのトークン数を増加。
• メモリ管理：マルチターン会話用の基数木プレフィックスキャッシュと、FP8/NVFP4量子化を活用してメモリ使用量を削減。
• SLAiスケジューラ：SLOを意識したスケジューラで、並行シーケンスを再順序付けし、検証バッチとプリフェイル効率を最適化。
• エキスパート並列化：複数ノード（例：2x GB10）にスケーリング可能で、大規模モデルに対応。
• ハードウェア抽象化：プラグアンドプレイアーキテクチャを採用し、同じCUDAソースをNVIDIAおよびAMD（SCALE経由）など異なるターゲットにコンパイル可能。

対象ユーザー

Atlasは、パフォーマンス、低オーバーヘッド、ハードウェアの柔軟性が重要な生産環境でLLMを展開する開発者や組織向けに構築されています。特に、長大なコンテキスト窓と高速なツール使用ループを必要とするエージェントコーディングワークロード（Claude CodeやClineなど）に最適化されています。

主な特徴

• 純粋なRustランタイム：PythonやPyTorchの依存関係なしに、単一の約75MBバイナリで配布。
• 広範なハードウェア対応：NVIDIA DGX Spark（GB10/Blackwell）およびAMD Strix Haloで検証済み。Apple Silicon向けの初期導入も進行中。
• OpenAI互換：OpenAI、Anthropic、Responses APIをサポート。
• 高並行性：並行度（C=1からC=128）の広い範囲で、vLLMを上回る性能を発揮。
• 高度な量子化：重みおよびKVキャッシュにNVFP4およびFP8量子化をサポート。