Avarok-Cybersecurity/atlas

何を解決するか

Atlasは、Pythonベースの推論スタックで頻繁に見られる依存関係の地獄（dependency hell）と不安定さを解消するために設計された、高性能なLLM推論エンジンです。ハードウェア固有の最適化を通じてローカル推論速度を最大化することで、高価なCloud APIへの依存を減らすことを目指しており、強力なモデルをローカルハードウェア上で効率的に実行できるようにします。

仕組み

完全にRustで構築されたAtlasは、traitに基づいたモジュール式の「プラグアンドプレイ」アーキテクチャを採用しています。これにより、HTTP APIとスケジューラを、実際のモデルロジックやハードウェアバックエンドから切り離すことができます。汎用的なカーネルの代わりに、Atlasはハードウェアおよびモデル固有のカーネル（例：NVIDIA GB10用のカスタムCUDAカーネル）を使用して、2〜3倍の速度向上を実現します。このシステムは、MoE、SSM、Hybridモデルを含む多様なアーキテクチャをサポートしており、ハードウェア、モデル、および量子化ターゲットに基づいて、ビルド時に正しいカーネルを自動的に検出するレジストリシステムを利用しています。

対象ユーザー

安定した高速なローカル推論環境を求めるソフトウェアエンジニアやAIコミュニティ向けに設計されています。特にNVIDIA GB10 (DGX Spark)ハードウェアへのデプロイに有用ですが、将来的にはAMD、Apple Silicon、およびIntelのサポートも視野に入れた設計となっています。

ハイライト

• Pure Rust Implementation: 多言語混在のコードベースによる複雑さと不安定さを回避します。
• Hardware-Specific Kernels: 特定のハードウェア/モデルの組み合わせに対してカスタムチューニングされたカーネルを使用して、スループットを最大化します。
• Modular Architecture: Traitベースの設計により、新しいモデルやハードウェアターゲットの容易な統合が可能です。
• AI-Friendly Codebase: AIが生成したプルリクエストや貢献を促進し、容易にするために特別に構造化されています。
• Broad Model Support: Qwen、Gemma-4、Mistral、Nemotronを含む幅広い最新アーキテクチャのサポートを提供します。