prabanta-dev/janas

解決する課題

Janas-LLM は、RAM が限られたコンシューマーハードウェア上で、大規模で高パラメータの mixture-of-experts（MoE）言語モデルを実行するという課題に取り組みます。NVMe SSD からモデルのウェイトをストリーミングし、頻繁に使用されるエキスパートをメモリにキャッシュすることで、32GB RAM の標準的なラップトップでも、大規模モデル（800 億パラメータの変種など）を実行できるようにします。

仕組み

外部依存関係のない C 言語で書かれたこのエンジンは、モデルのウェイトを管理するためのカスタムアーキテクチャを使用します。モデルの大部分をディスクに保持し、必要なエキスパートだけをアクティブなメモリキャッシュに動的にロードします。利用可能な場合はハードウェアアクセラレーション（Vulkan）を活用し、直接 I/O（O_DIRECT）を使用してディスク読み取り速度を最大化し、特定のハードウェア構成では llama.cpp などの確立されたフレームワークを上回る速度で推論を実行できます。

対象読者

このプロジェクトは、コンシューマーグレードのハードウェア（Linux または Windows x86-64）で大規模な LLM をローカルに実行したい開発者やパワーユーザーを対象としており、高性能で依存関係の少ない C 言語による AI 推論エンジンの実装に興味がある人向けです。

ハイライト

• ディスクからエキスパートをストリーミングすることで、32GB RAM のラップトップで 800 億パラメータのモデルを実行。
• 外部ライブラリに依存しない高性能な C 言語実装。
• AI エージェントやエディタと統合するための MCP（Model Context Protocol）の組み込みサポート。
• OpenAI 互換の HTTP サーバーと、VS Code などの IDE 向けのコード補完機能を提供。
• 特定のハードウェアでのパフォーマンスを測定・最適化するためのネイティブベンチマークツールを含む。