AlexsJones/llmserve

何を解決するか

llmserve は、ローカル LLM 推論サーバーを発見・起動するための統合型ターミナルユーザーインターフェース（TUI）を提供します。GGUF や MLX などの異なるモデルファイルや、さまざまな推論エンジン間を切り替える際、複雑な CLI フラグを覚える必要や、複数の設定ファイルを管理する必要がなくなります。

動作方法

このツールは、インストールされた推論バックエンド（llama-server、KoboldCpp、MLX など）をシステム上でスキャンし、事前定義されたおよびカスタムのディレクトリを検索してモデルファイルを探索します。インタラクティブな3パネルインターフェースを通じて、ユーザーはモデルライブラリを閲覧し、バックエンドを選択してサーバーを起動できます。バックエンドプロセスの実行、ポートの管理、サーバーログのリアルタイムストリーミングを TUI に直接表示し、監視やクラッシュ診断を可能にします。

対象ユーザー

さまざまなローカル LLM を実行し、各起動コマンドを手動で設定せずに、迅速かつ集中管理できる方法を求めるユーザー向けです。

特徴

• マルチバックエンド対応：llama-server、KoboldCpp、LocalAI、MLX、Ollama、vLLM、LM Studio など、エンジンを自動検出。
• 統合モデル検出：LM Studio、HuggingFace、llama.cpp などの一般的なパスにモデルを自動検出し、カスタムディレクトリの追加も可能。
• ライブログストリーミング：バックエンドからの stdout/stderr をキャプチャし、色分けされたログパネルに表示。単語折り返しもサポート。
• カスタマイズ可能なプリセット：TOML ファイルを用いて、各バックエンドごとにコンテキストサイズ、GPUレイヤー、バッチサイズ、追加 CLI 引数を設定可能。
• ビジョン対応：mmproj プロジェクターファイルを自動検出し、llama-server でのビジョン機能を有効化。