ServiceStack/llms

ServiceStack/llms – クイック概要

概要 – llms.py は、インターネット接続なしでさまざまな大規模言語モデル（LLM）と対話できる軽量なコマンドラインおよびWeb APIツールです。Open WebUIプロジェクトの自己ホスト型でプライバシー優先の代替を目指しています。

主な機能

• オフラインでの複数LLMアクセス – ローカルでホストされている任意のLLM（例：Llama-2、Mistralなど）を接続し、同じインターフェースからクエリを実行できます。
• CLIおよびHTTP API – 簡単なターミナルコマンドを使用するか、REST呼び出しを送信して補完を取得できます。スクリプト化や他のアプリへの組み込みが容易です。
• チャットスタイルUI – ブラウザベースのフロントエンドがChatGPT風の会話を模倣し、チャット履歴はブラウザのローカルストレージにのみ保存されるため、ユーザーのマシンからデータが外部に出ることはありません。
• MCPクライアント統合 – 会話/エージェントをリモートの「MCP」ツール（OAuthで保護されたユーザーごとのエンドポイント）に接続するオプションの拡張機能。承認は編集可能で、不確実な呼び出しを再生せずに障害から回復できます。
• 共有拡張機能 – share_static と share_llmspy を使用すると、静的アセットや会話セッション全体を他のユーザーに公開でき、設定ファイルで制御できます。

動作の仕組み

1. Pythonスクリプトを実行（llms.py）– 小さなWebサーバーを起動し、REST APIを公開してバンドルされたUIを提供します。
2. LLMバックエンドを設定 – サーバーをローカルで実行中のモデルサービス（HTTP、gRPCなど）にポイントします。
3. 対話 – ブラウザでUIを開き、プロンプトを入力すると、サーバーが選択したモデルに転送し、応答を返します。
4. オプションのMCPレイヤー – extensions/mcp_client モジュールを有効にすると、サーバーはOAuth認証が必要なリモートツールに特定の呼び出しを転送でき、ユーザーごとの承認がサーバーに保存されます。

誰が使うか

• ローカルLLMを試すための迅速な自己ホスト型ChatGPTスタイルUIを求める開発者。
• プロンプトデータをプライベートに保ち、クラウドデータベースよりもブラウザのローカルストレージを好むチーム。
• コア会話をオフラインに保ちながら、外部サービス（MCPクライアント経由）を呼び出すエージェントを構築する研究者。

詳細情報

• プロジェクトウェブサイト：https://llmspy.org
• リポジトリ：https://github.com/ServiceStack/llmspy.org（読んでいるREADME）
• 拡張機能ドキュメント：llms/extensions/mcp_client/README.md および docs/SHARING.md

---

上記の詳細はすべてリポジトリのREADMEから直接取得しています。追加の機能は推測されていません。