zylon-ai/private-gpt

何を解決するか

PrivateGPT は、クラウド API に依存せずにローカルモデルを使用して本番用 AI アプリケーションを構築できる、オープンソースの API レイヤーです。Ollama や vLLM などの原始的なローカル推論サーバーと、完全に機能する AI アプリケーションの間のギャップを埋め、RAG、ツール使用、構造化データアクセスなどの高レベルな構成要素を提供します。

動作方法

PrivateGPT は、アプリケーションまたはエージェントと OpenAI 互換の推論サーバーの間の仲介レイヤーとして機能します。モデル自体は実行しません。代わりに OPENAI_API_BASE を介してサーバーに接続し、実際の LLM 処理を処理します。メッセージ、ストリーミング、ツールオーケストレーションのための標準化されたインターフェースを提供するために、Claude API の仕様に従います。

対象ユーザー

ローカル LLM 用の標準化された API を必要とし、バックエンドの基本的な構成要素を再構築せずに、プライベートで自己ホストされた AI 製品、エージェント、ワークフローを構築したい開発者。

主な特徴

• Claude API 互換性: メッセージ、ストリーミング、トークンカウンティングのためのリファレンス API を実装。
• エージェント対応 RAG: ファイルおよびアーティファクトのインジェスト、検索、引用のサポート。
• 組み込みツール: ウェブ検索、ウェブ取得、コード実行を内蔵。カスタムツールおよび MCP コネクタもサポート。
• データアクセス: データベースおよび CSV への構造化アクセスを内蔵し、表形式の分析が可能。
• ワークベンチ UI: テスト、ドキュメントアップロード、API デバッグ用の洗練された UI を提供。