amaiya/onprem

何を解決するか

OnPrem.LLM は、機密性の高い非公開データに大規模言語モデル（LLM）を適用することを目的としたプライバシーに配慮したツールキットです。ユーザーはオフラインまたは制限された環境でLLMを実行でき、データはデフォルトでローカルに保たれますが、必要に応じてクラウドプロバイダーと統合する柔軟性も提供します。

動作方法

このツールキットは、さまざまなLLMバックエンドとやり取りするための統一されたPythonインターフェースを提供します。llama-cpp-python、Hugging Face transformers、Ollama、vLLMによるローカル実行に加え、OpenAIやAnthropicなどのクラウドプロバイダーもサポートしています。ドキュメントのインジェストと質問に適したRetrieval-Augmented Generation（RAG）の組み込みサポート、Pydanticを用いた構造化出力、AIエージェントを安全に実行できるサンドボックス環境も含まれます。

対象ユーザー

プライバシーまたはセキュリティを犠牲にせずにLLMを使って機密ドキュメントを処理したい開発者や組織、特に計算リソースが限られた制限環境やオフライン環境で運用するユーザーに適しています。

特徴

• ローカル優先アプローチ：完全にローカルで実行可能で、クラウド統合はオプション。
• 多様なバックエンド対応：llama-cpp-python、transformers、vLLM、およびLiteLLMがサポートするプロバイダーと互換性あり。
• ドキュメントインテリジェンス：情報抽出、要約、分類、質問応答のための組み込みパイプライン。
• サンドボックスエージェント：制限された環境で安全にAIエージェントを起動できる AgentExecutor。
• 視覚的ワークフロービルダー：複雑なドキュメント分析パイプラインをマウス操作で構築できるインターフェース。
• リソース効率：RAGに必要な事前保存された埋め込みを必要としない SparseStore などのモジュールを含む。