amaiya/onprem

OnPrem.LLMは、オフラインまたは制限された環境で、機密性の高い非公開データに対して大規模言語モデル (LLMs) を適用するためのPythonツールキットです。デフォルトで完全にローカルで実行されるように設計されていますが、必要に応じてクラウドLLMプロバイダー (OpenAI, Anthropicなど) もサポートしています。このプロジェクトはprivateGPTから着想を得ており、情報抽出、要約、分類、質問応答、AIエージェントなどのドキュメントインテリジェンス・タスクに焦点を当てています。

主な機能は以下の通りです：

• ローカル優先の実行とオプションのクラウド統合。
• RAG (検索拡張生成)：独自のドキュメントに対する質問応答が可能。埋め込みを事前に保存する必要がない軽量な "SparseStore" を含み、一般的なハードウェアでも使用可能。
• 多様なLLMバックエンドのサポート：llama.cpp, Hugging Face Transformers, Ollama, vLLM, OpenAI, Anthropic, AWS GovCloud Bedrock。
• 構造化出力：Pydanticモデルを介して実現。
• サンドボックス化されたAIエージェント (AgentExecutor)：ファイル分析などのタスクを安全に実行可能。
• ビジュアルワークフロービルダー：複雑なドキュメント分析パイプラインを構築可能。
• 軽量なインストール：ベースパッケージにはPyTorchが含まれなくなりました。オプションの追加機能により、ローカル埋め込み、ドキュメント解析、Web UIなどの機能を追加できます。

実際には、シンプルなプロンプトから開始し、RAGのためにドキュメントを取り込み、ローカルモデルとクラウドモデルを切り替え、さらにはエージェントを実行することも、一貫したPython APIを通じてすべて行えます。このプロジェクトはプライバシーと柔軟性を重視しており、機密データを外部サービスに送信することなく処理する必要がある企業や個人に適しています。