finic-ai/rag-stack

🤖 Deploy a private ChatGPT alternative hosted within your VPC. 🔮 Connect it to your organization's knowledge base and use it as a corporate oracle. Supports open-source LLMs like Llama 2, Falcon, and GPT4All.

解決する課題

RAGstackは、組織が独自の内部ナレッジベースとチャットできるようにする、ChatGPTのセルフホスト型プライベート代替手段を提供します。検索拡張生成（RAG）を使用することで、外部のパブリックAIサービスに依存することなく、PDFや内部データソースなどのドキュメントをクエリできるようになります。

仕組み

このプロジェクトは、ユーザーインターフェースとサーバーをベクトルデータベースおよびオープンソースのLLMに接続するオーケストレーション層として機能します。ドキュメントの埋め込みを保存および取得するために、ベクトルデータベースとしてQdrantを使用します。ユーザーが質問すると、システムはデータベースから関連情報を取得し、それをLLM（Llama 2、Falcon、GPT4Allなど）に供給して、コンテキストを認識した回答を生成します。

対象ユーザー

独自の仮想プライベートクラウド（VPC）またはローカル環境内にプライベートで安全なAIインフラストラクチャをデプロイする必要があり、機密データを確実に管理下に置きたい開発者や組織向けに設計されています。

ハイライト

Llama 2、Falcon-7b、GPT4Allを含む複数のオープンソースLLMをサポート。
AWS、Google Cloud、Azureなどの主要なクラウドプロバイダー向けの自動デプロイスクリプトが含まれています。
高性能なセルフホスト型ベクトルストレージとしてQdrantを使用。
PDFドキュメントの取り込みとチャットのためのすぐに使えるインターフェースを提供。