docker/genai-stack

何を解決するか

開発者がGenerative AIアプリケーションを迅速に構築・デプロイできるよう、すぐに使えるスターターKITを提供します。LLM、ベクトルデータベース、アプリケーションフレームワークといった必要なインフラを1つのデプロイ可能なスタックにバンドルすることで、初期設定の煩わしさを解消します。

動作方法

このプロジェクトはDocker Composeを使用してツールのスイートをオーケストレーションします。OllamaによるローカルモデルまたはGPT-4、Claude、Google用のAPIキーを介したLLMの統合、ベクトル埋め込みと知識グラフのストレージに使用するNeo4jデータベース、Pythonベースのアプリケーションを含みます。Linux-GPUなどの異なるオペレーティングシステムおよびハードウェア向けの複数のデプロイプロファイルをサポートしています。

対象ユーザー

下位のデータベースやモデルインフラを手動で設定せずに、RAG（Retrieval-Augmented Generation）と知識グラフを実験したい開発者向けです。

特徴

• マルチアプリデモスイート：サポートボット、Stack Overflowデータローダー、PDFリーダー、スタンドアロンHTTP APIを含みます。
• ハイブリッドRAG：純粋なLLMの応答と、ベクトルおよび知識グラフのコンテキストで強化された応答の違いを示します。
• 柔軟なLLMサポート：Ollamaによるローカルモデルと、OpenAI、AWS、Googleなどのクラウドプロバイダーの両方に対応しています。
• 統合ツール：Svelteベースのフロントエンドを含み、デバッグ用にLangChainトレーシングをサポートしています。