michaelthwan/searchGPT

Grounded search engine (i.e. with source reference) based on LLM / ChatGPT / OpenAI API. It supports web search, file content search etc.

解決する課題

searchGPTは、モデルの回答をリアルタイムの事実情報に基づかせることで、LLMのハルシネーション（幻覚）を防ぐ方法を提供します。標準的なLLMを、新しいBingの機能と同様に、特定のソースに裏打ちされた自然言語の回答を提供する検索エンジンへと変貌させます。

仕組み

このシステムは、Azure Bing Search APIを介したライブインターネットと、ローカルファイル（PPT、DOC、DOCXなど）という2つの主要なソースから情報を取得します。OpenAI embeddingsを使用したセマンティック検索により、これらのソース内から関連性の高いコンテンツを見つけ出します。取得された情報はLLM（OpenAIやGooseAIなど）に入力され、提供されたコンテキストに基づいて、根拠のある事実に基づいた回答が生成されます。

対象ユーザー

ウェブ検索とドキュメント検索を組み合わせ、LLMが生成した要約を提供するグラウンデッド検索エンジンの最小限の実装を構築またはデプロイしたい開発者およびユーザー。

ハイライト

デュアルソース・グラウンディング: リアルタイムのウェブ検索結果とローカルファイルのコンテンツ検索を組み合わせます。
セマンティック検索: embeddingsを使用して、ソースから最も関連性の高い情報を取得します。
LLM統合: OpenAIやGooseAIを含む複数のプロバイダーをサポートしています。
直感的なインターフェース: 簡単に操作できるフロントエンドのウェブアプリケーションが組み込まれています。