estebanpdl/osintgpt

解決する課題

osintgpt は、アナリストが膨大な研究文書コレクションを調査する際、プロジェクトの混同や情報の出所を見失うことを防ぎます。ユーザーは独自に文書をインデックス化し、その資料に基づいた質問を行うことで、明確な引用元を備えた根拠のある回答を得ることができます。

仕組み

このツールは、RAG (検索拡張生成) アプローチを使用して文書をインデックス化する分離されたプロジェクトを作成します。さまざまなファイル形式 (PDF, Word, Excel, CSV, JSON など) を検索可能な形式に変換し、テキストの埋め込み (embeddings) を作成して、ベクトルデータベース (SQLite, Qdrant, または Postgres) に保存します。ユーザーが質問すると、システムは意味的類似性、完全一致、またはグラフ関係を利用して関連資料を見つけ、設定された LLM を使用して回答を生成します。

対象ユーザー

厳格なデータの出所管理と、完全にローカルな処理オプションを維持しながら、自身のプライベートな文書コレクションをクエリする必要がある OSINT (オープンソースインテリジェンス) アナリストや研究者向けに設計されています。

ハイライト

• マルチプロバイダー対応: 生成および埋め込みにおいて OpenAI, Gemini, Anthropic, Voyage, Ollama と互換性があります。
• プライバシーオプション: Ollama と sentence-transformers を使用した完全ローカルパイプラインをサポートしており、データがマシン外に出ることはありません。
• 広範なファイルサポート: 29 種類の読み取り可能な拡張子に対応しており、ビジョンベースの文字起こしによるスキャン済み PDF もサポートしています。
• 堅牢なインデックス作成: 中断されたインデックス作成を再開するチェックポイント機能や、有料 API 用のレート制限/ペース調整機能を内蔵しています。
• グラフ機能: ソース付きのグラフ関係を CYPHERL としてエクスポートし、Neo4j や Memgraph で使用できます。