SleepySoft/IntelligenceIntegrationSystem

何を解決するか

このプロジェクトは、現代のニュースメディアにおける情報過多と低品質の問題に対処します。膨大な「フィラー」コンテンツやクリックベイトの見出しは、実際のインテリジェンス価値を覆い隠すことがよくあります。本システムは、ノイズを除去し、重要な情報を要約することで、公開されたニュースを構造化された高価値インテリジェンスに変換することを目指しています。

動作方法

システムは以下のパイプラインに従います：スクレイピング → 提出 → クリーニング/AI分析 → フィルタリング/再公開 → アーカイブ。

1. スクレイピング：RSSフィードとリストページスクレイピング（CrawlerServiceEngine.py経由）を使用して、多様な国際的メディアからニュースを収集します。また、「What You See Is What You Get」（WYSIWYG）ツールにより、クローラー設定を視覚的に生成できます。
2. AI分析：IntelligenceAnalyzerProxy.py はAIクライアントと特定のプロンプトを使用して、収集されたニュースを分析・スコアリング・要約します。AI出力の高パース率を確保するために json_repair を活用しています。
3. ストレージと取得：生データと処理済みデータはMongoDBに保存されます。ベクトルデータベース（bge-m3モデルを使用）により、類似検索、関連インテリジェンスのジャンプ、関連インテリジェンスの推論が可能になります。
4. 公開：組み込みのウェブサービス（IntelligenceHubWebService.py）により、管理バックエンドと公開ページを提供し、フィルタリングされたインテリジェンスを閲覧できます。

対象ユーザー

グローバルなニュースソースの自動監視と、低価値記事を読まなくても意味のあるインサイトを抽出したい、オープンソースインテリジェンス（OSINT）に関心を持つユーザー向けです。

特徴

• 自動化されたOSINTパイプライン：スクレイピング、AI駆動のスコアリング、AI駆動の要約を1つのワークフローに統合。
• ベクトルDB統合：ベクトル埋め込みを使用した高度な検索とインテリジェンス相関/推論をサポート。
• WYSIWYGクローラー設定：視覚インターフェースにより、新しいニュースソースの追加を簡素化。
• マルチソース対応：BBC、アルジャジーラ、タス通信など、幅広い国際的ニュース機関に対応する事前設定済み。
• モジュールアーキテクチャ：コアハブ、クローラーエンジン、ベクトルデータベースサービスを分離し、柔軟な展開を可能に。