SleepySoft/IntelligenceIntegrationSystem

何を解決するか

このプロジェクトは情報過多と低品質なジャーナリズムの問題に対処します。毎日の大量のニュースから「水っぽい」コンテンツやクリックベイトの見出しをフィルタリングし、読者に高価値のインテリジェンスのみを提示することを目指しています。

動作方法

このシステムは以下のパイプラインに従います：スクレイピング → 提出 → クリーニング/AI分析 → フィルタリング/再公開 → アーカイブ。

1. スクレイピング：RSSフィードとリストページのスクレイピングを使用して、さまざまな世界的メディアからニュースを収集します。クローラー設定を生成するための「What You See Is What You Get」（WYSIWYG）ツールも含まれています。
2. AI分析：収集されたニュースは、特定のプロンプトを使用してインテリジェンス価値をスコアリング・分析するAIアナライザーによって処理されます。AI出力の高いパース率を確保するために json_repair を利用しています。
3. ベクトルストレージ：bge-m3 モデルを使用したベクトルデータベースを採用し、類似性検索、インテリジェンスのジャンプ、相関推論を可能にしています。
4. 管理：中央ハブ（IntelligenceHub）がデータフローを管理し、管理用のWebインターフェースを提供し、フィルタリングされた結果をHTMLページとして公開します。

対象ユーザー

オープンソースインテリジェンス（OSINT）に興味があり、AIを活用して世界中のニュースを効率的に監視し、低価値な記事を読まなくても意味のあるインサイトを抽出したいユーザー向けです。

特徴

• AI駆動のスコアリング：インテリジェンス価値に基づいてニュースを自動的にフィルタリングし、高価値な報告とノイズを分離することを目指しています。
• ベクトルベースの相関：ベクトルデータベースを使用して類似するインテリジェンスを検出し、相関推論を実行します。
• WYSIWYGクローラー設定：視覚的な設定インターフェースにより、新しいニュースソースの追加を簡素化します。
• グローバルメディア統合：BBC、アルジャジーラ、タス通信など、幅広い国際的ニュース機関から事前設定済みでスクレイピング可能です。
• 包括的なストレージ：構造化されたインテリジェンスアーカイブにはMongoDBを使用し、意味的検索には専用のベクトルDBを活用しています。