SleepySoft/IntelligenceIntegrationSystem

解决的问题

该项目解决了信息过载和低质量新闻报道的问题。旨在从每日海量新闻中过滤掉‘水货’内容和点击诱饵标题，确保读者仅能获取高价值的情报。

工作原理

该系统遵循以下流程：抓取 → 提交 → 清洗/AI分析 → 过滤/再发布 → 归档。

1. 抓取：使用RSS订阅和列表页抓取从全球各类媒体获取新闻。包含一个“所见即所得”（WYSIWYG）工具，用于生成爬虫配置。
2. AI分析：收集的新闻由AI分析器处理，使用特定提示词对内容的情报价值进行评分和分析。利用 json_repair 确保AI输出的高解析率。
3. 向量存储：采用向量数据库（使用 bge-m3 模型）实现相似性搜索、情报跳跃和相关性推断。
4. 管理：中央枢纽（IntelligenceHub）管理数据流，提供管理用Web界面，并将过滤后的内容以HTML页面形式发布。

适用人群

对开源情报（OSINT）感兴趣，希望以高效、AI驱动的方式监控全球新闻并提取有意义洞察，而无需阅读低价值文章的用户。

主要亮点

• AI驱动评分：基于情报价值自动过滤新闻，旨在将高价值报告与噪音分离。
• 基于向量的相关性：使用向量数据库查找相似情报并执行相关性推断。
• WYSIWYG爬虫配置：通过可视化配置界面简化新增新闻源的流程。
• 全球媒体集成：预配置支持从BBC、半岛电视台、塔斯社等众多国际新闻机构抓取。
• 全面存储：使用MongoDB进行结构化情报归档，专用向量数据库用于语义搜索。