SleepySoft/IntelligenceIntegrationSystem

解决的问题

本项目解决现代新闻媒体信息过载和内容质量差的问题，大量‘填充’内容和点击诱饵标题常常掩盖了真实的情报价值。该系统旨在通过去除噪声并总结关键信息，将原始公开新闻转化为结构化、高价值的情报。

工作原理

系统遵循以下流程：抓取 → 提交 → 清理/AI分析 → 过滤/再发布 → 归档。

1. 抓取：使用RSS订阅和列表页抓取（通过 CrawlerServiceEngine.py）从多种国际媒体收集新闻。包含一个“所见即所得”（WYSIWYG）工具，用于生成爬虫配置。
2. AI分析：IntelligenceAnalyzerProxy.py 使用AI客户端和特定提示词对收集的新闻进行分析、评分和摘要。利用 json_repair 确保AI输出的高解析率。
3. 存储与检索：原始数据和处理后的数据存储在MongoDB中。使用向量数据库（bge-m3模型）实现相似性搜索、相关情报跳跃和关联情报推断。
4. 发布：内置的Web服务（IntelligenceHubWebService.py）提供管理后台和面向公众的页面，用于查看过滤后的情报。

适用人群

希望自动化监控全球新闻源并提取有意义洞察，而无需阅读低价值文章的开源情报（OSINT）用户。

主要亮点

• 自动化OSINT流水线：将抓取、AI驱动评分和AI驱动摘要整合为单一工作流。
• 向量数据库集成：支持使用向量嵌入进行高级搜索和情报关联/推断。
• WYSIWYG爬虫配置：通过可视化界面简化新增新闻源的添加过程。
• 多源支持：预配置支持广泛的全球新闻机构（如BBC、半岛电视台、塔斯社）。
• 模块化架构：将核心枢纽、爬虫引擎和向量数据库服务分离，支持灵活部署。