SleepySoft/IntelligenceIntegrationSystem

해결하는 문제

이 프로젝트는 현대 뉴스 미디어의 정보 과잉과 낮은 품질 문제를 해결합니다. 대량의 '필러' 콘텐츠와 클릭 유도 제목이 실제 인텔리전스 가치를 가리기 쉽습니다. 본 시스템은 노이즈를 제거하고 핵심 정보를 요약함으로써, 공개된 뉴스를 구조화된 고가치 인텔리전스로 전환하는 것을 목표로 합니다.

작동 방식

시스템은 다음의 파이프라인을 따릅니다: 스크래핑 → 제출 → 정제/AI 분석 → 필터링/재게시 → 아카이브.

1. 스크래핑: CrawlerServiceEngine.py를 통해 RSS 피드와 리스트 페이지 스크래핑을 사용하여 다양한 국제 미디어에서 뉴스를 수집합니다. 또한 'What You See Is What You Get' (WYSIWYG) 도구를 통해 크롤러 설정을 시각적으로 생성할 수 있습니다.
2. AI 분석: IntelligenceAnalyzerProxy.py는 AI 클라이언트와 특정 프롬프트를 사용하여 수집된 뉴스를 분석, 스코어링, 요약합니다. AI 출력의 높은 파싱률을 보장하기 위해 json_repair를 활용합니다.
3. 저장 및 검색: 원시 데이터와 처리된 데이터는 MongoDB에 저장됩니다. 벡터 데이터베이스(기준 모델: bge-m3)를 사용하여 유사성 검색, 관련 인텔리전스 연결, 관련 인텔리전스 추론을 지원합니다.
4. 게시: 내장된 웹 서비스(IntelligenceHubWebService.py)는 관리 백엔드와 공개 페이지를 제공하여 필터링된 인텔리전스를 확인할 수 있습니다.

대상 사용자

글로벌 뉴스 소스를 자동 모니터링하고, 저가치 기사들을 읽지 않고도 의미 있는 통찰을 추출하고자 하는 오픈 소스 인텔리전스(OSINT) 관심 사용자에게 적합합니다.

주요 특징

• 자동화된 OSINT 파이프라인: 스크래핑, AI 기반 스코어링, AI 기반 요약을 하나의 워크플로우로 통합.
• 벡터 DB 통합: 벡터 임베딩을 사용한 고급 검색 및 인텔리전스 상관관계/추론을 지원.
• WYSIWYG 크롤러 설정: 시각적 인터페이스를 통해 새로운 뉴스 소스 추가를 간소화.
• 다중 소스 지원: BBC, 알자지라, 타스 등 다양한 글로벌 뉴스 기관에 사전 설정되어 있음.
• 모듈형 아키텍처: 핵심 허브, 크롤러 엔진, 벡터 데이터베이스 서비스를 분리하여 유연한 배포 가능.