SleepySoft/IntelligenceIntegrationSystem

해결하는 문제

이 프로젝트는 정보 과잉과 저질 뉴스 기사 문제를 해결합니다. 매일 수많은 뉴스 중에서 "물러진" 콘텐츠와 클릭 유도 제목을 필터링하여 독자에게 고가치 인텔리전스만을 제공하는 것을 목표로 합니다.

작동 방식

이 시스템은 다음의 파이프라인을 따릅니다: 스크래핑 → 제출 → 정제/AI 분석 → 필터링/재게시 → 아카이브.

1. 스크래핑: RSS 피드와 리스트 페이지 스크래핑을 사용하여 다양한 글로벌 미디어에서 뉴스를 수집합니다. 크롤러 설정을 생성하기 위한 "What You See Is What You Get" (WYSIWYG) 도구도 포함되어 있습니다.
2. AI 분석: 수집된 뉴스는 특정 프롬프트를 사용하여 인텔리전스 가치를 평가하고 분석하는 AI 분석기로 처리됩니다. AI 출력의 높은 파싱률을 보장하기 위해 json_repair를 사용합니다.
3. 벡터 저장소: bge-m3 모델을 사용한 벡터 데이터베이스를 활용하여 유사성 검색, 인텔리전스 점프, 상관관계 추론을 가능하게 합니다.
4. 관리: 중앙 허브(IntelligenceHub)가 데이터 흐름을 관리하고, 관리용 웹 인터페이스를 제공하며, 필터링된 결과를 HTML 페이지로 게시합니다.

대상 사용자

오픈소스 인텔리전스(OSINT)에 관심이 있으며, 저품질 기사들을 읽지 않고도 세계 뉴스를 효율적으로 모니터링하고 의미 있는 통찰을 추출하고자 하는 사용자들입니다.

주요 특징

• AI 기반 스코어링: 인텔리전스 가치에 따라 뉴스를 자동으로 필터링하여 고가치 보고서와 노이즈를 분리하려는 목표를 가지고 있습니다.
• 벡터 기반 상관관계: 벡터 데이터베이스를 사용하여 유사한 인텔리전스를 찾고 상관관계를 추론합니다.
• WYSIWYG 크롤러 설정: 시각적 설정 인터페이스를 통해 새로운 뉴스 소스를 간편하게 추가할 수 있습니다.
• 글로벌 미디어 통합: BBC, 알자지라, 타스 등 다양한 국제 뉴스 기관에서 사전 설정된 상태로 스크래핑이 가능합니다.
• 포괄적인 저장소: 구조화된 인텔리전스 아카이브에는 MongoDB를 사용하고, 의미적 검색을 위해 전용 벡터 DB를 활용합니다.