KKKKhazix/AIHOT
一个自己找热点、自己写日报的网站框架。把信源和精选标准换成你的,它就是你的行业热点站。
AIHOT – 업종별 AI 큐레이션 뉴스 사이트 구축을 위한 오픈소스 엔진
정의
- AIHOT은 다양한 피드(RSS, 웹 페이지, JSON API, X/Twitter 계정, WeChat 공개 계정, 맞춤 스크립트)에서 원시 정보를 수집하고, 대규모 언어 모델(LLM)을 사용하여 필터링, 점수 매기기, 번역, 요약을 수행한 다음, 관련 항목을 이벤트로 클러스터링하고, 해당 이벤트에 대해 논의하는 독립적인 소스 수에 따라 순위를 매기는 풀스택 Docker 지원 프레임워크입니다. 그 결과 법률, HR, 금융, 금속 등 모든 분야에 맞게 리브랜딩할 수 있는 일간(및 주간/월간) 뉴스 다이제스트 웹사이트가 생성됩니다.
중요성
- 이 코드는 기존 웹 스크래핑, 중복 감지, LLM 기반 관련성 점수 매기기, 자동화된 중국어 헤드라인/요약 생성, 경량 의미 유사성 기반 클러스터링 단계를 결합한 구체적인 엔드투엔드 파이프라인을 보여줍니다. 모든 프롬프트, 임계값, 선택 논리는 리포지토리에 저장되어 있으므로 사용자는 코드를 다시 작성하지 않고도 "AI 뉴스" 지식 베이스를 자신의 도메인 전문 지식으로 대체할 수 있습니다.
주요 구성 요소
| 구성 요소 | 역할 |
|---|---|
소스 어댑터 (industry/sources.json) |
선택 임계값에 영향을 주는 3가지 신뢰도 등급을 가진 6가지 내장 피드 유형(RSS, 웹 목록, JSON, X, WeChat, 맞춤 푸시)이 있습니다. |
선택 파이프라인 (industry/prompts/, industry/selection.ts) |
사전 필터 → 두 번의 독립적인 LLM 점수 매기기 패스 → 임계값 확인 → 중복 제거. 모든 프롬프트 텍스트는 버전 관리됩니다. |
LLM 기반 작성 (industry/prompts/write-*.md) |
중국어 제목, 답변 우선 요약, 추천 이유를 생성하고 외국어 전체 텍스트를 번역합니다. |
클러스터링 및 이벤트 생성 (industry/prompts/group-*.md) |
지난 2주 이내의 후보 보고서를 찾기 위해 제목/요약의 벡터 유사성(텍스트 겹침으로 대체)을 사용한 다음, LLM에게 동일한 이벤트, 후속 기사 또는 별개의 이야기인지 결정하도록 요청합니다. |
| 핫니스 점수 매기기 | 이벤트당 고유 소스 수를 계산(소스당 48시간에 최대 1회, 24시간 후 가중치 절반)하여 실시간 "핫" 목록을 생성합니다. |
발행 엔진 (site/site.ts) |
설정 가능한 시간에 일간, 주간, 월간 다이제스트를 자동 생성하고 React-SSR, Tailwind CSS UI로 정적 페이지를 구축하며 에이전트용 RSS/JSON/OpenAPI 엔드포인트를 제공합니다. |
관리자 UI (/admin) |
소스 관리, 수동 점수 수정, 파이프라인 진단, 유료 LLM 서비스에 대한 예산 스로틀링, 알림 로그. |
실행 방법
- 템플릿을 클론하고 OpenAI 호환 API 키(DeepSeek, 千問, 智谱 등)로
node scripts/init-env.ts를 실행합니다. docker compose up -d --build로 세 가지 서비스(Fastify API, Next 스타일 SSR 사이트, PostgreSQL)를 빌드합니다. 처음 30분 동안 데모 AI 뉴스 피드를 처리합니다. 그 후 사이트는http://localhost:3000에서 채워집니다.- 사용자 정의:
industry/sources.json의 데모 소스를 대상 업계의 피드로 교체합니다.industry/prompts/의 프롬프트를 편집하여 도메인의 "노하우"를 반영합니다.industry/selection.ts의 임계값과site/brand/의 브랜딩을 조정합니다.- 파이프라인을 다시 실행합니다(
npm run typecheck && npm test && node scripts/smoke.ts).
사용 대상
- 특정 부문에 대해 지속적으로 업데이트되는 AI 필터링 뉴스 다이제스트가 필요한 기업 또는 뉴스레터.
- 큐레이션되고 LLM으로 필터링된 기사 데이터 세트를 구축하는 연구자.
- 제공된 RSS/JSON/API 엔드포인트를 통해 깨끗하고 구조화된 뉴스 피드를 소비하는 LLM 인식 에이전트를 개발하는 개발자.
기술 스택
- 런타임: Node.js 24, TypeScript
- 웹: Fastify(API), 서버 사이드 렌더링을 사용하는 React Router, Tailwind CSS
- 데이터베이스: PostgreSQL 17 + pg-boss 작업 큐
- 컨테이너화: Docker Compose
- LLM 통합: OpenAI 호환 엔드포인트. 프롬프트는 일반 마크다운 파일입니다.
라이선스
- 코드는 MIT. 이름 "AIHOT"과 로고는 라이선스에서 제외되므로 자체 인스턴스를 배포할 때 리브랜딩해야 합니다.
AIHOT은 본질적으로 재사용 가능한 AI 기반 뉴스 큐레이션 엔진입니다. 소스 목록을 교체하고 프롬프트 파일을 조정하면 LLM 파이프라인을 직접 작성하지 않고도 도메인별 "핫 토픽" 포털을 구동할 수 있습니다.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트
- Dispatch