liyedanpdx/reddit-ai-trends

Reddit AI Trend Reports

개요 – AI 중심 서브레딧에서 게시물을 자동으로 가져오고, 이미지 분석, YouTube 자막 요약, 웹 페이지 스크레이핑으로 보강한 후, LLM(Groq 또는 OpenRouter를 통해)을 사용하여 영어와 중국어로 일일 트렌드 보고서를 생성하는 오픈소스 파이프라인입니다.

주요 기능

• 수십 개의 AI 서브커뮤니티(예: r/MachineLearning, r/LLMDevs, r/Rag 등)에 대한 실시간 모니터링.
• 멀티모달 보강: 이미지용 비전 모델(Qwen-VL, Gemini), YouTube 자막 추출, Firecrawl 기반 웹 페이지 요약(선택 사항).
• 이중 언어 출력 – 보고서는 영어와 중국어로 생성되며, 언어 선택은 REPORT_LANGUAGES를 통해 제어됩니다.
• 역사적 저장 – 모든 원본 게시물, 보강 데이터 및 생성된 보고서는 MongoDB에 영구 저장되어 주별 또는 월별 트렌드 분석을 가능하게 합니다.
• 비용 인식 설계 – API 결과의 스마트 캐싱, 설정 가능한 '스마트' 댓글 가져오기, 각 보강 단계의 토글 기능.
• 컨테이너화 배포 – Docker Compose로 앱과 MongoDB를 시작합니다. 저장소에는 실행 가능한 docker-compose.yml이 포함되어 있습니다.

동작 원리(고수준 흐름)

1. 수집 – Reddit 가져오기가 REDDIT_SUBREDDITS에 나열된 서브레딧에서 최신 POSTS_PER_SUBREDDIT개의 게시물을 가져옵니다.
2. 보강 – 선택적 모듈이 실행됩니다:
   • 비전 모델이 이미지에 대한 캡션을 생성합니다.
   • YouTube URL이 자막으로 변환되고 요약됩니다.
   • 링크된 웹 페이지가 Firecrawl을 통해 스크레이핑되고 요약됩니다.
   • 상위 댓글이 가져오기됩니다(스마트 모드에서는 게시물에 이미 충분한 텍스트가 있는 경우 건너뜁니다).
3. 캐싱 – 모든 보강 결과가 MongoDB에 저장되어 반복 실행 시 데이터를 재사용하고 추가 API 비용을 피합니다.
4. 프롬프트 및 생성 – JSON 구조의 프롬프트가 선택된 LLM(Groq 또는 OpenRouter)에 전달되어 다음을 포함하는 마크다운 보고서를 생성합니다:
   • 일일 하이라이트
   • 주간 트렌드 비교
   • 월간 기술 진화
   • 선택된 심층 분석 섹션
5. 영구 저장 – 보고서는 reports/YYYY/MM/DD/에 기록되고, 빠른 액세스를 위해 심볼릭 링크(latest_report_en.md, latest_report_zh.md)가 업데이트됩니다.

시작하기

# 1. Clone the repo
git clone https://github.com/liyedanpdx/reddit-ai-trends.git && cd reddit-ai-trends

# 2. Copy env template and fill in your keys
cp .env.example .env
# edit .env → add Reddit, Groq/OpenRouter, Firecrawl keys, etc.

# 3. Run with Docker Compose (recommended)
docker-compose up -d

# 4. Watch the logs – the app will generate a report each day at REPORT_GENERATION_TIME
docker-compose logs -f app

Docker 없이 한 번만 실행하려면:

pip install -r requirements.txt
python report_generation.py --languages en zh   # generate now

전형적인 사용 사례

• AI 커뮤니티에서 무엇이 논의되고 있는지에 대한 간결한 일일 스냅샷이 필요한 연구자 또는 제품 팀.
• 부상하는 모델, 라이브러리 또는 연구 방향의 초기 신호를 찾는 투자자 또는 분석가.
• 뉴스레터, 팟캐스트 또는 비디오의 기반이 될 준비된 브리핑을 원하는 콘텐츠 크리에이터.
• 이중 언어 AI 뉴스에 관심 있는 모든 사람 – 동일한 파이프라인으로 영어와 중국어 요약을 모두 생성합니다.

중요성 Reddit은 AI 돌파구를 위한 빠르게 움직이는 허브이지만, 신호는 매일 수천 개의 게시물 속에 묻혀 있습니다. 이 프로젝트는 데이터 수집, 멀티모달 보강, 요약이라는 무거운 작업을 자동화하여 사용자가 수동 스크레이핑이나 프롬프트 엔지니어링 없이 큐레이션되고 역사적으로 추적 가능한 보고서를 얻을 수 있도록 합니다.

라이선스 – MIT(적응, 확장, 셀프 호스팅을 자유롭게 하세요).