liyedanpdx/reddit-ai-trends

Reddit AI 趨勢報告

簡介 – 一個開源管道，自動從一組專注於 AI 的 subreddit 中拉取帖子，透過圖像分析、YouTube 字幕摘要和網頁抓取進行增強，然後使用 LLM（透過 Groq 或 OpenRouter）生成每日的英語和中文趨勢報告。

主要功能

• 即時監控數十個 AI 子社群（例如 r/MachineLearning, r/LLMDevs, r/Rag 等）。
• 多模態增強：可選的視覺模型（Qwen-VL, Gemini）用於圖像，YouTube 字幕提取，以及基於 Firecrawl 的網頁摘要。
• 雙語輸出 – 報告以英語和中文生成，語言選擇透過 REPORT_LANGUAGES 控制。
• 歷史儲存 – 所有原始帖子、增強資料和生成的報告都持久化在 MongoDB 中，支援週對週或月對月趨勢分析。
• 成本感知設計 – API 結果的智慧快取，可配置的「智慧」評論獲取，以及切換每個增強步驟的能力。
• 容器化部署 – Docker Compose 啟動應用程式和 MongoDB；儲存庫包含一個即開即用的 docker-compose.yml。

運作原理（高層流程）

1. 收集 – Reddit 抓取器從 REDDIT_SUBREDDITS 中列出的 subreddit 拉取最新的 POSTS_PER_SUBREDDIT 個帖子。
2. 增強 – 執行可選模組：
   • 視覺模型為任何圖像生成字幕。
   • YouTube URL 被轉換為字幕並摘要。
   • 連結的網頁透過 Firecrawl 抓取並摘要。
   • 獲取熱門評論（智慧模式在帖子已有足夠文字時跳過）。
3. 快取 – 每個增強結果都儲存在 MongoDB 中，以便重複執行時重用資料並避免額外的 API 費用。
4. 提示與生成 – 一個 JSON 結構的提示被提供給選定的 LLM（Groq 或 OpenRouter），生成包含以下內容的 Markdown 報告：
   • 每日亮點
   • 每週趨勢對比
   • 每月技術演進
   • 選定的深度分析部分
5. 持久化 – 報告寫入 reports/YYYY/MM/DD/，並更新符號連結（latest_report_en.md, latest_report_zh.md）以便快速存取。

快速開始

# 1. Clone the repo
git clone https://github.com/liyedanpdx/reddit-ai-trends.git && cd reddit-ai-trends

# 2. Copy env template and fill in your keys
cp .env.example .env
# edit .env → add Reddit, Groq/OpenRouter, Firecrawl keys, etc.

# 3. Run with Docker Compose (recommended)
docker-compose up -d

# 4. Watch the logs – the app will generate a report each day at REPORT_GENERATION_TIME
docker-compose logs -f app

如果不使用 Docker 進行一次性執行：

pip install -r requirements.txt
python report_generation.py --languages en zh   # generate now

典型用例

• 需要 AI 社群每日簡潔快照的研究人員或產品團隊。
• 尋找新興模型、函式庫或研究方向早期訊號的投資者或分析師。
• 希望獲得現成簡報以作為新聞通訊、播客或影片基礎的內容創作者。
• 對雙語 AI 新聞感興趣的任何人 – 同一管道生成英語和中文摘要。

為什麼重要 Reddit 是 AI 突破的快速移動中心，但訊號埋在每天數千個帖子中。該專案自動化了繁重的工作——資料收集、多模態增強和摘要——讓使用者無需手動抓取或提示工程即可獲得經過策劃、可歷史追蹤的報告。

授權 – MIT（歡迎改編、擴展或自託管）。