liyedanpdx/reddit-ai-trends

Reddit AI 趋势报告

简介 – 一个开源管道，自动从一组专注于 AI 的 subreddit 中拉取帖子，通过图像分析、YouTube 字幕摘要和网页抓取进行增强，然后使用 LLM（通过 Groq 或 OpenRouter）生成每日的英语和中文趋势报告。

主要功能

• 实时监控数十个 AI 子社区（例如 r/MachineLearning, r/LLMDevs, r/Rag 等）。
• 多模态增强：可选的视觉模型（Qwen-VL, Gemini）用于图像，YouTube 字幕提取，以及基于 Firecrawl 的网页摘要。
• 双语输出 – 报告以英语和中文生成，语言选择通过 REPORT_LANGUAGES 控制。
• 历史存储 – 所有原始帖子、增强数据和生成的报告都持久化在 MongoDB 中，支持周环比或月环比趋势分析。
• 成本感知设计 – API 结果的智能缓存，可配置的“智能”评论获取，以及切换每个增强步骤的能力。
• 容器化部署 – Docker Compose 启动应用程序和 MongoDB；仓库包含一个即开即用的 docker-compose.yml。

工作原理（高层流程）

1. 收集 – Reddit 抓取器从 REDDIT_SUBREDDITS 中列出的 subreddit 拉取最新的 POSTS_PER_SUBREDDIT 个帖子。
2. 增强 – 运行可选模块：
   • 视觉模型为任何图像生成字幕。
   • YouTube URL 被转换为字幕并摘要。
   • 链接的网页通过 Firecrawl 抓取并摘要。
   • 获取热门评论（智能模式在帖子已有足够文本时跳过）。
3. 缓存 – 每个增强结果都存储在 MongoDB 中，以便重复运行时重用数据并避免额外的 API 费用。
4. 提示与生成 – 一个 JSON 结构的提示被提供给选定的 LLM（Groq 或 OpenRouter），生成包含以下内容的 Markdown 报告：
   • 每日亮点
   • 每周趋势对比
   • 每月技术演进
   • 选定的深度分析部分
5. 持久化 – 报告写入 reports/YYYY/MM/DD/，并更新符号链接（latest_report_en.md, latest_report_zh.md）以便快速访问。

快速开始

# 1. Clone the repo
git clone https://github.com/liyedanpdx/reddit-ai-trends.git && cd reddit-ai-trends

# 2. Copy env template and fill in your keys
cp .env.example .env
# edit .env → add Reddit, Groq/OpenRouter, Firecrawl keys, etc.

# 3. Run with Docker Compose (recommended)
docker-compose up -d

# 4. Watch the logs – the app will generate a report each day at REPORT_GENERATION_TIME
docker-compose logs -f app

如果不使用 Docker 进行一次性运行：

pip install -r requirements.txt
python report_generation.py --languages en zh   # generate now

典型用例

• 需要 AI 社区每日简洁快照的研究人员或产品团队。
• 寻找新兴模型、库或研究方向早期信号的投资者或分析师。
• 希望获得现成简报以作为新闻通讯、播客或视频基础的内容创作者。
• 对双语 AI 新闻感兴趣的任何人 – 同一管道生成英语和中文摘要。

为什么重要 Reddit 是 AI 突破的快速移动中心，但信号埋在每天数千个帖子中。该项目自动化了繁重的工作——数据收集、多模态增强和摘要——让用户无需手动抓取或提示工程即可获得经过策划、可历史追踪的报告。

许可证 – MIT（欢迎改编、扩展或自托管）。