liyedanpdx/reddit-ai-trends

Reddit AI Trend Reports

概要 – AI関連のサブレディットから投稿を自動的に取得し、画像分析、YouTubeトランスクリプトの要約、Webページのスクレイピングで補強した上で、LLM（GroqまたはOpenRouter経由）を使用して英語と中国語の両方で毎日のトレンドレポートを生成するオープンソースのパイプラインです。

主な機能

• 数十のAIサブコミュニティ（例: r/MachineLearning, r/LLMDevs, r/Rag など）のリアルタイム監視。
• マルチモーダル補強: 画像用のビジョンモデル（Qwen-VL, Gemini）、YouTubeトランスクリプトの抽出、FirecrawlベースのWebページ要約（オプション）。
• バイリンガル出力 – レポートは英語と中国語の両方で生成され、言語選択は REPORT_LANGUAGES で制御されます。
• 履歴保存 – すべての生投稿、補強データ、生成されたレポートはMongoDBに永続化され、週次または月次のトレンド分析を可能にします。
• コスト意識のある設計 – API結果のスマートなキャッシュ、設定可能な「スマート」コメント取得、各補強ステップの切り替え機能。
• コンテナ化デプロイ – Docker ComposeでアプリとMongoDBを起動します。リポジトリには実行可能な docker-compose.yml が含まれています。

動作原理（高レベルフロー）

1. 収集 – Redditフェッチャーが REDDIT_SUBREDDITS にリストされたサブレディットから最新の POSTS_PER_SUBREDDIT 件の投稿を取得します。
2. 補強 – オプションのモジュールが実行されます:
   • ビジョンモデルが画像のキャプションを生成します。
   • YouTube URLがトランスクリプトに変換され、要約されます。
   • リンクされたWebページがFirecrawlでスクレイピングされ、要約されます。
   • 上位コメントが取得されます（スマートモードでは、投稿に十分なテキストがある場合スキップされます）。
3. キャッシュ – すべての補強結果はMongoDBに保存され、繰り返し実行時にデータを再利用し、追加のAPI料金を回避します。
4. プロンプトと生成 – JSON構造のプロンプトが選択されたLLM（GroqまたはOpenRouter）に渡され、以下の内容を含むMarkdownレポートが生成されます:
   • 日次ハイライト
   • 週次トレンド比較
   • 月次技術進化
   • 選択された深掘りセクション
5. 永続化 – レポートは reports/YYYY/MM/DD/ に書き込まれ、クイックアクセスのためにシンボリックリンク（latest_report_en.md, latest_report_zh.md）が更新されます。

はじめに

# 1. Clone the repo
git clone https://github.com/liyedanpdx/reddit-ai-trends.git && cd reddit-ai-trends

# 2. Copy env template and fill in your keys
cp .env.example .env
# edit .env → add Reddit, Groq/OpenRouter, Firecrawl keys, etc.

# 3. Run with Docker Compose (recommended)
docker-compose up -d

# 4. Watch the logs – the app will generate a report each day at REPORT_GENERATION_TIME
docker-compose logs -f app

Dockerなしで一度だけ実行する場合:

pip install -r requirements.txt
python report_generation.py --languages en zh   # generate now

典型的なユースケース

• AIコミュニティで何が議論されているか、簡潔な日次スナップショットを必要とする研究者やプロダクトチーム。
• 新興モデル、ライブラリ、研究方向の初期シグナルを探している投資家やアナリスト。
• ニュースレター、ポッドキャスト、動画の基盤となる完成ブリーフィングを求めているコンテンツクリエイター。
• バイリンガルのAIニュースに関心のある方 – 同じパイプラインで英語と中国語の両方のサマリーを生成します。

重要性 RedditはAIのブレイクスルーのための急速に変化するハブですが、シグナルは毎日数千件の投稿の中に埋もれています。このプロジェクトは、データ収集、マルチモーダル補強、要約という重労働を自動化し、ユーザーが手動スクレイピングやプロンプトエンジニアリングなしに、キュレーションされ、履歴を追跡可能なレポートを得られるようにします。

ライセンス – MIT（適応、拡張、セルフホストを自由にどうぞ）。