ythx-101/x-tweet-fetcher

何を解決するか

このプロジェクトは、公式APIキーまたはユーザーのログインを必要とせずにX（Twitter）からデータを取得する方法を提供します。Xの制限されたAPIと標準的なウェブスクレイピングの脆弱性という問題を解決し、AIエージェントや開発者がツイート、タイムライン、記事を取得しやすくなります。

動作方法

このツールは「スマートバックエンドルーティング」システムを使用し、データ取得のための3つの異なる方法を自動的に切り替えます：

1. FxTwitter: 単一のツイートやユーザープロフィールを、依存関係なしに高速に取得するために使用。
2. Nitter: Nitterインスタンス（自己ホストまたは公開）を直接HTTPリクエストで使用し、タイムライン、検索、返信を取得。
3. ブラウザドライバー: CamofoxまたはPlaywrightを活用して、X Listsや全文記事の取得など、実際のブラウザ環境を必要とする複雑なタスクを実行。

すべてのデータは一貫したJSONスキーマに正規化され、使用するバックエンドに関係なく、出力形式が一貫してAIプロンプトに適した形になります。

対象ユーザー

主に、モニタリング、アーカイブ、コンテンツ分析のために、信頼性の高いログイン不要なXデータアクセスが必要なAIエージェントや開発者向けに設計されています。

特徴

• 自動フェイルオーバー: 1つのバックエンドが失敗した場合、自動的に別のバックエンドに切り替え、エージェントの分岐に使える機械可読エラーコードを提供。
• ローカルアーカイブ: フェッチしたツイートをSQLiteデータベースに保存する「Ledger」機能を備え、オフラインでの照会や統計処理が可能。
• 統一スキーマ: 異なるデータソースを単一の Tweet / Reply / Article 形式に正規化。
• 包括的なカバレッジ: 単一ツイート、スレッド返信、ページネートされたタイムライン、検索結果、X Lists、X記事をサポート。
• 柔軟なデプロイ: CLIとPython APIの両方をサポート。