ythx-101/x-tweet-fetcher

해결하는 문제

이 프로젝트는 공식 API 키나 사용자 로그인 없이 X(Twitter)에서 데이터를 가져올 수 있는 방법을 제공합니다. X의 제한적인 API와 일반적인 웹 스크래핑의 취약성을 해결하여, AI 에이전트와 개발자가 트윗, 타임라인, 기사 등을 보다 쉽게 가져올 수 있도록 합니다.

작동 방식

이 도구는 세 가지 다른 방법을 자동으로 전환하는 '스마트 백엔드 라우팅' 시스템을 사용합니다:

1. FxTwitter: 단일 트윗과 사용자 프로필을 의존성 없이 빠르게 가져오기 위해 사용.
2. Nitter: 자체 호스팅 또는 공개 Nitter 인스턴스를 직접 HTTP 요청으로 사용하여 타임라인, 검색, 답글을 가져옴.
3. 브라우저 드라이버: Camofox 또는 Playwright를 사용하여 X 리스트와 전체 텍스트 기사와 같은 복잡한 작업을 수행하며, 실제 브라우저 환경이 필요합니다.

모든 데이터는 통합된 JSON 스키마로 정규화되어, 사용하는 백엔드에 관계없이 출력 형식이 일관되며, 후속 AI 프롬프트에 적합합니다.

대상 사용자

주로 모니터링, 아카이브, 콘텐츠 분석을 위해 신뢰성 있고 로그인 없이 X 데이터에 접근이 필요한 AI 에이전트 및 개발자에게 적합합니다.

주요 기능

• 자동 백업 전환: 하나의 백엔드가 실패하면 자동으로 다른 백엔드로 전환하며, 에이전트 분기용 기계가 읽을 수 있는 오류 코드 제공.
• 로컬 아카이브: 가져온 트윗을 SQLite 데이터베이스에 저장하는 'Ledger' 기능으로 오프라인 쿼리 및 통계 분석 가능.
• 통합 스키마: 다양한 데이터 소스를 단일 Tweet / Reply / Article 형식으로 정규화.
• 포괄적인 커버리지: 단일 트윗, 스레드 답글, 페이지네이션된 타임라인, 검색 결과, X 리스트, X 기사 모두 지원.
• 유연한 배포: CLI와 Python API 모두 지원.