Anakin-Inc/anakin

해결하는 문제

AnakinScraper는 AI 애플리케이션 전용으로 설계된 오픈소스 웹 스크래핑 API입니다. 복잡한 현대 웹사이트를 깨끗하고 LLM 대응 가능한 마크다운 또는 구조화된 JSON 데이터로 변환하는 문제를 해결하며, 방지봇 보호를 우회하고 유료 스크래핑 서비스 사용 비용을 줄입니다.

작동 방식

시스템은 효율을 극대화하고 비용을 최소화하기 위해 "핸들러 체인"을 사용합니다. 가장 빠른 방법(HTTP fetch)으로 먼저 페이지를 스크래핑을 시도한 후, 실패하면 더 강력한 앤티디텍트 브라우저(Camoufox/Firefox)로 전환하고, 마지막으로 로컬 방법이 실패할 경우 선택적 외부 API 핸들러를 사용합니다.

주요 기술 구성 요소:

• 앤티디텍트 브라우저: Camoufox를 사용하여 탐지되지 않도록 현실적인 브라우저 지문을 제공합니다.
• 프록시 자동 선택: 기계학습 기법인 Thompson Sampling을 활용해 실시간으로 특정 도메인에 가장 성공적인 프록시를 자동으로 선택합니다.
• AI 추출: Google Gemini와 통합하여 원시 페이지 콘텐츠를 구조화된 JSON으로 변환합니다.
• 변환: 자동으로 보일러플레이트를 제거하여 RAG 파이프라인용 깨끗한 마크다운을 생성합니다.

대상 사용자

고품질이고 깨끗한 웹 데이터를 필요로 하지만 복잡한 스크래핑 인프라를 관리하지 않아도 되는 AI 에이전트, RAG(검색 기반 생성) 파이프라인, 데이터 추출 도구를 개발하는 개발자들을 위한 것입니다.

주요 특징

• 비용 효율적인 백업: 로컬 핸들러로 해결할 수 없는 사이트의 소수에만 유료 API를 호출합니다.
• 제로 설정 시작: 데이터베이스 없이 단일 Go 바이너리로 실행 가능하여 즉시 사용 가능합니다.
• 머신러닝 기반 프록시: Thompson Sampling을 통해 도메인별 최적의 프록시를 실시간으로 학습합니다.
• LLM 대응 출력: Gemini AI를 통해 마크다운 및 구조화된 JSON으로 직접 변환 가능합니다.
• 완전한 관리 UI: 작업 추적, 프록시 점수 모니터링, 도메인 설정 관리가 가능한 React 기반 대시보드를 포함합니다.