tinyfish-io/bigset-oss

해결하는 문제

BigSet은 일반적인 영어 설명을 사용하여 라이브 웹에서 검증된 구조화된 데이터셋을 생성할 수 있는 AI 기반 도구입니다. 데이터 테이블을 구축하고 유지하기 위해 수동으로 검색 API, 크롤링 프레임워크, 스키마 설계, 스케줄링 도구를 연결하는 번거로움을 제거합니다.

작동 방식

1. 설명: 사용자가 원하는 데이터셋에 대한 자연어 설명을 제공합니다.
2. 스키마 추론: AI가 필요한 열 이름, 데이터 유형, 기본 키를 자동으로 결정합니다.
3. 발견: 오케스트레이터 에이전트가 웹 검색을 통해 관련 엔티티를 찾습니다.
4. 채우기: 병렬로 작동하는 하위 에이전트가 각 엔티티를 조사하고 실시간 데이터를 가져오며 출처와 비교하여 검증합니다.
5. 출력: 결과로 생성된 구조화된 데이터는 UI에서 확인할 수 있으며 CSV 또는 XLSX로 내보낼 수 있습니다.
6. 유지보수: 사용자는 30분에서 주간까지 설정 가능한 갱신 주기를 지정하여 데이터를 자동으로 최신 상태로 유지할 수 있습니다.

대상 사용자

커스텀 크롤러를 작성하지 않고 공개 웹 페이지에서 검증된, 구조화된, 정기적으로 업데이트되는 데이터가 필요한 연구자, 리드 생성 전문가, AI 에이전트 개발자.

주요 기능

• 자율적 조사: 정적 크롤링에 의존하지 않고 에이전트를 사용해 검색, 데이터 수집, 검증을 수행합니다.
• 자동 스키마: 사용자의 프롬프트에서 테이블 구조를 자동으로 추론합니다.
• 스케줄된 갱신: 데이터셋이 오래되었을 경우를 방지하기 위해 cron과 유사한 기능을 내장하고 있습니다.
• CLI 지원: 프로그래밍적으로 데이터셋을 생성하고 내보낼 수 있는 명령줄 인터페이스를 제공합니다.
• 통합: 웹 검색 및 페이지 가져오기 기능은 TinyFish APIs 기반으로 구현되어 있습니다.