davidjurgens/potato

What it solves

Potato는 NLP, GenAI 및 AI 에이전트를 위해 현대 AI 개발의 복잡성을 처리하도록 설계된 무료 셀프 호스팅 주석 플랫폼입니다. 단순한 포인트 라벨링(항목에 라벨을 할당)에서 벗어나 연구자가 결정 경계를 포착하고 복잡한 에이전트 궤적을 평가하며 코드를 작성할 필요 없이 깊이 있는 정성 데이터 분석(QDA)을 수행할 수 있게 합니다.

How it works

사용자는 YAML 파일만으로 주석 프로젝트를 완전히 구성하고 필요한 데이터 유형 및 주석 스키마를 지정합니다. 플랫폼은 로컬 또는 서버에 배포할 수 있으며 텍스트, 오디오, 비디오, 이미지 및 특수 "에이전트 트레이스"(LLM 도구 호출 및 추론 체인 로그) 등 다양한 모달리티를 지원합니다. LLM 제공업체와 통합하여 사전 라벨링 및 액티브 러닝을 제공하고, "Boundary Lab"이 반사실 편집을 생성하여 약간의 변화에도 주석자의 라벨이 일관되는지 테스트합니다.

Who it’s for

NLP 연구자, 에이전트 시스템을 평가하는 AI 엔지니어, NVivo 또는 ATLAS.ti와 같은 도구의 셀프 호스팅 대안을 필요로 하는 정성 연구자를 위해 구축되었습니다.

Highlights

• Boundary Probing: 최소한의 반사실 편집을 자동으로 생성하여 결정 경계를 매핑하고 대비 세트를 만듭니다.
• Agent Evaluation: 에이전트 궤적 검토를 위한 특화 도구를 제공하며, 스크린샷 기반 GUI 트레이스 검토를 위한 Web Agent Viewer를 포함합니다.
• Comprehensive Modality Support: 표준 텍스트 분류 및 NER부터 계층형 오디오 주석 및 이미지의 바운딩 박스까지 모든 모달리티를 처리합니다.
• QDA Mode: 라이브 코드북, 인비보 코딩, 메모, 사례 기반 분석을 지원하여 해석적 연구에 적합합니다.
• AI Integration: LLM 기반 라벨 제안, 정보량이 많은 샘플을 우선시하는 액티브 러닝, 그리고 협업 "Solo Mode" 기능을 갖추고 있습니다.