davidjurgens/potato

해결하는 문제

Potato는 NLP, AI 에이전트 및 질적 연구의 복잡한 데이터 라벨링 요구 사항을 처리하기 위해 설계된 무료 셀프 호스팅 주석 플랫폼입니다. YAML 구성 파일을 사용하여 주석 작업을 설정할 때 코딩이 필요 없으며, 단순한 텍스트 분류부터 복잡한 다단계 에이전트 궤적까지 모든 것을 라벨링할 수 있는 통합 인터페이스를 제공합니다.

작동 방식

사용자는 YAML 파일을 통해 주석 작업을 구성합니다. 이 플랫폼은 텍스트, 오디오, 비디오, 이미지 및 주요 프레임워크(OpenAI, LangChain, CrewAI 등)의 에이전트 추적을 포함한 광범위한 데이터 모달리티를 지원합니다. LLM을 통합하여 라벨 제안을 제공하고, 능동 학습(Active Learning)을 사용하여 유익한 샘플의 우선순위를 지정하며, 주석자 간 일치도 지표 및 심리 측정 분석과 같은 포괄적인 품질 관리 도구 모음을 제공합니다.

대상 사용자

고품질 데이터 세트를 생성하고 AI 에이전트 성능을 평가하기 위해 유연하고 셀프 호스팅 가능한 도구가 필요한 AI 연구원, NLP 실무자 및 질적 데이터 분석가를 대상으로 합니다.

주요 특징

• 멀티모달 지원: 텍스트, 오디오, 비디오, 이미지 및 문서 (PDF/Word) 라벨링 지원.
• 에이전트 평가: 에이전트 추적 및 클릭/스크롤을 위한 SVG 오버레이가 포함된 GUI 에이전트 전용 뷰어.
• AI 기반: LLM 라벨 제안, 능동 학습 및 인간-LLM 협업 "Solo Mode" 포함.
• QDA 워크플로우: 라이브 코드북, 메모, 사례 관리 등 완전한 질적 데이터 분석 기능.
• 품질 관리: Krippendorff's alpha, Truth Serum 스코어링, 행동 추적과 같은 고급 지표.
• 배포: 다양한 인증 방법 (OAuth, SSO, Clerk)을 지원하며 HuggingFace Space로 배포 가능.