davidjurgens/potato

解決的問題

Potato 是一個免費、可自託管的標註平台，旨在處理 NLP、AI 代理和定性研究中複雜的數據標註需求。它透過 YAML 配置文件消除了設置標註任務時對編碼的需求，為從簡單的文本分類到複雜的多步驟代理軌跡標註提供了統一的界面。

運作方式

用戶透過 YAML 文件配置其標註任務。該平台支援廣泛的數據模態，包括文本、音訊、影片、圖像以及來自主流框架（如 OpenAI、LangChain 和 CrewAI）的代理軌跡。它整合了 LLM 以提供標籤建議，使用主動學習來優先處理資訊豐富的樣本，並提供了一套全面的質量控制工具，例如標註者間一致性指標和心理測量分析。

目標用戶

它旨在為 AI 研究人員、NLP 從業者和定性數據分析師提供服務，這些用戶需要一個靈活、可自託管的工具來創建高質量的數據集並評估 AI 代理的性能。

特色亮點

• 多模態支援：標註文本、音訊、影片、圖像和文檔 (PDF/Word)。
• 代理評估：專為代理軌跡和 GUI 代理設計的查看器，具有用於點擊和滾動的 SVG 疊加層。
• AI 驅動：包含 LLM 標籤建議、主動學習以及人機協作的「Solo Mode」。
• QDA 工作流：具備完整的定性數據分析能力，包括動態代碼本、備忘錄和案例。
• 質量控制：先進的指標，如 Krippendorff's alpha、Truth Serum 評分和行為追蹤。
• 部署：支援多種身份驗證方法 (OAuth, SSO, Clerk)，並可作為 HuggingFace Space 部署。