davidjurgens/potato

解决的问题

Potato 是一个免费、可自托管的标注平台，旨在处理 NLP、AI 代理和定性研究中复杂的数据标注需求。它通过 YAML 配置文件消除了设置标注任务时对编码的需求，为从简单的文本分类到复杂的多步骤代理轨迹标注提供了统一的界面。

运作方式

用户通过 YAML 文件配置其标注任务。该平台支持广泛的数据模态，包括文本、音频、视频、图像以及来自主流框架（如 OpenAI、LangChain 和 CrewAI）的代理轨迹。它整合了 LLM 以提供标签建议，使用主动学习来优先处理信息丰富的样本，并提供了一套全面的质量控制工具，例如标注者间一致性指标和心理测量分析。

目标用户

它旨在为 AI 研究人员、NLP 从业者和定性数据分析师提供服务，这些用户需要一个灵活、可自托管的工具来创建高质量的数据集并评估 AI 代理的性能。

特色亮点

• 多模态支持：标注文本、音频、视频、图像和文档 (PDF/Word)。
• 代理评估：专为代理轨迹和 GUI 代理设计的查看器，具有用于点击和滚动的 SVG 叠加层。
• AI 驱动：包含 LLM 标签建议、主动学习以及人机协作的“Solo Mode”。
• QDA 工作流：具备完整的定性数据分析能力，包括动态代码本、备忘录和案例。
• 质量控制：先进的指标，如 Krippendorff's alpha、Truth Serum 评分和行为追踪。
• 部署：支持多种身份验证方法 (OAuth, SSO, Clerk)，并可作为 HuggingFace Space 部署。