davidjurgens/potato

What it solves

Potato 是一个免费、可自行部署的标注平台，旨在处理现代 AI 开发的复杂性，特别是针对 NLP、GenAI 与 AI 代理。它超越了简单的点标注（为项目分配标签），允许研究人员捕获决策边界、评估复杂的代理轨迹，并在无需编写代码的情况下进行深入的质性数据分析（QDA）。

How it works

用户通过 YAML 文件完整配置标注项目，指定所需的数据类型和标注方案。平台可以本地或在服务器上部署，支持包括文本、音频、视频、图像以及特殊的“代理轨迹”（LLM 工具调用和推理链日志）等多种模态。它与 LLM 提供商集成，提供预标注和主动学习，并包含一个“Boundary Lab”生成反事实编辑，以测试标注者的标签在轻微变化下是否保持一致。

Who it’s for

它为 NLP 研究者、评估代理系统的 AI 工程师，以及需要自行部署替代 NVivo 或 ATLAS.ti 等工具的质性研究者而构建。

Highlights

• Boundary Probing：自动生成最小的反事实编辑，以绘制决策边界并创建对照集。
• Agent Evaluation：专用工具用于审查代理轨迹，包括用于截图的 Web Agent Viewer 进行 GUI 轨迹审查。
• Comprehensive Modality Support：处理从标准文本分类和 NER 到分层音频标注和图像中的边界框的所有模态。
• QDA Mode：支持活码本、现场编码、备忘录和基于案例的分析，适用于解释性研究。
• AI Integration：具备 LLM 驱动的标签建议、主动学习以优先选择信息量大的样本，并提供协作式“Solo Mode”。