davidjurgens/potato

What it solves

Potato 是一個免費、可自行部署的註解平台，旨在處理現代 AI 開發的複雜性，特別是針對 NLP、GenAI 與 AI 代理。它不僅止於簡單的點標記（為項目指派標籤），還允許研究人員捕捉決策邊界、評估複雜的代理軌跡，並在不需要撰寫程式碼的情況下執行深入的質性資料分析（QDA）。

How it works

使用者透過 YAML 檔案完整設定註解專案，指定所需的資料類型與註解方案。平台可在本機或伺服器上部署，支援包括文字、音訊、影片、影像以及特殊的「代理軌跡」（LLM 工具呼叫與推理鏈的日誌）等多種模態。它與 LLM 供應商整合以提供預標記與主動學習，並內建「Boundary Lab」產生反事實編輯，測試標註者的標籤在微小變化下是否保持一致。

Who it’s for

此平台為 NLP 研究者、評估代理系統的 AI 工程師，以及需要自行部署替代 NVivo 或 ATLAS.ti 等工具的質性研究者而設計。

Highlights

• Boundary Probing：自動產生最小的反事實編輯，以繪製決策邊界並建立對照集。
• Agent Evaluation：提供專門的工具檢視代理軌跡，包含可截圖的 Web Agent Viewer 用於 GUI 軌跡審查。
• Comprehensive Modality Support：支援從標準文字分類與 NER 到分層音訊註解與影像中的邊界框等所有模態。
• QDA Mode：支援活頁碼本、即時編碼、備忘錄與案例分析，適用於詮釋性研究。
• AI Integration：具備 LLM 驅動的標籤建議、主動學習以優先挑選資訊量大的樣本，並提供協作式「Solo Mode」。