davidjurgens/potato

What it solves

Potato は、NLP、GenAI、AI エージェント向けに、現代の AI 開発の複雑さに対応するために設計された無料のセルフホスト型アノテーションプラットフォームです。単純なポイントラベリング（項目にラベルを付与する）を超えて、研究者が決定境界を捉え、複雑なエージェント軌跡を評価し、コードを書くことなく深い定性的データ分析（QDA）を実行できるようにします。

How it works

ユーザーは YAML ファイルだけでアノテーションプロジェクトを完全に設定し、必要なデータタイプとアノテーションスキームを指定します。プラットフォームはローカルまたはサーバー上にデプロイでき、テキスト、音声、動画、画像、そして特殊な「エージェントトレース」（LLM ツール呼び出しと推論チェーンのログ）など幅広いモダリティをサポートします。LLM プロバイダーと統合して事前ラベリングとアクティブラーニングを提供し、"Boundary Lab" がカウンターファクト編集を生成して、アノテーターのラベルがわずかな変化でも一貫しているかをテストします。

Who it’s for

NLP 研究者、エージェントシステムを評価する AI エンジニア、NVivo や ATLAS.ti のようなツールのセルフホスト代替を必要とする定性研究者向けに構築されています。

Highlights

• Boundary Probing：最小限のカウンターファクト編集を自動生成し、決定境界をマッピングしてコントラストセットを作成します。
• Agent Evaluation：エージェント軌跡のレビュー用に特化したツールを提供し、スクリーンショットベースの GUI トレースレビュー用 Web Agent Viewer を含みます。
• Comprehensive Modality Support：標準的なテキスト分類や NER から階層的音声アノテーション、画像のバウンディングボックスまで、すべてのモダリティを扱います。
• QDA Mode：リビングコードブック、インビボコーディング、メモ、ケースベース分析をサポートし、解釈的研究に適しています。
• AI Integration：LLM 駆動のラベル提案、情報量の多いサンプルを優先するアクティブラーニング、そして共同作業用の "Solo Mode" を備えています。