davidjurgens/potato

解決する課題

Potatoは、NLP、AIエージェント、定性研究における複雑なデータラベリングのニーズに対応するために設計された、無料のセルフホスト型アノテーションプラットフォームです。YAML設定ファイルを使用することで、アノテーションタスクの設定にコーディングが不要となり、単純なテキスト分類から複雑な多段階のエージェント軌跡まで、あらゆるものをラベル付けするための統一されたインターフェースを提供します。

仕組み

ユーザーはYAMLファイルを介してアノテーションタスクを設定します。このプラットフォームは、テキスト、音声、動画、画像、および主要なフレームワーク（OpenAI、LangChain、CrewAIなど）からのエージェントトレースを含む、幅広いデータモダリティをサポートしています。LLMを統合してラベルの提案を行い、アクティブラーニングを使用して有益なサンプルを優先し、アノテーター間の一致度指標や心理測定分析などの包括的な品質管理ツールを提供します。

対象ユーザー

高品質なデータセットの作成とAIエージェントのパフォーマンス評価のために、柔軟でセルフホスト可能なツールを必要とするAI研究者、NLP実務者、および定性データアナリストを対象としています。

主な特徴

• マルチモーダルサポート: テキスト、音声、動画、画像、ドキュメント (PDF/Word) のラベル付けが可能。
• エージェント評価: エージェントトレースや、クリック・スクロール用のSVGオーバーレイを備えたGUIエージェント専用のビューアー。
• AI搭載: LLMによるラベル提案、アクティブラーニング、人間とLLMが協力する「Solo Mode」を搭載。
• QDAワークフロー: ライブコードブック、メモ、ケース管理など、完全な定性データ分析機能を備えています。
• 品質管理: Krippendorff's alpha、Truth Serumスコアリング、行動追跡などの高度な指標。
• デプロイメント: さまざまな認証方法 (OAuth, SSO, Clerk) をサポートし、HuggingFace Spaceとしてデプロイ可能。