Kiln: プロンプトの最適化、評価、およびエージェント・オーケストレーションのためのローカルファーストなAI開発ワークベンチ

解決する課題

Kilnは、プロンプトエンジニアリング、評価、RAG、およびファインチューニングのために断片化されたツールを切り替える必要性をなくし、AI開発ライフサイクル全体のための統合されたワークベンチを提供します。単一のデータセットを使用して複数の次元で品質を追跡することで、プロンプトの一部を改善したりモデルをアップグレードしたりすることで他の動作を誤って壊してしまう可能性があるという、AI製品における「退行（regression）」の問題を解決します。

仕組み

Kilnは、非技術的なコラボレーター（PM、QA、および専門家）向けのデスクトップアプリケーションと、エンジニア向けのMITライセンスのPythonライブラリを組み合わせて提供します。ローカルファーストを基盤として動作するため、ユーザーは独自のAPIキーを使用するか、Ollamaを介して完全にオフラインでモデルを実行できます。システムはチームコラボレーションのためにGitに同期され、ユーザーはタスクを一度定義するだけで、自動的なプロンプト変異、RAG統合、またはファインチューニングなどのさまざまな最適化手法を同じデータセットに対して適用できます。

対象ユーザー

本ツールは、プロダクション環境に対応したライブラリを必要とするエンジニア、ノートブックで作業するデータサイエンティスト、およびコードを書かずにアウトプットの評価や学習データの追加を行う必要がある非技術的なステークホルダーを含む、AI製品チーム向けに設計されています。

ハイライト

• Auto-Optimize: 特定のタスクに対して最適な構成を見つけるために、プロンプトの変異とモデルの選択を自動的に探索します。
• Eval Builder: AIのアウトプットをユーザーの好みに合わせるために、合成評価データセットとジャッジを迅速に生成します。
• Multi-Agent Orchestration: 各エージェントが独自の集中したコンテキストウィンドウで動作する、マルチエージェント階層の構成をサポートします。
• Zero-Code Fine-Tuning: コードを書かずに、Fireworks、Together、およびVertexなどのプロバイダー上の60以上のモデルに対してファインチューニングを可能にします。
• Local-First Privacy: ユーザーのマシン上で動作するため、データの制御とGitネイティブな同期が保証されます。