Kiln: 프롬프트 최적화, 평가 및 에이전트 오케스트레이션을 위한 로컬 퍼스트 AI 개발 워크벤치

해결하는 문제

Kiln은 프롬프트 엔지니어링, 평가, RAG, 파인튜닝을 위해 파편화된 도구 사이를 전환할 필요 없이 AI 개발 라이프사이클 전체를 위한 통합 워크벤치를 제공합니다. 단일 데이터셋을 사용하여 여러 차원에서 품질을 추적함으로써, 프롬프트의 한 부분을 개선하거나 모델을 업그레이드할 때 다른 동작이 의도치 않게 망가질 수 있는 AI 제품의 "회귀(regression)" 문제를 해결합니다.

작동 방식

Kiln은 비기술적 협업자(PM, QA, 분야 전문가)를 위한 데스크톱 애플리케이션과 엔지니어를 위한 MIT-licensed Python 라이브러리를 결합합니다. 로컬 퍼스트 방식으로 작동하여 사용자가 자신의 API 키를 가져오거나 Ollama를 통해 모델을 완전히 오프라인으로 실행할 수 있습니다. 시스템은 팀 협업을 위해 Git으로 동기화되며, 사용자가 작업을 한 번 정의하면 자동 프롬프트 변이(automatic prompt mutation), RAG 통합 또는 파인튜닝과 같은 다양한 최적화 기술을 동일한 데이터셋에 적용할 수 있습니다.

대상 사용자

프로덕션 환경에 적합한 라이브러리가 필요한 엔지니어, 노트북에서 작업하는 데이터 과학자, 그리고 코드 작성 없이 출력값을 평가하고 학습 데이터를 추가해야 하는 비기술적 이해관계자를 포함한 AI 제품 팀을 위해 설계되었습니다.

주요 특징

• Auto-Optimize: 특정 작업을 위한 최적의 구성을 찾기 위해 프롬프트 변이와 모델 선택을 자동으로 탐색합니다.
• Eval Builder: AI 출력을 사용자 선호도에 맞게 조정하기 위해 합성 평가 데이터셋과 판사(judges)를 빠르게 생성합니다.
• Multi-Agent Orchestration: 각 에이전트가 자체적인 집중된 컨텍스트 창에서 실행되는 멀티 에이전트 계층 구조의 구성을 지원합니다.
• Zero-Code Fine-Tuning: 코드 작성 없이 Fireworks, Together, Vertex와 같은 제공업체의 60개 이상의 모델에 대해 파인튜닝을 수행할 수 있습니다.
• Local-First Privacy: 사용자의 머신에서 실행되어 데이터 제어 및 Git-native 동기화를 보장합니다.