osolmaz/switch

해결하는 문제

switch는 자유 형식 텍스트를 생성하는 대신 특정 선택에 대한 확률을 출력하는 AI 모델인 "결정 모델"을 복잡한 다단계 작업에 통합하는 문제를 해결합니다. 모델이 코드나 도구 호출을 직접 생성하지 않고도 문서 분석이나 게임 플레이와 같은 작업을 탐색할 수 있도록 이러한 모델을 관리하는 구조화된 방법을 제공합니다.

작동 방식

개발자는 특정 작업에 대한 상태 머신 역할을 하는 "도메인"을 정의합니다. 프레임워크는 모델에 유형화된 질문(예: 수 선택 또는 문서 페이지 선택)이 제시되는 에이전트 루프를 관리합니다. 모델이 선택을 제공하면 프레임워크의 전이 함수가 그에 따라 상태를 업데이트합니다. 이 루프는 작업이 완료될 때까지 반복되며, 각 단계는 추적 파일에 기록되어 모델을 다시 호출하지 않고도 디버깅하거나 프로세스를 재생할 수 있습니다.

대상 사용자

이 프레임워크는 효율적이고 좁은 도메인의 결정 모델을 사용하려는 전문 AI 에이전트 또는 평가 심판을 구축하는 개발자를 위한 것입니다. 채점을 위해 대규모 문서 세트를 탐색하거나 게임을 하는 것과 같은 복잡한 작업을 수행해야 하는 사람에게 이상적입니다. 이러한 경우 범용 채팅 모델은 너무 비싸거나 필요한 정밀도가 부족할 수 있습니다.

주요 기능

• 결정 모델이 다단계 추론을 수행할 수 있는 통합 인터페이스를 제공합니다.
• 모델이 문서를 "탐색"하고 관련 부분만 읽을 수 있도록 하여 효율적인 컨텍스트 관리를 가능하게 합니다.
• 추적 파일에서 작업 실행을 재생하여 로직을 디버깅하거나 포크할 수 있는 내장 지원을 포함합니다.
• 실행을 관리하고, 브라우저에서 진행 상황을 확인하고, 케이스 폴더를 처리하는 명령줄 하네스를 제공합니다.
• 작고 도메인 특화된 모델을 사용할 수 있도록 하여 비용 효율성을 위해 설계되었습니다.