oughtinc/ice

ICE – Interactive Composition Explorer

개요 – ICE는 언어 모델 에이전트(예: GPT-3/4)를 호출하여 작업을 해결하는 구조화된 워크플로우인 레시피를 구축, 실행 및 디버깅할 수 있는 Python 라이브러리입니다. 모든 LM 호출을 기록하고 브라우저에서 대화형 추적을 보여주므로 복잡한 프롬프트 체인이 어떻게 작동했는지 확인할 수 있습니다.

핵심 개념

• Recipes – 더 높은 수준의 문제를 해결하기 위한 하위 작업(질문 답변, 순위 지정, 검증 등)의 계층 구조입니다.
• Agents – 완성, 점수 매기기, 분류와 같은 단일 LM 작업을 수행하는 재사용 가능한 구성 요소입니다. 에이전트는 상태 비저장(stateless)이며 교체 가능합니다(인간, LM 또는 하이브리드).
• Modes – 레시피를 인간 전용, LM 전용 또는 혼합(인간+LM) 모드로 실행하여 성능을 비교할 수 있습니다.
• Parallel execution – ICE는 여러 LM 호출을 동시에 실행하여 대규모 레시피의 속도를 높일 수 있습니다.
• Trace UI – 실행 후 웹 UI가 실행 그래프를 시각화하여 입력, 출력, 타이밍 및 오류를 표시하므로 디버깅 및 연구에 유용합니다.

일반적인 워크플로우

1. 패키지를 설치합니다 (pip install ought-ice).
2. API 키를 ~/.ought-ice/.env에 넣습니다.
3. 레시피를 작성하거나 가져옵니다(예: “Hello World” 입문).
4. ice.run(recipe, mode="LM")을 호출합니다.
5. 생성된 추적을 브라우저에서 열어 각 단계를 탐색합니다.

대상 사용자

• Chain-of-thought 또는 반복적 분해 프롬프트를 실험하는 연구자.
• 명확하고 재현 가능한 워크플로우가 필요한 AI 어시스턴트를 구축하는 개발자.
• Human-in-the-loop 방식과 완전 자동화된 LM 파이프라인을 비교하려는 모든 사람.

상태 – 1.0 이전 버전; 공개 API는 예고 없이 변경될 수 있습니다.

링크 –

• 설치 가이드
• UI 가이드 위키
• 기본 접근 방식을 설명하는 논문

---

ICE는 연구 보조 도구인 Elicit을 만든 팀인 Ought의 오픈 소스 프로젝트입니다.