zyf2007/ChatAPI

해결하는 문제

ChatAPI는 사람을 마치 AI 모델처럼 호출할 수 있게 해주는 도구입니다. AI 클라이언트나 에이전트가 요청을 보낼 수 있는 OpenAI 스타일의 API 인터페이스를 제공하여, 요청을 인간 운영자에게 라우팅함으로써 사람들은 프롬프트에 수동으로 응답하거나, 에이전트 워크플로우 내에서 "모델"처럼 작동하거나, 개발 중에 모크 LLM으로 활용할 수 있습니다.

작동 방식

이 프로젝트는 백엔드(Go)와 웹 콘솔(React)을 구현하여 표준 AI API 엔드포인트를 모방합니다. AI 클라이언트가 /v1/chat/completions 또는 /v1/responses에 요청을 보내면, 시스템은 요청을 인간 운영자에게 라우팅합니다. 운영자는 웹 콘솔을 사용하여 사용자에게 응답하거나, 도구 호출 요청을 조합하거나, 자동 응답 규칙을 설정할 수 있습니다.

대상 사용자

• AI 개발자: 실제 모델을 사용하지 않고 토큰을 소모하지 않고 워크플로우를 테스트하고 싶은 개발자.
• 에이전트 사용자: 인간이 루프에 포함된 구성 요소로서 AI 에이전트 로직에 통합되고 싶은 사용자.
• 테스터: 특정 시나리오에서 AI 응답을 시뮬레이션하고 싶은 사용자.

주요 기능

• API 호환성: OpenAI 스타일 응답, Anthropic Messages 호환 인터페이스(/messages), 커스텀 /v1/responses 엔드포인트 지원.
• 웹 제어 콘솔: 응답 관리 및 자동 응답 규칙 설정에 사용 가능한 React 기반 UI 포함.
• 유연한 배포: Docker Compose로 한 번의 클릭 배포, 내장된 프론트엔드를 포함한 단일 바이너리 빌드, 또는 별도의 프론트엔드/백엔드 배포 지원.
• 데이터베이스 지원: 기본적으로 SQLite 사용, 향후 PostgreSQL 지원 계획 중.
• 도구 지원: 콘솔을 통해 도구 호출 요청 조합 가능.