zylon-ai/private-gpt

해결하는 문제

PrivateGPT는 클라우드 API에 의존하지 않고 로컬 모델을 사용하여 프로덕션용 AI 애플리케이션을 구축할 수 있도록 해주는 오픈소스 API 계층입니다. Ollama나 vLLM과 같은 원시적인 로컬 추론 서버와 완전히 기능하는 AI 애플리케이션 사이의 격차를 메우며, RAG, 도구 사용, 구조화된 데이터 접근과 같은 고수준 빌딩 블록을 제공합니다.

작동 방식

PrivateGPT는 애플리케이션 또는 에이전트와 OpenAI 호환 추론 서버 사이의 중개 계층으로 작동합니다. 모델을 직접 실행하지는 않으며, OPENAI_API_BASE를 통해 서버에 연결하여 실제 LLM 처리를 담당합니다. 메시지, 스트리밍, 도구 오케스트레이션을 위한 표준화된 인터페이스를 제공하기 위해 Claude API 사양을 따릅니다.

대상 사용자

로컬 LLM용 표준화된 API를 원하고, 백엔드 기본 구성 요소를 다시 구현하지 않으려는 개발자들 — 즉, 프라이빗하고 자체 호스팅된 AI 제품, 에이전트, 워크플로우를 구축하는 사람들.

주요 특징

• Claude API 호환성: 메시지, 스트리밍, 토큰 카운팅을 위한 참조 API를 구현.
• 에이전트용 RAG: 파일 및 아티팩트 인게스팅, 검색, 인용 기능 제공.
• 내장 도구: 웹 검색, 웹 가져오기, 코드 실행을 포함하며, 사용자 정의 도구 및 MCP 커넥터 지원.
• 데이터 접근: 데이터베이스 및 CSV에 대한 구조화된 접근을 내장하여 표 형식 분석 가능.
• 워크벤치 UI: 테스트, 문서 업로드, API 디버깅을 위한 정교한 UI 포함.