ServiceStack/llms

ServiceStack/llms – 빠른 개요

정의 – llms.py는 인터넷 연결 없이 다양한 대규모 언어 모델(LLM)과 대화할 수 있는 가벼운 명령줄 및 웹 API 도구입니다. Open WebUI 프로젝트의 자체 호스팅, 프라이버시 우선 대안을 목표로 합니다.

주요 기능

• 오프라인 다중 LLM 액세스 – 로컬에서 호스팅되는 모든 LLM(예: Llama-2, Mistral 등)을 연결하고 동일한 인터페이스에서 쿼리할 수 있습니다.
• CLI 및 HTTP API – 간단한 터미널 명령을 사용하거나 REST 호출을 보내 완성(completion)을 얻을 수 있어 스크립팅이나 다른 앱에 임베드하기 쉽습니다.
• 채팅 스타일 UI – 브라우저 기반 프런트엔드가 ChatGPT 스타일 대화를 모방하며, 채팅 기록은 브라우저의 로컬 저장소에만 저장되어 사용자 머신을 벗어나지 않습니다.
• MCP 클라이언트 통합 – 대화/에이전트를 원격 "MCP" 도구(OAuth로 보호된 사용자별 엔드포인트)에 연결하는 선택적 확장 기능입니다. 승인은 편집 가능하며, 불확실한 호출을 재생하지 않고도 장애에서 복구할 수 있습니다.
• 공유 확장 – share_static 및 share_llmspy를 사용하면 정적 자산이나 전체 대화 세션을 다른 사람에게 공개할 수 있으며, 구성 파일로 제어됩니다.

작동 방식

1. Python 스크립트 실행 (llms.py) – REST API를 노출하고 번들된 UI를 제공하는 작은 웹 서버를 시작합니다.
2. LLM 백엔드 구성 – 서버를 로컬에서 실행 중인 모델 서비스(HTTP, gRPC 등)로 지정합니다.
3. 상호작용 – 브라우저에서 UI를 열고 프롬프트를 입력하면 서버가 선택한 모델로 전달하고 응답을 반환합니다.
4. 선택적 MCP 레이어 – extensions/mcp_client 모듈을 활성화하면 서버가 OAuth 인증이 필요한 원격 도구로 특정 호출을 전달할 수 있으며, 사용자별 승인이 서버에 저장됩니다.

사용 대상

• 로컬 LLM을 실험하기 위한 빠른 자체 호스팅 ChatGPT 스타일 UI를 원하는 개발자.
• 프롬프트 데이터를 비공개로 유지하고 클라우드 데이터베이스보다 브라우저 로컬 저장소를 선호하는 팀.
• 핵심 대화를 오프라인으로 유지하면서 외부 서비스(MCP 클라이언트를 통해)를 호출하는 에이전트를 구축하는 연구자.

더 알아보기

• 프로젝트 웹사이트: https://llmspy.org
• 저장소: https://github.com/ServiceStack/llmspy.org (읽고 있는 README)
• 확장 문서: llms/extensions/mcp_client/README.md 및 docs/SHARING.md

---

위의 모든 세부 사항은 저장소의 README에서 직접 가져온 것입니다. 추가 기능은 추론되지 않았습니다.