amaiya/onprem

해결하는 문제

OnPrem.LLM은 기밀성 있는 비공개 데이터에 대규모 언어 모델(LLM)을 적용하기 위해 설계된 프라이버시 중심의 툴킷입니다. 사용자는 오프라인 또는 제한된 환경에서 LLM을 실행할 수 있으며, 데이터는 기본적으로 로컬에 유지되지만 필요 시 클라우드 기반 제공업체와 통합할 수 있는 유연성을 제공합니다.

작동 방식

이 툴킷은 다양한 LLM 백엔드와 상호작용할 수 있는 통합된 Python 인터페이스를 제공합니다. llama-cpp-python, Hugging Face transformers, Ollama, vLLM을 통한 로컬 실행은 물론, OpenAI 및 Anthropic과 같은 클라우드 제공업체도 지원합니다. 문서 인게스팅 및 질의에 적합한 Retrieval-Augmented Generation(RAG) 내장 지원, Pydantic을 활용한 구조화된 출력, AI 에이전트를 제한된 환경에서 안전하게 실행할 수 있는 사전 환경도 포함되어 있습니다.

대상 사용자

개인정보나 보안을 희생하지 않고 LLM을 사용해 기밀 문서를 처리해야 하는 개발자 및 조직, 특히 제한된 컴퓨팅 리소스를 가진 격리된 환경이나 오프라인 환경에서 운영되는 사용자에게 적합합니다.

주요 특징

• 로컬 우선 접근 방식: 완전히 로컬에서 실행 가능하며, 클라우드 통합은 선택 사항입니다.
• 다양한 백엔드 지원: llama-cpp-python, transformers, vLLM, 그리고 LiteLLM가 지원하는 제공업체와 호환됩니다.
• 문서 인텔리전스: 정보 추출, 요약, 분류, 질의응답을 위한 내장된 파이프라인 제공.
• 사전 환경 에이전트: 제한된 환경에서 AI 에이전트를 안전하게 실행할 수 있는 AgentExecutor.
• 시각적 워크플로 빌더: 복잡한 문서 분석 파이프라인을 마우스 클릭으로 조립할 수 있는 인터페이스.
• 자원 효율성: 사전 저장된 임베딩이 필요 없는 SparseStore와 같은 모듈을 포함하여 RAG를 효율적으로 구현.