amaiya/onprem

OnPrem.LLM은 오프라인 또는 제한된 환경에서 민감한 비공개 데이터에 대규모 언어 모델(LLMs)을 적용하기 위한 Python 툴킷입니다. 기본적으로 완전히 로컬에서 실행되도록 설계되었지만, 필요에 따라 클라우드 LLM 제공업체(OpenAI, Anthropic 등)도 지원합니다. 이 프로젝트는 privateGPT에서 영감을 받았으며 정보 추출, 요약, 분류, 질의응답 및 AI 에이전트와 같은 문서 지능 작업에 중점을 둡니다.

주요 기능은 다음과 같습니다:

• 로컬 우선 실행 및 선택적 클라우드 통합.
• RAG (검색 증강 생성): 자체 문서에 대한 질의응답을 지원하며, 임베딩을 미리 저장할 필요가 없는 경량 "SparseStore"를 포함하여 일반적인 하드웨어에서도 사용 가능.
• 다양한 LLM 백엔드 지원: llama.cpp, Hugging Face Transformers, Ollama, vLLM, OpenAI, Anthropic, AWS GovCloud Bedrock.
• 구조화된 출력: Pydantic 모델을 통해 구현.
• 샌드박스 AI 에이전트 (AgentExecutor): 파일 분석과 같은 작업을 안전하게 수행 가능.
• 시각적 워크플로우 빌더: 복잡한 문서 분석 파이프라인을 조립 가능.
• 경량 설치: 기본 패키지에서 PyTorch가 제외되었습니다. 선택적 추가 기능을 통해 로컬 임베딩, 문서 파싱 또는 웹 UI와 같은 기능을 추가할 수 있습니다.

실제로 간단한 프롬프트로 시작하여 RAG를 위해 문서를 수집하고, 로컬 모델과 클라우드 모델 간에 전환하며, 에이전트를 실행하는 모든 작업을 일관된 Python API를 통해 수행할 수 있습니다. 이 프로젝트는 개인정보 보호와 유연성을 강조하며, 기밀 데이터를 외부 서비스로 전송하지 않고 처리해야 하는 기업이나 개인에게 적합합니다.