paulrobello/parllama

해결하는 문제

ParLlama는 대규모 언어 모델(LLM)의 관리와 사용을 단순화하는 터미널 사용자 인터페이스(TUI) 애플리케이션입니다. Ollama를 통한 로컬 모델과의 상호작용 및 다양한 클라우드 기반 제공업체를 위한 통합 인터페이스를 제공하여, 서로 다른 CLI 도구나 웹 인터페이스를 전환할 필요가 없도록 합니다.

작동 방식

Textual과 Rich로 구축된 이 애플리케이션은 LLM 제공업체에 연결하는 클라이언트 역할을 합니다. Ollama와 네이티브하게 통합되어 로컬 모델의 pull, 삭제 및 양자화(quantization)를 지원하며, OpenAI, Anthropic, Groq와 같은 클라우드 API도 지원합니다. 대화를 저장하고 정리하는 세션 관리 시스템, 지속적인 사용자 컨텍스트를 위한 메모리 시스템, 그리고 API 키를 위한 보안 금고(vault)를 갖추고 있습니다.

대상 사용자

터미널에서 작업하는 것을 선호하면서도 로컬 및 원격 LLM을 관리하기 위한 풍부하고 시각적인 인터페이스를 원하는 사용자, 그리고 여러 AI 제공업체와 채팅하기 위한 중앙 집중식 도구가 필요한 개발자들을 위한 도구입니다.

주요 특징

• Multi-Provider Support: Ollama, OpenAI, Anthropic, Groq, XAI, OpenRouter, Deepseek, LiteLLM과 함께 작동합니다.
• Vision Capabilities: LLaVA와 같은 시각 기능이 있는 모델을 사용하여 이미지와 함께 채팅할 수 있습니다.
• Local Model Management: TUI에서 직접 모델을 pull, 삭제 및 양자화할 수 있습니다.
• Session & Memory: 채팅 세션을 저장/로드하고 대화 전반에 걸쳐 지속적인 사용자 컨텍스트를 유지합니다.
• Fabric Integration: Fabric 패턴을 재사용 가능한 프롬프트로 가져와 사용할 수 있습니다.
• Secure Secrets Vault: AES-GCM을 사용하여 민감한 API 키를 암호화하여 저장합니다.
• Template Execution: 구성 가능한 허용 목록(allowlists)을 사용하여 코드를 실행하는 보안 시스템을 제공합니다.