paulrobello/parllama

해결하는 문제

PAR LLAMA는 로컬 및 클라우드 기반 거대 언어 모델(LLM)의 관리와 상호작용을 간소화하는 터미널 기반 인터페이스(TUI)입니다. 복잡한 명령줄 조작이나 브라우저 기반 인터페이스 없이도 채팅, 모델 관리, 세션 정리를 위한 통합된 키보드 중심 환경을 제공합니다.

작동 방식

Textual 및 Rich Python 라이브러리로 구축된 이 애플리케이션은 로컬 Ollama 인스턴스나 다양한 클라우드 제공업체(OpenAI, Anthropic, Groq 등)에 연결되는 반응형 비동기 인터페이스를 제공합니다. 채팅 세션을 관리하고, 문서 첨부를 처리하며(네이티브 지원이 없는 모델을 위한 텍스트 추출 포함), API 키를 저장하기 위한 안전하고 암호화된 저장소를 제공합니다. 사용자는 탭을 전환하며 로컬 모델을 관리하고, 레지스트리에서 새 모델을 가져오고, 시스템 프롬프트를 구성하며, 템플릿을 실행할 수 있습니다.

대상 사용자

이 도구는 터미널 환경에서 작업하는 것을 선호하며, 명령줄을 벗어나지 않고도 여러 LLM 제공업체와 로컬 모델을 중앙 집중식으로 효율적으로 관리하려는 개발자와 파워 유저를 위해 설계되었습니다.

주요 특징

• 멀티 제공업체 지원: Ollama, OpenAI, Anthropic, Groq, XAI, OpenRouter, Deepseek, LiteLLM과 호환됩니다.
• 크로스 플랫폼 TUI: Windows, macOS, Linux에서 네이티브로 실행되며, 키보드 중심의 반응형 인터페이스를 제공합니다.
• 고급 세션 관리: 채팅 세션 저장, 내보내기, 자동 이름 지정 기능을 지원하며 대화 간 지속적인 메모리 기능을 제공합니다.
• 문서 및 비전 지원: PDF, 텍스트, Markdown 파일 첨부가 가능하며, LLaVA 및 GPT-4 Vision과 같은 시각 인식 모델과도 상호작용할 수 있습니다.