AlexsJones/llmserve

해결하는 문제

llmserve는 로컬 LLM 추론 서버를 탐색하고 시작하기 위한 통합 터미널 사용자 인터페이스(TUI)를 제공합니다. GGUF나 MLX와 같은 다양한 모델 파일과 여러 추론 엔진 간을 전환할 때, 복잡한 CLI 플래그를 기억하거나 여러 구성 파일을 관리할 필요가 없습니다.

작동 방식

이 도구는 설치된 추론 백엔드(llama-server, KoboldCpp, MLX 등)를 시스템에서 스캔하고, 사전 정의된 및 사용자 지정 디렉터리에서 모델 파일을 검색합니다. 인터랙티브한 3패널 인터페이스를 통해 사용자는 모델 라이브러리를 탐색하고 백엔드를 선택한 후 서버를 시작할 수 있습니다. 백엔드 프로세스를 실행하고 포트를 관리하며, 서버 로그를 실시간으로 TUI에 스트리밍하여 모니터링과 크래시 진단을 가능하게 합니다.

대상 사용자

다양한 로컬 LLM을 실행하고, 각각의 시작 명령어를 수동으로 구성하지 않고도 빠르고 중앙집중식으로 모델을 시작하고 싶은 사용자에게 적합합니다.

주요 기능

• 다중 백엔드 지원: llama-server, KoboldCpp, LocalAI, MLX, Ollama, vLLM, LM Studio 등 엔진을 자동 탐지.
• 통합 모델 탐지: LM Studio, HuggingFace, llama.cpp 등의 일반적인 경로에서 모델을 자동 검색하고 사용자 지정 디렉터리 추가 가능.
• 실시간 로그 스트리밍: 백엔드의 stdout/stderr를 캡처하여 색상 구분된 로그 패널에 표시하며 단어 줄바꿈 지원.
• 사용자 정의 프리셋: TOML 파일을 통해 각 백엔드별로 컨텍스트 크기, GPU 레이어, 배치 크기, 추가 CLI 인수를 설정 가능.
• 비전 지원: mmproj 프로젝터 파일을 자동 탐지하여 llama-server에서 비전 기능 활성화.