Janus: Vulkan 지원을 갖춘 Go 기반 로컬 LLM 서버

Janus는 단일 Go 바이너리로 구현된 가벼운 로컬 LLM 서버로, GPU 또는 CPU에서 .gguf 모델을 실행할 수 있게 해줍니다. OpenAI 호환 API를 노출함으로써, Python, Docker, 또는 Ollama 런타임 없이도 Cursor와 Cline과 같은 AI 클라이언트와 원활하게 통합할 수 있습니다.

핵심 기능 및 API 지원

Janus는 llama.cpp를 래핑한 것으로, AMD, Intel, NVIDIA GPU에서 Vulkan을 사용해 하드웨어 가속을 제공하며, CPU로의 백업도 지원합니다. OpenAI API를 모방하는 일련의 엔드포인트를 제공하여, 로컬 추론 워크플로우의 즉시 대체 가능합니다.

지원되는 API 엔드포인트

메서드 경로 설명
GET /health 라이브니스 체크 (자세한 상태를 위해 ?deep=true 지원)
GET /v1/models 사용 가능한 모델 목록
POST /v1/chat/completions 스트리밍 지원이 있는 채팅 인터페이스
POST /models/load 서버 재시작 없이 활성 모델을 즉시 교체
GET /models/list 모델 디렉터리 내에 있는 .gguf 파일 목록
GET /engine/status VRAM 사용량 및 백엔드 정보 제공

주요 기술적 특징

  • 하드웨어 독립적 추론: Vulkan을 사용해 NVIDIA, AMD, Intel GPU를 포함한 다양한 GPU를 지원하거나 CPU로의 백업 가능.
  • 사고 모델 지원: </tool_call> 블록을 reasoning_content로 분리하여 추론 모델을 특별히 처리.
  • 자동 템플릿 감지: GGUF 메타데이터에서 직접 채팅 템플릿을 감지.
  • 의존성 없는 배포: Windows에서는 단일 .exe 파일(또는 llama.dll과 함께)로 컴파일되어 Python 환경이 필요 없음.

설치 및 구성

Janus는 Windows, Linux, macOS에서 빠르게 배포할 수 있도록 설계되었으며, 소스에서 빌드하려면 Go 1.22 이상이 필요합니다.

설정 워크플로우

  1. 빌드: 사용자는 리포지토리를 클론하고 빌드 스크립트를 실행합니다 (예: Windows에서 .uild.ps1). 이 스크립트는 필요한 llama.cpp Vulkan DLL을 다운로드합니다.
  2. 모델 획득: 모델은 models\ 폴더에 배치됩니다. 제공된 유틸리티 modelget을 사용해 Hugging Face에서 GGUF 파일을 다운로드할 수 있습니다.
  3. 구성: 서버는 .env 파일을 통해 구성됩니다. 주요 변수는 다음과 같습니다:
    • INFERENCE_BACKEND: vulkan, cpu, 또는 openrouter로 설정.
    • JANUS_MODEL_PATH: .gguf 파일의 절대 경로 또는 상대 경로.
    • JANUS_GPU_LAYERS: GPU 오프로딩 제어 (-1은 모든 레이어, 0은 CPU 전용).
    • JANUS_VRAM_CEILING_MB: VRAM 예산 힌트 설정 (기본값 9216 MiB).

커뮤니티 피드백 및 기술적 비판

Janus는 일부 사용자에게 llama.cpp의 배포를 단순화하지만, Hacker News의 개발자 커뮤니티는 그 가치 제안과 성능에 대해 여러 기술적 우려를 제기했습니다.

중복성 우려

일부 사용자는 Janus가 이미 llama.cpp에 내장된 기능을 넘어서는 거의 기능이 없다고 주장합니다.

"llama.cpp는 이미 웹 서버를 제공합니다. README에 있는 내용 중 llama.cpp가 이미 지원하지 않는 것이 없습니다... 보통 사람들은 순수 Go일 때만 'Go 바이너리'라고 홍보합니다, 단지 CGO 래퍼일 뿐이 아니라요."

성능 및 하드웨어 오버헤드

특히 Intel 하드웨어에서 Vulkan 백엔드의 효율성에 대해 구체적인 논의가 있었습니다.

"제가 본 바로는 Intel 하드웨어에서 Vulkan은 많은 오버헤드를 추가합니다."

또한, vLLM, SGLang, ExLlama와 같은 고성능 추론 엔진과의 비교 벤치마크가 부족하다는 지적이 있었으며, 이 특정 래퍼 사용의 정당성을 입증하기에 부족하다고 지적되었습니다.

Sources

관련

  • Dispatch
  • Dispatch
  • 프로젝트
  • 프로젝트
  • 프로젝트