prabanta-dev/janas

해결하는 문제

Janas-LLM은 RAM이 제한된 소비자 하드웨어에서 대규모의 고파라미터 mixture-of-experts(MoE) 언어 모델을 실행하는 문제를 해결합니다. NVMe SSD에서 모델 가중치를 스트리밍하고 자주 사용되는 전문가를 메모리에 캐싱함으로써, 800억 파라미터 변형과 같은 대규모 모델을 32GB RAM의 표준 노트북에서 실행할 수 있게 합니다.

작동 방식

외부 종속성이 없는 C 언어로 작성된 이 엔진은 모델 가중치를 관리하기 위한 사용자 정의 아키텍처를 사용합니다. 모델의 대부분을 디스크에 유지하고 필요한 전문가만 활성 메모리 캐시에 동적으로 로드합니다. 가능한 경우 하드웨어 가속(Vulkan)을 활용하고 직접 I/O(O_DIRECT)를 사용하여 디스크 읽기 속도를 극대화하여, 특정 하드웨어 구성에서 llama.cpp와 같은 기존 프레임워크를 종종 능가하는 속도로 추론을 수행할 수 있습니다.

대상 사용자

이 프로젝트는 소비자급 하드웨어(Linux 또는 Windows x86-64)에서 대규모 LLM을 로컬로 실행하려는 개발자와 고급 사용자를 대상으로 하며, 고성능의 저의존성 C 기반 AI 추론 엔진 구현에 관심이 있는 사람들을 위한 것입니다.

주요 특징

• 디스크에서 전문가를 스트리밍하여 32GB RAM 노트북에서 800억 파라미터 모델 실행.
• 외부 라이브러리 의존성이 없는 고성능 C 구현.
• AI 에이전트 및 편집기와 통합하기 위한 MCP(Model Context Protocol) 내장 지원.
• OpenAI 호환 HTTP 서버와 VS Code와 같은 IDE를 위한 코드 완성 기능 제공.
• 특정 하드웨어에서 성능을 측정하고 최적화하기 위한 네이티브 벤치마킹 도구 포함.