NotPunchnox/rkllama

해결하는 문제

RKLLama는 Rockchip RK3588 및 RK3576 하드웨어의 NPU(신경망 처리 장치)에서 직접 대규모 언어 모델(LLM)을 실행하고 상호 작용할 수 있는 방법을 제공합니다. 이를 통해 Orange Pi 5 시리즈나 Radxa Rock 4d와 같은 싱글 보드 컴퓨터 사용자는 CPU에만 의존하지 않고 하드웨어 가속을 사용하여 로컬에서 AI 추론을 수행할 수 있습니다.

작동 방식

이 프로젝트는 모델 로딩, 추론 및 API 요청을 관리하는 서버 역할을 합니다. rkllm 및 rknn 런타임 라이브러리를 사용하여 NPU에서 모델을 실행합니다. Ollama 및 OpenAI 표준과 호환되는 REST API를 포함하고 있어 기존 AI 도구 및 웹 인터페이스와 통합할 수 있습니다. 모델 관리를 동적으로 처리하여 필요할 때 모델을 메모리에 로드하고 비활성 상태가 되면 언로드하여 리소스 사용을 최적화합니다.

대상 사용자

이 프로젝트는 Rockchip 기반 하드웨어(RK3588/RK3576)를 사용하며 LLM, 비전 모델 또는 오디오 처리 작업을 로컬에서 실행하려는 개발자와 애호가를 위한 것입니다. 저전력 엣지 컴퓨팅 장치에서 표준 AI API 도구(예: OpenWebUI)를 사용하려는 사용자에게 이상적입니다.

주요 특징

• LLM, 비전 모델 및 오디오 모델(TTS/STT)을 NPU에서 직접 실행.
• 일반적인 Ollama 및 OpenAI API 엔드포인트와 호환.
• 고급 AI 상호 작용을 위한 도구/함수 호출 지원.
• 메모리를 효율적으로 관리하기 위한 동적 모델 로딩 및 언로딩 기능.
• 반복적인 채팅 세션을 가속화하는 자동 프롬프트 캐싱 포함.
• 멀티모달 입력(이미지) 및 Stable Diffusion을 통한 이미지 생성 지원.
• Hugging Face에서 직접 모델을 쉽게 설치할 수 있는 기능 제공.