NotPunchnox/rkllama

解决的问题

RKLLama 提供了一种直接在 Rockchip RK3588 和 RK3576 硬件的 NPU（神经网络处理器）上运行并与大语言模型（LLM）交互的方法。这使得 Orange Pi 5 系列或 Radxa Rock 4d 等单板计算机用户能够利用硬件加速在本地执行 AI 推理，而无需完全依赖 CPU。

工作原理

该项目作为一个服务器，负责管理模型加载、推理和 API 请求。它使用 rkllm 和 rknn 运行时库在 NPU 上执行模型。它包含一个兼容 Ollama 和 OpenAI 标准的 REST API，使其能够与现有的 AI 工具和 Web 界面集成。它动态处理模型管理，根据需要将模型加载到内存中，并在不活动后卸载它们，以优化资源使用。

适用人群

该项目适用于使用基于 Rockchip 硬件（RK3588/RK3576）并希望在本地运行 LLM、视觉模型或音频处理任务的开发人员和爱好者。对于那些希望在低功耗边缘计算设备上使用标准 AI API 工具（如 OpenWebUI）的用户来说，它是理想的选择。

主要亮点

• 直接在 NPU 上运行 LLM、视觉模型和音频模型（TTS/STT）。
• 兼容常见的 Ollama 和 OpenAI API 端点。
• 支持用于高级 AI 交互的工具/函数调用。
• 具有动态模型加载和卸载功能，可有效管理内存。
• 包含自动提示词缓存，以加速重复的聊天会话。
• 支持多模态输入（图像）以及通过 Stable Diffusion 进行图像生成。
• 提供直接从 Hugging Face 轻松安装模型的功能。