NotPunchnox/rkllama

解決する課題

RKLLamaは、Rockchip RK3588およびRK3576ハードウェアのNPU（ニューラルネットワークプロセッサ）上で直接大規模言語モデル（LLM）を実行し、対話するための手段を提供します。これにより、Orange Pi 5シリーズやRadxa Rock 4dなどのシングルボードコンピュータのユーザーは、CPUのみに依存することなく、ハードウェアアクセラレーションを使用してローカルでAI推論を実行できます。

仕組み

このプロジェクトは、モデルのロード、推論、APIリクエストを管理するサーバーとして機能します。rkllmおよびrknnランタイムライブラリを使用して、NPU上でモデルを実行します。OllamaおよびOpenAI標準と互換性のあるREST APIを備えており、既存のAIツールやWebインターフェースと統合可能です。モデル管理を動的に処理し、必要に応じてモデルをメモリにロードし、非アクティブ時にはアンロードすることでリソース使用量を最適化します。

対象ユーザー

このプロジェクトは、Rockchipベースのハードウェア（RK3588/RK3576）を使用し、LLM、ビジョンモデル、またはオーディオ処理タスクをローカルで実行したい開発者やホビイスト向けです。低電力のエッジコンピューティングデバイス上で標準的なAI APIツール（OpenWebUIなど）を使用したい方に最適です。

主な特徴

• LLM、ビジョンモデル、およびオーディオモデル（TTS/STT）をNPU上で直接実行。
• 一般的なOllamaおよびOpenAI APIエンドポイントと互換性あり。
• 高度なAI対話のためのツール/関数呼び出しをサポート。
• メモリを効率的に管理するための動的なモデルロード/アンロード機能。
• 反復的なチャットセッションを高速化する自動プロンプトキャッシュ機能。
• マルチモーダル入力（画像）およびStable Diffusionによる画像生成をサポート。
• Hugging Faceから直接モデルを簡単にインストール可能。