shubham0204/SmolChat-Android
Running any GGUF SLMs/LLMs locally, on-device in Android
解決する課題
SmolChat は、モバイルデバイス上で直接小規模言語モデル（SLM）を実行するためのネイティブ Android インターフェースを提供します。クラウドベースの AI サービスへの依存を排除し、ユーザーはデータやモデルパラメータを完全に制御しながらローカルで推論を実行できます。
仕組み
このアプリケーションは、NDK を使用して Android 用にコンパイルされた llama.cpp C++ ライブラリを活用しています。JNI (Java Native Interface) バインディングを使用して、Kotlin ベースの Android UI と C++ 推論エンジン間のブリッジを構築しています。ユーザーは GGUF 形式のモデルをインポートし、システムプロンプトを設定し、temperature や min-p などの推論設定をアプリ内で直接調整できます。
対象ユーザー
このプロジェクトは、外部 API に頼ることなく、モバイルハードウェア上でローカルかつプライバシーに配慮した言語モデルを実行してみたい Android 開発者や AI 愛好家向けです。
ハイライト
llama.cppエンジンを使用して、デバイス上で SLM をローカル実行。- カスタム GGUF モデルのインポートと、設定可能な推論パラメータをサポート。
- チャット履歴とシステムプロンプトを管理するための専用モジュールを搭載。
- モデルの応答に対する Markdown レンダリングとコードのシンタックスハイライト機能を内蔵。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト