timmyy123/LLM-Hub

解決する課題

LLM Hubは、プライバシーを重視したモバイルアプリケーションであり、ユーザーが大規模言語モデル（LLM）、画像生成、動画生成を完全にデバイス上で行うことを可能にします。クラウドベースのAIサービスの必要性を排除し、会話やデータがデバイスから外部に出ることはありません。同時に、AIツールへのオフラインアクセスを提供します。

仕組み

このアプリは、モバイル特有のハードウェアアクセラレーション（CPU、GPU、NPU）を活用してローカル推論を実行します。Androidでは、ASRにGenieX SDKとWhisperKitを使用し、iOSではRun Anywhere SDK、MediaGenerationKit、およびwhisper.cppを利用します。.gguf、.litertlm、.taskを含む幅広いモデル形式をサポートしており、ユーザーはカスタムモデルをインポートしたり、HuggingFaceから直接ダウンロードしたりすることができます。

対象ユーザー

スマートフォン（AndroidおよびiOS）でのデータプライバシーとオフラインAI機能を優先するユーザー、およびモバイルアプリにデバイス上でのAIランタイムを統合したい開発者。

ハイライト

• マルチモーダルAIスイート: RAGメモリを備えたローカルチャット、画像生成（Stable Diffusion）、動画生成（Stable Video Diffusion）、およびデバイス上での文字起こし（Whisper）が含まれます。
• 自律型AIエージェント: Android特有の機能で、Termuxシェルコマンドの実行、デバイスツール（カレンダー、アラーム、懐中電灯）の管理、およびコマンドエラーを自動修正するための自己診断を実行できます。
• Vibe Coder: コードを生成し、ライブHTML/JSプレビューを提供するリアルタイムアプリビルダー。
• UTF-8/NPUアクセラレーション: 画像アップスケーリング（RealESRGAN）や音声文字変換などのタスクにモバイルNPUを使用し、高いパフォーマンスを実現するよう最適化されています。
• プライバシー第一: 100%デバイス内処理であり、データ収集は一切行わず、アカウント作成も不要です。