timmyy123/LLM-Hub

Local AI Assistant on your phone

What it solves

LLM Hub は、モバイルデバイス(Android と iOS)上で大規模言語モデル(LLM)、画像生成、動画生成を直接実行する方法を提供します。AI 推論にインターネット接続は不要となり、ユーザーデータはプライベートに保たれ、会話はデバイスから外部に出ません。

How it works

アプリはモバイル専用のハードウェアアクセラレーション(CPU、GPU、NPU)を活用してローカルでモデルを実行します。Android では GenieX と MediaPipe、iOS では Run Anywhere と MediaGenerationKit といった専門 SDK とランタイムを統合しています。ユーザーは HuggingFace からモデルを直接ダウンロードしたり、.gguf、.task、.litertlm などのカスタムモデル形式をインポートできます。

Who it’s for

スマートフォン上でプライベートかつオフラインで AI 機能を利用したいユーザー、そしてデバイス上での AI 実装に関心のある開発者向けに設計されています。

Highlights

  • Multimodal Suite:RAG メモリ付きテキストチャット、Stable Diffusion による画像生成、Stable Video Diffusion による動画生成、オフライン翻訳/文字起こしを含む。
  • Vibe Coder:ユーザーがアプリのアイデアを記述すると、リアルタイムで HTML/JS プレビューが表示されるツール。
  • Privacy-Centric:100% デバイス上で処理し、データ収集・アカウント・トラッキングは一切なし。
  • Broad Model Support:複数のモデル形式に対応し、HuggingFace からの直接インポートが可能。
  • AI Utility Tools:フィッシング分析用の詐欺検出器、文法・要約支援のライティングアシスト、そして creAItor と呼ばれるカスタムパーソナ作成ツールを搭載。