google-ai-edge/gallery

解決する課題

強力なオープンソースの大規模言語モデル（LLM）を、モバイルデバイスやmacOS上で直接実行するための集約されたプラットフォームを提供します。これにより、外部サーバーにデータを送信する必要がなくなり、完全なプライバシー、オフライン機能、および高速なレスポンスタイムが保証されます。

仕組み

このアプリケーションは、Google AI EdgeとLiteRT軽量ランタイムを活用して、ローカルハードウェア上で最適化されたモデルを実行します。Hugging Faceと連携してモデルの検索とダウンロードが可能であり、ユーザーは公式モデル（Gemma 4 ファミリーなど）や独自のカスタムモデルをロードできます。

対象ユーザー

特定のハードウェア上で、デバイス上の生成AIモデルのパフォーマンスを体験、テスト、評価したい開発者やAI愛好家向けに設計されています。

ハイライト

• エージェントスキル: Wikipedia、インタラクティブマップ、ビジュアルサマリーカードなどのツールを使用してLLMを拡張します。
• 思考モード付きAIチャット: マルチターン会話と、モデルのステップバイステップのロジックを可視化する推論モードをサポートしています。
• マルチモーダル機能: 視覚分析のための「Ask Image」や、リアルタイムの音声文字起こしと翻訳のための「Audio Scribe」が含まれています。
• Prompt Lab: temperatureやtop-kなどのパラメータを詳細に制御してプロンプトをテストするためのワークスペースです。
• モデルベンチマーク: モデルライブラリを管理し、ローカルハードウェアでパフォーマンステストを実行するためのツールです。
• モバイルアクション: 微調整されたFunctionGemma 270mモデルを使用して、オフラインのデバイス制御と自動タスクを実行します。