google-ai-edge/gallery

解決的問題

它提供了一個集中式平台，直接在行動裝置和 macOS 上執行強大的開源大語言模型 (LLM)。這消除了將數據發送到外部伺服器的需求，確保了完全的隱私、離線功能與快速的響應時間。

工作原理

該應用程式利用 Google AI Edge 與 LiteRT 輕量級執行期在本地硬體上執行優化後的模型。它與 Hugging Face 整合以進行模型探索與下載，允許使用者載入官方模型（如 Gemma 4 系列）或自定義模型。

適用對象

專為希望在特定硬體上體驗、測試與評估裝置端生成式 AI 模型效能的開發者與 AI 愛好者設計。

亮點

• 代理技能：透過 Wikipedia、互動式地圖與視覺摘要卡等工具增強 LLM。
• 具備思考模式的 AI 對話：支援多輪對話與視覺化模型逐步邏輯的推理模式。
• 多模態能力：包含用於視覺分析的 "Ask Image" 與用於即時語音轉錄與翻譯的 "Audio Scribe"。
• 提示詞實驗室 (Prompt Lab)：一個用於測試提示詞的工作區，可以對 temperature 與 top-k 等參數進行精細控制。
• 模型基準測試：用於管理模型庫並在本地硬體上執行效能測試的工具。
• 行動操作：使用微調後的 FunctionGemma 270m 模型來驅動離線裝置控制與自動化任務。