google-ai-edge/gallery

解决的问题

它提供了一个集中式平台，直接在移动设备和 macOS 上运行强大的开源大语言模型 (LLM)。这消除了将数据发送到外部服务器的需要，确保了完全的隐私、离线功能和快速的响应时间。

工作原理

该应用程序利用 Google AI Edge 和 LiteRT 轻量级运行时在本地硬件上执行优化后的模型。它与 Hugging Face 集成以进行模型发现和下载，允许用户加载官方模型（如 Gemma 4 系列）或自定义模型。

适用对象

专为希望在特定硬件上体验、测试和评估端侧生成式 AI 模型性能的开发人员和 AI 爱好者设计。

亮点

• 智能体技能：通过 Wikipedia、交互式地图和视觉摘要卡等工具增强 LLM。
• 带思考模式的 AI 对话：支持多轮对话和可视化模型逐步逻辑的推理模式。
• 多模态能力：包括用于视觉分析的 "Ask Image" 和用于实时语音转录与翻译的 "Audio Scribe"。
• 提示词实验室 (Prompt Lab)：一个用于测试提示词的工作区，可以对 temperature 和 top-k 等参数进行精细控制。
• 模型基准测试：用于管理模型库并在本地硬件上运行性能测试的工具。
• 移动操作：使用微调后的 FunctionGemma 270m 模型来驱动离线设备控制和自动化任务。