google-ai-edge/gallery

해결하는 문제

강력한 오픈 소스 대규모 언어 모델(LLM)을 모바일 기기 및 macOS에서 직접 실행할 수 있는 중앙 집중식 플랫폼을 제공합니다. 이를 통해 데이터를 외부 서버로 전송할 필요가 없어지므로 완전한 프라이버시, 오프라인 기능 및 빠른 응답 시간을 보장합니다.

작동 방식

이 애플리케이션은 Google AI Edge와 LiteRT 경량 런타임을 활용하여 로컬 하드웨어에서 최적화된 모델을 실행합니다. Hugging Face와 통합되어 모델 검색 및 다운로드가 가능하며, 사용자는 공식 모델(Gemma 4 제품군 등) 또는 사용자 정의 모델을 로드할 수 있습니다.

대상 사용자

특정 하드웨어에서 온디바이스 생성형 AI 모델의 성능을 경험, 테스트 및 평가하고자 하는 개발자와 AI 애호가를 위해 설계되었습니다.

주요 특징

• 에이전트 기술: Wikipedia, 대화형 지도, 시각적 요약 카드와 같은 도구를 사용하여 LLM을 확장합니다.
• 사고 모드(Thinking Mode)가 포함된 AI 채팅: 멀티턴 대화와 모델의 단계별 논리를 시각화하는 추론 모드를 지원합니다.
• 멀티모달 기능: 시각적 분석을 위한 "Ask Image"와 실시간 음성 전사 및 번역을 위한 "Audio Scribe"가 포함되어 있습니다.
• Prompt Lab: temperature 및 top-k와 같은 매개변수를 세밀하게 제어하여 프롬프트를 테스트할 수 있는 작업 공간입니다.
• 모델 벤치마킹: 모델 라이브러리를 관리하고 로컬 하드웨어에서 성능 테스트를 실행할 수 있는 도구입니다。
• 모바일 액션: 미세 조정된 FunctionGemma 270m 모델을 사용하여 오프라인 기기 제어 및 자동화된 작업을 수행합니다.