Mobile-Artificial-Intelligence/maid

Maid is a free and open source application for interfacing with llama.cpp models locally, and with Anthropic, DeepSeek, Ollama, Mistral and OpenAI models remotely.

Maid – Mobile Artificial Intelligence Distribution

소개
Maid는 React Native로 구축된 오픈 소스 Android 앱으로, 스마트폰에서 대규모 언어 모델(LLMs)과 대화할 수 있게 해줍니다. llama.cpp 엔진과 GGUF 파일을 사용하여 로컬에서 모델을 실행하거나, API 키를 통해 수십 개의 원격 추론 공급자(OpenAI, Anthropic, Ollama, LiteLLM-proxy 등)에 연결할 수 있습니다.


핵심 기능

기능 설명
로컬 추론 GGUF 모델(Qwen, Phi, TinyLlama 등)을 로드하여 기기 내에서 텍스트를 생성 – 인터넷 불필요.
원격 공급자 API Route, Anthropic, DeepSeek, Mistral, Novita, Ollama, llmman, OrcaRouter, LiteLLM, OpenAI 등 다양한 서비스를 원클릭으로 설정.
모델 마켓플레이스 앱 내에서 엄선된 Hugging Face 모델을 탐색하고 탭 한 번으로 다운로드.
채팅 관리 채팅 생성, 이름 변경, 삭제, JSON 형식으로 기록 내보내기/가져오기.
매개변수 튜닝 세션별로 temperature, top-p, top-k, 컨텍스트 길이 등 생성 매개변수 조정.
시스템 프롬프트 및 페르소나 전역 시스템 프롬프트를 설정하여 일관된 캐릭터 부여.
음성 출력 컴패니언 앱 Maise와 연동하여 텍스트 음성 변환(TTS) 지원.
Supabase 동기화 선택적 계정 로그인을 통해 설정 및 채팅 로그 백업.
Material You 테마 Android 시스템 설정에 따른 라이트/다크 테마 지원.
오픈 소스, 광고 없음 MIT 라이선스, 텔레메트리 없음.

사용 방법

  1. 설치 – GitHub 릴리스 배지에서 APK를 받거나 Google Play에서 설치.
  2. 백엔드 선택 –
    • 로컬: 기기에 .gguf 파일을 넣고 선택하면 Maid가 백그라운드에서 llama.cpp를 실행합니다.
    • 원격: 지원되는 공급자의 API 키를 입력하면 Maid가 요청 페이로드를 구성하고 응답을 스트리밍합니다.
  3. 채팅 – 프롬프트를 입력하거나 붙여넣고, 매개변수를 조정하여 응답 확인. 채팅은 저장, 내보내기, 동기화 가능.
  4. 선택적 TTS – Maise를 열어 응답을 음성으로 듣기.

소스 코드 빌드

# Clone the repo
git clone https://github.com/Mobile-Artificial-Intelligence/maid.git
cd maid

# Install JS dependencies
yarn install

# Run the test suite
yarn test

# Build an Android APK
yarn build-android   # → android/app/build/outputs/apk/release/*.apk

저장소에는 최신 릴리스의 PDF 사용자 매뉴얼도 포함되어 있습니다.


추천 대상

  • 모바일 우선 AI 애호가: 클라우드 서비스 의존 없이 스마트폰에서 LLM을 사용하려는 분.
  • 개발자: LLM 추론 및 다중 공급자 API 처리에 대한 React-Native 구현 사례를 찾는 분.
  • 연구원 또는 취미 사용자: Android 기기에서 다양한 GGUF 모델을 빠르게 테스트하려는 분.

제한 사항 및 주의 사항

  • 로컬 추론은 기기의 CPU/GPU 성능과 저장 가능한 GGUF 모델 크기에 제한을 받습니다.
  • 원격 사용 시 외부 API 키가 필요하며, 공급자의 비용 및 지연 시간이 발생할 수 있습니다.
  • 앱에 TTS가 내장되어 있지 않으므로 별도의 Maise 컴패니언 앱이 필요합니다.

라이선스 및 출처

  • MIT 라이선스, 텔레메트리 없음, 광고 없음.
  • Hugging Face, Meta, OpenAI 또는 나열된 모델 공급자와 공식적으로 제휴하지 않음.

결론 – Maid는 Android 스마트폰을 휴대용 LLM 클라이언트로 변환합니다. llama.cpp를 통한 기기 내 GGUF 모델과 다양한 클라우드 API를 모두 지원하며, 깔끔하고 테마 설정이 가능한 UI를 제공합니다.

관련

  • Dispatch
  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트