Mobile-Artificial-Intelligence/maid

해결하는 문제

Maid는 Android 기기에서 대규모 언어 모델(LLM)을 직접 실행하거나 원격 AI 제공업체에 연결할 수 있는 방법을 제공합니다. 이로 인해 로컬 모델에 지속적인 인터넷 연결이 필요 없으며, 여러 AI 서비스를 통합된 인터페이스로 사용할 수 있습니다.

작동 방식

React Native로 구축된 이 앱은 GGUF 모델 파일의 로컬 추론을 위해 llama.cpp를 사용합니다. 또한 API 키를 사용하여 OpenAI, Anthropic, DeepSeek 등의 다양한 원격 API와 통합됩니다. 사용자는 앱 내에서 Hugging Face에서 커리레이티드 모델을 직접 다운로드하거나, 자체 로컬 GGUF 파일을 로드할 수 있습니다.

대상 사용자

AI 모델을 기기 내에서 비공개로 사용하고 싶은 Android 사용자 또는 단일 사용자 친화적인 모바일 앱을 통해 여러 원격 AI 제공업체를 관리하고 싶은 사용자.

주요 기능

• 로컬 및 원격 추론: GGUF 모델을 완전히 기기 내에서 실행하거나 Mistral, Novita, Ollama 등의 제공업체에 연결할 수 있습니다.
• 모델 관리: Hugging Face의 커리레이티드 모델을 한 번의 탭으로 다운로드하고, 사용자 정의 로컬 GGUF 파일도 지원합니다.
• 대화 도구: JSON 형식으로 대화를 생성, 이름 변경, 내보내기, 가져오기 가능합니다.
• 사용자 맞춤 설정: 세션별로 온도, top-p, top-k, 컨텍스트 길이를 조정할 수 있으며, 사용자 정의 시스템 프롬프트도 설정 가능합니다.
• 개인정보 보호 중심: 완전한 오픈소스이며, 광고나 텔레메트리가 없습니다.