timmyy123/LLM-Hub

해결하는 문제

LLM Hub는 사용자가 대규모 언어 모델(LLM), 이미지 생성 및 비디오 생성을 완전히 기기 내에서 실행할 수 있도록 하는 개인정보 보호 중심의 모바일 애플리케이션입니다. 클라우드 기반 AI 서비스의 필요성을 제거하여 대화와 데이터가 기기를 떠나지 않도록 보장하는 동시에 AI 도구에 대한 오프라인 액세스를 제공합니다.

작동 원리

이 앱은 모바일 전용 하드웨어 가속(CPU, GPU 및 NPU)을 활용하여 로컬 추론을 실행합니다. Android에서는 ASR을 위해 GenieX SDK와 WhisperKit를 사용하며, iOS에서는 Run Anywhere SDK, MediaGenerationKit 및 whisper.cpp를 활용합니다..gguf,.litertlm,.task를 포함한 다양한 모델 형식을 지원하며, 사용자가 커스텀 모델을 가져오거나 HuggingFace에서 직접 다운로드할 수 있습니다.

대상 사용자

스마트폰(Android 및 iOS)에서 데이터 프라이버시와 오프라인 AI 기능을 우선시하는 사용자와 모바일 앱에 온디바이스 AI 런타임을 통합하려는 개발자.

주요 특징

• 멀티모달 AI 스위트: RAG 메모리가 포함된 로컬 채팅, 이미지 생성(Stable Diffusion), 비디오 생성(Stable Video Diffusion) 및 온디바이스 전사(Whisper)를 포함합니다.
• 자율형 AI 에이전트: Android 전용 기능으로 Termux 쉘 명령을 실행하고, 기기 도구(캘린더, 알람, 손전등)를 관리하며, 명령 오류를 자동 수정하기 위한 자가 진단을 수행할 수 있습니다.
• Vibe Coder: 코드를 생성하고 라이브 HTML/JS 미리보기를 제공하는 실시간 앱 빌더.
• UTF-8/NPU 가속: 이미지 업스케일링(RealESRGAN) 및 음성-텍스트 변환과 같은 작업을 위해 모바일 NPU를 사용하여 고성능을 구현하도록 최적화되었습니다.
• 개인정보 보호 우선: 데이터 수집이 전혀 없고 계정 요구 사항이 없는 100% 온디바이스 처리.