timmyy123/LLM-Hub

Local AI Assistant on your phone

What it solves

LLM Hub은 모바일 디바이스(Android 및 iOS)에서 대규모 언어 모델(LLM), 이미지 생성 및 비디오 생성을 직접 실행할 수 있는 방법을 제공합니다. AI 추론에 인터넷 연결이 필요 없으며, 사용자 데이터는 프라이빗하게 유지되고 대화 내용은 디바이스를 떠나지 않습니다.

How it works

앱은 모바일 전용 하드웨어 가속(CPU, GPU, NPU)을 활용해 모델을 로컬에서 실행합니다. Android에서는 GenieX와 MediaPipe, iOS에서는 Run Anywhere와 MediaGenerationKit 등 여러 전문 SDK와 런타임을 통합합니다. 사용자는 HuggingFace에서 모델을 직접 다운로드하거나 .gguf, .task, .litertlm 등 커스텀 모델 포맷을 가져올 수 있습니다.

Who it’s for

스마트폰에서 프라이빗하고 오프라인으로 AI 기능을 사용하고자 하는 사용자와, 디바이스 내 AI 구현에 관심이 있는 개발자를 위해 설계되었습니다.

Highlights

  • Multimodal Suite: RAG 메모리를 갖춘 텍스트 채팅, Stable Diffusion을 통한 이미지 생성, Stable Video Diffusion을 통한 비디오 생성, 오프라인 번역/전사 기능 포함.
  • Vibe Coder: 사용자가 앱 아이디어를 설명하면 실시간 HTML/JS 미리보기로 즉시 구현 결과를 확인할 수 있는 도구.
  • Privacy-Centric: 100% 디바이스 내 처리, 데이터 수집·계정·추적 전무.
  • Broad Model Support: 다양한 모델 포맷을 지원하고 HuggingFace에서 직접 가져올 수 있음.
  • AI Utility Tools: 피싱 분석용 사기 탐지기, 문법·요약 지원 작문 도우미, 그리고 creAItor라는 커스텀 페르소나 생성기를 제공.