nobodywho-ooo/nobodywho

해결하는 문제

대부분의 사용자가 모바일 기기(아이폰, 안드로이드), 데스크톱 컴퓨터(윈도우, 맥OS, 리눅스), 그리고 비전 프로, 애플 워치와 같은 전용 하드웨어를 포함한 다양한 장치에서 대규모 언어 모델(LLM)을 로컬 및 오프라인으로 실행할 수 있는 방법을 제공합니다. AI 추론을 위해 API 키, 숨겨진 요금, 인터넷 연결이 필요 없어집니다.

작동 방식

Rust 커널 기반으로 구축되었으며, 텍스트, 비전, 임베딩에는 llama.cpp를, 음성 인식, 텍스트 음성 변환, 음성 활동 탐지(VAD)에는 ONNX Runtime을 사용합니다. Vulkan 또는 Metal을 활용해 GPU 가속을 제공하여 다양한 운영 체제에서 빠른 성능을 보장합니다. Python, Kotlin, Swift, React Native, Flutter, Godot 등 다양한 언어와 프레임워크용 바인딩을 제공하여 개발자가 앱에 로컬 AI를 쉽게 통합할 수 있도록 합니다.

대상 사용자

클라우드 기반 LLM 제공업체에 의존하지 않고, 여러 플랫폼에서 디바이스 내 AI 기능을 앱에 통합하고자 하는 개발자들입니다.

주요 특징

• 광범위한 플랫폼 지원: iOS, 안드로이드, macOS, Windows, 리눅스, visionOS, watchOS에서 작동합니다.
• GGUF 호환성: GGUF 형식의 모든 모델을 지원하며, 허깅페이스 또는 URL에서 직접 모델을 로드할 수 있습니다.
• 다중 모달 기능: 텍스트, 이미지, 오디오 입력을 지원하며, 로컬 텍스트 음성 변환(Kokoro, Pocket TTS, Supertonic)과 음성 인식(Whisper)도 지원합니다.
• 형 안전한 도구 호출: 함수 시그니처에서 구조화된 문법을 자동 생성하여 수동 스키마 작성 없이 도구 호출이 가능합니다.
• 하드웨어 최적화: 가능하면 VRAM에 레이어를 오프로드하고, 메모리 부족 시 CPU로 폴백하여 가용 메모리에 따라 최적의 성능을 발휘합니다.