nobodywho-ooo/nobodywho

해결하는 문제

API 키, 인터넷 연결, 또는 반복 요금 없이 다양한 기기에서 대규모 언어 모델(LLM)을 로컬 및 오프라인으로 실행할 수 있는 방법을 제공합니다.

작동 방식

llama.cpp를 기반으로 한 추론 엔진으로, GGUF 형식의 모델을 지원합니다. 다양한 운영 체제에서 Vulkan 또는 Metal을 사용하여 GPU 가속을 구현하며, 대화를 인식하는 선제적 컨텍스트 전환을 구현하여 메시지 길이 제한 없이 대화 메모리를 유지합니다. 이 프로젝트는 Kotlin, Swift, Python, Flutter, React Native, Godot 등 여러 언어와 프레임워크에 대한 바인딩을 제공합니다.

대상 사용자

모바일, 데스크톱, 게임 엔진을 포함한 크로스플랫폼 애플리케이션을 개발하고, 채팅, 음성 인식, 음성 합성과 같은 사생활 보호형 디바이스 내 AI 기능을 통합하고자 하는 개발자들입니다.

주요 특징

• 광범위한 플랫폼 지원: Kotlin, Swift, Python, Flutter, React Native, Godot에 대한 네이티브 통합.
• 다중 모달 기능: 이미지 및 오디오 입력을 지원하며, Whisper를 통한 음성 인식과 Kokoro, Pocket TTS, Supertonic을 통한 텍스트 음성 변환도 지원합니다.
• 자동 도구 호출: 함수 시그니처에서 구조화된 문법을 생성하여 수동 스키마 작성 없이 타입 안전한 도구 호출이 가능합니다.
• 유연한 모델 로딩: Hugging Face 또는 사용자 정의 URL에서 모델을 직접 로드할 수 있습니다.