nobodywho-ooo/nobodywho

解决的问题

为在多种设备上本地且离线运行大型语言模型（LLMs）提供解决方案，包括智能手机（iOS、Android）、桌面电脑（Windows、macOS、Linux）以及 Vision Pro 和 Apple Watch 等专用硬件。它消除了对 API 密钥、隐藏费用和互联网连接的需求，实现 AI 推理。

工作原理

基于 Rust 核心构建，使用 llama.cpp 处理文本、视觉和嵌入，使用 ONNX Runtime 处理语音识别、文本转语音和语音活动检测（VAD）。通过 Vulkan 或 Metal 实现 GPU 加速，确保在不同操作系统上均具备高性能。项目提供多种语言和框架的绑定，包括 Python、Kotlin、Swift、React Native、Flutter 和 Godot，使开发者能够轻松将本地 AI 集成到其应用中。

适用人群

希望在多个平台上将设备端 AI 功能集成到应用中，而无需依赖云服务 LLM 提供商的开发者。

主要亮点

• 广泛的平台支持：支持 iOS、Android、macOS、Windows、Linux、visionOS 和 watchOS。
• GGUF 兼容性：支持任何 GGUF 格式的模型，可直接从 Hugging Face 或 URL 加载模型。
• 多模态能力：支持文本、图像和音频输入，以及本地文本转语音（Kokoro、Pocket TTS、Supertonic）和语音识别（Whisper）。
• 类型安全的工具调用：根据函数签名自动生成结构化语法，无需手动编写模式即可实现工具调用。
• 硬件优化：在有 VRAM 时将层卸载至显存，内存不足时回退至 CPU，根据可用内存最大化性能。