nobodywho-ooo/nobodywho

解决的问题

提供一种在各种设备上本地且离线运行大型语言模型（LLMs）的方法，无需 API 密钥、互联网连接或持续费用。

工作原理

基于 llama.cpp 的推理引擎，支持 GGUF 格式的模型。在不同操作系统上使用 Vulkan 或 Metal 实现 GPU 加速，并通过对话感知的预抢占式上下文切换来维持对话记忆，且无消息长度限制。该项目为多种语言和框架提供绑定，包括 Kotlin、Swift、Python、Flutter、React Native 和 Godot。

适用人群

希望在跨平台应用（移动、桌面和游戏引擎）中集成私有、本地 AI 功能（如聊天、语音转文本、文本转语音）的开发者。

主要亮点

• 广泛的平台支持：原生集成 Kotlin、Swift、Python、Flutter、React Native 和 Godot。
• 多模态功能：支持图像和音频输入，以及通过 Whisper 的语音转文本和通过 Kokoro、Pocket TTS、Supertonic 的文本转语音。
• 自动工具调用：从函数签名生成结构化语法，无需手动编写模式即可实现类型安全的工具调用。
• 灵活的模型加载：支持直接从 Hugging Face 或任意自定义 URL 加载模型。