nobodywho-ooo/nobodywho

解決的問題

提供一種在各種裝置上本地且離線運行大型語言模型（LLMs）的方法，無需 API 金鑰、網路連接或持續費用。

運作方式

基於 llama.cpp 的推論引擎，支援 GGUF 格式的模型。在不同作業系統上使用 Vulkan 或 Metal 實現 GPU 加速，並透過對話感知的預先搶佔式上下文切換來維持對話記憶，且無訊息長度限制。此專案為多種語言與框架提供綁定，包括 Kotlin、Swift、Python、Flutter、React Native 和 Godot。

適用對象

希望在跨平台應用（行動裝置、桌面與遊戲引擎）中整合私密、本地 AI 功能（如聊天、語音轉文字、文字轉語音）的開發者。

主要亮點

• 廣泛的平台支援：原生整合 Kotlin、Swift、Python、Flutter、React Native 與 Godot。
• 多模態功能：支援圖像與音訊輸入，以及透過 Whisper 的語音轉文字，以及透過 Kokoro、Pocket TTS、Supertonic 的文字轉語音。
• 自動工具呼叫：從函數簽章生成結構化語法，無需手動撰寫模式即可實現類型安全的工具呼叫。
• 彈性模型載入：支援直接從 Hugging Face 或任何自訂 URL 載入模型。