nobodywho-ooo/nobodywho

何を解決するか

誰もが、スマートフォン（iOS、Android）、デスクトップコンピュータ（Windows、macOS、Linux）、Vision ProやApple Watchのような専用ハードウェアを含む、幅広いデバイス上で大規模言語モデル（LLM）をローカルかつオフラインで実行する方法を提供します。AI推論にAPIキー、隠れた手数料、インターネット接続の必要性を排除します。

動作方法

Rustコアで構築され、テキスト、ビジョン、埋め込みには llama.cpp を、音声認識、音声合成、音声活動検出（VAD）にはONNX Runtimeを使用しています。VulkanまたはMetalを活用してGPUアクセラレーションを実現し、異なるオペレーティングシステム間で高速なパフォーマンスを確保します。Python、Kotlin、Swift、React Native、Flutter、Godotなど、複数の言語とフレームワークのバインディングを提供しており、開発者がアプリにローカルAIを簡単に統合できるようにしています。

対象ユーザー

クラウドベースのLLMプロバイダーに依存せずに、複数のプラットフォームでデバイス内AI機能をアプリに統合したい開発者。

主な特徴

• 広範なプラットフォーム対応：iOS、Android、macOS、Windows、Linux、visionOS、watchOSで動作。
• GGUF互換性：GGUF形式の任意のモデルをサポートし、Hugging FaceやURLから直接モデルを読み込むことが可能。
• マルチモーダル機能：テキスト、画像、音声入力をサポート。また、ローカル音声合成（Kokoro、Pocket TTS、Supertonic）と音声認識（Whisper）も対応。
• 型安全なツール呼び出し：関数シグネチャから構造化された文法を自動生成し、手動でのスキーマ記述なしにツール呼び出しが可能。
• ハードウェア最適化：利用可能なVRAMがあればレイヤーをオフロードし、メモリ不足時はCPUにフォールバックしてパフォーマンスを最大化。