nobodywho-ooo/nobodywho

何を解決するか

誰もが、APIキー、インターネット接続、または継続的な料金を必要とせずに、幅広いデバイス上で大規模言語モデル（LLM）をローカルかつオフラインで実行する方法を提供します。

動作方法

llama.cpp を基盤とする推論エンジンで、GGUF形式のモデルをサポートしています。異なるオペレーティングシステムでVulkanまたはMetalを使用してGPUアクセラレーションを実現し、会話に適応した事前コンテキストシフトを実装することで、メッセージ長の制限なしに会話記憶を維持します。このプロジェクトは、Kotlin、Swift、Python、Flutter、React Native、Godotなど、複数の言語とフレームワークのバインディングを提供しています。

対象ユーザー

モバイル、デスクトップ、ゲームエンジンを含むクロスプラットフォームアプリケーションを開発し、チャット、音声認識、音声合成などのプライベートでデバイス内にAI機能を統合したい開発者。

主な特徴

• 広範なプラットフォーム対応: Kotlin、Swift、Python、Flutter、React Native、Godot へのネイティブ統合。
• マルチモーダル機能: 画像および音声入力に対応し、Whisperによる音声認識と、Kokoro、Pocket TTS、Supertonicによる音声合成もサポート。
• 自動ツール呼び出し: 関数シグネチャから構造化された文法を生成し、手動でのスキーマ記述なしに型安全なツール呼び出しが可能。
• 柔軟なモデル読み込み: Hugging Faceや任意のカスタムURLからモデルを直接読み込み可能。