jgm-source/jarvis-opensource

何を解決するか

ハンズフリーで動作するJARVISスタイルのアシスタントを提供し、ローカル環境でPCを音声操作できます。オリジナルのMark LVプロジェクトでは、対話、ホログラフィックアバターの表示、アプリやファイル、ブラウザの操作が可能です。このフォーク（João Gabrielによるもの）では、ポルトガル語プラグインが追加され、個人および非商用利用向けに調整されています。

仕組み

Gemini Live APIを使用してリアルタイムの音声ストリーミングを行うため、自然な会話が可能です。アニメーション付きアバターを備えたHUDとプラグインシステムがあり、plugins/ フォルダに .py ファイルを置くだけで新しいスキルを学習します。このフォークでは、朝のブリーフィング、集中モード、音楽制御、Trello制御、荷物追跡など、多くのプラグインが追加されています。また、APIコストを抑えたい場合に備えて、別のLLMプロバイダーとEdge TTSまたはFish Audioを使用した、より安価な代替「脳」も追加されました。APIキーとメモリはローカルに保持され、外部にアップロードされることはありません。

対象ユーザー

Windows上で動作する（Windows用のクイックインストールが用意されています）パーソナルでカスタマイズ可能なアシスタントを求める開発者、愛好家、音声アシスタントファン向けです。非商用ライセンス (CC BY-NC 4.0) に問題がない方に適しています。ポルトガル語プラグインが追加されているため、特にポルトガル語話者に最適です。

ハイライト

• Gemini Live APIによる低遅延のリアルタイム音声会話。
• リップシンク、表情、ステータス表示を備えたホログラフィックアバター。
• PCの制御：アプリの起動、音量・輝度の調整、URLを開くなど。
• プラグインシステム：.py ファイルを追加するだけで新しいスキルを習得。
• 12以上のポルトガル語プラグイン（bom dia, trello_control, music_controlなど）と安価な「脳」オプションを追加。
• メモリとAPIキーはローカルに保持。キーは gitignored されており、GitHubにプッシュされることはありません。
• モデルラダー：Geminiモデルが失敗した場合、次のモデルへ自動的に切り替わります。
• HUDでのビデオ再生：アバターが表示されている場所でYouTubeやローカルビデオを再生し、言語をスマートに選択します。