katipally/openlive

Opensource, on-device voice + vision layer for AI agents. Bring any model or coding agent; the whole speech loop (VAD, STT, TTS, barge-in) runs locally. An open alternative to ElevenLabs Agents, Gemini Live, and OpenAI Realtime.

解決する課題

AIエージェントと音声や視覚を通じて対話することは通常コストがかかり、クラウドホスト型のプラットフォームに音声データを送信する必要があります。OpenLiveは、これらの独自の従量課金制パイプラインを、ローカルで動作するオープンソースの代替手段に置き換え、音声アクティビティ検出、音声認識(STT)、音声合成(TTS)のすべての処理を直接お使いのPC上で行います。

仕組み

OpenLiveは、AIのためのローカルな「耳、口、目」のレイヤーとして機能します。カスケードパイプライン(音声認識→モデル→音声合成)を使用して対話を処理します。さまざまなAIモデルの独自のAPIキーに接続したり、Agent Client Protocolを使用して既存のコーディングエージェント(Claude CodeやCursorなど)にリンクしたりできます。ローカルで実行されるため、音声がコンピュータから外部へ送信されることはありません。AIプロバイダーに送信されるのは、最終的な文字起こしテキストとオプションの視覚フレームのみです。

対象ユーザー

コーディングエージェントを音声で制御したい、PC上のタスクを自動化したい、あるいはクラウドベースの音声プラットフォームにプライバシーを委ねたり分単位の料金を支払ったりせずにテキストを入力したい開発者やパワーユーザー向けです。

ハイライト

  • 3つのモード: Chat(音声通話)、Flow(PC上で動作可能なシステム全体の音声アシスタント)、Dictate(あらゆる入力フィールドでの音声入力)。
  • ローカル処理: 音声アクティビティ検出、音声認識(Whisper/Nemotronなど)、音声合成(Kokoro/Piperなど)がすべてハードウェア上で完結します。
  • エージェント統合: Claude Code、GitHub Copilot、Cursorなどのコーディングエージェントと連携し、音声で操作を指示したり、進行状況を音声で聞いたりできます。
  • プライバシー重視: 音声データがマシンから外部へ出ることはなく、APIキーは保存時に暗号化されます。
  • カスタマイズ可能: 音声クローン、多言語対応、エージェントごとのツールや機能の切り替えをサポートしています。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト