joinly-ai/joinly

何を解決するか

Joinlyは、AIエージェントがGoogle Meet、Zoom、Microsoft Teamsなどのプラットフォーム上のビデオ通話に参加、リスニング、および積極的に参加するための方法を提供します。これはLLMとライブ会議環境の間のギャップを埋め、エージェントが音声とチャットを通じてリアルタイムにやり取りすることを可能にします。

仕組み

これは、MCP (Model Context Protocol) サーバーを使用してAIエージェントに一連のツールとリソースを提供するコネクタ・ミドルウェアとして機能します。システムは、会議へのブラウザベースの接続を処理し、リスニングのための音声文字起こし (STT) と、発話のためのテキスト音声合成 (TTS) を管理します。モジュール式に設計されており、ユーザーは独自のLLM (Ollama経由のローカルモデルを含む) を持ち込み、Whisper、Deepgram、ElevenLabs、またはKokoroのような様々なSTT/TTSプロバイダーから選択できます。

対象者

ライブビデオ会議で人間とやり取りする必要があるAIエージェントを構築している開発者、またはライブのメモ作成、リアルタイムの情報取得、あるいは通話中の外部ツール (GitHubやNotionなど) の更新といった会議タスクを自動化したいチーム。

ハイライト

• クロスプラットフォーム対応: ブラウザ経由でGoogle Meet、Zoom、Microsoft Teamsと連携します。
• リアルタイムのやり取り: 割り込みや複数話者のフローを処理するための組み込みロジックを備えた、音声およびチャットによる応答をサポートします。
• MCP駆動: 会議への参加/退出、発話、チャットメッセージの送信、およびトランスクリプトやビデオスナップショットの取得のための特定のツールを提供します。
• 柔軟なインフラストラクチャ: Dockerによるセルフホスティング、高速な文字起こし/音声のためのGPU加速、および様々なLLMとオーディオプロバイダーとの統合をサポートします。