joinly-ai/joinly

它解決的問題

Joinly 提供了一種讓 AI 代理加入、聆聽並主動參與 Google Meet、Zoom 和 Microsoft Teams 等平台視訊會議的方式。它彌補了大型語言模型（LLM）與即時會議環境之間的差距，讓代理能以語音和聊天方式即時互動。

如何運作

它作為連接器中介軟體，使用 MCP（模型上下文協定）伺服器為 AI 代理提供一組工具和資源。系統處理瀏覽器端的會議連接，管理語音轉文字（STT）以聆聽，以及文字轉語音（TTS）以發言。系統設計為模組化，允許使用者使用自己的 LLM（包括透過 Ollama 使用本地模型），並從多種 STT/TTS 提供商（如 Whisper、Deepgram、ElevenLabs 或 Kokoro）中選擇。

適用對象

需要在即時視訊會議中與人類互動的 AI 代理開發者，或希望自動化會議任務（如即時筆記、即時資訊檢索，或在會議期間更新外部工具（如 GitHub 或 Notion））的團隊。

特色

• 跨平台支援：透過瀏覽器支援 Google Meet、Zoom 和 Microsoft Teams。
• 即時互動：支援語音與聊天回應，內建邏輯以處理中斷與多講者流程。
• MCP 驅動：提供特定工具，用於加入/離開會議、發言、傳送聊天訊息，以及取得文字紀錄或影片快照。
• 彈性基礎架構：支援透過 Docker 自行主機，使用 GPU 加速以加快轉錄與語音處理，並可整合多種 LLM 與音訊提供商。

"這是一個讓 AI 代理能真正融入會議環境的突破性工具。" — @handle