joinly-ai/joinly

它解决了什么问题

Joinly 提供了一种让 AI 代理加入、监听并主动参与 Google Meet、Zoom 和 Microsoft Teams 等平台视频会议的方式。它弥合了大型语言模型（LLM）与实时会议环境之间的差距，使代理能够实时通过语音和聊天进行互动。

它如何工作

它作为连接器中间件，使用 MCP（模型上下文协议）服务器为 AI 代理提供一组工具和资源。该系统处理基于浏览器的会议连接，管理语音转文本（STT）以实现监听，以及文本转语音（TTS）以实现发言。它设计为模块化，允许用户使用自己的 LLM（包括通过 Ollama 使用本地模型），并从多种 STT/TTS 提供商（如 Whisper、Deepgram、ElevenLabs 或 Kokoro）中进行选择。

适合谁

需要在实时视频会议中与人类互动的 AI 代理开发者，或希望自动化会议任务（如实时记录笔记、实时信息检索，或在通话期间更新外部工具（如 GitHub 或 Notion））的团队。

主要亮点

• 跨平台支持：通过浏览器支持 Google Meet、Zoom 和 Microsoft Teams。
• 实时互动：支持语音和聊天响应，并内置逻辑以处理打断和多说话人流程。
• MCP 驱动：提供特定工具用于加入/离开会议、发言、发送聊天消息，以及获取字幕或视频快照。
• 灵活的基础设施：支持通过 Docker 自托管，利用 GPU 加速实现更快的转录/语音处理，并与各种 LLM 和音频提供商集成。

一个真正能与人类在视频会议中实时互动的 AI 代理——@joinlyai