joinly-ai/joinly

무엇을 해결하는가

Joinly는 AI 에이전트가 Google Meet, Zoom, Microsoft Teams와 같은 플랫폼의 화상 회의에 참여하고, 경청하며, 능동적으로 참여할 수 있는 방법을 제공합니다. 이는 LLM과 실시간 회의 환경 사이의 간극을 메워주며, 에이전트가 음성과 채팅을 통해 실시간으로 상호작용할 수 있도록 합니다.

작동 방식

이 시스템은 MCP (Model Context Protocol) 서버를 사용하여 AI 에이전트에게 일련의 도구와 리소스를 제공하는 커넥터 미들웨어 역할을 합니다. 시스템은 브라우저 기반의 회의 연결을 처리하고, 듣기를 위한 음성-텍스트 변환(STT) 및 말하기를 위한 텍스트-음성 변환(TTS)을 관리합니다. 모듈식으로 설계되어 사용자가 자신의 LLM(Ollama를 통한 로컬 모델 포함)을 가져오고 Whisper, Deepgram, ElevenLabs 또는 Kokoro와 같은 다양한 STT/TTS 제공업체를 선택할 수 있습니다.

대상 사용자

실시간 화상 회의에서 인간과 상호작용해야 하는 AI 에이전트를 구축하는 개발자, 또는 실시간 노트 작성, 실시간 정보 검색, 또는 통화 중 외부 도구(GitHub 또는 Notion과 같은)를 업데이트하는 등의 회의 작업을 자동화하려는 팀.

주요 특징

• 교차 플랫폼 지원: 브라우저를 통해 Google Meet, Zoom, Microsoft Teams와 연동됩니다.
• 실시간 상호작용: 중단 처리 및 다중 화자 흐름을 처리하기 위한 내장 로직과 함께 음성 및 채팅 응답을 지원합니다.
• MCP 기반: 회의 참여/퇴장, 말하기, 채팅 메시지 전송, 스크립트 또는 비디오 스냅샷 가져오기 등을 위한 특정 도구를 제공합니다.
• 유연한 인프라: Docker를 통한 셀프 호스팅, 더 빠른 전사/음성을 위한 GPU 가속, 그리고 다양한 LLM 및 오디오 제공업체와의 통합을 지원합니다.