livekit/python-sdks

해결하는 문제

이 SDK는 Python 애플리케이션에 실시간 음성, 영상, 데이터 통신 기능을 통합할 수 있는 도구를 제공합니다. 개발자들은 기반 통신 인프라를 처음부터 구축할 필요 없이, 다중 모달 AI, 라이브 스트리밍, 비디오 회의와 같은 복잡한 상호작용 경험을 구축할 수 있습니다.

작동 방식

이 프로젝트는 두 가지 주요 패키지로 구성됩니다:

• livekit: Python 애플리케이션이 참가자로서 LiveKit 서버에 연결하고, 미디어 트랙(음성/영상)을 발행하고 구독하며, 실시간 이벤트를 처리할 수 있는 실시간 SDK입니다.
• livekit-api: 인증을 위한 액세스 토큰 생성 및 서버 API를 통해 룸을 관리하는 등의 관리 작업에 사용되는 서버 사이드 SDK입니다.

asyncio를 통해 비동기 작업을 지원하며, 내장된 오디오 처리 기능(예: 에코 캔슬링)을 갖춘 고수준의 MediaDevices 인터페이스를 제공하여 로컬 마이크와 스피커에 접근할 수 있습니다.

대상 사용자

• AI 개발자: 실시간 음성과 영상으로 사용자와 상호작용해야 하는 다중 모달 AI 에이전트를 개발하는 사람.
• 애플리케이션 개발자: Python을 사용해 라이브 스트리밍 또는 비디오 통화 소프트웨어를 개발하는 사람.
• 시스템 통합자: API를 통해 LiveKit 룸과 참가자를 관리해야 하는 사람.

주요 특징

• 실시간 미디어: 음성 및 영상 트랙의 발행 및 구독을 지원합니다.
• RPC 지원: 참가자 간 원격 프로시저 호출(RPC)이 가능하며, LLM 함수 호출을 클라이언트로 전달하는 데 유용합니다.
• 하드웨어 가속: 플랫폼별 하드웨어 인코더/디코더(맥OS에서는 VideoToolbox, NVIDIA GPU에서는 NVENC/NVDEC, AMD GPU에서는 VAAPI)를 자동으로 사용합니다.
• 오디오 처리: 내장된 음향 에코 캔슬링, 노이즈 제거, 자동 게인 조절 기능을 제공합니다.