tc-mb/llama.cpp-omni

해결하는 문제

llama.cpp-omni는 옴니모달 모델(예: MiniCPM-o 4.5)을 위한 고성능 로컬 추론 엔진을 제공합니다. 비전 및 오디오 인코딩부터 텍스트 음성 합성까지 전체 파이프라인을 단일 효율적인 C++ 프레임워크로 최적화하여 소비자 하드웨어에서 실시간 전이중 음성 및 비디오 상호작용을 가능하게 합니다.

작동 방식

이 엔진은 llama.cpp 생태계를 기반으로 하며, 복잡한 MiniCPM-o 아키텍처를 모듈식 GGUF 파일로 분할합니다. 비디오, 오디오, 텍스트의 병렬 스트림을 동기화하기 위해 시분할 다중화(TDM) 메커니즘을 사용합니다. 입력을 1초 단위로 처리하고 생성에 비동기 큐를 사용함으로써 모델이 차단 없이 동시에 "듣고" "말할" 수 있어, 능동적이고 인간적인 대화가 가능합니다.

대상 사용자

이 프로젝트는 클라우드 API에 의존하지 않고 자체 하드웨어(Windows, Linux 또는 macOS)에서 고급 멀티모달 AI 에이전트를 로컬로 실행하려는 개발자와 연구자를 위한 것입니다. 실시간 음성 비서나 대화형 화상 통화 애플리케이션을 구축하는 사람들에게 특히 유용합니다.

주요 특징

• 전이중 스트리밍: 동시 입력(비디오/오디오) 및 출력(음성/텍스트)을 지원하여 유연한 실시간 상호작용을 제공합니다.
• 고성능: RTX 4090 또는 Apple M4 Max와 같은 소비자 하드웨어에서 650ms 미만의 첫 토큰 지연 시간을 달성합니다.
• 모듈식 아키텍처: 비전(VPM), 오디오(APM), 언어(LLM), 음성(TTS) 구성 요소를 GGUF 모듈로 분리하여 유연한 배포를 지원합니다.
• 능동적 상호작용: 모델이 스트림을 지속적으로 모니터링하고 언제 자발적으로 말할지 결정할 수 있습니다.
• 생태계 호환성: llama.cpp 툴체인과 완전히 호환되며 일반적인 양자화 형식(F16, Q8_0, Q4_K_M)을 지원합니다.