OpenBMB/MiniCPM-o-Demo

解決的問題

本專案提供 MiniCPM-o 4.5 的示範系統，此模型專為即時、全雙工互動設計。它解決了在不互相阻塞的情況下，展示模型同時觀看、聆聽與說話能力的挑戰，提供一種超越傳統輪次式 AI 互動的流暢對話體驗。

工作原理

系統採用 PyTorch + CUDA 推論後端（可選透過 llama.cpp 使用 C++ 後端）與輕量級前後端架構。它使用時間分割多工（TDM）機制，在毫秒級時間軸上同步輸入與輸出串流，使模型能處理連續的影片與音訊串流，同時產生並行的文本與語音輸出。主動式互動機制讓模型以 1Hz 頻率監控串流，自主決定何時啟動語音。

適用對象

• 開發者：希望實作或測試即時多模態 AI 介面的使用者
• 研究人員：對端對端全模態架構與全雙工串流感興趣的使用者
• 使用者：希望在本地 GPU 或 PC 上體驗高效率視覺-語言與語音能力的使用者

主要亮點

• 全雙工互動：支援即時全模態直播串流，模型可同時觀看、聆聽與說話
• 主動式互動：模型可根據對場景的持續理解，自主發起提醒或評論
• 全模態能力：整合強大的視覺性能（部分基準超越 GPT-4o）、雙語即時語音與業界領先的 OCR
• 彈性部署：支援 PyTorch、C++（llama.cpp）及多種量化格式（int4、GGUF），可在 GPU、PC 與 MacBook 上部署