dnhkng/GLaDOS
This is the Personality Core for GLaDOS, the first steps towards a real-life implementation of the AI from the Portal series by Valve.
解決的問題
將標準LLM轉換為無需喚醒詞即可看見、聽見並說話的主動式多模態AI人格（以《傳送門》中的GLaDOS為模型）。透過實現低延遲管道與自主的「tick」迴圈，解決傳統語音助理反應僵硬的問題，使AI能根據環境觸發主動發起對話。
工作原理
本專案採用受明斯基「心智社會」啟發的多代理架構，由專門處理視覺、記憶、情感與研究的子代理共同建構動態上下文。主代理隨後處理該上下文以產生回應。
關鍵技術元件包括：
- 輸入管道：使用Silero VAD進行語音檢測，Parakeet ASR進行語音轉文字。
- 視覺：採用FastVLM進行場景理解與變更檢測。
- 自主性：背景迴圈根據時間、視覺事件或任務更新觸發AI發言。
- 人格：結合PAD（愉悅-覺醒-主導）模型實現動態情緒，HEXACO特質建構穩定人格。
- 工具：整合Model Context Protocol (MCP) 用於家庭自動化與系統資訊取得。
- 輸出：使用自訂訓練的TTS模型（Kokoro），優化為低於600ms的往返延遲。
適用對象
希望建構具有鮮明個性的具身化、自主AI助理的AI愛好者與業餘開發者，以及對低延遲語音/視覺管道與多代理編排感興趣的開發者。
核心亮點
- 主動互動：無需喚醒詞；AI觀察環境並在有話可說時主動發言。
- 低延遲：優化的管道設計，確保回應時間低於600ms，實現自然流暢對話。
- 多模態：整合攝影機（VLM）與麥克風（ASR），實現環境感知。
- 可擴展工具：支援MCP，可連接系統狀態與外部家庭自動化設備。
- 情感引擎：基於PAD模型實現動態情緒變化，結合持久人格特質。
相關
- 專案
- 專案
huggingface/speech-to-speechSpeech‑to‑Speech is a Hugging Face open‑source pipeline that turns spoken input into spoken output. It chains VAD → STT → LLM → TTS, each component being swappable (Silero VAD, Parakeet/Faster‑Whisper/Whisper STT, any OpenAI‑compatible LLM or local Transformers/MLX model, Qwen3‑TTS or other TTS back‑ends). The whole system speaks the OpenAI Realtime protocol over WebSocket/WebRTC, so existing OpenAI Agents SDK code works. Install with a single `pip install speech-to-speech`, then run `speech-to-speech serve` (server) and `speech-to-speech talk` (client) or `speech-to-speech local` (both together). It supports local‑only operation, mixed local/hosted LLMs, Docker deployment, and optional extras for alternative TTS/STT models. Designed for voice‑assistant robots (e.g., Reachy Mini) and low‑latency spoken AI applications.
- 專案
- 專案
- 專案