dnhkng/GLaDOS

何を解決するか

このプロジェクトは『Portal』のGLaDOSの人格コアを、機能的な音声アシスタントとして再現しています。リアルタイムの音声インタラクション、視覚認識、持続的な記憶システムと特定のキャラクター性（皮肉や冷やかし）を統合した、一貫性のあるキャラクター駆動型AIの構築という課題を解決します。

動作方法

システムは「コア」と呼ばれるモジュール型アーキテクチャを採用し、共有コンテキストに情報を供給します。

• 中央コア： 主な会話の管理とルーティングを担当。
• 専門コア： 感情（喜び、興奮、支配感の追跡）、記憶（要約と事実）、視覚（カメラによるシーンの説明）、研究（インターネット検索）の独立した処理を担当。
• 自律コア： 他のコアからの証拠をレビューし、背景での観察に基づいて、意図的に発話する必要があるかを判断。
• 入出力： Gemma 4 E4Bを介した直接音声入力、またはテキスト入力（音声認識ベース）に対応。出力はカスタムGLaDOS音声合成器と、アニメーション付きブラウザアバターで処理。
• 統合： Model Context Protocol (MCP) を通じて外部ツールに接続可能。Home Assistantなどのサービスと連携可能。

対象ユーザー

• AI愛好家や『Portal』シリーズのファンで、キャラクターベースのローカルAIアシスタントを望む人。
• 専門的な「マインド」が共有コンテキストに貢献するマルチエージェントアーキテクチャに興味のある開発者。
• CUDAまたはROCm対応のローカルGPUハードウェアを持っている人で、マルチモーダル音声アシスタントをローカルで実行したい人。

特徴

• マルチモーダルインタラクション： ネイティブ音声処理、カメラによるシーン記述、音声合成を統合。
• 能動的知能： 自律コアにより、意図的に発話する必要がない状況でも、背景観察に基づいて発話可能。
• Webコンソール： 実時間で「マインド」、コンテキストスロット、ルーティング決定を確認できる詳細ダッシュボード。
• 拡張性のあるツールキット： MCPを使用してサードパーティサービスやシステムコマンドと統合可能。
• キャラクター駆動： GLaDOSのキャラクター性を維持するための専用感情コアを備える。