microsoft/psi

位置智能平台（\psi）

是什麼 – 一個開源、基於 .NET 的框架，用於建構 多模態、即時 AI 系統。它讓您能串流、同步、處理、視覺化與持久化來自多種感測器（音訊、影像、深度等）的資料，並在遵守延遲限制的前提下，將這些資料串流與 AI 元件結合。

主要功能

• 高效率串流基礎設施 – 核心概念是 串流，可進行轉換、合併或重播。
• 工具 – 使用 PsiStudio 進行串流的視覺化與註解；提供資料擷取、除錯與匯出的實用工具。
• 元件生態系 – 提供相機、麥克風、Azure Kinect、HoloLens 2、Mask-RCNN 及其他感測器/致動器的現成適配器。
• 跨平台 – 基於 .NET Standard 建構，可在 Windows 與 Linux 上執行（部分元件為作業系統特定）。

典型應用情境

• 需要即時融合視覺、音訊與語言的社交機器人或具身對話代理。
• 混合實境任務助理（例如用於 MR 導引的 SIGMA 原型）。
• 處理連續感測器串流的環境智慧／智慧空間應用。
• 在嚴格延遲要求下結合多個 AI 模型（例如物件偵測＋語音）的研究原型。

快速入門

1. 安裝 Microsoft.Psi.* NuGet 套件，或克隆程式碼庫並建置程式碼。
2. 按照維基上的 簡明介紹 教學，學習串流模型與基本流程建構方法。
3. 觀看 30 分鐘的 影片網路研討會（或較短的 Tech Minutes）以獲得視覺概觀與實際程式碼示範。
4. 探索範例應用程式（HelloWorld、SimpleVoiceActivityDetector、WebcamWithAudio、WhatIsThat、HoloLensSample），依複雜度排序，並包含逐步操作指南。
5. 使用 PsiStudio 進行視覺化除錯、註解與錄製串流的重播。

文件與社群

• 完整 API 參考： https://microsoft.github.io/psi/api/Microsoft.Psi.html
• 維基包含教學、元件清單、路線圖與貢獻指南。
• 討論論壇用於提問、想法交流與成果展示。
• Gitter 聊天室提供即時協助。

授權 – 核心框架與 NuGet 套件採用 MIT 授權。Applications/ 資料夾中的應用程式（例如 SIGMA）使用 Microsoft Research 研究專用授權。

為何重要 – \psi 抽象化了同步多模態串流的底層複雜性，讓研究人員與開發者能專注於驅動具身、混合實境或環境智慧系統的 AI 邏輯。目前已被 Microsoft Research、Georgia Tech、MIT、CMU、Cornell 等多個實驗室使用。