microsoft/psi

位置智能平台（\psi）

是什么 – 一个开源的、基于 .NET 的框架，用于构建多模态、实时 AI 系统。它允许您流式传输、同步、处理、可视化和持久化来自多种传感器（音频、视频、深度等）的数据，并在遵守延迟约束的前提下，将这些数据流与 AI 组件结合。

核心功能

• 高性能流式传输基础设施 – 核心概念是 流，可进行转换、合并或重放。
• 工具 – 使用 PsiStudio 可可视化和标注流；提供数据捕获、调试和导出的实用工具。
• 组件生态系统 – 提供相机、麦克风、Azure Kinect、HoloLens 2、Mask-RCNN 及其他传感器/执行器的现成适配器。
• 跨平台 – 基于 .NET Standard 构建，可在 Windows 和 Linux 上运行（部分组件为操作系统特定）。

典型应用场景

• 需要实时融合视觉、音频和语言的社交机器人或具身对话代理。
• 混合现实任务助手（例如用于 MR 引导的 SIGMA 原型）。
• 处理连续传感器流的环境智能/智能空间应用。
• 在严格延迟要求下结合多个 AI 模型（例如目标检测 + 语音）的研究原型。

快速入门

1. 安装 Microsoft.Psi.* NuGet 包，或克隆仓库并构建代码。
2. 按照维基上的 简明介绍 教程学习流模型和基本管道构建方法。
3. 观看 30 分钟的 视频网络研讨会（或更短的 Tech Minutes）以获得视觉概览和动手编码演示。
4. 探索示例应用（HelloWorld、SimpleVoiceActivityDetector、WebcamWithAudio、WhatIsThat、HoloLensSample），它们按复杂度排序，并包含逐步操作指南。
5. 使用 PsiStudio 进行可视化调试、标注和录制流的回放。

文档与社区

• 完整 API 参考： https://microsoft.github.io/psi/api/Microsoft.Psi.html
• 维基包含教程、组件列表、路线图和贡献指南。
• 讨论论坛用于问答、想法交流和成果展示。
• Gitter 聊天室提供实时帮助。

许可证 – 核心框架和 NuGet 包采用 MIT 许可证。Applications/ 文件夹中的应用（例如 SIGMA）使用 Microsoft Research 研究专用许可证。

为何重要 – \psi 抽象掉了同步多模态流的底层复杂性，使研究人员和开发者能够专注于驱动具身、混合现实或环境智能系统的 AI 逻辑。该平台已被 Microsoft Research、Georgia Tech、MIT、CMU、Cornell 等多个实验室使用。