microsoft/psi

Situated Intelligence のプラットフォーム (\psi)

何であるか – マルチモーダルでリアルタイムのAIシステムを構築するためのオープンソース・.NETベースのフレームワーク。複数のセンサー（音声、映像、深度など）からのデータをストリーミング、同期、処理、可視化、永続化でき、レイテンシ制約を尊重しながらAIコンポーネントと組み合わせることが可能。

主な機能

• 高性能ストリーミングインフラ – コアとなる概念は、変換、マージ、再生が可能な ストリーム である。
• ツール – ストリームの可視化とアノテーションに使用する PsiStudio；データキャプチャ、デバッグ、エクスポート用のユーティリティ。
• コンポーネントエコシステム – カメラ、マイク、Azure Kinect、HoloLens 2、Mask-RCNN、その他のセンサー/アクチュエータ用の事前構築済みアダプタ。
• クロスプラットフォーム – .NET Standard上で構築され、WindowsおよびLinuxで動作（一部のコンポーネントはOS固有）。

一般的な利用事例

• 実時間で視覚、音声、言語を統合する必要があるソーシャルロボットや身体的な会話エージェント。
• ミックスドリアリティタスクアシスタント（例：MRガイド用のSIGMAプロトタイプ）。
• 連続するセンサーデータストリームを処理するアーバントインテリジェンス／スマートスペースアプリケーション。
• 厳密なレイテンシ制約の下で複数のAIモデル（例：物体検出＋音声）を組み合わせる研究プロトタイプ。

導入方法

1. Microsoft.Psi.* NuGetパッケージをインストールするか、リポジトリをクローンしてコードをビルドする。
2. ウィキの簡潔な紹介チュートリアルに従い、ストリームモデルと基本的なパイプライン構築を学ぶ。
3. 30分の動画ウェビナー（または短いTech Minutes）を見て、視覚的な概要と実践的なコードデモを確認する。
4. 複雑さの順に並べられたサンプルアプリケーション（HelloWorld、SimpleVoiceActivityDetector、WebcamWithAudio、WhatIsThat、HoloLensSample）を探索し、ステップバイステップのウォークスルーを確認する。
5. 記録されたストリームの可視化、アノテーション、再生にPsiStudioを使用する。

ドキュメントとコミュニティ

• 完全なAPIリファレンス： https://microsoft.github.io/psi/api/Microsoft.Psi.html
• ウィキにはチュートリアル、コンポーネント一覧、ロードマップ、貢献ガイドが含まれる。
• Q&A、アイデア、成果共有のためのディスカッションフォーラム。
• 実時間でのサポートのためのGitterチャット。

ライセンス – コアフレームワークとNuGetパッケージはMITライセンス。Applications/フォルダ内のアプリケーション（例：SIGMA）は、Microsoft Researchの研究用ライセンスを使用。

なぜ重要なのか – \psiは、同期されたマルチモーダルストリームの低レベルな処理を抽象化し、研究者や開発者が身体的、ミックスドリアリティ、またはアーバントインテリジェンスシステムを支えるAIロジックに集中できるようにする。Microsoft Research、Georgia Tech、MIT、CMU、Cornellなど、多くの研究機関で既に使用されている。