microsoft/psi

장소 기반 지능(\psi) 플랫폼

무엇인가요 – 다중 모달, 실시간 AI 시스템을 구축하기 위한 오픈소스 .NET 기반 프레임워크입니다. 다양한 센서(음성, 영상, 깊이 등)에서 오는 데이터를 스트리밍, 동기화, 처리, 시각화, 지속 저장할 수 있으며, 지연 시간 제약을 고려하면서 AI 컴포넌트와 결합할 수 있습니다.

주요 기능

• 고성능 스트리밍 인프라 – 변환, 병합, 재생이 가능한 스트림이라는 핵심 개념을 제공합니다.
• 도구 – 스트림 시각화 및 주석 달기에 사용하는 PsiStudio; 데이터 캡처, 디버깅, 내보내기용 유틸리티.
• 컴포넌트 생태계 – 카메라, 마이크, Azure Kinect, HoloLens 2, Mask-RCNN 및 기타 센서/효과기용 사전 구축된 어댑터.
• 크로스플랫폼 – .NET Standard 기반으로 개발되어 Windows 및 Linux에서 실행 가능(일부 컴포넌트는 OS별로 다릅니다).

주요 활용 사례

• 실시간으로 시각, 음성, 언어를 융합해야 하는 사회적 로봇 또는 신체적 대화 에이전트.
• 미스드 리얼리티 작업 보조 도구(예: MR 안내용 SIGMA 프로토타입).
• 지속적인 센서 스트림을 처리하는 앰비언트 인텔리전스/스마트 스페이스 애플리케이션.
• 엄격한 지연 시간 제약 하에서 여러 AI 모델(예: 객체 탐지 + 음성)을 결합하는 연구용 프로토타입.

시작하기

1. Microsoft.Psi.* NuGet 패키지를 설치하거나, 리포지토리를 클론하고 코드를 빌드합니다.
2. 위키의 간단한 소개 튜토리얼을 따라 스트림 모델과 기본 파이프라인 구축 방법을 학습합니다.
3. 30분 분량의 영상 웨비나(또는 짧은 Tech Minutes)를 시청하여 시각적 개요와 실습 코드 데모를 확인합니다.
4. 복잡도 순으로 정렬된 샘플 애플리케이션(HelloWorld, SimpleVoiceActivityDetector, WebcamWithAudio, WhatIsThat, HoloLensSample)을 탐색하고, 단계별 안내를 확인합니다.
5. 기록된 스트림의 시각적 디버깅, 주석 달기, 재생에 PsiStudio를 사용합니다.

문서 및 커뮤니티

• 전체 API 참조: https://microsoft.github.io/psi/api/Microsoft.Psi.html
• 튜토리얼, 컴포넌트 목록, 로드맵, 기여 가이드 포함의 위키.
• 질문과 답변, 아이디어, 성과 공유를 위한 디스커션 포럼.
• 실시간 도움을 받을 수 있는 Gitter 채팅.

라이선스 – 핵심 프레임워크와 NuGet 패키지는 MIT 라이선스 하에 제공됩니다. Applications/ 폴더 내 애플리케이션(예: SIGMA)은 Microsoft Research 연구용 라이선스를 사용합니다.

왜 중요한가요 – \psi는 동기화된 다중 모달 스트림의 저수준 구현을 추상화하여, 연구자와 개발자가 신체적, 미스드 리얼리티, 또는 앰비언트 인텔리전스 시스템을 구동하는 AI 로직에 집중할 수 있도록 합니다. 현재 Microsoft Research, Georgia Tech, MIT, CMU, Cornell 등 여러 기관에서 이미 사용 중입니다.