mkalten/reacTIVision

해결하는 문제

reacTIVision은 물리적 객체의 피듀셜 마커를 빠르고 안정적으로 추적하고 멀티터치 손가락을 추적하기 위해 설계된 컴퓨터 비전 프레임워크입니다. 특히 reacTable 모듈러 신디사이저와 같은 테이블 기반 탠저블 사용자 인터페이스(TUI) 및 멀티터치 인터랙티브 표면 개발을 목표로 합니다.

작동 원리

이 애플리케이션은 지원되는 카메라의 실시간 영상을 처리하여 피듀셜 마커(amoeba 및 yamaarashi 세트 사용)의 ID, 위치 및 회전을 감지합니다. 또한 이미지 대비와 크기를 분석하여 손가락이나 태그가 지정되지 않은 객체로 해석되는 '블롭(blobs)'이라는 둥근 흰색 영역을 식별합니다. 광각 렌즈 왜곡을 처리하기 위해 마커와 손가락의 발견된 위치를 보정하는 캘리브레이션 시스템이 포함되어 있습니다.

데이터는 TUIO 프로토콜을 사용하여 UDP, TCP 또는 Websockets(OSC 메시지)를 통해 클라이언트 애플리케이션으로 전송되며, 사용자는 C++, C#, Java, Processing, Pure Data, Max/MSP와 같은 언어로 인터랙티브 애플리케이션을 구축할 수 있습니다.

대상 사용자

탠저블 사용자 인터페이스, 인터랙티브 설치 미술, 멀티터치 테이블탑 표면을 만드는 개발자 및 아티스트.

주요 특징

• 멀티모달 추적: 피듀셜 마커, 멀티터치 손가락 추적 및 일반적인 블롭 추적을 지원합니다.

• TUIO 프로토콜: 클라이언트 애플리케이션과의 표준화된 통신을 위해 TUIO 프로토콜을 구현합니다.

• 렌즈 왜곡 보정: 광각 렌즈 왜곡을 캘리브레이션하고 보정하는 내장 도구를 제공합니다.

• 크로스 플랫폼: Windows, Mac OS X, Linux에서 실행되며 다양한 카메라(WDM, UVC, Video4Linux2)를 폭넓게 지원합니다.

• 이미지 처리 도구: 다양한 조명 조건에서 인식률을 향상시키기 위한 이미지 평활화 및 조정 가능한 임계값 설정 기능을 포함합니다.