mkalten/reacTIVision

computer vision framework for tangible interactive surfaces

What it solves

reacTIVision は、フィデリティマーカー（物理ラベル）とマルチタッチ指の高速かつロバストな追跡を目的としたコンピュータビジョンフレームワークです。テーブルベースの実体ユーザーインターフェース（TUI）やマルチタッチインタラクティブサーフェス（例：reactable モジュラーシンセサイザー）の開発を主に対象としています。

How it works

アプリケーションはカメラでリアルタイム映像を取得し、フィデリティマーカーの ID、位置、回転を識別するとともに、丸い白領域を指として解釈します。また、タグ付けされていないオブジェクトの「ブロブトラッキング」もサポートします。システムは TUIO プロトコル（UDP、TCP、Websocket、Flash Local Connection のいずれか）を介してこの追跡データをクライアントアプリケーションに送信します。広角レンズ歪みを補正するために、画像のアラインメントと歪みを修正するキャリブレーションツールが組み込まれています。

Who it’s for

インタラクティブインスタレーション、実体ユーザーインターフェース、マルチタッチサーフェスを開発する開発者で、物理オブジェクトの動きをデジタルデータに変換するクロスプラットフォームツールが必要な方。

Highlights

  • Multi-modal tracking: フィデリティマーカー（Amoeba と Yamaarashi セット）、指のトラッキング、一般的なブロブトラッキングをサポート。
  • TUIO Protocol: TUIO プロトコルを実装し、C++、C#、Java、Processing など様々な言語のクライアントアプリケーションと標準化された通信を提供。
  • Lens Correction: 広角レンズ歪みと画像アラインメントを補正するツールが内蔵。
  • Cross-platform: Windows、Mac OS X、Linux 上で動作し、WDM、UVC、Video4Linux2 など多数のカメラドライバをサポート。
  • C-based performance: 設定可能な画像均一化と閾値処理を備えた、高性能リアルタイム処理。