mkalten/reacTIVision

解決する課題

reacTIVisionは、物理オブジェクト上のフィデューシャル・マーカーの高速かつ堅牢な追跡、およびマルチタッチの指追跡のために設計されたコンピュータビジョン・フレームワークです。特に、reacTableモジュラー・シンセサイザーのような、テーブルベースのタンジブル・ユーザー・インターフェース（TUI）やマルチタッチ・インタラクティブ・サーフェスの開発をターゲットとしています。

仕組み

このアプリケーションは、サポートされているカメラからのリアルタイム映像を処理し、フィデューシャル・マーカー（amoebaやyamaarashiなどのセットを使用）のID、位置、回転を検出します。また、画像コントラストとサイズを分析することで、指や未タグ付けのオブジェクトとして解釈される「ブロブ（blobs）」と呼ばれる丸い白い領域を識別します。広角レンズの歪みを処理するために、マーカーや指の検出位置を補正するキャリブレーション・システムが含まれています。

データはTUIOプロトコルを使用してUDP、TCP、またはWebsockets（OSCメッセージ）経由でクライアント・アプリケーションに送信され、ユーザーはC++, C#, Java, Processing, Pure Data, Max/MSPといった言語でインタラクティブなアプリケーションを構築できます。

対象ユーザー

タンジブル・ユーザー・インターフェース、インタラクティブ・インスタレーション、マルチタッチ・テーブルトップ・サーフェスを作成する開発者やアーティスト。

主な特徴

• マルチモーダル追跡: フィデューシャル・マーカー、マルチタッチの指追跡、および一般的なブロブ追跡をサポート。

• TUIOプロトコル: クライアント・アプリケーションとの標準化された通信のためのTUIOプロトコルを実装。

• レンズ歪み補正: 広角レンズの歪みをキャリブレーションおよび補正するための組み込みツール。

• クロスプラットフォーム: Windows, Mac OS X, Linuxで動作し、幅広いカメラ（WDM, UVC, Video4Linux2）をサポート。

• 画像処理ツール: さまざまな照明条件下での認識精度を向上させるための画像等化および調整可能な閾値設定機能が含まれています。