mkalten/reacTIVision

computer vision framework for tangible interactive surfaces

What it solves

reacTIVision 是一个计算机视觉框架,旨在快速且稳健地跟踪基准标记(物理标签)和多点触控手指。它专门面向基于桌面的有形用户界面(TUI)和多点触控交互表面(如 reactable 模块化合成器)的开发。

How it works

该应用使用摄像头实时捕获视频,识别基准标记的 ID、位置和旋转角度,同时将圆形白色区域解释为手指。它还支持对未标记对象的“斑点跟踪”。系统通过 TUIO 协议(使用 UDP、TCP、Websocket 或 Flash Local Connection)将跟踪数据传输给客户端应用。为处理广角镜头畸变,框架内置校准工具以校正图像对齐和畸变。

Who it’s for

需要跨平台工具将物理对象运动转换为数字数据的交互装置、实体用户界面和多点触控表面开发者。

Highlights

  • Multi-modal tracking: 支持基准标记(Amoeba 与 Yamaarashi 套件)、手指跟踪以及通用斑点跟踪。
  • TUIO Protocol: 实现 TUIO 协议,提供与各种语言(C++、C#、Java、Processing 等)客户端应用的标准化通信。
  • Lens Correction: 内置工具用于校正广角镜头畸变和图像对齐。
  • Cross-platform: 可在 Windows、Mac OS X 和 Linux 上运行,支持多种摄像头驱动(WDM、UVC、Video4Linux2)。
  • C-based performance: 高性能实时处理,具可配置的图像均衡和阈值化。