mkalten/reacTIVision

解决的问题

reacTIVision 是一个计算机视觉框架，专为快速且稳健地追踪实体对象上的基准标记以及多点触控手指追踪而设计。它特别针对基于桌面的实体用户界面 (TUI) 和多点触控交互表面（例如 reacTable 模块化合成器）的开发。

运作原理

该应用程序处理来自支持摄像头的实时视频，以检测基准标记（使用如 amoeba 和 yamaarashi 等标记集）的 ID、位置和旋转。它还通过分析图像对比度和大小来识别“斑点”（blobs）——即被解释为手指或未标记对象的圆形白色区域。为了处理广角镜头畸变，它包含了一个校准系统，可以修正找到的标记和手指位置。

数据通过 TUIO 协议使用 UDP、TCP 或 Websockets (OSC 消息) 传输到客户端应用程序，让用户能够使用 C++, C#, Java, Processing, Pure Data 和 Max/MSP 等语言构建交互式应用程序。

目标对象

开发实体用户界面、交互式装置艺术和多点触控桌面表面的开发者与艺术家。

特色亮点

• 多模态追踪：支持基准标记、多点触控手指追踪以及通用斑点追踪。

• TUIO 协议：实现 TUIO 协议，用于与客户端应用程序进行标准化通信。

• 镜头畸变校正：内置工具可校准并修正广角镜头畸变。

• 跨平台：可在 Windows, Mac OS X 和 Linux 上运行，并广泛支持各类摄像头 (WDM, UVC, Video4Linux2)。

• 图像处理工具：包含图像等化和可调整的阈值设置，以改善在各种照明条件下的识别效果。