whitphx/streamlit-webrtc

Real-time video and audio processing on Streamlit

解决的问题

streamlit-webrtc 是一个用于 Streamlit 的组件，可实现通过网络处理和传输实时视频和音频流。开发者无需从零开始构建复杂的 WebRTC 基础设施，即可将实时媒体流集成到其 Web 应用程序中。

工作原理

该库提供了一个 webrtc_streamer 小部件，用于管理 WebRTC 会话。开发者可以定义回调函数——video_frame_callback 和 audio_frame_callback——以实时处理媒体帧。这些回调函数接收并返回 PyAV 对象（av.VideoFrame 或 av.AudioFrame），从而允许直接在流中注入图像或音频处理逻辑（如 OpenCV 滤镜或 AI 模型）。

适用人群

专为使用 Streamlit 的 Python 开发者设计，适用于希望构建实时媒体应用（如视频聊天应用、实时语音转文字工具或计算机视觉应用）的用户。

主要亮点

  • 实时处理：支持视频和音频帧回调，实现对媒体的实时操作。
  • AI 集成：可轻松与 OpenCV、MediaPipe 等库集成，用于物体检测、姿态估计等任务。
  • 灵活控制：内置摄像头和麦克风访问的媒体切换按钮。
  • 部署就绪：提供 HTTPS、STUN 和 TURN 服务器的配置指南和选项，确保在不同网络环境下的连接性。

相关

  • 项目
    streamlit/streamlit

    一个 Python 框架，能将脚本转换为交互式网页应用，使数据科学家在无需前端经验的情况下，构建并分享仪表板和 AI 聊天应用。

  • 项目
    livekit/python-sdks

    LiveKit 的 Python SDK 提供两个包（`livekit` 用于实时媒体参与，`livekit-api` 用于服务端令牌和房间管理）。它使 Python 应用能够加入 LiveKit 视频/音频房间，发布/消费媒体，在参与者之间运行 RPC，并与 LiveKit 的语音 AI 代理（STT、LLM、TTS）集成。通过 pip 安装，生成 JWT 令牌，连接到房间，并使用 `MediaDevices` 辅助工具进行麦克风/扬声器处理。SDK 是异步的，支持 Python 3.9+，并采用 MIT 许可证。

  • Dispatch
    FastRTC: 用于 Python 的实时通信库

    Hugging Face 发布了 FastRTC，这是一个旨在通过处理 WebRTC 和 WebSocket 通信层来简化实时音视频 AI 应用开发的 Python 库。

  • 项目
    aparsoft/yolo-streamlit-detection-tracking

    YOLO Vision Studio 是一个基于 Streamlit 的 Web 应用，可运行 Ultralytics YOLO 模型进行检测、分割、姿态估计、文本提示对象搜索以及多对象追踪。它实时显示当前帧中的对象数量和迄今为止已确认的唯一 ID 数量，并提供流失率指标以评估追踪质量。支持摄像头、RTSP、YouTube 和本地视频源，提供四种内置追踪器及可选外观 ReID。通过 `uv sync`（或 pip）安装，运行 `streamlit run app.py` 即可立即开始分析视频。

  • Dispatch
    使用 Streamlit 在 Hugging Face Spaces 上托管模型和数据集

    Hugging Face Spaces 通过与 Streamlit 集成，允许用户快速构建并托管机器学习模型和数据可视化的交互式演示。