fastvideo/gpu-camera-sample

何を解決するか

それは、マシンビジョンカメラ向けの高性能な画像処理パイプラインを提供し、NVIDIA GPU上でのリアルタイムなraw画像キャプチャと処理を可能にします。デベイヤー、デノイジング、エンコーディングといった計算負荷の高いタスクをGPUにオフロードすることで、CPUベースの画像処理のボトルネックを解消し、最大4 GPix/sの処理速度を実現します。

仕組み

このアプリケーションは、マルチスレッドアーキテクチャを使用して、さまざまなカメラSDK（XIMEA、FLIR、Baslerなど）またはPGMファイルからのraw画像の取得を処理します。データはメモリリングバッファからNVIDIA GPUに移動され、そこでrawデータの変換、不良画素補正、ホワイトバランス、デベイヤー（HQLIやMGなどのアルゴリズムを使用）、およびカラー補正を含む包括的なISP（Image Signal Processor）パイプラインを実行します。処理されたフレームは、OpenGLを介してレンダリングされるか、ストレージまたはストリーミング用にJPEG、MJPEG、H.264、またはHEVCにエンコードされます。

対象者

固定機能ハードウェアISPに依存することなく、調整可能な高精度（16/32-bit）の画像処理パイプラインを必要とする、マシンビジョン、産業用カメラ、およびNVIDIA Jetsonプラットフォームに従事する開発者やエンジニア向けに設計されています。

ハイライト

• 極めて高いスループット: RTX 4090のようなハイエンドGPUを使用する場合、カラーカメラで最大4 GPix/sに達することが可能です。
• 幅広いカメラサポート: 直接的なSDKまたはGenICamを介して、XIMEA、FLIR、Basler、Lucid Vision Labs、およびその他と互換性があります。
• 包括的なISPパイプライン: NLMデノイザー、複数のデベイヤーアルゴリズム、および線形/sRGBガンマ補正などの高度な機能が含まれています。
• 低レイテンシ: glass-to-glassレイテンシを測定するための組み込みツールが含まれており、ベンチマークでは特定のセットアップで約35–40 msを示しています。
• クロスプラットフォーム: Windows、Linux、およびNVIDIA Jetson (ARM64) をサポートしています。