fastvideo/gpu-camera-sample

何を解決するか

このプロジェクトは、リアルタイムGPU加速画像処理のための高性能サンプルアプリケーションを提供します。rawカメラデータの低遅延・高スループットな画像信号処理（ISP）パイプラインのニーズに対応しており、固定機能ハードウェアISPに依存せずに、最大4 GPix/sの巨大なピクセルレートを処理可能で、完全にカスタマイズ可能な処理ステージを実現します。

仕組み

NVIDIA GPU上でマルチスレッドパイプラインを実装しています。XIMEA、FLIR、Basler、Lucid Vision Labsなど、GenICam準拠の工業用カメラからSDKやGenICam経由でraw画像データ（モノクロまたはBayer）を取得し、GPUにインポートして、デバイヤリング、ノイズ低減、色補正、ガンマ調整を含む包括的なISP処理を実行します。処理されたフレームはOpenGLでレンダリングされ、または圧縮動画ストリーム（JPEG、H.264、HEVC）としてSSDやネットワーク先にエクスポートされます。

対象ユーザー

NVIDIA GPU（Jetsonプラットフォームを含む）を使用し、プロフェッショナルグレードのカメラ向けにカスタムで高精度（16/32ビット）の画像処理パイプラインを実装したい、マシンビジョン、工業用画像処理、ロボティクス分野の開発者向けに設計されています。

特徴

• 極めて高いスループット：RTX 4090などのハイエンドNVIDIA GPUで最大4 GPix/sの処理が可能。
• 包括的なISPパイプライン：不良画素補正、ダークフレーム減算、フラットフィールド補正、ホワイトバランス、複数のデバイヤリングアルゴリズム（HQLI、L7、DFPD、MG）を含む。
• 広範なカメラ対応：XIMEA、FLIR、Basler、Lucid Vision Labsなど、GenICam準拠のカメラに対応。
• 低遅延：キャプチャから表示までの「ガラスからガラス」遅延を測定するための組み込みツールを備えている。
• クロスプラットフォーム：Windows、Linux、NVIDIA Jetson（ARM64）プラットフォームをサポート。