margelo/react-native-vision-camera

📸 A powerful, high-performance React Native Camera library.

何を解決するか

VisionCamera は、React Native アプリケーション向けに高性能なカメラインターフェースを提供し、開発者が速度や品質を犠牲にすることなく、高度なカメラ機能を統合できるようにします。

動作方法

モバイルカメラハードウェアの強力なラッパーとして機能し、解像度、FPS、デバイス選択に対する深い制御を提供します。主な機能の一つである「Frame Processors」は、JS worklets を使用して、AI 物体検出や顔認識などのタスクにリアルタイムでカメラフレームを処理できるようにします。

対象ユーザー

React Native を使用してモバイルアプリを開発し、高解像度撮影、リアルタイム AI ビジョンタスク、またはカスタム GPU 加速フィルターなどのプロフェッショナルなカメラ機能を必要とする開発者。

特徴

  • リアルタイム AI 統合: 顔認識や物体検出に使用可能な Frame Processors をサポート。
  • 高パフォーマンス: Metal および Vulkan を使用したカスタム C++/GPU 加速リサイズ機能を搭載。
  • 高度な撮影: 4K/8K 画像、HDR、ナイトモード、最大 240 FPS のカスタマイズ可能な FPS をサポート。
  • 拡張性: カメラ映像上に図形、テキスト、シェーダーを直接描画可能。

関連

  • プロジェクト
    roboflow/rf-detr

    RF‑DETR は、DINOv2 バックボーンに基づくリアルタイムトランスフォーマー基盤のビジョンモデルセット（検出、セグメンテーション、キーポイント）です。`rfdetr` Python パッケージとして提供され、Nano‑2XL の複数サイズバリアントを備え、コア部分は Apache‑2.0、XL/2XL は PML 1.0 ライセンスで利用可能です。COCO および RF100‑VL における最先端の精度‑レイテンシトレードオフを示すベンチマークテーブルを含みます。インストールは `pip install rfdetr` で行い、`model.predict(...)` 1 行で使用可能。`supervision` ライブラリでオプションの可視化も可能。Roboflow プラットフォームではカスタムアーキテクチャ探索用の NAS パイプラインも提供されています。

  • プロジェクト
    eduardolundgren/tracking.js

    カラー追跡や顔検出などのコンピュータビジョンアルゴリズムをブラウザ上で直接実行できる軽量なJavaScriptライブラリ。

  • プロジェクト
    facebookresearch/pytorch3d

    3Dコンピュータビジョンの研究向けPyTorchベースのライブラリで、微分可能なレンダリングと3Dメッシュおよびポイントクラウドを操作するための効率的なツールを提供します。

  • プロジェクト
    StarTrail-org/PixelRAG

    PixelRAGは、Webページ、PDF、画像をスクリーンショットタイルにレンダリングし、視覚言語モデルで埋め込み、FAISS/Qdrantでベクトルインデックスを構築。その後、LLMが視覚的レイアウトに基づいて情報を取得できる検索API（またはClaudeプラグイン）を提供します。