PSRben/VisionHOPE

解決する課題

VisionHOPEは、静的なニューラルネットワーク層の限界に対処するために設計された視覚バックボーンアーキテクチャです。モデルの内部メモリと、そのメモリを更新するためのルールが画像処理中に動的に進化する「自己修正型」学習システムを導入しており、従来のCNNやTransformerと比較して、より適応性の高い特徴抽出を可能にします。

仕組み

その核心には、自己参照型ネスト学習 (SRNL) オペレーターがあります。このオペレーターは、5つの結合メモリを使用してコンテンツを保存し、キー/値表現を生成すると同時に、学習率と保持率を制御します。これらの再帰的な更新中の安定性を確保するために、モデルはソフトインジェクションキャップとスペクトルクランピングを採用しています。このアーキテクチャは、行と列に沿った4方向のスキャンを使用して画像を処理し、続いて空間復元とチャネルごとの融合を行って最終的な出力を生成します。

対象読者

このプロジェクトは、画像分類、物体検出、セマンティックセグメンテーションなどのタスク向けに、高性能で階層的なバックボーンを求めるコンピュータビジョンの研究者やエンジニアを対象としています。既存のビジョンパイプラインに統合したり、スタンドアロンのバックボーンとして使用したりできるモジュール式コンポーネントを提供します。

ハイライト

• 画像ごとにメモリと更新ルールを適応させる、斬新な自己参照型学習メカニズムを実装。
• 多様なビジョンタスクに適した階層型モデル (Tiny, Small, Base) を提供。
• スペクトルクランピングとソフトインジェクションキャップにより、安定した非拡張的なメモリ再帰を実現。
• 分類 (ImageNet)、検出 (COCO)、セグメンテーション (ADE20K) 用のすぐに使える PyTorch 実装が含まれています。
• パラメータ融合と最適化された CUDA カーネルによる高速推論モードをサポート。