PSRben/VisionHOPE

解决的问题

VisionHOPE 是一种视觉骨干架构，旨在解决静态神经网络层的局限性。它引入了一种“自修改”学习系统，模型的内部内存以及控制内存更新的规则在处理图像时会动态演化，与传统的 CNN 或 Transformer 相比，能够实现更具适应性的特征提取。

工作原理

其核心是自引用嵌套学习 (SRNL) 算子。该算子使用五个耦合内存来存储内容并生成键/值表示，同时控制学习率和保留率。为了确保这些递归更新过程中的稳定性，模型采用了软注入上限和谱钳位。该架构使用与行和列对齐的四个方向扫描来处理图像，随后进行空间恢复和通道融合以产生最终输出。

适用对象

本项目面向计算机视觉研究人员和工程师，他们正在寻找用于图像分类、目标检测和语义分割等任务的高性能分层骨干网络。它提供了可集成到现有视觉流水线中或作为独立骨干使用的模块化组件。

亮点

• 实现了一种新颖的自引用学习机制，可针对每张图像调整内存和更新规则。
• 提供适用于多种视觉任务的分层模型 (Tiny, Small, Base)。
• 通过谱钳位和软注入上限实现稳定、非扩展的内存递归。
• 提供用于分类 (ImageNet)、检测 (COCO) 和分割 (ADE20K) 的即用型 PyTorch 实现。
• 通过参数融合和优化的 CUDA 内核支持快速推理模式。