iccv2021的提升精度神器：视觉领域的新方法（附源代码）
论文链接：https://www.php.cn/link/c9344998d1ecc002e56b572b310a2ab1
源代码链接：https://www.php.cn/link/b941a08af07454487cd79c7f5f0af926
前言
基于非局部的模块设计被用于捕获计算机视觉任务中的远程时空依赖性。尽管表现出色，这些模块仍然缺乏对图像或视频元素之间丰富的结构化信息进行编码的机制。
在今天的分享中，为了从理论上分析这些基于非局部的模块的属性，研究者提供了一个新的视角来解释它们，将它们视为在全连接图上生成的一组图过滤器。具体地，在选择Chebyshev图滤波器时，可以导出一个统一的公式，用于解释和分析现有的基于非局部的模块（例如，非局部模块，非函数阶段，双重注意力模块）。此外，通过考虑谱的特性，研究者提出了一种高效且稳健的谱非局部模块，与现有的非局部模块相比，当插入深度神经网络时，该模块可以更稳健和灵活地捕获远程依赖关系。实验结果证明了新提出的方法在图像分类、行为识别、语义分割和行人重识别任务上的显著改进和实际适用性。
背景
为何提出非局部？在计算机视觉领域，特别是对于动态视频序列，帧内和帧间的依赖关系非常重要。例如，在下图中视频的行为分类任务中，全局内容的理解以及不同帧间的联系对分类结果有很强的导向作用。目前常见的做法是通过循环卷积网络联系t和t-1，或者通过更深的网络增大感受野来提高对全局内容的理解。
尽管如此，这种方式仍旧是比较局部的，无论是时间方向还是空间位置。甚至，最大的问题是：无法进行远距离信息的来回传递；而且更深的网络计算量大但效率低，梯度优化起来也比较困难。
因此，针对远距离信息传递问题，提高长距离依赖，本论文从传统的非局部均值滤波方法中受到启发，提出了卷积网络中的非局部，即：某一像素点处的响应是其他所有点处的特征权重和，将每一个点与其他所有点相关联，实现非局部思想。
非局部可以被认为是通道级别和空间级别的泛化。这种方式通过注意力加强距离依赖，更直接地实现了全局的联系性。既有注意力的思想也有上下文联系的思想。基于这个非局部，后面相继又有几个网络结构提出来，本质还是做注意力机制，只不过操作不一样，或者是改进版的。例如，CCNet，GCNet。可以看上图。另外，想说一点关于注意力的见解。在像ResNet，AlexNet等通用网络结构中，我们可以理解为空间或者通道间的所有位置，其重要性均等，即权重都为1。而注意力机制的根本目的，就是对原本平均分配的权重通过手动或者自学习的方式进行非等份分配。
所以，从这个角度看，挂在嘴边的先验知识或是上下文关系（局部，全局，上下文）都可以理解为对原本等价权重的非等份分配。在诸如SENet，CBAM中，通过网络训练的方式得到权重；而人为先验，是不是就是手动的权重分配，针对我们觉得重要的部分进行高权重赋值然后操作？
——引自《知乎：起舞的跳跳虫》
新框架
上图，非局部模块的空间 (A) 和光谱 (B) 视图。粉红色点表示特征图中的每个补丁，“Aggregation”表示计算加权平均值作为下面方程的分子。虚线箭头表示“copy”，实线箭头表示“feed forward”。绿色条是节点特征，长度表示它们的强度（最佳颜色视图）。
为了从理论上分析这些基于非局部的模块的属性，研究者提供了一个新的视角来解释它们，将它们视为在全连接图上生成的一组图过滤器。具体地，在选择Chebyshev图滤波器时，可以导出一个统一的公式，用于解释和分析现有的基于非局部的模块（例如，非局部模块，非函数阶段，双重注意力模块）。
此外，通过考虑谱的特性，提出了一种高效且稳健的谱非局部模块，与现有的非局部模块相比，当插入深度神经网络时，该模块可以更稳健和灵活地捕获远程依赖关系。
实验
在图像分类任务上的表现：
在行为识别任务上的表现：
在语义分割任务上的表现：
