跳到主要内容

1 篇博文 含有标签「param-less」

查看所有标签

· 阅读需 7 分钟
AsTheStarsFall

论文名称：SimAM: A Simple, Parameter-Free Attention Module for Convolutional Neural Networks

作者：Lingxiao Yang, Ru-Yuan Zhang, Lida Li, Xiaohua Xie

Code：https://github.com/ZjjConan/SimAM

介绍​

本文提出了一种简单有效的3D注意力模块，基于著名的神经科学理论，提出了一种能量函数，并且推导出其快速解析解，能够为每一个神经元分配权重。主要贡献如下：

  • 受人脑注意机制的启发，我们提出了一个具有3D权重的注意模块，并设计了一个能量函数来计算权重；
  • 推导了能量函数的封闭形式的解，加速了权重计算，并保持整个模块的轻量；
  • 将该模块嵌入到现有ConvNet中在不同任务上进行了灵活性与有效性的验证。