SENet回顾

1. SENet

CNN网络架构的发展，使得卷积运算从多个维度去进行特征融合， 从深度depth，宽度等维度去聚合不同感受野的特征，所以基本上在SENet提出前， 通用网络架构都是默认聚合所有channel的信息， 即使MobileNet中的Group Conv 和 Depthwise Separable Conv对channel进行了分组等操作，也只是出于对网络加速的诉求。SENet关注了channel之间的关系，以期使模型能够自动学习出不同channel的重要性。

2. Squeeze and Excitation模块

squeeze: global average pooling

excitation: FC(降维) + FC(升维) + sigmoid(激活0~1)

模块的作用就是学习到每个通道的权重系数。

3.SE模块的典型应用

在inception和residual Block之后添加SE block模块。

4. 实验

• squeeze方式：max和avg，avg要更优一点。
• excitation方式：ReLU,Tanh,Sigmoid，Sigmoid要更优一点。
• integration方式：SE-standard，SE-PRE，SE-POST， SE-Identity ，SE-PRE效果好一些。