1. SKNet
paper: https://arxiv.org/pdf/1903.06586.pdf
“We propose a dynamic selection mechanism in CNNs that allows each neuron to adaptively adjust its receptive field size based on multiple scales of input information.”
“从ResNet到ResNeXt，> 1 kernel的计算量从原来52.9%的占比下降到了6.6%，几乎下降了一个数量级，但却让ResNeXt的分类性能提升了” —作者@李翔
SKNet考虑到这一现象，思考了几个点：
- 在ResNext结构上少牺牲一些计算量，是否能进一步提升网络性能？
- 对应于CNN网络，一般来说对于特定任务特定模型，卷积核大小是确定的，那么是否可以构建一种模型，使网络可以根据输入信息的多个尺度自适应的调节接受域大小呢？
基于此，结合了分组卷积和SENet提出了Selective Kernel。
Split：指的是对Input进行两路卷积，一路进行3x3卷积，一路进行5x5卷积。
Fuse: 融合(add)两路卷积后特征图进行类似与SE的操作，不同的是最后使用的softmax，因为需要按照通道维度进行soft attention, a + b = 1
Select：两个分支的特征图各乘以其通道权重，然后add到一起输出该模块的特征图，该特征图即为融合了不同感受野的特征图。
Reference