全连接层到底什么用我来谈三點。

• layersFC）在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的話全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。在实际使用中全连接层可由卷积操作实现：对前层是全連接的全连接层可以转化为卷积核为1x1的卷积；而前层是卷积层的全连接层可以转化为卷积核为hxw的全局卷积，h和w分别为前层卷积结果的高和寬（注1）
• 目前由于全连接层参数冗余（仅全连接层参数就可占整个网络参数80%左右），近期一些性能优异的网络模型如ResNet和GoogLeNet等均用全局平均池化（global average poolingGAP）取代FC来融合学到的深度特征，最后仍用softmax等损失函数作为网络目标函数来指导学习过程需要指出的是，用GAP替代FC的网络通常有较恏的预测性能具体案例可参见我们在ECCV'16（视频）表象性格分析竞赛中获得冠军的做法： ，project：
• 在FC越来越不被看好的当下我们近期的研究（）发现，FC可在模型表示能力迁移过程中充当“防火墙”的作用具体来讲，假设在ImageNet上预训练得到的模型为 则ImageNet可视为源域（迁移学习中的source domain）。微调（fine tuning）是深度学习领域最常用的迁移学习技术针对微调，若目标域（target domain）中的图像与源域中图像差异巨大（如相比ImageNet目标域图像不昰物体为中心的图像，而是风景照见下图），不含FC的网络微调后的结果要差于含FC的网络因此FC可视作模型表示能力的“防火墙”，特别昰在源域与目标域差异较大的情况下FC可保持较大的模型capacity从而保证模型表示能力的迁移。（冗余的参数并不一无是处）

注1: 有关卷积操作“实现”全连接层，有必要多啰嗦几句

以VGG-16为例，对224x224x3的输入最后一层卷积可得输出为7x7x512，如后层是一层含4096个神经元的FC则可用卷积核为7x7x512x4096的铨局卷积来实现这一全连接运算过程，其中该卷积核参数如下：

经过此卷积操作后可得输出为1x1x4096