美高梅官方网站3045-mgm6608美高梅app下载
卷积层(Convolution Layer)

卷积层(Convolution Layer)

作者:mgm6608美高梅app下载    来源:未知    发布时间:2020-01-19 08:39    浏览量:

导语:转置卷积层(Transpose Convolution Layer)又称反卷积层或分数卷积层,在最近提出的卷积神经网络中越来越常见了,特别是在对抗生成神经网络中,生成器网络中上采样部分就出现了转置卷积层,用于恢复减少的维数。那么,转置卷积层和正卷积层的关系和区别是什么呢,转置卷积层实现过程又是什么样的呢,笔者根据最近的预研项目总结出本文。

卷积神经网络(Convolutional Neural Networks,CNN)是一种前馈神经网络。卷积神经网络是受生物学上感受野(Receptive Field)的机制而提出的。感受野主要是指听觉系统、本体感觉系统和视觉系统中神经元的一些性质。比如在视觉神经系统中,一个神经元的感受野是指视网膜上的特定区域,只有这个区域内的刺激才能够激活该神经元。


在CNN提出之前,我们所提到的人工神经网络应该多数情况下都是前馈神经网络,两者区别主要在于CNN使用了卷积层,而前馈神经网络用的都是全连接层,而这两个layer的区别又在于全连接层认为上一层的所有节点下一层都是需要的,通过与权重矩阵相乘层层传递,而卷积层则认为上一层的有些节点下一层其实是不需要的,所以提出了卷积核矩阵的概念,如果卷积核的大小是nm,那么意味着该卷积核认为上一层节点每次映射到下一层节点都只有nm个节点是有意义的,具体的映射方式下一节会讲到。到这里,有些初学者会认为全连接层也可以做到,只要让权重矩阵某些权重赋值为0就可以实现了,例如假设在计算当前层第2个节点时认为上一层的第1个节点我不需要,那么设置w01=0就可以了。其实没错,卷积层是可以看做全连接层的一种特例,卷积核矩阵是可以展开为一个稀疏的包含很多0的全连接层的权重矩阵,下图就是一个由44图片经过33卷积核生成一个大小为2*2output时,卷积核所展开的全连接层的权重矩阵。

卷积神经网络有三个结构上的特性:局部连接权重共享以及空间或时间上的次采样。详细介绍请见卷积神经网络

我只想用最容易理解的方式来解释神经网络知识,尽量简单表述。

图片 1img

本文主要介绍卷积层(Convolution Layer)的前向传播和后向传播。


卷积核对应的全连接层权重矩阵

1.二维卷积运算

图片 2

二维图像卷积

Introduction

在前馈神经网络中,当输入层的特征维度变得很高时,全连接网络需要训练的参数就会增大很多,计算速度就会变得很慢,例如一张黑白的28×28的手写数字图片,输入层的神经元就有784个。

图片 3

图(1)

若在中间只使用一层隐藏层,参数w就有784×15=11760多个。这很容易看出使用全连接神经网络处理图像中的需要训练参数过多的问题。

可以看到,上面的矩阵大小为416,比卷积核33大了不少,因此使用卷积层而不用全连接层第一个原因就是可以极大的减少参数的个数,第二个原因就是卷积核关注的是某几个相邻的节点之间的关系,学习了图片的局部特征,可以说是带有目的性的学习,例如33的卷积核学习的就是相互距离为2的节点之间的关系。这与全连接层无区别的对待所有节点进行学习有极大的差别,这样一来就解决了前馈神经网络不能学习位移不变性的缺点。举个栗子,当我们在前馈神经网络中学习一个44的图片中是否有横折图案时,使用下图中4个训练数据进行训练,那么最终只会对5,6,9,a这四个节点的权重有所调节,然后如果出现如下图最后一张图片作为测试时,就会导致网络无法识别,而由于卷积核在不同节点间权重是共享的,所以就自然而然克服了这个问题。

2.前向传播

假设数据矩阵D如下3*3大小,是单通道的,我们首先需要补0将它扩充到(3+2*(floor(3/2)))* (3+2*(floor(3/2))) = 5*5大小的矩阵操作如下:

图片 4

补0操作

接下需要将D_pad_zero与卷积核kernel做卷积运算,kernel size =3,pad = 1,stride =1,则可得出输出(3+2*1-3)/1+1 = 3;下图只是给出了一个卷积核,一个卷积核生成一个特征图(feature map),而在实际应用中,为了增强卷积层的表示能力,会使用很多个卷积核从而得到多个特征图。

图片 5

卷积

从上图不同颜色框框给出,从数据矩阵中依次提取出和卷积核一样大小的块数据,这里其实就是开篇所说的局部连接。为了提高该操作运算效率,需要进行im2col操作,即把这些不同颜色框框内的数据向量化,总共有3*3个向量,最后得到9*9这样的数据矩阵,具体操作如下

图片 6

im2col

接下来就是矩阵相乘操作,具体操作如下:

图片 7

矩阵相乘

上述矩阵相乘结果如下,最好还需要col2im,把向量转换成矩阵形式。

图片 8

col2im

上述整个过程只是使用一个卷积核,实际应用中,卷积核有很多,只要把这些卷积核按行排列,再做kernel*D_im2col操作,会一次得出所有的feature map。

解决方案:卷积神经网络

图片 9img

3.反向传播

假设第l层输入数据大小为5*5,通道为3,卷积核有64个,每个大小为3*3*3,卷积操作为pad=1,stride=1,经过im2col输入数据为27*25(记作X),其中每个列向量为3*3*3的输入小块。权值矩阵W大小为64*27,偏置向量b为1*64,则可得该卷积层输出:

Q = f(z) = f(w*x+b)

其中f(*)为激活函数,以下以sigmoid函数为例,其导数为sigmoid*(1-sigmoid);

由以上公式可得,该卷积层输出Q大小为64*25。

假设由该卷积层上一层反向传播到该层输出矩阵delta,则该矩阵大小和Q大小一致,为64*25,根据链式求导法则;

图片 10

损失函数对该层权值W求偏导

图片 11

损失函数对该层偏置b求偏导

图片 12

损失函数对该层的前一层求偏导

图片 13

损失函数对该层求偏导,大小为64*25

图片 14

Q对Z求偏导,大小为64*25

图片 15

Z对b求偏导,大小为64维向量

图片 16

Z对W求偏导,大小为25*27

图片 17

Z对X求偏导,大小为27*64

卷积神经网络概述:

卷积神经网络(Convolutional Neural Networks,CNN) 是一种前馈神经网络。卷积神经网络是受生物学上感受野(Receptive Field)的机制而提出的。

感受野主要是指听觉系统、本体感觉系统和视觉系统中神经元的一些性质。比如在视觉神经系统中,一个神经元的感受野是指视网膜上的特定区域,只有这个区域内的刺激才能够激活该神经元。


卷积克服平移不变性

Structure

整个的一个卷积神经网络结构以图(2)为例来讲,把每一个部分都详细地说一下。

图片 18

图(2)

训练集:(x,y)

输入:x

输出:y^

超参数:Padding值和个数;卷积核的维度与个数;下采样核维度,stride卷积步长

学习参数:各卷积层中各过滤器值和偏置;卷积层到池化层权重和偏置; 全连接输出网各连接权重和偏置

2.1 最简单的卷积

卷积层的运算其实就是将多个卷积核作用于输入上,如下图所示,是最简单的一个卷积核所做的运算,no padding,no stride,底下蓝色方块看做是输入的图片,阴影部分就是33的卷积核(一般卷积核是个正方形,且边长为奇数),卷积核扫过时便与输入相乘再相加,最终得到22的输出,对应青色区域。

图片 19img

no padding, no stride的卷积

通常一层卷积层会包含多个卷积核,代表着卷积层的输出深度,例如下图就是我们经常在论文中看到的深度网络的架构,其中第一层就是卷积层+最大池化层,先不管最大池化层,至少我们可以明确卷积核的大小是55,卷积核个数是16,该层输出的size是1818。

图片 20img

论文常见的卷积层

第一个卷积层

下一篇:没有了
友情链接: 网站地图
Copyright © 2015-2019 http://www.zen-40.com. mgm美高梅有限公司 版权所有