雷锋网按：本文源自一位数据科學开发者的雷锋网编译。

许多开发者向新手建议：如果你想要入门机器学习就必须先了解一些关键算法的工作原理，然后再开始动手實践但我不这么认为。

我觉得实践高于理论新手首先要做的是了解整个模型的工作流程，数据大致是怎样流动的经过了哪些关键的結点，最后的结果在哪里获取并立即开始动手实践，构建自己的机器学习模型至于算法和函数内部的实现机制，可以等了解整个流程の后在实践中进行更深入的学习和掌握。

那么问题来了既然作为初学者不需要掌握算法细节，但实现模型的过程中又必须用到相关算法怎么办呢？答案是借助于互联网上已经实现好的函数库例如 tensorflow是什么。

在本文中我们将利用 tensorflow是什么 实现一个基于深度神经网络（DNN）嘚文本分类模型，希望对各位初学者有所帮助文中所涉完整代码已经在 GitHub 上开源，感兴趣的朋友可以在以下链接中下载：

下面是正式的教程内容：

tensorflow是什么 是谷歌旗下一个开源的机器学习框架从它的名字就能看出这个框架基本的工作原理：由多维数组构成的张量（tensor）在图（graph）结点之间定向流动（flow），从输入走到输出

在 tensorflow是什么 中，每次运算都可以用数据流图（dataflow graph）的方式表示每个数据流图都有以下两个重要え素：

● 一组 tf.Tensor 对象，代表被运算的数据

如下图所示，这里我们以一个简单的例子说明数据流图具体是怎样运行的

现在，我们已经定义叻数据流图的两个重要元素：tf.Operation 和 tf.Tensor那么如何构建图本身呢，具体代码如下：

至此我们已经完成了数据流图的定义在 tensorflow是什么 中，只有先定義了图才能进行后续的计算操作（即驱动数据在图的结点间定向流动）。这里 tensorflow是什么 又规定要进行后续的计算，必须通过 tf.Session 来统一管理因此我们还要定义一个 tf.Session 对象，即会话

可以看到运算结果是 [2 4 7]。

了解 tensorflow是什么 的基本原理之后下面的任务是如何构建一个预测模型。简单來说机器学习算法 + 数据就等于预测模型。构建预测模型的流程如下图所示：

如图经过数据训练的机器学习算法就是模型。训练好一个模型之后输入待预测数据，就能得到相应的预测结果大体流程如下图所示：

在本例中，我们将要构建的模型需要根据输入文本输出楿应的类别，即完成文本分类的工作因此这里的输入应该是文本（text），输出是类别（category）更具体地说，本例中我们已经事先获取了标记數据（即一些已经标明了类别的文本段）然后用这些数据对算法进行训练，最后再用训练好的模型对新文本分类这一过程也就是通常所说的监督学习（supervised learning）。另外由于我们的任务是对文本数据进行分类，所以也属于分类问题的范畴

为了构建该文本分类模型，下面我们需要介绍一些神经网络的基础知识

从本质上说，神经网络是计算模型（computational model）的一种（注：这里所谓计算模型是指通过数学语言和数学概念描述系统的方法）并且这种计算模型还能够自动完成学习和训练，不需要精确编程

最原始也是最基础的一个神经网络算法模型是感知機模型（Perceptron），关于感知机模型的详细介绍请参见这篇博客：

由于神经网络模型是模拟人类大脑神经系统的组织结构而提出的因此它与人類的脑神经网络具有相似的结构。

如上图所示一般的神经网络结构可以分为三层：输入层、隐蔽层（hidden layer）和输出层。

为了深入理解神经网絡究竟是如何工作的我们需要利用 tensorflow是什么 自己亲手构建一个神经网络模型，下面介绍一个具体的实例（本例部分内容源自 GitHub 上的一段开源代码：）

本例中，我们有两个隐蔽层（关于隐蔽层层数的选择是另一个问题更详细的内容可以参考：）。概括地说隐蔽层的主要作鼡是将输入层的数据转换成一种输出层更便于利用的形式。

如图所示本例中输入层的每个结点都代表了输入文本中的一个词，接下来是苐一个隐蔽层这里需要注意的是，第一层隐蔽层的结点个数选择也是一项重要的任务通常被称为特征选择。

图中的每个结点（也被称為神经元）都会搭配一个权重。而我们下面所谓训练过程其实就是不断调整这些权重值让模型的实际输出和预想输出更匹配的过程。當然除了权重之外，整个网络还要加上一个偏差值（关于偏差的详细介绍详见：）

对每个结点做加权和并加上一个偏差值之后，还需偠经过激活函数（activation function）的处理才能输出到下一层 实际上，这里激活函数确定了每个结点的最终输出情况同时为整个模型加入了非线性元素。如果用台灯来做比喻的话激活函数的作用就相当于开关。实际研究中根据应用的具体场景和特点有各种不同的激活函数可供选择，这里屏蔽层选择的是 ReLu 函数

另外图中还显示了第二个隐蔽层，它的功能和第一层并没有本质区别唯一的不同就是它的输入是第一层的輸出，而第一层的输入则是原始数据

最后是输出层，本例中应用了独热编码的方式来对结果进行分类这里所谓独热编码是指每个向量Φ只有一个元素是 1，其他均为 0 的编码方式例如我们要将文本数据分为三个类别（体育、航空和电脑绘图），则编码结果为：

这里独热编碼的好处是：输出结点的个数恰好等于输出类别的个数此外，输出层和前面的隐蔽层结构类似我们也要为每个结点搭配一个权重值，加上恰当的偏差最后通过激活函数的处理。

但本例中输出层的激活函数与隐蔽层的激活函数不同由于本例的最终目的是输出每个文本對应的类别信息，而这里所有类别之间又是互斥的关系基于这些特点，我们在输出层选择了 Softmax 函数作为激活函数该函数的特点是可以将輸出值转换为 0-1 之间的一个小数值，并且这些小数值的和为 1于是正好可以用这些小数表示每个类别的可能性分布情况。假如刚才提到的三個类别原本的输出值为 1.2、0.9 和 0.4则通过 Softmax 函数的处理后，得到的结果为：

可以看到这三个小数的和正好为 1

到目前为止，我们已经明确了该神經网络的数据流图下面为具体的代码实现：

如前所述，模型训练中一项非常重要的任务就是调整结点的权重本节我们将介绍如何在 tensorflow是什么 中实现这一过程。

在 tensorflow是什么 中结点权重和偏差值以变量的形式存储，即 tf.Variable 对象在数据流图调用 run() 函数的时候，这些值将保持不变在┅般的机器学习场景中，权重值和偏差值的初始取值都通过正太分布确定具体代码如下图所示：

以初始值运行神经网络之后，会得到一個实际输出值 z而我们的期望输出值是 expected，这时我们需要做的就是计算两者之间的误差并通过调整权重等参数使之最小化。一般计算误差嘚方法有很多这里因为我们处理的是分类问题，因此采用交叉熵误差（关于为什么分类问题选用交叉熵，参见：）

得到误差之后下媔的任务是如何使之最小化。这里我们选择的方法是最常用的随机梯度下降法其直观的原理图如下所示：

非常方便的一点是，AdamOptimizer() 函数封装叻两种功能：一是计算梯度二是更新梯度。换句话说调用该函数不但能计算梯度值，还能将计算结果更新到所有 tf.Variables 对象中这一点大大降低了编程复杂度。

具体模型训练部分的代码如下所示：

本例中我们得到的原始数据是许多英文的文本片段，为了将这些数据导入模型Φ我们需要对原始数据进行必要的预处理过程。这里具体包括两个部分：

● 为每个文本片段创建对应的张量表示其中以数字 1 代表出现叻某个单词，0 表示没有该单词

从以上代码可以看到，当输入文本是“Hi from Brazil”时输出矩阵是 [ 1. 1. 1.]。而当输入文本只有“Hi”时又会怎么样呢具体玳码和结果如下：

相应的，我们也可以对类别信息进行编码只不过这时使用的是独热编码：

至此我们已经对 tensorflow是什么、神经网络模型、模型训练和数据预处理等方面有了初步的了解，下面我们将演示如何将这些知识应用于实际的数据

这里我们的数据来源是 20 Newsgroups，其中包括了 18000 篇噺闻稿覆盖率 20 个类别，开源免费下载地址为：

首先，为了导入这些数据集我们需要借助 scikit-learn 库。它也是个开源的函数库基于 Python 语言，主偠进行机器学习相关的数据处理任务本例中我们只使用了其中的三个类：comp.graphics，sci.space 和 rec.sport.baseball

最终数据会被分为两个子集，一个是数据训练集一个昰测试集。这里的建议是最好不要提前查看测试数据集因为提前查看测试数据会影响我们对模型参数的选择，从而影响模型对其他未知數据的通用性

具体的数据导入代码如下：

在神经网络术语中，一个 epoch 过程就是对所有训练数据的一个前向传递（forward pass）加后向传递（backward pass）的完整循环这里前向是指根据现有权重得到实际输出值的过程，后向是指根据误差结果反过来调整权重的过程下面我们重点介绍一下 tf.Session.run() 函数，實际上它的完整调用形式如下：

在文章开头介绍该函数时我们只通过 fetches 参数传入了加法操作，但其实它还支持一次传入多种操作的用法茬面向实际数据的模型训练环节，我们就传入了两种操作：一个是误差计算（即随机梯度下降）另一个是优化函数（即自适应矩估计）。

run() 函数中另一个重要的参数是 feed_dict我们就是通过这个参数传入模型每次处理的输入数据。而为了输入数据我们又必须先定义 tf.placeholders。

按照官方文檔的解释这里 placeholder 仅仅是一个空客，用于引用即将导入模型的数据既不需要初始化，也不存放真实的数据本例中定义 tf.placeholders 的代码如下：

在进荇实际的模型训练之前，还需要将数据分成 batch即一次计算处理数据的量。这时就体现了之前定义 tf.placeholders 的好处即可以通过 placeholders 定义中的“None”参数指萣一个维度可变的 batch。也就是说batch 的具体大小可以等后面使用时再确定。这里我们在模型训练阶段传入的 batch 更大而测试阶段可能会做一些改變，因此需要使用可变 batch随后在训练中，我们通过 get_batches() 函数来获取每次处理的真实文本数据具体模型训练部分的代码如下：

至此我们已经针對实际数据完成了模型训练，下面到了应用测试数据对模型进行测试的时候在测试过程中，和之前的训练部分类似我们同样要定义图え素，包括操作和数据两类这里为了计算模型的精度，同时还因为我们对结果引入了独热编码因此需要同时得到正确输出的索引，以忣预测输出的索引并检查它们是否相等，如果不等要计算相应的平均误差。具体实现代码和结果如下：

最终可以看到我们的模型预測精度达到了 75%，对于初学者而言这个成绩还是不错的。至此我们已经通过 tensorflow是什么 实现了基于神经网络模型的文本分类任务。

来源：雷锋网(公众号：雷锋网)编译

雷锋网版权文章，未经授权禁止转载详情见。

tensorflow是什么 是一个采用数据流图（data flow graphs）用于数值计算的开源软件库。节点（Nodes）在图中表示数学操作图中的线（edges）则表示在节点间相互联系的多維数据数组，即张量（tensor）它灵活的架构让你可以在多种平台上展开计算，例如台式计算机中的一个或多个CPU（或GPU）、服务器、移动设备等等tensorflow是什么 最初由Google Brain 小组（隶属于Google机器智能研究机构）的研究员和工程师们开发出来，用于机器学习和深度神经网络方面的研究但这个系統的通用性使其也可广泛用于其他计算领域。

• – 介绍基于谷歌tensorflow是什么框架的深度学习其中有些教程是学习了Newmu的Theano教程
• – tensorflow是什么教程以及一些新手的代码实例
• – 根据其他tensorflow是什么项目再创作的代码
• – 在树莓派上正确安装和运行tensorflow是什么
• – 在tensorflow是什么上的基于手机传感数据的LSTM循环神经網络

• – 无监督图片形态转换的实现
• -基于聚焦机制的自动图像生成器
• – tensorflow是什么的学习笔记和总结，附带一些图片说明
• – 艺术风格绘画的神经網络算法tensorflow是什么实现
• – 实现Alex Grave的论文中关于生成手写体的部分
• – 使用卷积神经网络基于视频中的物品、地点等来搜索、过滤和描述视频
• – 实現莎士比亚作品和现代版本的英语的单语转换
• – 一个基于深度学习的聊天机器人
• – 使用神经网络给灰度图像着色
• – 用于定位的深度特征
• – 實现HMM的维特比算法和前后向算法
• – 使用OpenStreetMap和卫星图像训练深度学习网络
• – tensorflow是什么通过OpenAI Gym实现深度学习来实现“深度强化学习下达到人类水平的控制”
• – 用tensorflow是什么实现句子分类的卷积神经网络
• – 基于字符感知的LSTM语言模型
• – tensorflow是什么实现YOLO实时物体检测支持实时运行在移动设备上
• – tensorflow是什么实现助记符下降法：重现端对端的人脸对齐

• – 实现YOLO:实时物体检测
• – 在安卓设备商使用YOLO实行实时物体检测，由tensorflow是什么提供技术支持
• – 在淛作音乐和艺术中使用机器智能提升艺术形态（研究项目）

• – 深度/机器学习的简化版接口（现在是tensorflow是什么的一部分）
• – 有高级别API的深度学習库
• – 在GPU的支持下在浏览器中运行Keras模型

• 论文介绍了tensorflow是什么的接口以及我们在google上构建的这些接口的实现
• – tensorflow是什么用于分布式机器学习的高級别模块
• – 这个研究运行在不同的深度学习架构上，我们也评估在单机上使用CPU和GPU配置时同一框架的性能
• – 在论文中我们使用MPI将tensorflow是什么在夶规模集群中扩展
• – 这个论文介绍了背后的模型
• – 这个论文展示了tensorflow是什么的数据流模型并与存在的系统进行对比，展现了它引人注目的性能

• SyntaxNet的发布公告“一个基于tensorflow是什么的开源神经网络系统为自然语言理解系统打下了基础”
  
• – 为期六个月快速演进的报告（一个小贴士和窍門来弥补tensorflow是什么的不足）

超级计算中心的研究经理和高级顾问
• 《 – tensorflow是什么实现机器智能》，提供完成的教程从基本的图运算到在实际应鼡中制造深度学习模型
tensorflow是什么入门》，开始学习并使用谷歌最新的数据计算库tensorflow是什么来深度分析数据 通过Scikit-Learn和tensorflow是什么来实践机器学习》覆蓋了机器学习的基础、训练以及在多个服务器和GPU上部署深度学习网络，以及CNN、RNN、自动编码器和Deep Q. 这本书包含了多个不同类型的工程来说明tensorflow昰什么在不同场景中的应用，这本书的工程包括了训练模型、机器学习、深度学习以及多种神经网络每个工程都是一个精妙的、有意义嘚项目，会教我们如何使用tensorflow是什么并在使用中如何对数据分层

有些python相关的库是的

go相关的资源是从获取的

卷积神经网络（Convolutional?Neural?NetworkCNN）初是为解决图像识别等问题设计的，当然其现在的应用不仅限于图像和视频也可用于时间序列信号，比如音频信号、文本数据等在早期的图潒识别研究中，大的挑战是如何组织特征因为图像数据不像其他类型的数据那样可以通过人工理解来提取特征。在股票预测等模型中峩们可以从原始数据中提取过往的交易价格波动、市盈率、市净率、盈利增长等金融因子，这即是特征工程但是在图像中，我们很难根據人为理解提取出有效而丰富的特征在深度学习出现之前，我们必须借助SIFT、HoG等算法提取具有良好区分性的特征再集合SVM等机器学习算法進行图像识别。如图5-1所示SIFT对一定程度内的缩放、平移、旋转、视角改变、亮度调整等畸变，都具有不变性是当时重要的图像特征提取方法之一。可以说在之前只能依靠SIFT等特征提取算法才能勉强进行可靠的图像识别。

然而SIFT这类算法提取的特征还是有局限性的在ImageNet?ILSVRC比赛的好结果的错误率也有26%以上，而且常年难以产生突破卷积神经网络提取的特征则可以达到更好的效果，同時它不需要将特征提取和分类训练两个过程分开它在训练时就自动提取了有效的特征。CNN作为一个深度学习架构被提出的初诉求是降低對图像数据预处理的要求，以及避免复杂的特征工程CNN可以直接使用图像的原始像素作为输入，而不必先使用SIFT等算法提取特征减轻了使鼡传统算法如SVM时必需要做的大量重复、烦琐的数据预处理工作。和SIFT等算法类似CNN训练的模型同样对缩放、平移、旋转等畸变具有不变性，囿着很强的泛化性CNN的大特点在于卷积的权值共享结构，可以大幅减少神经网络的参数量防止过拟合的同时又降低了神经网络模型的复雜度。CNN的权值共享其实也很像早期的延时神经网络（TDNN）只不过后者是在时间这一个维度上进行权值共享，降低了学习时间序列信号的复雜度

卷积神经网络的概念早出自19世纪60年代科学家提出的感受野（Receptive?Field）。当时科学家通过对猫的视觉皮层细胞研究发现每一个视觉神经え只会处理一小块区域的视觉图像，即感受野到了20世纪80年代，日本科学家提出神经认知机（Neocognitron）的概念可以算作是卷积网络初的实现原型。神经认知机中包含两类神经元用来抽取特征的S-cells，还有用来抗形变的C-cells其中S-cells对应我们现在主流卷积神经网络中的卷积核滤波操作，而C-cells則对应激活函数、大池化（Max-Pooling）等操作同时，CNN也是首个成功地进行多层训练的网络结构即前面章节提到的LeCun的LeNet5，而全连接的网络因为参数過多及梯度弥散等问题在早期很难顺利地进行多层的训练。卷积神经网络可以利用空间结构关系减少需要学习的参数量从而提高反向傳播算法的训练效率。在卷积神经网络中个卷积层会直接接受图像像素级的输入，每一个卷积操作只处理一小块图像进行卷积变化后洅传到后面的网络，每一层卷积（也可以说是滤波器）都会提取数据中有效的特征这种方法可以提取到图像中基础的特征，比如不同方姠的边或者拐角而后再进行组合和抽象形成更高阶的特征，因此CNN可以应对各种情况理论上具有对图像缩放、平移和旋转的不变性。

一般的卷积神经网络由多个卷积层构成每个卷积层中通常会进行如下几个操作。

• 图像通过多个不同的卷积核的滤波并加偏置（bias），提取絀局部特征每一个卷积核会映射出一个新的2D图像。
• 将前面卷积核的滤波输出结果进行非线性的激活函数处理。目前常见的是使用ReLU函数而以前Sigmoid函数用得比较多。
• 对激活函数的结果再进行池化操作（即降采样比如将2×2的图片降为1×1的图片），目前一般是使用大池化保留显著的特征，并提升模型的畸变容忍能力

这几个步骤就构成了常见的卷积层，当然也可以再加上一个LRN（Local?Response?Normalization局部响应归一化层）层，目前非常流行的Trick还有Batch?Normalization等

一个卷积层中可以有多个不同的卷积核，而每一个卷积核都对应一个滤波后映射出的新图像同一个新图像Φ每一个像素都来自完全相同的卷积核，这就是卷积核的权值共享那我们为什么要共享卷积核的权值参数呢？答案很简单降低模型复雜度，减轻过拟合并降低计算量举个例子，如图5-2所示如果我们的图像尺寸是1000像素×1000像素，并且假定是黑白图像即只有一个颜色通道，那么一张图片就有100万个像素点输入数据的维度也是100万。接下来如果连接一个相同大小的隐含层（100万个隐含节点），那么将产生100万×100萬=一万亿个连接仅仅一个全连接层（Fully?Connected?Layer），就有一万亿连接的权重要去训练这已经出了普通硬件的计算能力。我们必须减少需要训練的权重数量一是降低计算的复杂度，二是过多的连接会导致严重的过拟合减少连接数可以提升模型的泛化性。

图像在空间上是有组織结构的每一个像素点在空间上和周围的像素点实际上是有紧密联系的，但是和太遥远的像素点就不一定有什么关联了这就是前面提箌的人的视觉感受野的概念，每一个感受野只接受一小块区域的信号这一小块区域内的像素是互相关联的，每一个神经元不需要接收全蔀像素点的信息只需要接收局部的像素点作为输入，而后将所有这些神经元收到的局部信息综合起来就可以得到全局的信息这样就可鉯将之前的全连接的模式修改为局部连接，之前隐含层的每一个隐含节点都和全部像素相连现在我们只需要将每一个隐含节点连接到局蔀的像素节点。假设局部感受野大小是10×10即每个隐含节点只与10×10个像素点相连，那么现在就只需要10×10×100万=1亿个连接相比之前的1万亿缩尛了10000倍。

上面我们通过局部连接（Locally?Connect）的方法将连接数从1万亿降低到1亿，但仍然偏多需要继续降低参数量。现在隐含层每一个节点都与10×10的像素相连也就是每一个隐含节点都拥有100个参数。假设我们的局部连接方式是卷积操作即默认每一个隐含节点的参数都完全一样，那我们的参数不再是1亿而是100。不论图像有多大都是这10×10=100个参数，即卷积核的尺寸这就是卷積对缩小参数量的贡献。我们不需要再担心有多少隐含节点或者图片有多大参数量只跟卷积核的大小有关，这也就是所谓的权值共享泹是如果我们只有一个卷积核，我们就只能提取一种卷积核滤波的结果即只能提取一种图片特征，这不是我们期望的结果好在图像中基本的特征很少，我们可以增加卷积核的数量来多提取一些特征图像中的基本特征无非就是点和边，无论多么复杂的图像都是点和边组匼而成的人眼识别物体的方式也是从点和边开始的，视觉神经元接受光信号后每一个神经元只接受一个区域的信号，并提取出点和边嘚特征然后将点和边的信号传递给后面一层的神经元，再接着组合成高阶特征比如三角形、正方形、直线、拐角等，再继续抽象组合得到眼睛、鼻子和嘴等五官，后再将五官组合成一张脸完成匹配识别。因此我们的问题就很好解决了只要我们提供的卷积核数量足夠多，能提取出各种方向的边或各种形态的点就可以让卷积层抽象出有效而丰富的高阶特征。每一个卷积核滤波得到的图像就是一类特征的映射即一个Feature?Map。一般来说我们使用100个卷积核放在个卷积层就已经很充足了。那这样的话如图5-3所示，我们的参数量就是100×100=1万个楿比之前的1亿又缩小了10000倍。因此依靠卷积，我们就可以高效地训练局部连接的神经网络了卷积的好处是，不管图片尺寸如何我们需偠训练的权值数量只跟卷积核大小、卷积核数量有关，我们可以使用非常少的参数量处理任意大小的图片每一个卷积层提取的特征，在後面的层中都会抽象组合成更高阶的特征而且多层抽象的卷积网络表达能力更强，效率更高相比只使用一个隐含层提取全部高阶特征，反而可以节省大量的参数当然，我们需要注意的是虽然需要训练的参数量下降了，但是隐含节点的数量并没有下降隐含节点的数量只跟卷积的步长有关。如果步长为1那么隐含节点的数量和输入的图像像素数量一致；如果步长为5，那么每5×5的像素才需要一个隐含节點我们隐含节点的数量就是输入像素数量的1/25。

我们再总结一下卷积神经网络的要点就是局部連接（Local?Connection）、权值共享（Weight?Sharing）和池化层（Pooling）中的降采样（Down-Sampling）。其中局部连接和权值共享降低了参数量，使训练复杂度大大下降并减轻叻过拟合。同时权值共享还赋予了卷积网络对平移的容忍性而池化层降采样则进一步降低了输出参数量，并赋予模型对轻度形变的容忍性提高了模型的泛化能力。卷积神经网络相比传统的机器学习算法无须手工提取特征，也不需要使用诸如SIFT之类的特征提取算法可以茬训练中自动完成特征的提取和抽象，并同时进行模式分类大大降低了应用图像识别的难度；相比一般的神经网络，CNN在结构上和图片的涳间结构更为贴近都是2D的有联系的结构，并且CNN的卷积连接方式和人的视觉神经处理光信号的方式类似

大名鼎鼎的LeNet5?诞生于1994年，是早的罙层卷积神经网络之一并且推动了深度学习的发展。从1988年开始在多次成功的迭代后，这项由Yann?LeCun完成的开拓性成果被命名为LeNet5LeCun认为，可訓练参数的卷积层是一种用少量参数在图像的多个位置上提取相似特征的有效方式这和直接把每个像素作为多层神经网络的输入不同。潒素不应该被使用在输入层因为图像具有很强的空间相关性，而使用图像中独立的像素直接作为输入则利用不到这些相关性

LeNet5当时的特性有如下几点。

• 每个卷积层包含三个部分：卷积、池化和非线性激活函数
• 双曲正切（Tanh）或S型（Sigmoid）的激活函数
• 层与层之间的稀疏连接减少计算复杂度

LeNet5中的诸多特性现在依然在state-of-the-art卷积神经网络中使用可以说LeNet5是奠定了现代卷积神经网络的基石之作。Lenet-5的结构如图5-4所示它的输入图像為32×32的灰度值图像，后面有三个卷积层一个全连接层和一个高斯连接层。它的个卷积层C1包含6个卷积核卷积核尺寸为5×5，即总共（5×5+1）×6=156个参数括号中的1代表1个bias，后面是一个2×2的平均池化层S2用来进行降采样再之后是一个Sigmoid激活函数用来进行非线性处理。而后是第二个卷積层C3同样卷积核尺寸是5×5，这里使用了16个卷积核对应16个Feature?Map。需要注意的是这里的16个Feature?Map不是全部连接到前面的6个Feature?Map的输出的，有些只連接了其中的几个Feature?Map这样增加了模型的多样性。下面的第二个池化层S4和个池化层S2一致都是2×2的降采样。接下来的第三个卷积层C5有120个卷積核卷积大小同样为5×5，因为输入图像的大小刚好也是5×5因此构成了全连接，也可以算作全连接层F6层是一个全连接层，拥有84个隐含節点激活函数为Sigmoid。LeNet-5后一层由欧式径向基函数（Euclidean?Radial?Basis?Function）单元组成它输出后的分类结果。

本节将讲解如何使用tensorflow是什么实现一个简单的卷積神经网络使用的数据集依然是MNIST，预期可以达到99.2%左右的准确率本节将使用两个卷积层加一个全连接层构建一个简单但是非常有代表性嘚卷积神经网络，读者应该能通过这个例子掌握设计卷积神经网络的要点

接下来要实现的这个卷积神经网络会有很多的权重和偏置需要創建，因此我们先定义好初始化函数以便重复使用我们需要给权重制造一些随机的噪声来打破完全对称，比如截断的正态分布噪声标准差设为0.1。同时因为我们使用ReLU也给偏置增加一些小的正值（0.1）用来避免死亡节点（dead?neurons）。

卷积层、池化层也是接下来要重复使用的因此也为他们分别定义创建函数。这里的tf.nn.conv2d是tensorflow是什么中的2维卷积函数参数中x是输入，W是卷积的参数比如[5,5,1,32]：前面两个数字代表卷积核的尺寸；第三个数字代表有多少个channel。因为我们只有灰度单色所以是1，如果是彩色的RGB图片这里应该是3。后一个数字代表卷积核的数量也就是這个卷积层会提取多少类的特征。Strides代表卷积模板移动的步长都是1代表会不遗漏地划过图片的每一个点。Padding代表边界的处理方式这里的SAME代表给边界加上Padding让卷积的输出和输入保持同样（SAME）的尺寸。tf.nn.max_pool是tensorflow是什么中的大池化函数我们这里使用2×2的大池化，即将一个2×2的像素块降为1×1的像素大池化会保留原始像素块中灰度值高的那一个像素，即保留显著的特征因为希望整体上缩小图片尺寸，因此池化层的strides也设为橫竖两个方向以2为步长如果步长还是1，那么我们会得到一个尺寸不变的图片

??????????????????????????padding='SAME')

在正式设计卷积神经网络的结构之前，先定义输入的placeholderx是特征，y_是真实的label因为卷积神经网络会利用到空间结构信息，因此需要将1D的输叺向量转为2D的图片结构即从1×784的形式转为原始的28×28的结构。同时因为只有一个颜色通道故终尺寸为[-1,28,28,1]，前面的-1代表样本数量不固定后嘚1代表颜色通道数量。这里我们使用的tensor变形函数是tf.reshape

接下来定义我们的个卷积层。我们先使用前面写好的函数进行参数初始化包括weights和bias，這里的[5,5,1,32]代表卷积核尺寸为5×51个颜色通道，32个不同的卷积核然后使用conv2d函数进行卷积操作，并加上偏置接着再使用ReLU激活函数进行非线性處理。后使用大池化函数max_pool_2x2对卷积的输出结果进行池化操作。

现在定义第二个卷积层这个卷积层基本和个卷积层一样，的不同是卷积核的数量变成了64，也就是说这一层的卷积会提取64种特征

因为前面经历了两次步长为2×2的大池化，所以边长已经只有1/4了图片尺寸由28×28变荿了7×7。而第二个卷积层的卷积核数量为64其输出的tensor尺寸即为7×7×64。我们使用tf.reshape函数对第二个卷积层的输出tensor进行变形将其转成1D的向量，然後连接一个全连接层隐含节点为1024，并使用ReLU激活函数

为了减轻过拟合，下面使用一个Dropout层Dropout的用法第4章已经讲过，是通过一个placeholder传入keep_prob比率来控制的在训练时，我们随机丢弃一部分节点的数据来减轻过拟合预测时则保留全部数据来追求好的预测性能。

后我们将Dropout层的输出连接┅个Softmax层得到后的概率输出。

我们定义损失函数为cross?entropy和之前一样，但是优化器使用Adam并给予一个比较小的学习速率1e-4。

??????????????????????????????????????????????reduction_indices=[1]))

再继续定义评测准确率的操作这里和第3章、第4章┅样。

下面开始训练过程首先依然是初始化所有参数，设置训练时Dropout的keep_prob比率为0.5然后使用大小为50的mini-batch，共进行20000次训练迭代参与训练的样本數量总共为100万。其中每100次训练我们会对准确率进行一次评测（评测时keep_prob设为1），用以实时监测模型的性能

??????????????????????????????????????????????????keep_prob: 1.0})

全部训练完成后，我们在终的测试集上进行全面的测試得到整体的分类准确率。

后这个CNN模型可以得到的准确率约为99.2%，基本可以满足对手写数字识别准确率的要求相比之前MLP的2%错误率，CNN的錯误率下降了大约60%这其中主要的性能提升都来自于更的网络设计，即卷积网络对图像特征的提取和抽象能力依靠卷积核的权值共享，CNN嘚参数量并没有爆炸降低计算量的同时也减轻了过拟合，因此整个模型的性能有较大的提升本节我们只实现了一个简单的卷积神经网絡，没有复杂的Trick接下来，我们将实现一个稍微复杂一些的卷积网络而简单的MNIST数据集已经不适合用来评测其性能，我们将使用CIFAR-10数据集进荇训练这也是深度学习可以大幅领先其他模型的一个数据集。

本节使用的数据集是CIFAR-10这是一个经典的数据集，包含60000张32×32的彩色图像其Φ训练集50000张，测试集10000张CIFAR-10如同其名字，一共标注为10类每一类图片6000张。这10类分别是airplane、automobile、bird、cat、deer、dog、frog、horse、ship和truck其中没有任何重叠的情况，比如automobile呮包括小型汽车truck只包括卡车，也不会在一张图片中同时出现两类物体它还有一个兄弟版本CIFAR-100，其中标注了100类这两个数据集是前面章节提到的深度学习之父Geoffrey?Hinton和他的两名学生Alex?Krizhevsky和Vinod?Nair收集的，图片来源于80?million?tiny?images这个数据集Hinton等人对其进行了筛选和标注。CIFAR-10数据集非常通用经瑺出现在各大会议的论文中用来进行性能对比，也曾出现在Kaggle竞赛而为大家所知图5-5所示为这个数据集的一些示例。

许多论文中都在这个数據集上进行了测试目前state-of-the-art的工作已经可以达到3.5%的错误率了，但是需要训练很久即使在GPU上也需要十几个小时。CIFAR-10数据集上详细的Benchmark和排名在classification?datasets?results上（http://rodrigob.github.io/are_we_there_yet/build/classification_datasets_results.html）据深度学习三巨头之一LeCun说，现有的卷积神经网络已经可以对CIFAR-10进行很好的学习这个数据集的问题已经解决了。本节中实现的卷積神经网络没有那么复杂（根据Alex描述的cuda-convnet模型做了些许修改得到）在只使用3000个batch（每个batch包含128个样本）时，可以达到73%左右的正确率模型在GTX?1080單显卡上大概只需要几十秒的训练时间，如果在CPU上训练则会慢很多如果使用100k个batch，并结合学习速度的decay（即每隔一段时间将学习速率下降一個比率）正确率高可以到86%左右。模型中需要训练的参数约为100万个而预测时需要进行的四则运算总量在2000万次左右。在这个卷积神经网络模型中我们使用了一些新的技巧。

• 如图5-6所示我们对图片进行了翻转、随机剪切等数据增强，制造了更多样本
• 在每个卷积-大池化层后媔使用了LRN层，增强了模型的泛化能力

然后我们载入一些常用库比如NumPy和time，并载入tensorflow是什么?ModelsΦ自动下载、读取CIFAR-10数据的类本节代码主要来自tensorflow是什么的开源实现。

这里定义初始化weight的函数和之前一样依然使用tf.truncated_normal截断的正态分布来初始囮权重。但是这里会给weight加一个L2的loss相当于做了一个L2的正则化处理。在机器学习中不管是分类还是回归任务，都可能因特征过多而导致过擬合一般可以通过减少特征或者惩罚不重要特征的权重来缓解这个问题。但是通常我们并不知道该惩罚哪些特征的权重而正则化就是幫助我们惩罚特征权重的，即特征的权重也会成为模型的损失函数的一部分可以理解为，为了使用某个特征我们需要付出loss的代价，除非这个特征非常有效否则就会被loss上的增加覆盖效果。这样我们就可以筛选出有效的特征减少特征权重防止过拟合。这也即是奥卡姆剃刀法则越简单的东西越有效。一般来说L1正则会制造稀疏的特征，大部分无用特征的权重会被置为0而L2正则会让特征的权重不过大，使嘚特征的权重比较平均我们使用wl控制L2?loss的大小，使用tf.nn.l2_loss函数计算weight的L2?loss再使用tf.multiply让L2?loss乘以wl，得到后的weight?loss接着，我们使用tf.add_to_collection把weight?loss统一存到一个collection这个collection名为“losses”，它会在后面计算神经网络的总体loss时被用上

下面使用cifar10类下载数据集，并解压、展开到其默认位置

再使用cifar10_input类中的distorted_inputs函数产苼训练需要使用的数据，包括特征及其对应的label这里返回的是已经封装好的tensor，每次执行都会生成一个batch_size的数量的样本需要注意的是我们对數据进行了Data?Augmentation（数据增强）。具体的实现细节读者可以查看cifar10_input.distorted_inputs函数，其中的数据增强操作包括随机的水平翻转（tf.image.random_flip_left_right）、随机剪切一块24×24大小嘚图片（tf.random_crop）、设置随机的亮度和对比度（tf.image.random_brightness、tf.image.random_contrast）以及对数据进行标准化tf.image.per_image_whitening（对数据减去均值，除以方差保证数据零均值，方差为1）通过這些操作，我们可以获得更多的样本（带噪声的）原来的一张图片样本可以变为多张图片，相当于扩大样本量对提高准确率非常有帮助。需要注意的是我们对图像进行数据增强的操作需要耗费大量CPU时间，因此distorted_inputs使用了16个独立的线程来加速任务函数内部会产生线程池，茬需要使用时会通过tensorflow是什么?queue进行调度

我们再使用cifar10_input.inputs函数生成测试数据，这里不需要进行太多处理不需要对图片进行翻转或修改亮度、對比度，不过需要裁剪图片正中间的24×24大小的区块并进行数据标准化操作。

????????????????????????????????????????????????data_dir=data_dir, ????????????????????????????????????????????????batch_size=batch_size)

这里创建输入数据的placeholder包括特征和label。在设定placeholder的数据尺寸时需要注意因为batch_size在之后定义网络结构时被用到了，所以数據尺寸中的个值即样本条数需要被预先设定而不能像以前一样可以设为None。而数据尺寸中的图片尺寸为24×24即是裁剪后的大小，而颜色通噵数则设为3代表图片是彩色有RGB三条通道。

做好了准备工作接下来开始创建个卷积层。先使用之前写好的variable_with_weight_loss函数创建卷积核的参数并进行初始化个卷积层使用5×5的卷积核大小，3个颜色通道64个卷积核，同时设置weight初始化函数的标准差为0.05我们不对个卷积层的weight进行L2的正则，因此wl（weight?loss）这一项设为0下面使用tf.nn.conv2d函数对输入数据image_holder进行卷积操作，这里的步长stride均设为1padding模式为SAME。把这层的bias全部初始化为0再将卷积的结果加仩bias，后使用一个ReLU激活函数进行非线性化在ReLU激活函数之后，我们使用一个尺寸为3×3且步长为2×2的大池化层处理数据注意这里大池化的尺団和步长不一致，这样可以增加数据的丰富性再之后，我们使用tf.nn.lrn函数即LRN对结果进行处理。LRN早见于Alex那篇用CNN参加ImageNet比赛的论文Alex在论文中解釋LRN层模仿了生物神经系统的“侧抑制”机制，对局部神经元的活动创建竞争环境使得其中响应比较大的值变得相对更大，并抑制其他反饋较小的神经元增强了模型的泛化能力。Alex在ImageNet数据集上的实验表明使用LRN后CNN在Top1的错误率可以降低1.4%，因此在其经典的AlexNet中使用了LRN层LRN对ReLU这种没囿上限边界的激活函数会比较有用，因为它会从附近的多个卷积核的响应（Response）中挑选比较大的反馈但不适合Sigmoid这种有固定边界并且能抑制過大值的激活函数。

现在来创建第二个卷积层这里的步骤和步很像，区别如下上一层的卷积核数量为64（即输出64个通道），所以本层卷積核尺寸的第三个维度即输入的通道数也需要调整为64；还有一个需要注意的地方是这里的bias值全部初始化为0.1而不是0。后我们调换了大池囮层和LRN层的顺序，先进行LRN层处理再使用大池化层。

???????????????????????padding='SAME')

在两个卷积层之后将使用一个铨连接层，这里需要先把前面两个卷积层的输出结果全部flatten使用tf.reshape函数将每个样本都变成一维向量。我们使用get_shape函数获取数据扁平化之后的長度。接着使用variable_with_weight_loss函数对全连接层的weight进行初始化这里隐含节点数为384，正态分布的标准差设为0.04bias的值也初始化为0.1。需要注意的是我们希望这個全连接层不要过拟合因此设了一个非零的weight?loss值0.04，让这一层的所有参数都被L2正则所约束后我们依然使用ReLU激活函数进行非线性化。

接下來的这个全连接层和前一层很像只不过其隐含节点数下降了一半，只有192个其他的参数保持不变。

下面是后一层依然先创建这一层的weight，其正态分布标准差设为上一个隐含层的节点数的倒数并且不计入L2的正则。需要注意的是这里不像之前那样使用softmax输出后结果，这是因為我们把softmax的操作放在了计算loss的部分我们不需要对inference的输出进行softmax处理就可以获得终分类结果（直接比较inference输出的各类的数值大小即可），计算softmax主要是为了计算loss因此softmax操作整合到后面是比较合适的。

到这里就完成了整个网络inference的部分梳理整个网络结构可以得到表5-1。从上到下依次昰整个卷积神经网络从输入到输出的流程。可以观察到其实设计CNN主要就是安排卷积层、池化层、全连接层的分布和顺序，以及其中参数嘚设置、Trick的使用等设计性能良好的CNN是有一定规律可循的，但是想要针对某个问题设计合适的网络结构是需要大量实践摸索的。

????????????????????????????????????????name='cross_entropy')

使用tf.nn.in_top_k函数求输出结果中top?k嘚准确率默认使用top?1，也就是输出分数高的那一类的准确率

这一步是启动前面提到的图片数据增强的线程队列，这里一共使用了16个线程来进行加速注意，如果这里不启动线程那么后续的inference及训练的操作都是无法开始的。

现在正式开始训练在每一个step的训练过程中，我們需要先使用session的run方法执行images_train、labels_train的计算获得一个batch的训练数据，再将这个batch的数据传入train_op和loss的计算我们记录每一个step花费的时间，每隔10个step会计算并展示当前的loss、每秒钟能训练的样本数量以及训练一个batch数据所花费的时间，这样就可以比较方便地监控整个训练过程在GTX?1080上，每秒钟可鉯训练大约1800个样本如果batch_size为128，则每个batch大约需要0.066s损失loss在一开始大约为4.6，在经过了3000步训练后会下降到1.0附近

接下来评测模型在测试集上的准確率。测试集一共有10000个样本但是需要注意的是，我们依然要像训练时那样使用固定的batch_size然后一个batch一个batch地输入测试数据。我们先计算一共偠多少个batch才能将全部样本评测完同时，在每一个step中使用session的run方法获取images_test、labels_test的batch再执行top_k_op计算模型在这个batch的top?1上预测正确的样本数。后汇总所有預测正确的结果求得全部测试样本中预测正确的数量。

后将准确率的评测结果计算并打印出来

终，在CIFAR-10数据集上通过一个短时间小迭玳次数的训练，可以达到大致73%的准确率持续增加max_steps，可以期望准确率逐渐增加如果max_steps比较大，则推荐使用学习速率衰减（decay）的SGD进行训练這样训练过程中能达到的准确率峰值会比较高，大致接近86%而其中L2正则及LRN层的使用都对模型准确率有提升作用，他们都可以从某些方面提升模型的泛化性

数据增强（Data?Augmentation）在我们的训练中作用很大，它可以给单幅图增加多个副本提高图片的利用率，防止对某一张图片结构嘚学习过拟合这刚好是利用了图片数据本身的性质，图片的冗余信息量比较大因此可以制造不同的噪声并让图片依然可以被识别出来。如果神经网络可以克服这些噪声并准确识别那么它的泛化性必然会很好。数据增强大大增加了样本量而数据量的大小恰恰是深度学習看重的，深度学习可以在图像识别上领先其他算法的一大因素就是它对海量数据的利用效率非常高用其他算法，可能在数据量大到一萣程度时准确率就不再上升了，而深度学习只要提供足够多的样本准确率基本可以持续提升，所以说它是适合大数据的算法如图5-6所礻，传统的机器学习算法在获取了一定量的数据后准确率上升曲线就接近瓶颈，而神经网络则可以持续上升到更高的准确率才接近瓶颈规模越大越复杂的神经网络模型，可以达到的准确率水平越高但是也相应地需要更多的数据才能训练好，在数据量小时反而容易过拟匼我们可以看到Large?NN在数据量小的时候，并不比常规算法好直到数据量持续扩大才慢慢越了常规算法、Small?NN和Medium?NN，并在后达到了一个非常高的准确率根据Alex在cuda-convnet上的测试结果，如果不对CIFAR-10数据使用数据增强那么错误率低可以下降到17%；使用数据增强后，错误率可以下降到11%左右模型性能的提升非常显著。

从本章的例子中可以发现卷积层一般需要和一个池化层连接，卷积加池化的组合目前已经是做图像识别时的一个标准组件了卷积网络后的几个全连接层的作用是输出分类结果，前面的卷积层主要做特征提取的工作直到后的全连接层才开始对特征进行组合匹配，并进行分类卷积层的训练相对于全连接层更复杂，训练铨连接层基本是进行一些矩阵乘法运算而目前卷积层的训练基本依赖于cuDNN的实现（另有nervana公司的neon也占有一席之地）。其中的算法相对复杂囿些方法（比如Facebook开源的算法）还会涉及傅里叶变换。同时卷积层的使用有很多Trick，除了本章提到的方法实际上有很多方法可以防止CNN过拟匼，加快收敛速度或者提高泛化性这些会在后续章节中讲解。