爱吧机器人网 » 技术 > 神经网络 > 正文

卷积神经网络(CNN)的参数优化方法

    注明: 本文是从 Michael Nielsen的电子书Neural Network and Deep Learning的深度学习那一章的卷积神经网络的参数优化方法的一些总结和摘录,并不是我自己的结论和做实验所得到的结果。我想Michael的实验结果更有说服力一些。本书在github上有中文翻译的版本,
 
    前言
 
    最近卷积神经网络(CNN)很火热,它在图像分类领域的卓越表现引起了大家的广泛关注。本文总结和摘录了Michael Nielsen的那本Neural Network and Deep Learning一书中关于深度学习一章中关于提高泛化能力的一些概述和实验结果。力争用数据给大家一个关于正则化,增加卷积层/全连接数,弃权技术,拓展训练集等参数优化方法的效果。
 
    本文并不会介绍正则化,弃权(Dropout), 池化等方法的原理,只会介绍它们在实验中的应用或者起到的效果,更多的关于这些方法的解释请自行查询。
 
    mnist数据集介绍
 
    本文的实验是基于mnist数据集合的,mnist是一个从0到9的手写数字集合,共有60,000张训练图片,10,000张测试图片。每张图片大小是28*28大小。我们的实验就是构建一个神经网络来高精度的分类图片,也就是提高泛化能力。

mnist
 
    提高泛化能力的方法
 
    一般来说,提高泛化能力的方法主要有以下几个:
 
    下面我们通过实验结果给这些参数优化理论一个直观的结果
 
    1. 普通的全连接神经网络的效果
 
    我们使用一个隐藏层,包含100个隐藏神经元,输入层是784,输出层是one-hot编码的形式,最后一层是Softmax层。训练过程采用对数似然代价函数,60次迭代,学习速率η=0.1,随机梯度下降的小批量数据大小为10,没有正则化。在测试集上得到的结果是97.8%,代码如下:
 
    >>> import network3
 
    >>> from network3 import Network
 
    >>> from network3 import ConvPoolLayer, FullyConnectedLayer, SoftmaxLayer
 
    >>> training_data, validation_data, test_data = network3.load_data_shared()
 
    >>> mini_batch_size = 10
 
    >>> net = Network([
 
    FullyConnectedLayer(n_in=784, n_out=100),
 
    SoftmaxLayer(n_in=100, n_out=10)], mini_batch_size)
 
    >>> net.SGD(training_data, 60, mini_batch_size, 0.1,
 
    validation_data, test_data)
 
    2.使用卷积神经网络 — 仅一个卷积层
 
    输入层是卷积层,5*5的局部感受野,也就是一个5*5的卷积核,一共20个特征映射。最大池化层选用2*2的大小。后面是100个隐藏神经元的全连接层。结构如图所示
CNN结构
    在这个架构中,我们把卷积层和chihua层看做是学习输入训练图像中的局部感受野,而后的全连接层则是一个更抽象层次的学习,从整个图像整合全局信息。也是60次迭代,批量数据大小是10,学习率是0.1.代码如下,
 
    >>> net = Network([
 
    ConvPoolLayer(image_shape=(mini_batch_size, 1, 28, 28),
 
    filter_shape=(20, 1, 5, 5),
 
    poolsize=(2, 2)),
 
    FullyConnectedLayer(n_in=20*12*12, n_out=100),
 
    SoftmaxLayer(n_in=100, n_out=10)], mini_batch_size)
 
    >>> net.SGD(training_data, 60, mini_batch_size, 0.1,
 
    validation_data, test_data)
 
    经过三次运行取平均后,准确率是98.78%,这是相当大的改善。错误率降低了1/3,。卷积神经网络开始显现威力。
 
    3.使用卷积神经网络 — 两个卷积层
 
    我们接着插入第二个卷积-混合层,把它插入在之前的卷积-混合层和全连接层之间,同样的5*5的局部感受野,2*2的池化层。
 
    >>> net = Network([
 
    ConvPoolLayer(image_shape=(mini_batch_size, 1, 28, 28),
 
    filter_shape=(20, 1, 5, 5),
 
    poolsize=(2, 2)),
 
    ConvPoolLayer(image_shape=(mini_batch_size, 20, 12, 12),
 
    filter_shape=(40, 20, 5, 5),
 
    poolsize=(2, 2)),
 
    FullyConnectedLayer(n_in=40*4*4, n_out=100),
 
    SoftmaxLayer(n_in=100, n_out=10)], mini_batch_size)
 
    >>> net.SGD(training_data, 60, mini_batch_size, 0.1,
 
    validation_data, test_data)
 
    这一次,我们拥有了99.06%的准确率。
 
    4.使用卷积神经网络 — 两个卷积层+线性修正单元(ReLU)+正则化
 
    上面我们使用的Sigmod激活函数,现在我们换成线性修正激活函数ReLU
 
    f(z)=max(0,z),我们选择60个迭代期,学习速率η=0.03, ,使用L2正则化,正则化参数λ=0.1,代码如下
 
    >>> from network3 import ReLU
 
    >>> net = Network([
 
    ConvPoolLayer(image_shape=(mini_batch_size, 1, 28, 28),
 
    filter_shape=(20, 1, 5, 5),
 
    poolsize=(2, 2),
 
    activation_fn=ReLU),
 
    ConvPoolLayer(image_shape=(mini_batch_size, 20, 12, 12),
 
    filter_shape=(40, 20, 5, 5),
 
    poolsize=(2, 2),
 
    activation_fn=ReLU),
 
    FullyConnectedLayer(n_in=40*4*4, n_out=100, activation_fn=ReLU),
 
    SoftmaxLayer(n_in=100, n_out=10)], mini_batch_size)
 
    >>> net.SGD(training_data, 60, mini_batch_size, 0.03,
 
    validation_data, test_data, lmbda=0.1)
 
    这一次,我们获得了99.23%的准确率,超过了S型激活函数的99.06%. ReLU的优势是max(0,z)中z取最大极限时不会饱和,不像是S函数,这有助于持续学习。
 
    5.使用卷积神经网络 — 两个卷基层+线性修正单元(ReLU)+正则化+拓展数据集
 
    拓展训练集数据的一个简单方法是将每个训练图像由一个像素来代替,无论是上一个像素,下一个像素,或者左右的像素。其他的方法也有改变亮度,改变分辨率,图片旋转,扭曲,位移等。
 
    我们把50,000幅图像人为拓展到250,000幅图像。使用第4节一样的网络,因为我们是在训练5倍的数据,所以减少了过拟合的风险。
 
    >>> expanded_training_data, _, _ = network3.load_data_shared(
 
    "../data/mnist_expanded.pkl.gz")
 
    >>> net = Network([
 
    ConvPoolLayer(image_shape=(mini_batch_size, 1, 28, 28),
 
    filter_shape=(20, 1, 5, 5),
 
    poolsize=(2, 2),
 
    activation_fn=ReLU),
 
    ConvPoolLayer(image_shape=(mini_batch_size, 20, 12, 12),
 
    filter_shape=(40, 20, 5, 5),
 
    poolsize=(2, 2),
 
    activation_fn=ReLU),
 
    FullyConnectedLayer(n_in=40*4*4, n_out=100, activation_fn=ReLU),
 
    SoftmaxLayer(n_in=100, n_out=10)], mini_batch_size)
 
    >>> net.SGD(expanded_training_data, 60, mini_batch_size, 0.03,
 
    validation_data, test_data, lmbda=0.1)
 
    这次的到了99.37的训练正确率。
 
    6.使用卷积神经网络 — 两个卷基层+线性修正单元(ReLU)+正则化+拓展数据集+继续插入额外的全连接层
 
    继续上面的网络,我们拓展全连接层的规模,300个隐藏神经元和1000个神经元的额精度分别是99.46%和99.43%.
 
    我们插入一个额外的全连接层
 
    >>> net = Network([
 
    ConvPoolLayer(image_shape=(mini_batch_size, 1, 28, 28),
 
    filter_shape=(20, 1, 5, 5),
 
    poolsize=(2, 2),
 
    activation_fn=ReLU),
 
    ConvPoolLayer(image_shape=(mini_batch_size, 20, 12, 12),
 
    filter_shape=(40, 20, 5, 5),
 
    poolsize=(2, 2),
 
    activation_fn=ReLU),
 
    FullyConnectedLayer(n_in=40*4*4, n_out=100, activation_fn=ReLU),
 
    FullyConnectedLayer(n_in=100, n_out=100, activation_fn=ReLU),
 
    SoftmaxLayer(n_in=100, n_out=10)], mini_batch_size)
 
    >>> net.SGD(expanded_training_data, 60, mini_batch_size, 0.03,
 
    validation_data, test_data, lmbda=0.1)
 
    这次取得了99.43%的精度。拓展后的网络并没有帮助太多。
 
    7.使用卷积神经网络 — 两个卷基层+线性修正单元(ReLU)+拓展数据集+继续插入额外的全连接层+弃权技术
 
    弃权的基本思想就是在训练网络时随机的移除单独的激活值,使得模型对单独的依据丢失更为强劲,因此不太依赖于训练数据的特质。我们尝试应用弃权技术到最终的全连接层(不是在卷基层)。这里,减少了迭代期的数量为40个,全连接层使用1000个隐藏神经元,因为弃权技术会丢弃一些神经元。Dropout是一种非常有效有提高泛化能力,降低过拟合的方法!
 
    >>> net = Network([
 
    ConvPoolLayer(image_shape=(mini_batch_size, 1, 28, 28),
 
    filter_shape=(20, 1, 5, 5),
 
    poolsize=(2, 2),
 
    activation_fn=ReLU),
 
    ConvPoolLayer(image_shape=(mini_batch_size, 20, 12, 12),
 
    filter_shape=(40, 20, 5, 5),
 
    poolsize=(2, 2),
 
    activation_fn=ReLU),
 
    FullyConnectedLayer(
 
    n_in=40*4*4, n_out=1000, activation_fn=ReLU, p_dropout=0.5),
 
    FullyConnectedLayer(
 
    n_in=1000, n_out=1000, activation_fn=ReLU, p_dropout=0.5),
 
    SoftmaxLayer(n_in=1000, n_out=10, p_dropout=0.5)],
 
    mini_batch_size)
 
    >>> net.SGD(expanded_training_data, 40, mini_batch_size, 0.03,
 
    validation_data, test_data)
 
    使用弃权技术,的到了99.60%的准确率。
 
    8.使用卷积神经网络 — 两个卷基层+线性修正单元(ReLU)+正则化+拓展数据集+继续插入额外的全连接层+弃权技术+组合网络
 
    组合网络类似于随机森林或者adaboost的集成方法,创建几个神经网络,让他们投票来决定最好的分类。我们训练了5个不同的神经网络,每个都大到了99.60%的准去率,用这5个网络来进行投票表决一个图像的分类。
 
    采用这个方法,达到了99.67%的准确率。
 
    总结
 
    卷积神经网络 的一些技巧总结如下:
 
    1. 使用卷积层极大地减小了全连接层中的参数的数目,使学习的问题更容易
 
    2. 使用更多强有力的规范化技术(尤其是弃权和卷积)来减小过度拟合,
 
    3. 使用修正线性单元而不是S型神经元,来加速训练-依据经验,通常是3-5倍,
 
    4. 使用GPU来计算
 
    5. 利用充分大的数据集,避免过拟合
 
    6. 使用正确的代价函数,避免学习减速
 
    7. 使用好的权重初始化,避免因为神经元饱和引起的学习减速
 


上一篇:重磅论文 | 动态神经网络工具包DyNet比Theano和TensorFlow更快
下一篇:人工神经网络技术解码人类行为和想象时的大脑活动信号
精选推荐
机器人工程师具体都做什么?
机器人工程师具体都做什么?

[2017-12-08]  机器人工程师是幕后设计师,负责创建机器人和机器人系统,能够执行人类无法完成或不愿意完成的任务。 通过他们的创造,机器人工程师帮助工作更安全,更轻松,更高效,特别是......

2017年:AI渗入云端
2017年:AI渗入云端

[2017-12-29]  云中的人工智能不仅仅是科技巨头的权力游戏,它也可能是人工智能领域的下一个飞跃。加利福尼亚州的Rigetti Computing公司刚刚使用其原型量子芯片之一在其云平台上运行机器学......

谷歌《Nature》发论文称实现量子霸权 18亿倍速碾压世界最强超算
谷歌《Nature》发论文称实现量子霸权 18亿倍速碾压世界最强超算

[2019-10-23]  谷歌坚称自己已经取得了量子霸权——这标志着计算研究领域的一个重要里程碑。谷歌首次发布声明是在今年9月,虽然遭到竞争对手的质疑,但就 ...

集群机器人领域最新研究:一种用于探测未知环境的微型无人机群
集群机器人领域最新研究:一种用于探测未知环境的微型无人机群

[2019-10-26]  (图:无人机扩散至不同方向来探索环境。当一个无人机注意到另一个无人机在它的首选方向,它将试图飞到另一个方向。若首选方向冲突,低优先 ...

机器人灵巧手将成为智能机器人的下一个重大突破
机器人灵巧手将成为智能机器人的下一个重大突破

[2018-01-25]  计算机科学教授兼东北地区助手机器人实验室负责人罗伯特·普拉特(Robert Platt)说:“机器人手操作是下一步要解决的问题。想象一下,一个机器人可以在现实世界中用手去做事......

科学家从蟑螂获得启发 教机器人更好地走路
科学家从蟑螂获得启发 教机器人更好地走路

[2017-12-11]  Weihmann指出:“我特别感到惊讶的是,动物运动稳定机制的变化与腿部协调的变化是一致的。昆虫的慢运行非常稳定,因为它的重心很低,三条腿总是以协调的方式运动。...

MIT最新“人机”互连系统 让双腿机器人复制人体技能
MIT最新“人机”互连系统 让双腿机器人复制人体技能

[2019-11-01]  MIT的小爱马仕想借用你的大脑 ,图片来自: João Ramos爱吧机器人网消息,麻省理工学院(MIT)的研究人员展示了一种新型遥操作系 ...

亚马逊计划建一个4000万美元的机器人中心
亚马逊计划建一个4000万美元的机器人中心

[2019-11-07]  爱吧机器人网消息,亚马逊11月6日宣布了一项计划,计划在美国马萨诸塞州韦斯特伯勒建立一个4000万美元、35万平方英尺的机器人创新中心。新 ...

本周栏目热点

飞桨火力全开,重磅上线3D模型:PointNet++、PointRCNN!

[2020-03-26]  11 年前的「阿凡达」让少年的我们第一次戴上 3D 眼镜,声势浩大的瀑布奔流而下,星罗棋布飘浮在空中的群山,无一不体现着对生命的敬意, ...

从基础概念到数学公式,这是一份520页的机器学习笔记(图文并茂)

[2018-06-19]  近日,来自SAP(全球第一大商业软件公司)的梁劲(Jim Liang)公开了自己所写的一份 520 页的学习教程(英文版),详细、明了地介绍了机器学习中的相关概念、数学知识和各......

50行代码玩转生成对抗网络GAN模型!(附源码)

[2018-07-30]  本文为大家介绍了生成对抗网络(Generate Adversarial Network,GAN),以最直白的语言来讲解它,最后实现一个简单的 GAN 程序来帮助大家加深理解。...

神经网络和模糊逻辑的工作流

[2016-11-20]   行业观察 神经网络 和模糊逻辑的工作流 null 来源:神州数码erp 发布时间: 2009-10-14 9:06:01 关键词: 工作流,协同,B2B,OA  以下 ...

深度神经网络揭示了大脑喜欢看什么

[2019-11-06]  爱吧机器人网编者按:近日,《自然-神经科学》发表了一篇论文,研究人员创建了一种深度人工神经网络,能够准确预测生物大脑对视觉刺激所产 ...