爱吧机器人网 » 技术 > 神经网络 > 正文

改进PSO算法优化BP神经网络权值算法研究

  黄希敏(陕西教育学院    陕西 西安 710061)

  BP(Back Propagation) 神经网络 是一种多层前馈 神经网络 ,该网络的主要特点是信号前向传递,误差反向传播。在理论上,BP 神经网络 可以逼近任意连续的非线性关系,但是,由于BP 神经网络 的误差代价函数是全体连接权值的一个复杂函数,因此,优化权值过程中必然会存在两个问题:(1)寻优的参数过多,造成收敛速度慢;(2)误差代价复杂函数可能存在的多个极值点,可能会造成寻优过程陷入局部极值。针对这些问题,文章采用改进PSO 算法 来优化BP 神经网络 权值,通过Hermit逼近试验,对BP 算法 和改进PSO优化BP 神经网络 权值 算法 进行了对比,结果表明,改进PSO优化BP 神经网络 权值具有更好的收敛性和更快的速度;

  1.标准PSO 算法
 

google_ad_client = "pub-7146298249870528"; google_ad_slot = "5881119442"; google_ad_width = 300; google_ad_height = 250;   粒子群 算法 (Partical Swarm Optimization),缩写为 PSO,是由Eberhart博士和kennedy博士于1995年发明。源于对鸟群捕食的行为研究。

  PSO 算法 从鸟群捕食问题中得到启示并用于解决优化问题。PSO中,每个待优化问题的解被规定为空间中的一只鸟,我们称之为“粒子”。所有的粒子都有一个由待优化问题决定的适应值,每个粒子还有一个速度决定了它们搜索的方向和距离。PSO初始化这样一群随机粒子(随机解),然后通过迭代找到最优解。在每一次迭代过程中,粒子通过跟踪两个“极值”来更新自己。第一个“极值”就是粒子本身所找到的最优解,另一个“极值”就是整个粒子群体到目前为止找到的最优解。更新的公式如下:

  速度更新:

      (1)

  位置更新:

      (2)

  其中,表示第 个粒子;表示第个粒子的第 维;和为学习因子,也称为加速常数, 和 为 范围内的均匀随机数。 为时刻粒子的速度,为时刻粒子的位置。

  2. PSO 算法 的改进策略

  PSO的改进策略是通过一个惯性权重 来协调PSO 算法 的全局搜索(在整个搜索空间中搜索)和局部搜索(在局部近优解附近搜索)能力。具体做法是将基本PSO的速度方程修改为下式,而位置方程不变。

  (3)

  惯性权重决定了粒子先前飞行速度对当前飞行速度的影响程度,因此通过调整惯性权重的值可以实现全局搜索和局部搜索之间的平衡:当惯性权重值较大时,全局搜索能力强,局部搜索能力弱,这样有利于全局搜索,提高了收敛速度,但是不易得到最优解;当惯性权重值较小时,局部搜索能力强,全局搜索能力弱,这样有利于局部搜索,但收敛速度慢且有时会陷入局部极值。因此,恰当的惯性权重可以提高 算法 性能,提高寻优能力,同时减少迭代次数。

  根据惯性权重的选择策略,本文采用非线性动态的惯性权重方法。下式为非线性动态的惯性权重 的计算的公式:

     (4)

  式中,随着迭代次数的增加而非线性递减,使 算法 在初期具有较强的全局搜索能力,迅速地在整个搜索空间遍历后,局部搜索能力不断增强,在可能的最优解领域内进行搜索,在提高 算法 收敛性能的同时有效地避免陷入局部最优。 为控制因子,控制 和 变化曲线的平滑度。可以通过试验调整 值以满足实际问题对PSO 算法 性能的要求。

  3 .改进PSO优化 神经网络 权值

  改进PSO 算法 优化BP 神经网络 权值问题描述。采用改进PSO训练 神经网络 时,首先应将BP网络中所有神经元之间的连接权值编码成实数码串来表示一个粒子个体。假设BP网络中包含了M个待优化的权值(包括连接权值和阈值),则每个粒子个体将由M个权值参数组成的一个向量来表示。

  初始化粒子群。初始化粒子群的规模、最大迭代次数、粒子个体极值等相关参数,并按照粒子群规模随机产生一定数量的粒子个体。初始化粒子的位置、速度。同时初始化粒子个体极值和粒子群体极值。

  粒子群迭代训练 神经网络 权值及适应度函数。由以上描述可以知道,粒子群中每个个体的分量都映射为BP 神经网络 的权值,也就是说每个粒子个体都代表了一个 神经网络 。粒子群的迭代过程就是对BP 神经网络 权值的优化过程。在BP 神经网络 的优化过程中,给定的样本空间往往要分为两部分:一部分作为训练样本,称为训练样本集;一部分作为测试样本,称为测试样本集。

  粒子群优化 神经网络 过程中,计算每一个BP 神经网络 在训练集上产生的均方误差,并以此作为适应度函数,用来计算粒子个体的适应度值。

  (5)

  其中,为第 组输入样本, ;为输入 样本的第 个输出, 为为输入 样本的第 个输出的期望值, 。

  MPSO-BP 算法 终止条件。MPSO-BP 算法 终止条件设定为两个,满足任意一个条件 算法 即终止:第一个条件是 算法 到达最大迭代次数;第二个条件是适应度值小于给定的适应度值。

  4 .仿真研究

  为了说明改进PSO优化BP 神经网络 权值方法优越性,进行仿真实验,并且与BP 算法 进行比较。

  Hermit多项式逼近

  (6)式(6)为Hermit多项式的数据表达式。为了达到实验的目的,在 区间随机采样100个实数值及其对应的函数值作为训练的输出样本,再以0.06为步长在 区间采样101个实数值及其对应的函数值作为BP网络的测试样本集。BP网络结构取 。因此,待优化的参数为15个,即改进PSO 算法 中的粒子群的维数为15。粒子数取50,学习因子 ,惯性权重函数的 ,最大迭代次数2000,取目标误差 。基于Matlab软件的测试结果如下图。

  由实验结果明显可以看出,该文原载于中国社会科学院文献信息中心主办的《环球市场信息导报》杂志总第459期2012年第22期-----转载须注名来源 虽然两种 算法 都没有完全的逼近Hermit曲线,但是从整体的逼近效果来看,改进PSO优化BP 神经网络 的逼近效果明显优于BP 算法 ,且收敛速度也远远快于BP 算法 。改进PSO优化BP 神经网络 算法 的分类准确到达93%以上,且收敛速度很快,说明改进PSO优化BP 神经网络 算法 具有较好的性能。

上一页12下一页

上一篇:双色球神经网络预测系统
下一篇:人工神经网络为数控机床装上大脑
精选推荐
苹果AI主管透露自动驾驶汽车项目关于机器学习方面的进展
苹果AI主管透露自动驾驶汽车项目关于机器学习方面的进展

[2017-12-11]  苹果隐秘的自动驾驶汽车项目多年来一直在转移焦点,但今年似乎正在加速。 4月份,公司获得了在加利福尼亚州进行自动驾驶汽车测试的许可证,而在6月份,苹果公司首席执行官库......

[2018-01-26]  纽约时报的报道,德国的研究人员已经开发出一种长约七分之一英寸的机器人,首先看起来不过是一小块橡皮条。然后它开始移动。机器人走路,跳跃,爬行,滚动和游泳。它甚至爬出......

谷歌《Nature》发论文称实现量子霸权 18亿倍速碾压世界最强超算
谷歌《Nature》发论文称实现量子霸权 18亿倍速碾压世界最强超算

[2019-10-23]  谷歌坚称自己已经取得了量子霸权——这标志着计算研究领域的一个重要里程碑。谷歌首次发布声明是在今年9月,虽然遭到竞争对手的质疑,但就 ...

通过对抗性图像黑入大脑
通过对抗性图像黑入大脑

[2018-03-02]  在上面的图片中,左边是一张猫的照片。在右边,你能分辨出它是同一只猫的图片,还是一张看起来相似的狗的图片?这两张图片之间的区别在于, ...

如何让人工智能机器人快速自我纠正错误并吃一堑长一智?
如何让人工智能机器人快速自我纠正错误并吃一堑长一智?

[2017-08-23]  莱斯特大学数学系的研究人员在《Neural Networks》杂志上发表了一篇文章,概述了新算法的数学基础,可以使人工智能收集错误报告并立即纠正,而不影响现有技能 ,同时还会积......

人工智能民主化能否实现取决于科技巨头
人工智能民主化能否实现取决于科技巨头

[2017-12-29]  我们经常听到像谷歌和微软这样的公司说他们希望人工智能民主化。这是一个很好的词,民主化。 但这些公司如何界定“民主化”还不清楚,像AI本身一样,它似乎有点炒作的味道...

集群机器人领域最新研究:一种用于探测未知环境的微型无人机群
集群机器人领域最新研究:一种用于探测未知环境的微型无人机群

[2019-10-26]  (图:无人机扩散至不同方向来探索环境。当一个无人机注意到另一个无人机在它的首选方向,它将试图飞到另一个方向。若首选方向冲突,低优先 ...

美国Natilus公司试飞水上无人货机 设计简单成本降低
美国Natilus公司试飞水上无人货机 设计简单成本降低

[2017-12-28]  Natilus创业公司成立于2014年,其梦想是建造大型无人机,以半价提供比船舶快得多国际货运。在十二月份,Natilus计划在旧金山湾测试一个9米翼展的小型原型无人机的水上滑行能力......

本周栏目热点

飞桨火力全开,重磅上线3D模型:PointNet++、PointRCNN!

[2020-03-26]  11 年前的「阿凡达」让少年的我们第一次戴上 3D 眼镜,声势浩大的瀑布奔流而下,星罗棋布飘浮在空中的群山,无一不体现着对生命的敬意, ...

从基础概念到数学公式,这是一份520页的机器学习笔记(图文并茂)

[2018-06-19]  近日,来自SAP(全球第一大商业软件公司)的梁劲(Jim Liang)公开了自己所写的一份 520 页的学习教程(英文版),详细、明了地介绍了机器学习中的相关概念、数学知识和各......

50行代码玩转生成对抗网络GAN模型!(附源码)

[2018-07-30]  本文为大家介绍了生成对抗网络(Generate Adversarial Network,GAN),以最直白的语言来讲解它,最后实现一个简单的 GAN 程序来帮助大家加深理解。...

神经网络和模糊逻辑的工作流

[2016-11-20]   行业观察 神经网络 和模糊逻辑的工作流 null 来源:神州数码erp 发布时间: 2009-10-14 9:06:01 关键词: 工作流,协同,B2B,OA  以下 ...

深度神经网络揭示了大脑喜欢看什么

[2019-11-06]  爱吧机器人网编者按:近日,《自然-神经科学》发表了一篇论文,研究人员创建了一种深度人工神经网络,能够准确预测生物大脑对视觉刺激所产 ...