爱吧机器人网 » 技术 > 神经网络 > 正文

一种RBF神经网络的自适应学习算法

引言
    径向基函数(Radial Basis Function,RBF)神经网络具有结构简单,学习速度快等优点,在函数逼近、系统辨识、模式识别等领域得到了广泛应用
    构造RBF网络的关键是合理选取径向基函数的数量和中心向量。目前,比较常用的方法主要有K均值聚类法、C-Means算法等。这些方法都是在人为确定径向基函数的数量和初始向量之后,采用基于欧氏距离的最近邻方法来实现聚类的。对于类间距离大,类内距离小的样本可以得到比较不错的结果,而对于类间交错较大,类内距离大的情形,这种方法的分类能力将严重减弱,从而不利于网络的泛化应用。另外,网络的训练过程和工作过程完全独立,如果外部环境发生变化,系统的特性会随之发生变化,由此需要重新对网络进行训练,这使问题变得更加复杂,也使网络的应用领域受到限制。
    针对以上算法存在的问题,本文提出了一种RBF网络的自适应学习算法。该算法事先不需要确定RBF的数量和中心向量,而是在学习过程中,根据误差在输入空间的分布,自适应地增加RBF的数量,并适当调节中心向量。为了不使RBF的数量过于膨胀,还制定了相应的删除策略,该策略通过综合评价每个RBF对网络所作的贡献,然后删除贡献小的RBF,使网络结构始终保持简洁。

1 RBF神经网络
    RBF网络是一种三层前馈网络,由输入层、输出层和隐层组成。其中,输入层和输出层皆由线性神经元组成;隐层的激活函数(核函数)采用中心径向对称衰减的非负非线性函数,其作用是对输入信号在局部产生响应。输入层与隐层之间的权值固定为1,只有隐层与输出层之间的权值可调。
    设输入矢量x=(x1,x2,…,xn)T,隐层节点个数为m,RBF网络的输出可表示为:
    \
    式中:ωi是第i个隐层节点与输出层之间的权值;φi(‖x—ci‖),i=1,2,…,m为隐层激活函数。通常采用如下高斯函数:
    \
    式中:σi和ci分别表示该隐层节点的宽度和中心矢量;‖·‖是欧氏范数。

2 RBF网络自适应学习算法
    RBF选取得越多,网络的逼近精度越高,但同时也会使网络的泛化能力下降,因此,在满足一定逼近精度的条件下,应选取尽可能少的中心向量,以保证网络有较好的泛化能力。本文提出的算法,根据网络的输出误差在输入空间的非均匀分布,以及每个RBF对网络所作贡献的大小,通过相应的添加和删除策略对网络参数进行自适应调整,使网络的逼近性能和泛化能力都达到较高的要求。同时,网络的训练和工作可以交替进行,所以它能够适应外界环境的缓慢变化。
2.1 添加策略
   
添加策略综合考虑了网络输出误差在输入空间的非均匀分布。需要统计每个输入矢量产生的输出误差,然后通过比较找出误差相对较大的点,再在这些点附近适当地插入隐层节点。
    设(xk,yk),k=1,2,…,N是一组训练样本,初始时刻,隐层节点数为零,每次执行添加操作,依据以下准则判断是否添加隐层节点:
    \
    式中:\是网络输出均方误差;ck,nearest和xk,nearest分别对应与输入向量xk最接近的隐层节点中心和输入向量。如果满足添加条件,则将(xk+xk,nearest)/2设为新的隐层节点中心,将ek设为新节点的权值,中心宽度取\
2.2 删除策略
   
由于RBF神经网络是一种局部感知场网络,网络总的输出取决于隐层与输出层之间的权值和隐层节点中心与输入矢量之间的距离。进行训练时,所选取的训练样本相对比较稀疏。当某一个隐层节点中心离每一个输入矢量都很远时,即使其权值是一个较大的数,也不会对输出产生太大的影响。在训练结束后进行检验的过程中,检验的数据一般都比较密集,若某些输入矢量离该隐层中心较近,则输出会受到很大的影响,这使网络的泛化能力变差。因此需要制定一种策略来删除这样的隐层节点,由此引入了删除策略。
    删除策略是针对每个隐层节点对整个网络所作贡献的大小不同而提出的。贡献大的节点,继续保留;贡献小的节点,则删除。对任意隐层节点i,用Ai来表示它对整个网络所作的贡献。Ai定义为:
    \
    执行删除操作前,先对Ai进行归一化处理,即\。最后的判断规则为:若\,则删除第i个隐层节点,其中θ为判决门限。
    在采用梯度下降法调整隐层节点中心位置和权值的过程中,需要计算每个输入矢量对应的输出误差ek,以及每个隐层节点的输出值φ(‖xk-ci‖)。而执行添加和删除操作时也需要计算ek和φ(‖xk-ci‖)。为了减小计算量,提高运算效率,可以在调整隐层的中心位置和权值的过程中先保存ek和φ(‖xk-ci‖)的值。
2.3 算法流程
   
自适应RBF神经网络学习算法的具体流程如图1所示。对RBF进行训练之前,先确定最大训练次数M和训练允许误差Er,作为训练结束的条件。

\

上一页12下一页

上一篇:基于优化神经网络的三相全控整流电路故障诊断
下一篇:神经系统或将使机器人拥有痛感
精选推荐
谷歌《Nature》发论文称实现量子霸权 18亿倍速碾压世界最强超算
谷歌《Nature》发论文称实现量子霸权 18亿倍速碾压世界最强超算

[2019-10-23]  谷歌坚称自己已经取得了量子霸权——这标志着计算研究领域的一个重要里程碑。谷歌首次发布声明是在今年9月,虽然遭到竞争对手的质疑,但就 ...

可编辑神经网络,有望简化深度学习?
可编辑神经网络,有望简化深度学习?

[2019-10-04]  深度学习是一个计算繁重的过程。 降低成本一直是 Data curation 的一大挑战。 关于深度学习神经网络大功耗的训练过程,已经有研究人员 ...

CES 2018:英特尔推出49量子位芯片争夺量子霸权
CES 2018:英特尔推出49量子位芯片争夺量子霸权

[2018-01-10]  在与Google、IBM的一场关于建立量子计算系统的马拉松比赛中,英特尔通过了一个关键的里程碑。近日,这个科技巨头已经推出了一个49个量子位 ...

美国喷气推进实验室的AI驱动无人机挑战人类飞行员
美国喷气推进实验室的AI驱动无人机挑战人类飞行员

[2017-12-08]  随着无人机及其组件越来越小,效率越来越高,功能越来越强大,我们已经看到越来越多的研究开始让无人机自主飞行在半结构化的环境中,而不依赖于外部定位。 宾夕法尼亚大学在......

麻省理工学院最新研究:优化软体机器人的控制和设计
麻省理工学院最新研究:优化软体机器人的控制和设计

[2019-11-24]  软体机器人属于一个新的领域,它可能在诸如外科手术等领域发挥重要作用(手术时的纳米机器人需要在人体内部移动而不损伤软组织)。软体机器 ...

基于生物启发的机器人很容易适应丢失附属器官
基于生物启发的机器人很容易适应丢失附属器官

[2017-12-17]  很多机器人被设计应用在危险环境,如灾难现场。在这些地方,他们的运动系统完全有可能被损坏。那这样会吓跑这些机器人吗?也许不是,如果它们像日本的东北和北海道大学创造的......

一个让深度学习惨败的通用人工智能领域——语境处理
一个让深度学习惨败的通用人工智能领域——语境处理

[2019-11-04]  Context是指用来解释一段给定文本或语句的来源框架,我们可以翻译为上下文或语境。维基百科将context定义为:*在符号学、语言学、社会学和 ...

为未来战场创造更有效的机器人 美国陆军研究人工纳米马达
为未来战场创造更有效的机器人 美国陆军研究人工纳米马达

[2019-10-11]  为了使机器人在战斗中更有效、更多才多艺地成为士兵的战友,美国陆军研究人员正在执行一项任务,即研究肌肉分子生命功能的价值,以及复制过 ...

本周栏目热点

飞桨火力全开,重磅上线3D模型:PointNet++、PointRCNN!

[2020-03-26]  11 年前的「阿凡达」让少年的我们第一次戴上 3D 眼镜,声势浩大的瀑布奔流而下,星罗棋布飘浮在空中的群山,无一不体现着对生命的敬意, ...

从基础概念到数学公式,这是一份520页的机器学习笔记(图文并茂)

[2018-06-19]  近日,来自SAP(全球第一大商业软件公司)的梁劲(Jim Liang)公开了自己所写的一份 520 页的学习教程(英文版),详细、明了地介绍了机器学习中的相关概念、数学知识和各......

50行代码玩转生成对抗网络GAN模型!(附源码)

[2018-07-30]  本文为大家介绍了生成对抗网络(Generate Adversarial Network,GAN),以最直白的语言来讲解它,最后实现一个简单的 GAN 程序来帮助大家加深理解。...

神经网络和模糊逻辑的工作流

[2016-11-20]   行业观察 神经网络 和模糊逻辑的工作流 null 来源:神州数码erp 发布时间: 2009-10-14 9:06:01 关键词: 工作流,协同,B2B,OA  以下 ...

深度神经网络揭示了大脑喜欢看什么

[2019-11-06]  爱吧机器人网编者按:近日,《自然-神经科学》发表了一篇论文,研究人员创建了一种深度人工神经网络,能够准确预测生物大脑对视觉刺激所产 ...