爱吧机器人网 » 技术 > 神经网络 > 正文

一种RBF神经网络的自适应学习算法

引言
    径向基函数(Radial Basis Function,RBF)神经网络具有结构简单,学习速度快等优点,在函数逼近、系统辨识、模式识别等领域得到了广泛应用
    构造RBF网络的关键是合理选取径向基函数的数量和中心向量。目前,比较常用的方法主要有K均值聚类法、C-Means算法等。这些方法都是在人为确定径向基函数的数量和初始向量之后,采用基于欧氏距离的最近邻方法来实现聚类的。对于类间距离大,类内距离小的样本可以得到比较不错的结果,而对于类间交错较大,类内距离大的情形,这种方法的分类能力将严重减弱,从而不利于网络的泛化应用。另外,网络的训练过程和工作过程完全独立,如果外部环境发生变化,系统的特性会随之发生变化,由此需要重新对网络进行训练,这使问题变得更加复杂,也使网络的应用领域受到限制。
    针对以上算法存在的问题,本文提出了一种RBF网络的自适应学习算法。该算法事先不需要确定RBF的数量和中心向量,而是在学习过程中,根据误差在输入空间的分布,自适应地增加RBF的数量,并适当调节中心向量。为了不使RBF的数量过于膨胀,还制定了相应的删除策略,该策略通过综合评价每个RBF对网络所作的贡献,然后删除贡献小的RBF,使网络结构始终保持简洁。

1 RBF神经网络
    RBF网络是一种三层前馈网络,由输入层、输出层和隐层组成。其中,输入层和输出层皆由线性神经元组成;隐层的激活函数(核函数)采用中心径向对称衰减的非负非线性函数,其作用是对输入信号在局部产生响应。输入层与隐层之间的权值固定为1,只有隐层与输出层之间的权值可调。
    设输入矢量x=(x1,x2,…,xn)T,隐层节点个数为m,RBF网络的输出可表示为:
    \
    式中:ωi是第i个隐层节点与输出层之间的权值;φi(‖x—ci‖),i=1,2,…,m为隐层激活函数。通常采用如下高斯函数:
    \
    式中:σi和ci分别表示该隐层节点的宽度和中心矢量;‖·‖是欧氏范数。

2 RBF网络自适应学习算法
    RBF选取得越多,网络的逼近精度越高,但同时也会使网络的泛化能力下降,因此,在满足一定逼近精度的条件下,应选取尽可能少的中心向量,以保证网络有较好的泛化能力。本文提出的算法,根据网络的输出误差在输入空间的非均匀分布,以及每个RBF对网络所作贡献的大小,通过相应的添加和删除策略对网络参数进行自适应调整,使网络的逼近性能和泛化能力都达到较高的要求。同时,网络的训练和工作可以交替进行,所以它能够适应外界环境的缓慢变化。
2.1 添加策略
   
添加策略综合考虑了网络输出误差在输入空间的非均匀分布。需要统计每个输入矢量产生的输出误差,然后通过比较找出误差相对较大的点,再在这些点附近适当地插入隐层节点。
    设(xk,yk),k=1,2,…,N是一组训练样本,初始时刻,隐层节点数为零,每次执行添加操作,依据以下准则判断是否添加隐层节点:
    \
    式中:\是网络输出均方误差;ck,nearest和xk,nearest分别对应与输入向量xk最接近的隐层节点中心和输入向量。如果满足添加条件,则将(xk+xk,nearest)/2设为新的隐层节点中心,将ek设为新节点的权值,中心宽度取\
2.2 删除策略
   
由于RBF神经网络是一种局部感知场网络,网络总的输出取决于隐层与输出层之间的权值和隐层节点中心与输入矢量之间的距离。进行训练时,所选取的训练样本相对比较稀疏。当某一个隐层节点中心离每一个输入矢量都很远时,即使其权值是一个较大的数,也不会对输出产生太大的影响。在训练结束后进行检验的过程中,检验的数据一般都比较密集,若某些输入矢量离该隐层中心较近,则输出会受到很大的影响,这使网络的泛化能力变差。因此需要制定一种策略来删除这样的隐层节点,由此引入了删除策略。
    删除策略是针对每个隐层节点对整个网络所作贡献的大小不同而提出的。贡献大的节点,继续保留;贡献小的节点,则删除。对任意隐层节点i,用Ai来表示它对整个网络所作的贡献。Ai定义为:
    \
    执行删除操作前,先对Ai进行归一化处理,即\。最后的判断规则为:若\,则删除第i个隐层节点,其中θ为判决门限。
    在采用梯度下降法调整隐层节点中心位置和权值的过程中,需要计算每个输入矢量对应的输出误差ek,以及每个隐层节点的输出值φ(‖xk-ci‖)。而执行添加和删除操作时也需要计算ek和φ(‖xk-ci‖)。为了减小计算量,提高运算效率,可以在调整隐层的中心位置和权值的过程中先保存ek和φ(‖xk-ci‖)的值。
2.3 算法流程
   
自适应RBF神经网络学习算法的具体流程如图1所示。对RBF进行训练之前,先确定最大训练次数M和训练允许误差Er,作为训练结束的条件。

\

上一页12下一页

上一篇:基于优化神经网络的三相全控整流电路故障诊断
下一篇:神经系统或将使机器人拥有痛感
精选推荐
机器人从工业走向家庭  库卡KUKA目标是引领中国市场
机器人从工业走向家庭 库卡KUKA目标是引领中国市场

[2017-12-08]  机器人正在改变着人们的生活方式,而库卡KUKA想要在中国这个大蛋糕中占有一块大份额,库卡公司正在引领市场...

Waymo:人性和行为心理学才是无人驾驶最大的挑战
Waymo:人性和行为心理学才是无人驾驶最大的挑战

[2019-11-03]  自动驾驶汽车作为AI领域内最大的挑战之一,谷歌致力于其研发已有十余载,现在他们逐渐意识到,最困难的是如何让人们享受驾驶的乐趣。这是一 ...

谷歌在中国成立一个新的人工智能(AI)研究中心
谷歌在中国成立一个新的人工智能(AI)研究中心

[2017-12-13]  谷歌正在中国建立一个新的人工智能(AI)研究中心,希望进一步扩展到中国,以充分利用中国高度重视的人工智能技术。人工智能是目前地球上最具竞争力的领域之一,亚马逊,微软......

Crossbar将电阻式RAM推入嵌入式AI
Crossbar将电阻式RAM推入嵌入式AI

[2018-05-17]  电阻RAM技术开发商Crossbar表示,它已与航空航天芯片制造商Microsemi达成协议,允许后者在未来的芯片中嵌入Crossbar的非易失性存储器。此举是在先进制造业节点的领先代工厂选......

谷歌《Nature》发论文称实现量子霸权 18亿倍速碾压世界最强超算
谷歌《Nature》发论文称实现量子霸权 18亿倍速碾压世界最强超算

[2019-10-23]  谷歌坚称自己已经取得了量子霸权——这标志着计算研究领域的一个重要里程碑。谷歌首次发布声明是在今年9月,虽然遭到竞争对手的质疑,但就 ...

[2017-03-21]  虽然有很多关于机器人取代工人的担心,但哈佛经济学家James Bessen的论文指出,在过去的67年里机器人仅仅淘汰掉人类工作中的一个。在1950 ...

农业将为高科技行业 农业机器人的应用领域
农业将为高科技行业 农业机器人的应用领域

[2017-12-17]  农业正在迅速成为一个令人兴奋的高科技产业,吸引了新专业人士,新公司和新投资者。技术发展迅速,不仅提高了农民的生产能力,而且促进了我们所知道的机器人和自动化技术的发展。...

可编辑神经网络,有望简化深度学习?
可编辑神经网络,有望简化深度学习?

[2019-10-04]  深度学习是一个计算繁重的过程。 降低成本一直是 Data curation 的一大挑战。 关于深度学习神经网络大功耗的训练过程,已经有研究人员 ...

本周栏目热点

飞桨火力全开,重磅上线3D模型:PointNet++、PointRCNN!

[2020-03-26]  11 年前的「阿凡达」让少年的我们第一次戴上 3D 眼镜,声势浩大的瀑布奔流而下,星罗棋布飘浮在空中的群山,无一不体现着对生命的敬意, ...

神经网络结构在命名实体识别(NER)中的应用

[2018-01-17]  近年来,基于神经网络的深度学习方法在自然语言处理领域已经取得了不少进展。作为NLP领域的基础任务—命名实体识别(Named Entity Recognition,NER)也不例外,神经网络结......

从基础概念到数学公式,这是一份520页的机器学习笔记(图文并茂)

[2018-06-19]  近日,来自SAP(全球第一大商业软件公司)的梁劲(Jim Liang)公开了自己所写的一份 520 页的学习教程(英文版),详细、明了地介绍了机器学习中的相关概念、数学知识和各......

50行代码玩转生成对抗网络GAN模型!(附源码)

[2018-07-30]  本文为大家介绍了生成对抗网络(Generate Adversarial Network,GAN),以最直白的语言来讲解它,最后实现一个简单的 GAN 程序来帮助大家加深理解。...

深度神经网络揭示了大脑喜欢看什么

[2019-11-06]  爱吧机器人网编者按:近日,《自然-神经科学》发表了一篇论文,研究人员创建了一种深度人工神经网络,能够准确预测生物大脑对视觉刺激所产 ...