虽然我们还不能很清晰地解释机器人深度学习成功的原因,但大体上以下几个观点还是得到普遍认可。
一、模型强大的拟合能力、高密度的计算能力、海量的训练数据是深度学习获得成功的重要因素。通过大量的神经元非线性操作,深度神经网络获得了很强的拟合能力。利用GPU等高密度计算设备,网络模型能够基于海量的训练数据(百万级)在可接受的时间内(数天)完成训练。
二、深度学习的应用范围非常广泛,可以渗透到很多领域。如果我们将深度学习看成是一个具有很强拟合能力的复杂函数,那么只要你能定义好合适的目标函数(比如最小化分类错误率),有足够的训练样本和计算资源,都可以通过深度学习来解决你的问题,而且其效果往往会出乎意料的好。
三、现在很成功的各种深度模型不代表一定是未来的模型。深度模型本质上也可以看成图模型,神经元是节点,神经元之间的连接是边。现在找到的几种实际很有效的结构,比如,卷积神经网络、深度置信网络、递归神经网络(RNN),它们准确率较高,计算速度可以接受。但图模型结构本身可以非常多样,未来哪种结构更有效现在还不得而知,还需要更深层次的研究。
四、对深度学习的追捧对学术界未必是好事。目前,深度学习在一些具体问题上取得了一些出乎意料的结果,但是在理论工作上进展不大。一个好的理论能够被接受需要好的理论创新和令人信服的实验结果,目前的现状是复杂的可解释的模型,其效果往往不如深度神经网络。这导致研究人员大多转向深度学习,将很多精力放在网络调参和结构设计上,尽管在实验效果上取得了很大进展,但理论贡献却微乎其微。
五、深度学习目前仍然有计算瓶颈。目前百万级的训练数据借助GPU一般都能在几天内完成训练。实际使用时,利用GPU也可以在几十毫秒内完成预测。但对于普通移动终端,无论是内存容量还是计算能力,都远不能跟台式机或服务器的GPU比,深度学习实际上在移动终端几乎还不可用,这大大限制了深度学习的实用范围。
六、传统模型与深度学习的融合是值得研究的问题。经过几十年的努力,机器学习有很多复杂的并且理论相对完备的模型,如何将这些模型引入到深度学习是值得研究的问题,比如一种简单的方案就是将传统模型的特征替换为深度学习获得的特征,然后基于最终的损失函数进行迭代优化。
<上一页 1 2