贝叶斯机器学习前沿进展

机器学习是人工智能及模式识别领域的共同研究热点，其理论和方法已被广泛应用于解决工程应用和科学领域的复杂问题．2010年的图灵奖获得者为哈佛大学的LeslieValliant 授，其获奖工作之一是建立了概率近似正确（probably approximate correct，PAC）学习理论；2011年的图灵奖获得者为加州大学洛杉矶分校的JudeaPearl教授，其主要贡献为建立了以概率统计为理论基础的人工智能方法，其研究成果促进了机器学习的发展和繁荣。



机器学习的一个重要分支是贝叶斯机器学习，贝叶斯方法最早起源于英国数学家托马斯·贝叶斯在1763年所证明的一个关于贝叶斯定理的一个特例[1-2]．经过多位统计学家的共同努力，贝叶斯统计在20世纪50年代之后逐步建立起来，成为统计学中一个重要的组成部分[2-3]。贝叶斯定理因为其对于概率的主观置信程度[4]的独特理解而闻名。此后由于贝叶斯统计在后验推理、参数估计、模型检测、隐变量概率模型等诸多统计机器学习领域方面有广泛而深远的应用[5-6]。从1763年到现在已有250多年的历史，这期间贝叶斯统计方法有了长足的进步[7]。在21世纪的今天，各种知识融会贯通，贝叶斯机器学习领域将有更广阔的应用场景，将发挥更大的作用。

1. 贝叶斯学习基础

本节将对贝叶斯统计方法进行简要的介绍[5]：主要包括贝叶斯定理、贝叶斯模型的推理方法、贝叶斯统计学的一些经典概念。

1.1  贝叶斯定理