近日,第32届神经信息处理系统大会(NeurIPS 2018)在加拿大蒙特利尔开幕。会上,百度正式发布自主研发的超级AI计算平台X-MAN 3.0平台,据悉该平台专为深度学习场景优化,每秒可进行2000万亿次深度神经网络运算。
作为今年最顶级的AI盛会,NeurIPS涉及深度学习、神经科学、认知科学、心理学、计算机视觉、统计语言学和信息论等156个领域。本届NeurIPS吸引了各国的研究机构和企业,
机器学习、人工智能、统计等领域的众多国际专家共9000人,大会门票11分钟售罄。业界知名企业谷歌、亚马逊、微软、华为、腾讯、阿里等都参与了此次学术会议,所有参与方共为大会贡献了4856篇论文投稿,其中1011篇被收录。
X-MAN的进化
X-MAN 1.0发布于2016年,单机可以支持16个AI加速卡,最高扩展到64,实现了超高的计算密度。
X-MAN2.0发布于2017年,通过冷板式液冷散热技术实现了超高的散热效率,可以支持8卡NVLink高速互联,拥有灵活的IO支持。
今年发布的X-MAN 3.0由两个独立的4U AI模块组成,每个模块支持8个最新的NVIDIA V100张量核心GPU。两个人工智能模块由高速互联的背板连接,背板上有48个NVLink链路。GPU可以直接通过NVIDIA NVSwitch进行通信,所有GPU之间的单向总带宽高达2400GB/s。
X-MAN 3.0配备了两级PCIe交换机,支持CPU、AI加速器等IO之间的互连。CPU与GPU之间的逻辑关系可以通过软件定义的方式进行设置,从而灵活支持各种AI工作负载,不存在系统瓶颈。这是X-MAN3.0与业界其他产品的显著区别。
值得注意的是,此次百度快速研发落地X-MAN3.0得到了浪潮等服务器系统厂商的积极参与支持。浪潮作为百度在数据中心计算和存储基础设施领域最重要的战略合作伙伴之一,长期以来一直与百度合作开发AI专用的计算平台。作为中国领先的云技术、
大数据服务商,浪潮集团2017年服务器出货量位居全球前三、中国第一。
专为深度神经网络优化
算法、数据和算力是深度学习发展三大要素,随着算法推陈出新、复杂度越来越高,数据体量也随着网络发展、自动驾驶兴起越来越大,算力的支撑显得越来越重要。
更大的GPU计算平台需要更大的扩展能力来解决GPU之间日益增长的通信挑战。例如,AI模型中常用的一种算法,三维快速傅立叶变换,在GPU并行处理中,每三个操作需要一个全局通信,严重依赖于GPU之间的通信带宽。
X-MAN3.0支持目前计算平台中最多的GPU。借助NVIDIA NVSwitch,平台可以缓解通信瓶颈,为超大规模人工智能培训带来超出预期的
应用价值。
随着深度学习的快速发展,芯片巨头和初创企业都在开发新的
人工智能加速器,预计将于2019年底部署,这给大型互联网公司带来了更多选择。基于此,X-MAN3.0在设计时考虑了模块化组件、标准接口和灵活拓扑的概念,为百度快速高效地采用更具竞争力的AI培训解决方案提供了关键技术基础。
据了解,百度X-MAN平台迭代到3代至今行业内创下6项记录。而X-MAN系列产品也已在百度大规模应用,正在助力百度AI战略快速落地。
目前在全球AI领域的竞争格局下,中国身影越来越多。据悉,此次NeurIPS四篇最佳论文就有华人科学家陈天琦和华为诺亚方舟实验室就分别以第一作者的身份获得殊荣。另外,清华大学有21篇论文被收录,论文数量排名第十;腾讯AI Lab17篇被收录。