爱吧机器人网 » 技术 > 神经网络 > 正文

MIT用深度学习处理3D点云数据 应用于无人汽车等领域

如果你见过自动驾驶汽车,也许会对车顶上那个一直在旋转的圆柱体感到好奇。

\

\

这是一个雷达传感器,无人驾驶汽车依靠它在现实世界中进行导航。通过发射红外脉冲并测量其从物体反弹回来所用的时间,传感器创建出一个点云(point cloud),形成一个关于汽车周围环境的3D快照。

把未经处理的点云数据变得有实际意义并不容易,在机器学习时代以前,往往需要训练有素的工程师通过手工进行枯燥地详列他们想捕捉的特点。但来自MIT计算机科学与人工智能实验室(CSAIL)研究者们的一系列新论文显示,他们可以用深度学习自动化处理广泛的3D成像应用中的点云数据。

“今天的计算机视觉和机器学习中,90%的进展只处理二维图像,”MIT的Justin Solomon教授如是说,他是这一系列由博士生Yue Wang带头的论文的通讯作者。“我们的目标是解决‘更好地表征3D世界’这个基本需求,其应用不仅仅是在自动驾驶,而是任何需要理解3D形状的领域。”

需要从空间里大量的3D点中获得有意义的信息,先前大多数从数据中提取特征的方式都不是特别成功。在该研究团队的论文中,他们展现了新的分析点云的“EdgeConv”方式,即通过动态图卷积神经网络(dynamic graph convolutional neural network)来分类和分割独立物体。

\

“通过建立邻近点的图,算法可以捕获层次模式( hierarchical patterns )并因此推理出不同类型的通用信息用于各种下游任务。”Toyota Research Institute的机器学习科学家Wadim Kehl说道。

除了开发“ EdgeConv ”,团队还探索了点云处理的其他特殊方面。比如,其中一个挑战就是大多数传感器当它们在3D世界中转悠的时候总是改变角度;每次我们对一个物体重新扫描,它的位置可能与上一次我们看见它的时候不同。把多种点云融合到一个唯一的世界视角,你需要在一个叫做“ registration ”的进程中对齐或校准各种3D点。

从卫星数据到医疗手术,“registration”对于许多成像形式都至关重要。例如,当医生需要对病人进行多次磁共振成像扫描时,“registration”使扫描结果能够校准以找出变化。

“‘registration’是让我们能够将不同来源的三维数据集成到一个共同的坐标系中,”Yue Wang说,“没有它,我们实际上就无法从所有这些已开发的方法中获得有意义的信息。”

Solomon和Wang的第二篇论文展示了一种称为“ Deep Closest Point ”(DCP)的新 registration 算法,该算法能够更好地找到点云的识别模式、点和边(称为“ local features ”),以便将其与其他点云对齐。这对于自动驾驶汽车在场景中定位(“ localization ”)以及机器人手定位和抓取单个物体等任务尤其重要。

DCP的一个局限是,它假设我们可以看到一个完整的形状,而不仅仅是一侧。这意味着它无法处理更困难对齐形状的部分视角( partial-to-partial registration)的任务。因此,在第三篇论文中,研究人员提出了一种改进的算法,称之为 Partial Registration Network (PRNet) 。

Solomon说,与2D图像和照片相比,现有的3D数据往往不结构化和难以处理。他的团队试图找出如何在没有很多机器学习技术所需的可控环境下,从所有无序的3D数据中获得有意义的信息。

DCP和PRNet成功背后的一个关键观察是,点云处理的一个重要方面是背景。点云A上的几何特征暗示了将其与点云B对齐的最佳方式,这可能与将其与点云C对齐所需的特征不同。例如,在 partial registration 中,一个点云中形状的有趣部分可能在另一个点云中不可见,这使其对registration无效。

Wang 说,该团队的工具已经被计算机视觉社区和其他领域的许多研究人员使用。甚至物理学家也在使用它们来实现csail团队从未考虑过的应用:粒子物理学。

接下来,研究人员希望在真实世界的数据上使用这些算法,包括从自动驾驶汽车上收集的数据。Wang 说,他们还计划探索利用自我监督学习训练系统的潜力,以尽量减少所需的人类注释。

Solomon和Wang是DCP和PRNET论文的两位唯一作者。他们在 EdgeConv 论文上的共同作者是研究助理 Yongbin Sun 和麻省理工学院的 Sanjay Sarma 教授,以及加州大学伯克利分校的 Ziwei Liu 博士后和伦敦帝国理工学院的 Michael M. Bronstein 。

这些项目在一定程度上得到了美国空军、美国陆军研究办公室、亚马逊、谷歌研究公司、IBM、国家科学基金会、斯科尔特理工学院Next Generation项目和丰田研究所的支持。

——end——

爱吧机器人网原创



上一篇:可编辑神经网络,有望简化深度学习?
下一篇:深度神经网络揭示了大脑喜欢看什么
精选推荐
2017年:AI渗入云端
2017年:AI渗入云端

[2017-12-29]  云中的人工智能不仅仅是科技巨头的权力游戏,它也可能是人工智能领域的下一个飞跃。加利福尼亚州的Rigetti Computing公司刚刚使用其原型量子芯片之一在其云平台上运行机器学......

2018年企业数字化转型的五大趋势
2018年企业数字化转型的五大趋势

[2017-12-16]  据2016年哈佛商学院研究表明,选择进行数字化转型的企业在3年内表现出了55%的平均毛利润提升,相比之下其他企业毛利润同期降低了37%。数字化转型企业的领头羊,也曾是收入处于......

麻省理工最新机器人“装配工”未来可建造太空基地
麻省理工最新机器人“装配工”未来可建造太空基地

[2019-10-17]  两个机器人原型把一系列小单元组装成大结构体麻省理工学院科研人员最近提出一种新型机器人技术,即一种小型机器人系统,能够自主地用统一规 ...

智能农业:种地的事儿未来全交给这些机器人吧
智能农业:种地的事儿未来全交给这些机器人吧

[2019-12-07]  SRC公司创始人Sam与温波尔庄园农场经理Callum Weir以及监控机器人Tom总部位于英国的农业科技初创公司SRC(Small Robot Company),正在 ...

美国人工智能公司Skymind进入福建全面开展业务
美国人工智能公司Skymind进入福建全面开展业务

[2017-12-11]  人工智能在当今这个时代对大家来说想必是非常熟悉的,这也是我国近十几年来一直追求的目标,未来的时间里这也将是全人类追求的目标。就目前来看,近年来,人工智能或在我国迎......

深度神经网络揭示了大脑喜欢看什么
深度神经网络揭示了大脑喜欢看什么

[2019-11-06]  爱吧机器人网编者按:近日,《自然-神经科学》发表了一篇论文,研究人员创建了一种深度人工神经网络,能够准确预测生物大脑对视觉刺激所产 ...

从AI中窥探人性
从AI中窥探人性

[2018-01-03]  人们对人造智能的恐惧早已成为科幻书籍和电影的极好题材。但现在,一些同样的担忧开始影响关于现实世界AI技术的政策讨论。如果这样的担忧演变成为一种技术恐慌...

美国普渡大学研发快动作软体机器人,灵感来自变色龙舌头捕食
美国普渡大学研发快动作软体机器人,灵感来自变色龙舌头捕食

[2019-10-31]  本文图片均来自:Ramses v Martinez 普渡大学变色龙、蝾螈和许多蟾蜍利用积蓄的弹性能量,向距离1 5倍体长的毫无防备的昆虫伸出粘糊糊的舌 ...

本周栏目热点

飞桨火力全开,重磅上线3D模型:PointNet++、PointRCNN!

[2020-03-26]  11 年前的「阿凡达」让少年的我们第一次戴上 3D 眼镜,声势浩大的瀑布奔流而下,星罗棋布飘浮在空中的群山,无一不体现着对生命的敬意, ...

从基础概念到数学公式,这是一份520页的机器学习笔记(图文并茂)

[2018-06-19]  近日,来自SAP(全球第一大商业软件公司)的梁劲(Jim Liang)公开了自己所写的一份 520 页的学习教程(英文版),详细、明了地介绍了机器学习中的相关概念、数学知识和各......

50行代码玩转生成对抗网络GAN模型!(附源码)

[2018-07-30]  本文为大家介绍了生成对抗网络(Generate Adversarial Network,GAN),以最直白的语言来讲解它,最后实现一个简单的 GAN 程序来帮助大家加深理解。...

神经网络和模糊逻辑的工作流

[2016-11-20]   行业观察 神经网络 和模糊逻辑的工作流 null 来源:神州数码erp 发布时间: 2009-10-14 9:06:01 关键词: 工作流,协同,B2B,OA  以下 ...

深度神经网络揭示了大脑喜欢看什么

[2019-11-06]  爱吧机器人网编者按:近日,《自然-神经科学》发表了一篇论文,研究人员创建了一种深度人工神经网络,能够准确预测生物大脑对视觉刺激所产 ...