爱吧机器人网 » 技术 > 人工智能 > 正文

Google AI用“语义连贯”将对象物逼真地乱入各种场景制作

对于计算机而言,通过后期制作软件来布置场景实际上相当不易。它不仅需要确定所述对象的适当位置,同时需要尝试预测对象在目标位置的外观:比例,遮挡,姿势和形状等等。

幸运的是,人工智能有望伸出援助之手。上周NeurIPS 2018大会公布了一篇论文(“Context-Aware Synthesis and Placement of Object Instances(对象实例的情景感知合成和放置)”,韩国首尔国立大学,美国加州大学美熹德分校,以及Google AI的研究人员描述了一种能够以“语义连贯”的方式来将对象插入至图像中的系统。

研究人员写道:“对于将对象插入符合情景语义的图像之中,这是一项具有挑战性和有趣的任务。与此同时,这项任务与众多实际应用密切相关,包括图像合成,AR和VR内容编辑…这样的对象插入模型可能有助于众多的图像编辑和场景解析应用程序。”


他们的端到端框架包括两个模块:一个模块确定在哪里插入对象;另一个模块确定插入后的样式。系统将利用GAN,或者由生成器(生成样品和鉴别器)组成的二体神经网络,然后试图区分生成的样本和真实世界的样本。因为系统同时对插入图像的分布建模,所以两个模块能够相互通信并相互优化。

论文作者写道:“这项研究的主要技术创新在于,我们构建了一个端到端的可训练神经网络,能够从联合分布中为新对象采样合理的位置和形状。合成对象实例既可以用作基于GAN的方法的输入,也能够从现有数据集中检索最近的区段以生成新图像。”

研究人员解释道,生成器可以预测“可信的”的位置并生成具有“语义连贯”比例,姿势和形状的对象蒙版,特别是关于对象在场景中的分布方式,以及如何自然地插入对象。随着时间的推移,人工智能系统将能够根据场景条件学习每个类别的不同分布。例如在城市街道的图像中,人类往往出现在人行道上,而汽车通常出现在道路上。

在测试中,研究人员的模型能够插入逼真形状的对象。当图像识别器YOLOv3应用于AI产生的图像时,检测合成对象的召回率是0.79。更有说服力的是,在对亚马逊Mechanical Turk工作人员的调查中,43%的受访者认为人工智能生成的对象是真实对象。

论文指出:“这表明我们的方法能够执行对象合成和插入任务。由于我们的方法能够同时建模‘在哪里’和‘什么样’,它可以用于解决其他计算机视觉问题。未来有趣的研究之一是处理对象之间的遮挡。”



上一篇:第四范式论文登国际顶级期刊 AI为攻破生物化学难题提供新思路
下一篇:Python 驾乘AI之力,碾压Java、C++等老牌语言?
精选推荐
比利时研发出可以自我愈合伤口的软体机器人
比利时研发出可以自我愈合伤口的软体机器人

[2017-09-03]  软体机器人是机器人技术的新兴领域; 他们“可以与人类相互作用,而不会杀死他们,并拿起像西红柿这样柔软的物体。” 从长远来看,布鲁塞尔大学队伍正在努力创建一个类似的材......

谷歌宣布搜索算法重大升级,用BERT模型理解用户搜索意图
谷歌宣布搜索算法重大升级,用BERT模型理解用户搜索意图

[2019-10-26]  谷歌刚刚宣布,其搜索引擎的核心算法正在进行一项重大升级,这项升级可能会改变10%的搜索结果排序。此项升级应用了自然语言处理技术(BERT ...

如何让人工智能机器人快速自我纠正错误并吃一堑长一智?
如何让人工智能机器人快速自我纠正错误并吃一堑长一智?

[2017-08-23]  莱斯特大学数学系的研究人员在《Neural Networks》杂志上发表了一篇文章,概述了新算法的数学基础,可以使人工智能收集错误报告并立即纠正,而不影响现有技能 ,同时还会积......

受大脑控制的机器人
受大脑控制的机器人

[2017-03-21]   想让机器人做我们想做的,首先,他得全面地了解我们。通常,这就意味着人类需要要付出更多。比如,教机器人复杂的人类语言或者把一项任务 ...

搭载人工智能的太空机器人CIMON 2乘SpaceX抵达国际空间站
搭载人工智能的太空机器人CIMON 2乘SpaceX抵达国际空间站

[2019-12-09]  12月5日,搭载人工智能的太空机器人西蒙2号(CIMON 2)乘坐SpaceX火箭Dragon货运舱,从佛罗里达州卡纳维拉尔角空军基地升空,前往国际空间 ...

Crossbar将电阻式RAM推入嵌入式AI
Crossbar将电阻式RAM推入嵌入式AI

[2018-05-17]  电阻RAM技术开发商Crossbar表示,它已与航空航天芯片制造商Microsemi达成协议,允许后者在未来的芯片中嵌入Crossbar的非易失性存储器。此举是在先进制造业节点的领先代工厂选......

人工神经网络技术解码人类行为和想象时的大脑活动信号
人工神经网络技术解码人类行为和想象时的大脑活动信号

[2017-08-23]  为搜索引擎过滤信息,棋盘游戏对弈,识别图像 人工智能在某些任务中远远超过了人类智能。来自弗莱堡由神经科学家私人讲师Tonio Ball博士领导的几个杰出的BrainLinks-Bra......

麻省理工正研究植物机器人 让植物自主控制机器人
麻省理工正研究植物机器人 让植物自主控制机器人

[2018-12-08]  控制论通常指人类用机器人部件增强自己。我们听说过动物机器人或昆虫机器人,但我们很少听说植物机器人对吧?一个机器人其实是对植物有很大益处的,因为一般植物根本无法移动......

本周栏目热点

说一说那些进入日常生活的智能机器人

[1970-01-01]    从《星球大战》里的机器人英雄,到前些年大受欢迎的电影《我,机器人》,无数的科幻作品里都少不了机器人元素,人们将之视为 未来感的 ...

奇点大学:人工智能与“奇点理论”

[1970-01-01]    就在前几天和行业内的几个朋友吃饭时,内容在不经意间又转向了那个老生常谈的话题-到底什么是在智能电视上最好的交互方式上,于是乎五 ...

说客小π情感机器人体验【评测】

[2015-12-29]     前言  随着语音识别技术的发展,声控灯、语音输入法、语音交互等各具特色 ...

Facebook人工智能机器人生成照片以假乱真

[1970-01-01]    无论你是否认为面部识别令人毛骨悚然,很明显全球多家科技公司正在继续投资开发更强大的图像智能技术。  无论是微软的猜年龄机器人, ...

麻省理工智能机器人最新技术 机器手指研究获得突破

[2015-12-27]     麻省理工智能机器人最新消息,今年在研究机器手方面跨出了一大步,现在它又 ...