爱吧机器人网 » 技术 > 机器学习 > 正文

深度学习助力动作捕捉技术

马的四蹄会不会同时离地?130多年前,英国著名摄影师迈布里奇利用横跨赛道的紧绷绳子控制快门,马匹跑过时自动触发拍照,由此解决了这个争论已久的话题。这可能是“动作捕捉”技术的鼻祖。

如今,基于视频记录的动作捕捉技术已经广泛应用于动画制作、体育训练、人机工程等领域,其核心是将运动物关键部位的动作处理成计算机数据。不过,这要么需要人力费时费力地逐帧标记,要么需要在研究对象上放置标记物,实用场景十分有限。

当地时间8月21日,英国《自然-神经科学》期刊上发表的一篇论文,介绍了一种经过深度学习训练后,实现自动捕捉动物运动的软件DeepLabCut。其精细程度可以跟踪果蝇产卵、伸吻,以及小鼠每一个脚趾的轨迹。

人工智能自动跟踪果蝇产卵、小鼠伸爪,大大降低动作捕捉成本
跟踪果蝇

值得一提的是,开发者已经将DeepLabCut放在了开源网站GitHub上,其他研究人员可以免费下载,经过几小时的简单标记后,就能定制软件捕捉特定动物,乃至人类的运动。

开发该款软件的美国哈佛大学神经科学家夫妇Mackenzie Mathis和Alexander Mathis原本打算研究小鼠对气味的追踪行为,需要在视频里对小鼠鼻头进行标记跟踪。然而,他们没有找到现成的便捷工具,神经科学家常用的闪光标记物也难以用在微小的鼠头上,由此萌生了自己编一款软件的想法。他们选择了一款用于识别人类照片的深度学习框架,改造到动物身上。

Mathis团队首先利用一个大型目标识别图像数据库ImageNet对DeepLabCut进行了预训练,教会系统如何区分不同动物,并识别具体的身体部位,比如小鼠的爪子、斗鱼的鱼鳍。这样可以大大节省后续训练所需的数据。

接着,他们教会系统不仅是跟踪某一个身体部位,而是同时捕捉所有的标记部位。这能辅助彼此间的精确定位。

最后,团队进行了跨物种的检验和校准,在论文中演示了对果蝇和小鼠两种物种的动作跟踪。

人工智能自动跟踪果蝇产卵、小鼠伸爪,大大降低动作捕捉成本
跟踪小鼠

如果你要利用这个软件捕捉你家猫的动作,只需要在视频中选取几帧或几十帧,点击鼠标标注猫头、猫尾巴和每只猫爪的位置,深度学习算法就会自动覆盖整个视频的每一帧。

目前,该软件已经应用于其他团队的动物研究。DeepLabCut网站上列举了一些案例:

密歇根大学的Daniel Leventhal团队跟踪大鼠受训抓取的动作。过程中人工标记了180帧。

人工智能自动跟踪果蝇产卵、小鼠伸爪,大大降低动作捕捉成本
哥伦比亚大学的Nate Sawtell实验室跟踪小鼠在踏板上的动作。旁边放置了一块镜子,算法同时捕捉两个视角上的轨迹。

人工智能自动跟踪果蝇产卵、小鼠伸爪,大大降低动作捕捉成本
Nate Sawtell实验室还跟踪了电鱼的游泳动作。

人工智能自动跟踪果蝇产卵、小鼠伸爪,大大降低动作捕捉成本
在同期发表的一篇评议文章中,北京大学心理学系教授魏坤琳与宾夕法尼亚大学Konrad Kording肯定了这项研究的价值。DeepLabCut理论上可以处理任何视频中的动作,现在互联网上的海量视频数据,将成为科学家们的富矿。

进一步展望未来,原本昂贵而费尽的动作捕捉技术会飞入寻常百姓家。

譬如,现在只有顶级运动员才能享受动作捕捉技术,且需要专业人士进行配套的分析。在未来,也许每个人在健身房里就可以在软件的指导下更科学、更有效地锻炼。

同理,物理治疗和医疗康复项目中的动作捕捉技术十分昂贵,一些医生只能靠肉眼观察进行主观判断。普适而便捷的视频动作分析将掀开精准医疗史上全新的一页。

Mathis夫妇表示,他们已经收到了一些意想不到的邮件,比如科学家希望研究章鱼等软体动物以研发手术机器人,体育界人士希望分析棒球运动员的投球动作,甚至有一家公司希望用他们的软件分析赛马的胜率。



上一篇:Salesforce开源每日30亿次推测的ML函数库 训练AI只要数小时
下一篇:AutoML:深度学习的学习器
精选推荐
如何让人工智能机器人快速自我纠正错误并吃一堑长一智?
如何让人工智能机器人快速自我纠正错误并吃一堑长一智?

[2017-08-23]  莱斯特大学数学系的研究人员在《Neural Networks》杂志上发表了一篇文章,概述了新算法的数学基础,可以使人工智能收集错误报告并立即纠正,而不影响现有技能 ,同时还会积......

2017年:AI渗入云端
2017年:AI渗入云端

[2017-12-29]  云中的人工智能不仅仅是科技巨头的权力游戏,它也可能是人工智能领域的下一个飞跃。加利福尼亚州的Rigetti Computing公司刚刚使用其原型量子芯片之一在其云平台上运行机器学......

人工智能准确预测患者一年内的死亡风险,原理却无法解释
人工智能准确预测患者一年内的死亡风险,原理却无法解释

[2019-11-13]  图片来自BURGER PHANIE SCIENCE PHOTO LIBRARY美国最新研究显示,人工智能通过查看心脏测试结果,以高达85%以上的准确率预测了一个人在一 ...

一个让深度学习惨败的通用人工智能领域——语境处理
一个让深度学习惨败的通用人工智能领域——语境处理

[2019-11-04]  Context是指用来解释一段给定文本或语句的来源框架,我们可以翻译为上下文或语境。维基百科将context定义为:*在符号学、语言学、社会学和 ...

集群机器人领域最新研究:一种用于探测未知环境的微型无人机群
集群机器人领域最新研究:一种用于探测未知环境的微型无人机群

[2019-10-26]  (图:无人机扩散至不同方向来探索环境。当一个无人机注意到另一个无人机在它的首选方向,它将试图飞到另一个方向。若首选方向冲突,低优先 ...

人工神经网络技术解码人类行为和想象时的大脑活动信号
人工神经网络技术解码人类行为和想象时的大脑活动信号

[2017-08-23]  为搜索引擎过滤信息,棋盘游戏对弈,识别图像 人工智能在某些任务中远远超过了人类智能。来自弗莱堡由神经科学家私人讲师Tonio Ball博士领导的几个杰出的BrainLinks-Bra......

Waymo:人性和行为心理学才是无人驾驶最大的挑战
Waymo:人性和行为心理学才是无人驾驶最大的挑战

[2019-11-03]  自动驾驶汽车作为AI领域内最大的挑战之一,谷歌致力于其研发已有十余载,现在他们逐渐意识到,最困难的是如何让人们享受驾驶的乐趣。这是一 ...

17世纪的莱布尼茨试图制造“思想机器”却被现实打脸
17世纪的莱布尼茨试图制造“思想机器”却被现实打脸

[2019-11-05]  莱布尼茨,德国哲学家、数学家、律师,历史上少见的通才1666年,德国博学家戈特弗里德·威廉·莱布尼茨(Gottfried Wilhelm Leibniz)发 ...

本周栏目热点

盘点全球十大最具影响力的机器人摇篮

[1970-01-01]    人工智能(AI)研究现正迅速发展,如无人驾驶汽车、计算机在《危险边缘》智力竞赛节目中获胜、数字私人助手Siri、GoogleNow和语音助手C ...

深度学习反向传播算法(BP)原理推导及代码实现

[2017-12-19]  分析了手写字数据集分类的原理,利用神经网络模型,编写了SGD算法的代码,分多个epochs,每个 epoch 又对 mini_batch 样本做多次迭代计算。这其中,非常重要的一个步骤,......

如何在机器学习项目中使用统计方法的示例

[2018-07-23]  事实上,机器学习预测建模项目必须通过统计学方法才能有效的进行。在本文中,我们将通过实例介绍一些在预测建模问题中起关键作用的统计学方法。...

[2017-08-28]  模拟退火(Simulated Annealing,简称SA)是一种通用概率算法,用来在一个大的搜寻空间内找寻命题的最优解。1、固体退火原理:将固体加温 ...

Machine Learning-感知器分类算法详解

[2018-05-31]  今天我们来讲解的内容是感知器分类算法,本文的结构如下:什么是感知器分类算法,在Python中实现感知器学习算法,在iris(鸢尾花)数据集上训练一个感知器模型,自适应线性神......