爱吧机器人网 » 技术 > 机器学习 > 正文

深度学习助力动作捕捉技术

马的四蹄会不会同时离地?130多年前,英国著名摄影师迈布里奇利用横跨赛道的紧绷绳子控制快门,马匹跑过时自动触发拍照,由此解决了这个争论已久的话题。这可能是“动作捕捉”技术的鼻祖。

如今,基于视频记录的动作捕捉技术已经广泛应用于动画制作、体育训练、人机工程等领域,其核心是将运动物关键部位的动作处理成计算机数据。不过,这要么需要人力费时费力地逐帧标记,要么需要在研究对象上放置标记物,实用场景十分有限。

当地时间8月21日,英国《自然-神经科学》期刊上发表的一篇论文,介绍了一种经过深度学习训练后,实现自动捕捉动物运动的软件DeepLabCut。其精细程度可以跟踪果蝇产卵、伸吻,以及小鼠每一个脚趾的轨迹。

人工智能自动跟踪果蝇产卵、小鼠伸爪,大大降低动作捕捉成本
跟踪果蝇

值得一提的是,开发者已经将DeepLabCut放在了开源网站GitHub上,其他研究人员可以免费下载,经过几小时的简单标记后,就能定制软件捕捉特定动物,乃至人类的运动。

开发该款软件的美国哈佛大学神经科学家夫妇Mackenzie Mathis和Alexander Mathis原本打算研究小鼠对气味的追踪行为,需要在视频里对小鼠鼻头进行标记跟踪。然而,他们没有找到现成的便捷工具,神经科学家常用的闪光标记物也难以用在微小的鼠头上,由此萌生了自己编一款软件的想法。他们选择了一款用于识别人类照片的深度学习框架,改造到动物身上。

Mathis团队首先利用一个大型目标识别图像数据库ImageNet对DeepLabCut进行了预训练,教会系统如何区分不同动物,并识别具体的身体部位,比如小鼠的爪子、斗鱼的鱼鳍。这样可以大大节省后续训练所需的数据。

接着,他们教会系统不仅是跟踪某一个身体部位,而是同时捕捉所有的标记部位。这能辅助彼此间的精确定位。

最后,团队进行了跨物种的检验和校准,在论文中演示了对果蝇和小鼠两种物种的动作跟踪。

人工智能自动跟踪果蝇产卵、小鼠伸爪,大大降低动作捕捉成本
跟踪小鼠

如果你要利用这个软件捕捉你家猫的动作,只需要在视频中选取几帧或几十帧,点击鼠标标注猫头、猫尾巴和每只猫爪的位置,深度学习算法就会自动覆盖整个视频的每一帧。

目前,该软件已经应用于其他团队的动物研究。DeepLabCut网站上列举了一些案例:

密歇根大学的Daniel Leventhal团队跟踪大鼠受训抓取的动作。过程中人工标记了180帧。

人工智能自动跟踪果蝇产卵、小鼠伸爪,大大降低动作捕捉成本
哥伦比亚大学的Nate Sawtell实验室跟踪小鼠在踏板上的动作。旁边放置了一块镜子,算法同时捕捉两个视角上的轨迹。

人工智能自动跟踪果蝇产卵、小鼠伸爪,大大降低动作捕捉成本
Nate Sawtell实验室还跟踪了电鱼的游泳动作。

人工智能自动跟踪果蝇产卵、小鼠伸爪,大大降低动作捕捉成本
在同期发表的一篇评议文章中,北京大学心理学系教授魏坤琳与宾夕法尼亚大学Konrad Kording肯定了这项研究的价值。DeepLabCut理论上可以处理任何视频中的动作,现在互联网上的海量视频数据,将成为科学家们的富矿。

进一步展望未来,原本昂贵而费尽的动作捕捉技术会飞入寻常百姓家。

譬如,现在只有顶级运动员才能享受动作捕捉技术,且需要专业人士进行配套的分析。在未来,也许每个人在健身房里就可以在软件的指导下更科学、更有效地锻炼。

同理,物理治疗和医疗康复项目中的动作捕捉技术十分昂贵,一些医生只能靠肉眼观察进行主观判断。普适而便捷的视频动作分析将掀开精准医疗史上全新的一页。

Mathis夫妇表示,他们已经收到了一些意想不到的邮件,比如科学家希望研究章鱼等软体动物以研发手术机器人,体育界人士希望分析棒球运动员的投球动作,甚至有一家公司希望用他们的软件分析赛马的胜率。



上一篇:Salesforce开源每日30亿次推测的ML函数库 训练AI只要数小时
下一篇:AutoML:深度学习的学习器
精选推荐
MIT研制出可以像植物一样生长的机器人
MIT研制出可以像植物一样生长的机器人

[2019-11-09]  麻省理工学院开发了一种新型机器人,这种机器人可以本质上自我延伸,其生长方式与植物幼苗向上生长的方式惊人相似。值得注意的是,研究人员 ...

Crossbar将电阻式RAM推入嵌入式AI
Crossbar将电阻式RAM推入嵌入式AI

[2018-05-17]  电阻RAM技术开发商Crossbar表示,它已与航空航天芯片制造商Microsemi达成协议,允许后者在未来的芯片中嵌入Crossbar的非易失性存储器。此举是在先进制造业节点的领先代工厂选......

2023年服务机器人市场将超过250亿美元
2023年服务机器人市场将超过250亿美元

[2017-09-04]  全球服务机器人市场预计到2023年将达到250亿美元, 并在预测期内登记15% 的复合年增长率。短期中期回收期和投资回报率高 (ROI), 以及在教育和研究、临场感、防御、救援和安......

麻省理工正研究植物机器人 让植物自主控制机器人
麻省理工正研究植物机器人 让植物自主控制机器人

[2018-12-08]  控制论通常指人类用机器人部件增强自己。我们听说过动物机器人或昆虫机器人,但我们很少听说植物机器人对吧?一个机器人其实是对植物有很大益处的,因为一般植物根本无法移动......

全自动膝关节置换手术机器人被美国FDA批准上市
全自动膝关节置换手术机器人被美国FDA批准上市

[2019-10-14]  美国Think Surgical公司已获得美国食品和药物管理局(FDA)的批准,在美国销售用于全膝关节置换(TKA)的TSolution One®全膝关节应用 ...

美国Natilus公司试飞水上无人货机 设计简单成本降低
美国Natilus公司试飞水上无人货机 设计简单成本降低

[2017-12-28]  Natilus创业公司成立于2014年,其梦想是建造大型无人机,以半价提供比船舶快得多国际货运。在十二月份,Natilus计划在旧金山湾测试一个9米翼展的小型原型无人机的水上滑行能力......

这个外科手术机器人可以为患者“量身定制”
这个外科手术机器人可以为患者“量身定制”

[2019-07-12]  世界首创,来自澳大利亚机器人视觉研究中心的研究人员正在推动手术机器人的发展边界,他们创造了可定制的、小型化的手术机器人,能够唯一地 ...

通过对抗性图像黑入大脑
通过对抗性图像黑入大脑

[2018-03-02]  在上面的图片中,左边是一张猫的照片。在右边,你能分辨出它是同一只猫的图片,还是一张看起来相似的狗的图片?这两张图片之间的区别在于, ...

本周栏目热点

盘点全球十大最具影响力的机器人摇篮

[1970-01-01]    人工智能(AI)研究现正迅速发展,如无人驾驶汽车、计算机在《危险边缘》智力竞赛节目中获胜、数字私人助手Siri、GoogleNow和语音助手C ...

深度学习反向传播算法(BP)原理推导及代码实现

[2017-12-19]  分析了手写字数据集分类的原理,利用神经网络模型,编写了SGD算法的代码,分多个epochs,每个 epoch 又对 mini_batch 样本做多次迭代计算。这其中,非常重要的一个步骤,......

如何在机器学习项目中使用统计方法的示例

[2018-07-23]  事实上,机器学习预测建模项目必须通过统计学方法才能有效的进行。在本文中,我们将通过实例介绍一些在预测建模问题中起关键作用的统计学方法。...

[2017-08-28]  模拟退火(Simulated Annealing,简称SA)是一种通用概率算法,用来在一个大的搜寻空间内找寻命题的最优解。1、固体退火原理:将固体加温 ...

Machine Learning-感知器分类算法详解

[2018-05-31]  今天我们来讲解的内容是感知器分类算法,本文的结构如下:什么是感知器分类算法,在Python中实现感知器学习算法,在iris(鸢尾花)数据集上训练一个感知器模型,自适应线性神......