马的四蹄会不会同时离地?130多年前,英国著名摄影师迈布里奇利用横跨赛道的紧绷绳子控制快门,马匹跑过时自动触发拍照,由此解决了这个争论已久的话题。这可能是“动作捕捉”技术的鼻祖。
如今,基于视频记录的动作捕捉技术已经广泛
应用于动画制作、体育训练、人机工程等领域,其核心是将运动物关键部位的动作处理成计算机数据。不过,这要么需要人力费时费力地逐帧标记,要么需要在研究对象上放置标记物,实用场景十分有限。
当地时间8月21日,英国《自然-神经科学》期刊上发表的一篇论文,介绍了一种经过深度学习训练后,实现自动捕捉动物运动的软件DeepLabCut。其精细程度可以跟踪果蝇产卵、伸吻,以及小鼠每一个脚趾的轨迹。
跟踪果蝇
值得一提的是,开发者已经将DeepLabCut放在了开源网站GitHub上,其他研究人员可以免费下载,经过几小时的简单标记后,就能定制软件捕捉特定动物,乃至人类的运动。
开发该款软件的美国哈佛大学神经科学家夫妇Mackenzie Mathis和Alexander Mathis原本打算研究小鼠对气味的追踪行为,需要在视频里对小鼠鼻头进行标记跟踪。然而,他们没有找到现成的便捷工具,神经科学家常用的闪光标记物也难以用在微小的鼠头上,由此萌生了自己编一款软件的想法。他们选择了一款用于识别人类照片的深度学习框架,改造到动物身上。
Mathis团队首先利用一个大型目标识别图像数据库ImageNet对DeepLabCut进行了预训练,教会系统如何区分不同动物,并识别具体的身体部位,比如小鼠的爪子、斗鱼的鱼鳍。这样可以大大节省后续训练所需的数据。
接着,他们教会系统不仅是跟踪某一个身体部位,而是同时捕捉所有的标记部位。这能辅助彼此间的精确定位。
最后,团队进行了跨物种的检验和校准,在论文中演示了对果蝇和小鼠两种物种的动作跟踪。
跟踪小鼠
如果你要利用这个软件捕捉你家猫的动作,只需要在视频中选取几帧或几十帧,点击鼠标标注猫头、猫尾巴和每只猫爪的位置,深度学习算法就会自动覆盖整个视频的每一帧。
目前,该软件已经应用于其他团队的动物研究。DeepLabCut网站上列举了一些案例:
密歇根大学的Daniel Leventhal团队跟踪大鼠受训抓取的动作。过程中人工标记了180帧。
哥伦比亚大学的Nate Sawtell实验室跟踪小鼠在踏板上的动作。旁边放置了一块镜子,算法同时捕捉两个视角上的轨迹。
Nate Sawtell实验室还跟踪了电鱼的游泳动作。
在同期发表的一篇评议文章中,北京大学心理学系教授魏坤琳与宾夕法尼亚大学Konrad Kording肯定了这项研究的价值。DeepLabCut理论上可以处理任何视频中的动作,现在互联网上的海量视频数据,将成为科学家们的富矿。
进一步展望未来,原本昂贵而费尽的动作捕捉技术会飞入寻常百姓家。
譬如,现在只有顶级运动员才能享受动作捕捉技术,且需要专业人士进行配套的分析。在未来,也许每个人在健身房里就可以在软件的指导下更科学、更有效地锻炼。
同理,物理治疗和医疗康复项目中的动作捕捉技术十分昂贵,一些医生只能靠肉眼观察进行主观判断。普适而便捷的视频动作分析将掀开精准医疗史上全新的一页。
Mathis夫妇表示,他们已经收到了一些意想不到的邮件,比如科学家希望研究章鱼等软体动物以研发手术机器人,体育界人士希望分析棒球运动员的投球动作,甚至有一家公司希望用他们的软件分析赛马的胜率。