从手机相机快照到救生医疗扫描,数字图像在人类传递信息的方式中扮演着重要的角色。但数字图像受到诸如模糊,粒状噪声,缺失像素和颜色损坏等一系列缺陷的影响。
由马里兰大学计算机科学家领导的一个小组设计了一种新的算法,该算法结合了人工神经网络,同时对损坏的数字图像
应用各种修复。由于该算法可以被“训练”来识别理想的,未损坏的图像应该是什么样子,它能够解决单个图像中的多个缺陷。
包括瑞士伯尔尼大学成员在内的研究小组通过采用高质量,无损图像的方法对其算法进行了测试,故意引入严重的降级,然后使用该算法修复损坏。在很多情况下,该算法优于竞争对手的技术,几乎可以将图像恢复到原始状态。
研究人员于2017年12月5日在加州长滩举行的第31届神经信息处理系统会议上介绍了他们的发现。
“传统上,有一些工具可以单独处理每个问题,每个问题都直观地假设一个好的图像是什么样的,但是这些假设必须手工编码到算法中,”Reginald的Matthias Zwicker说。 Allan Hahne在UMD获得E-Nnovate计算机科学教授和研究报告的资深作者。 最近,人工神经网络已经被用来逐一解决问题,但是我们的算法更进一步 - 它可以同时解决各种各样的问题。
人工神经网络是一种受人脑结构启发的
人工智能算法。他们可以根据输入的数据组装行为模式,类似于人类大脑学习新信息的过程。例如,人脑可以通过反复暴露于特定语境中的单词和句子来学习新的语言。
Zwicker和他的同事可以通过将其算法暴露在大量的高质量,无损图像的数据库中来“训练”他们的算法,这些数据库广泛用于人工神经网络的研究。由于该算法可以获取大量的数据并外推定义图像的复杂参数(包括纹理,颜色,光线,阴影和边缘的变化),因此可以预测理想的,未损坏的图像应该是什么样子。然后,它可以识别并修正这些理想参数在新图像中的偏差。
Zwicker说:“这是关键因素,算法需要能够识别好的图像而不会降级,但是对于已经降级的图像,我们无法知道这将是什么样子。在马里兰大学高级计算机研究所(UMIACS)。因此,我们首先在一个高质量的图像数据库上训练算法,然后给它任意的图像,算法将修改这些不完善的地方。”
Zwicker指出,其他几个研究小组正在沿着同样的路线工作,并设计出可以达到类似结果的算法。许多研究小组注意到,如果他们的算法只负责去除图像中的噪声(或颗粒),那么算法也会自动解决许多其他缺陷。但是Zwicker的小组提出了这个效应的一个新的理论解释,导致了一个非常简单而有效的算法。
Zwicker解释说:“当你有一个噪声图像时,它会随机移动或抖动,从高质量的图像中去除所有可能的维度,其他的降级,例如模糊,只会在一个维度上偏离理想。我们的工作揭示了固定噪音如何使所有维度恢复一致,从而使我们能够同时解决几种类似的模糊问题。”
Zwicker还表示,新算法虽然功能强大,但仍有改进空间。目前,该算法适用于修复图像中容易识别的“低级”结构,如锐边。研究人员希望推动该算法识别和修复“高级”功能,包括复杂的纹理,如头发和水。
Zwicker说:“要识别高级特征,算法需要上下文来理解图像中的内容。例如,如果图像中有人脸,那么靠近顶部的像素可能就是头发。就像组装一个七巧板一样,如果你只看一块,就很难把图像的这一部分放在上下文中,但是一旦找到了这块图像所属的位置,就很容易识别这些像素代表的是什么。很明显,这种方法可以进一步推进。”