图像超分辨率网络的可解释性

报告时间:2021年9月17日(周五) 上午11:00

报告地点:北京大学 王选所大楼106报告厅

报告人:董  超 副研究员 中国科学院深圳先进技术研究院

报告题目: 图像超分辨率网络的可解释性

报告摘要

图像超分辨率技术近年来发展迅速,各种超分网络层出不穷,性能指标也在逐年攀升。然而我们对超分网络的运行机制却知之甚少,网络设计的科学性得不到保障。不仅如此,整个底层视觉领域都缺乏网络可解释性的工作。为此,我们尝试从三个角度来对超分网络进行解析。首先,我们研究了超分网络的归因机制,提出了专门针对底层视觉的归因工具Local Attribution Map (LAM),用它来分析超分网络对输入信息的有效利用情况。然后,我们尝试回答了一个关乎底层视觉网络本质的问题——超分网络里是否学到了语义信息,还是只是进行了复杂的局部映射?我们在网络特征中成功提取出含有底层语义的Deep Degradation Representations (DDR),并与我们普遍认知的高层语义进行区分。在研究了网络的输入和特征之后,我们又从滤波器的角度出发,探索了盲超分网络中的功能分区。我们利用新提出的Filter Attribution method based on Integral Gradient (FAIG),找到了网络中负责去噪和去模糊的部分,并利用它们对不同损失类型的输入图进行分类。希望我们的工作可以帮助研究者更有效的理解和设计超分网络,并能够启发更多关于底层视觉的可解释性工作。

讲者介绍:

董超,中国科学院深圳先进技术研究院副研究员,博士生导师。博士毕业于香港中文大学信息工程专业。2014年,在欧洲计算机视觉大会(ECCV)上发表论文SRCNN,首次将深度学习引入图像超分辨领域。2017年-2020年,多次带队参加国际超分辨率比赛,共获得8项冠军。2016年-2018年就职于商汤科技,带领商汤超分团队开发了世界首款基于深度学习的数码变焦软件。2021年被斯坦福大学评选为世界前2%顶尖科学家。谷歌引用量超过1万4千次。主要研究方向包括图像视频超分辨率,去噪和画质增强等,团队主页http://xpixel.group/。

CLOSE

上一篇 没有了