【论文研读】Deep Learning for Single Image Super Resolution: A Brief Review
05 Nov 2018 | deep learning super resolution“Deep Learning for Single Image Super Resolution: A Brief Review”这篇文章可以在这里获得。 从标题可以看出,文章是对近期(2014~2018年)深度学习在单幅图像超分辨率(SISR)领域的一些具有代表性意义的算法模型的梳理。 众所周知,单幅图像超分辨率是一个不适定(ill-posed)的挑战性问题,这是由于指定的低分辨率输入图像通常能够和很多个潜在高分辨率原图像形成对应关系,并且超分任务的特殊性往往使得我们不能获取到映射LR图像的自然图像空间。非DL的SISR解决方法通常有两个缺点:1.LR空间和HR空间之间的映射通常没有明确定义;2.在给定大量原始图像数据的情况下,建立复杂高维映射的低效性。而基于DL的SISR方法在由于数量上和质量上的显著提升,迅速成为研究的热点。 文章的主体内容划分为两大部分:1.用于SISR的有效的神经网络结构的探究;2.高效的优化目标的研究。作者提到这是由于在SISR任务中,DL和领域知识的结合是成功的关键,并且通常反映在这两个方面的创新点上。 在讨论网络结构的第一部分,以SRCNN作为benchmark,针对提出的三点可以改进的问题,分别讨论相关的每个网络结构的特点。这三个问题分别是:
- SRCNN的输入是LR的双三次插值,它是HR图像的近似。然而插值输入有三点缺陷:(a)输入带来的细节平滑影响可能导致进一步对图像结构的错误评估;(b)插值很耗时;(c)当下采样内核未知时,作为原始估计的一个特定内插输入是不合理的。(?)所以第一个问题就是能不能设计CNN结构直接将LR作为输入处理这些问题?
- SRCNN网络深度只有三层,是不是设计出更复杂(深度,宽度以及拓扑结构)的CNN框架就能够实现更好的结果?如果是,怎样去设计?
- 我们是够可以将SISR过程的任何属性集成到CNN框架的设计或者SISR算法中的其他部分中,去更有效地处理问题?
论文中涉及到的应用到SISR的DL神经网络模型以及出处列举如下:
- SRCNN Learning a deep convolutional network for image super-resolution
- FSRCNN Accelerating the super-resolution convolutional neural network
- ESPCN Real-time single image and video superresolution using an efficient sub-pixel convolutional neural network
- VDSR ccurate image super-resolution using very deep convolutional networks
- DRCN Deeply-recursive convolutional network for image super-resolution
- SRResNet Photo-realistic single image super-resolution using a generative adversarial network
- EDSR, MDSR Enhanced deep residual networks for single image super-resolution
- SRDenseNet Image super-resolution using dense skip connections
- Memnet Memnet: A persistent memory network for image restoration
- RDN Residual dense network for image super-resolution
- SCN, CSCN Deep networks for image super-resolution with sparse prior,Robust single image super-resolution via deep networks with sparse prior
- DEGREE Deep edge guided recurrent residual learning for image super-resolution
- LapSRN eep laplacian pyramid networks for fast and accurate super-resolution
- DBPN Deep backprojection networks for super-resolution
- PixelRNN, PixelCNN Pixel recurrent neural networks, Conditional image generation with pixelcnn decoder
- ZSSR Zero-shot super-resolution using deep internal learning
Comments