| 王昱昊*,李 萌**,支 天**,张曦珊**,周学海*.基于边缘感知的图像复原神经网络损失函数[J].高技术通讯(中文),2023,33(3):298~304 |
| 基于边缘感知的图像复原神经网络损失函数 |
| Edge perception based loss function for image restoration |
| |
| DOI：10. 3772/ j. issn. 1002-0470. 2023. 03. 008 |
| 中文关键词: 图像复原;图像超分辨率;图像去模糊;神经网络(NN);损失函数 |
| 英文关键词: image restoration, image super-resolution, image deblurring, neural network(NN), loss function |
| 基金项目: |
| 作者 | 单位 | | 王昱昊* | (*中国科学技术大学计算机科学与技术学院 合肥230026)(?**中国科学院计算技术研究所 北京100086) | | 李 萌** | (*中国科学技术大学计算机科学与技术学院 合肥230026)(**中国科学院计算技术研究所 北京100086) | | 支 天** | (*中国科学技术大学计算机科学与技术学院 合肥230026)(**中国科学院计算技术研究所 北京100086) | | 张曦珊** | (*中国科学技术大学计算机科学与技术学院 合肥230026)(**中国科学院计算技术研究所 北京100086) | | 周学海* | (*中国科学技术大学计算机科学与技术学院 合肥230026)(**中国科学院计算技术研究所 北京100086) |
|
| 摘要点击次数: 1126 |
| 全文下载次数: 816 |
| 中文摘要: |
| 像素级损失是图像复原任务中最基本、最常用的损失函数。然而,像素级损失无法区分图像中的边缘部分是否模糊,对所有像素点的处理一致,这与人类视觉系统对边缘部分的感知不同。通过对图像边缘部分的分析,本研究发现当输出图像模糊时,其与真实图像对应像素的误差方向与真实图像中该像素的二阶梯度方向相同。基于此本文提出了一种基于边缘感知的结构保留损失函数(SPLoss)。本研究设计了模糊因子图来检测模糊像素,然后通过增加模糊位置像素误差的权重来惩罚模糊像素。SPLoss 可以检测到输出图像中的模糊像素,并在优化网络时对其进行惩罚。对于包括图像超分辨率和图像去模糊在内的图像复原任务,本文在多个网络结构上进行了实验。实验结果表明,使用本文提出的损失函数训练的网络可以恢复拥有更好的感知质量的图像,在感知相关客观指标和视觉效果方面均超越原有像素级损失。 |
| 英文摘要: |
| The pixel-wise loss is the most basic and commonly used loss function for image restoration. However, pixelwise loss cannot distinguish whether the edge in the image is blurred or not, and treats all pixels of equal importance,which is different from the perception of the edge part by the human visual system. It can be observed that when the pixel in the output image is blurred, the direction of the error between it and the corresponding pixel in the ground truth is the same as the direction of the second-order gradient of this position in the ground truth. Inspired by this, a novel structure preserving loss function(SPLoss) is proposed for image restoration. A blurred factor map is designed to detect blurred pixels, and then penalize blurred pixels by increasing the weight of the error.SPLoss detects blurred pixels in restored images and penalizes them while optimizing networks. Experimental results show that the proposed method can restore images while preserving fine image structures on popular image restoration networks including image super-resolution and image deblurring. |
|
查看全文
查看/发表评论 下载PDF阅读器 |
| 关闭 |
|
|
|
