近日，厦门大学信息学院纪荣嵘教授团队在超分网络方面取得重要进展。相关成果以“Uncovering the Over-smoothing Challenge in Image Super-Resolution: Entropy-based Quantification and Contrastive Optimization”为题被国际顶级学术期刊 《IEEE Transactions on Pattern Analysis and Machine Intelligence》(TPAMI)接收。TPAMI是计算机学科领域最顶级的国际期刊，其影响因子24.314。
该论文提出了一种解决图像超分辨率中的过度平滑问题的新方法，引入了细节增强对比损失。这种方法在现有超分模型中找出了一种称为中心导向优化问题的现象，特别是那些专注于优化PSNR的超分辨率模型倾向于生成趋向于类似高分辨率图像中心点而非真实值的图像，这种中心导向优化问题导致了过度平滑的图像。论文发现这个问题与使用熵来量化的超分数据不确定性相关、并展示了随着高分辨率图像的熵增加，生成的图像会进一步偏离干净图像分布，导致更多过度平滑的图像。该论文的方法通过利用对比学习的聚类特性，直接减小了潜在高分辨率分布的方差并降低了熵，改善了超分辨率模型的感知质量，并在基准测试上达到了最先进的性能。
具体来说，该论文创新性地提出了一种新颖的方法来估计基于低分辨率（LR）图像条件下的潜在高分辨率（HR）图像分布，并且假设这一分布符合高斯模型。其核心目标是通过系统性地增加靠近均值的少数HR像素的概率权重，同时相应地减小其他非典型HR像素的概率，从而达到缩减整体分布方差的目的。这里强调的是，研究关注的并非由特定LR图像直接转换生成的HR图像的实际统计属性，而是探究在给定LR图像约束下，理论上可能存在的HR图像集合的内在概率分布。为实现这一目标，论文巧妙地构建了一种对比学习框架，然而，由于对比学习在像素级别应用时面临的挑战显著，包括指数级增长的计算需求以及正负样本定义的复杂性，特别是在处理单个像素级别的细节时尤为困难。论文中的解决方案借鉴了局部特征的思想，将小尺寸补丁视为与单个像素共享相似统计特性，并确保这些补丁的优化过程遵循中心导向的原则。论文随后在多个广泛认可的超分辨率基准上深入探讨并验证了提出的细节增强对比损失函数的有效性，结果表明，在提升以峰值信噪比（PSNR）为主要指标的传统模型的感知质量方面取得了积极成效。更进一步，当将此细节增强对比损失应用于基于生成对抗网络（GAN）的方法架构中，如RaGAN等，能够在大幅度下采样场景下（例如Urban100数据集4倍下采样任务）取得突破性的成果，表现为仅0.093的 Learned Perceptual Image Patch Similarity（LPIPS）距离以及高达24.51dB的PSNR得分，从而达到了世界领先的水平。
该论文由厦门大学信息学院媒体分析与计算实验室(MAC)硕士生许添硕、李漓江与其导师晁飞副教授、郑侠武副教授、纪荣嵘教授，北京大学田永鸿教授、英国工程院院士Qiang Shen教授等合作完成。纪荣嵘教授团队系列研究成果的发布标志着我校在信息学科人工智能研究领域影响力的逐步提升。本项研究得到了包括国家杰出青年科学基金在内的项目的支持。
