图像质量评价（Image Quality Assessment，IQA）

文章目录图像质量评价Image Quality AssessmentIQA一、评估方式1.1、主观评估方式1.2、客观评估方式全参考 半参考 无参考1全参考的方法对比Full-Reference IQAFR-IQA2半参考的方法对比Reduced-Reference IQARR-IQA3无参考的方法对比No-Reference / Blind IQANR-IQA二、常用公开IQA数据集对比表图像质量评价Image Quality AssessmentIQA图像质量评价指标Image Quality Assessment, IQA是衡量图像在主观感受或客观性能上的一组量化标准常用于图像增强、压缩、重建、去噪等任务的效果评估。图像质量评估维基百科图像质量评价百度百科图像质量评价每个方法的论文简介与链接图像质量评估综述质量评估可分为图像质量评估IQA视频质量评估VQAIQA方法从宏观上可分为主观评价依赖人工评分尽管准确性高、符合人眼视觉系统HVS偏好但成本昂贵、效率低下难以适配大规模自动化系统。客观评价则以数学模型自动预测图像质量广泛应用于工业与科研领域是当前主流研究方向。从参考图像可用性角度IQA又分为三类FR-IQA全参考借助无失真参考图像计算其与原始图像的差异方法成熟、性能稳定但对实际应用受限因多数情况下参考图像缺失。RR-IQA半参考只有原始图像的部分信息或从参考图像中提取的部分特征在性能与适用性之间折中。NR-IQA无参考仅依赖待评估图像本身不需要参考图像应用最广但难度最大当前是研究热点。一、评估方式评估方式特点与对比维度主观评估Subjective IQA基于真实观察者的视觉感知由人类主观对图像质量进行评分常用指标包括MOS平均意见得分与DMOS差异意见得分。需要通过标准化实验环境和统计方法获取大量人评分。✅ 精度最高最符合人眼感知❌ 可复现性差结果易受主观因素干扰❌ 成本高需招募被试并控制实验环境❌ 实时性差无法快速得出结果❌ 难以部署通常用于数据库标注与模型基准客观评估Objective IQA通过数学模型或算法自动估算图像质量分数目标是尽可能逼近主观得分具有可重复性和实时性。根据参考图像的使用程度分为FR全参考、RR半参考、NR无参考三类是当前研究热点。✅ 可复现、稳定性强✅ 成本低自动处理大规模图像✅ 实时性好支持在线或终端部署✅ 可广泛应用于图像压缩、增强、采集质量控制等场景⚠ 精度依赖模型质量NR方法尤其具有挑战性1.1、主观评估方式方法类型简要说明评分输出应用场景MOS平均意见得分多人打分后取平均分1 ~ 5 或 0 ~ 100训练NR-IQA模型构建图像质量数据集DMOS差分MOS与原始图像评分的差值反映质量劣化程度通常为正数TID2013、CSIQ等主观差分数据集单刺激法SS仅展示失真图像进行评分相对主观KonIQ-10k, LIVE Wild等双刺激法DSCQS参考图与失真图并排显示受试者对失真程度打分相对准确LIVE、CSIQ、TID系列三选一法3AFC三图中选出质量最好/最差者构建排序关系用于学习构造对比样本对DeepIQA排序训练等1.2、客观评估方式全参考 半参考 无参考类别全称英文是否需要参考图像输入信息输出结果代表算法/模型常见评价指标常用数据集优势描述劣势描述典型应用场景FR-IQAFull Reference IQA✅ 全参考原图 失真图两图之间的相似性得分PSNR、SSIM、MS-SSIM、FSIM、VIFPSNR, SSIM, MSELIVE, TID2013, CSIQ, KADID-10k精度高计算逻辑清晰结果可对齐主观感知依赖原图实际部署难编解码优化、图像增强算法调试RR-IQAReduced Reference IQA✅ 半参考失真图 原图特征或统计量与参考特征的相似性得分RRED、DNT、NRQM部分JS差异, KL散度, 差值指标TID2013, LIVE, SIQAD节省传输成本精度优于NR兼顾应用性与性能仍需传输部分特征模型通用性不足视频传输评估、带宽受限下的图像监控NR-IQANo Reference IQA / Blind IQA❌ 无参考单张失真图图像质量得分预测值BRISQUE、NIQE、PIQE、DeepBIQ、HyperIQA等MOS主观分数KonIQ-10k, SPAQ, CLIVE, LIVE Wild无需参考图可用于实际图像质量预测部署难以保证泛化能力训练依赖主观评分数据集医疗图像质检、无人监督场景1全参考的方法对比Full-Reference IQAFR-IQA方法名核心指标是否模型训练主要思想优点缺点适用场景MSE / PSNR均方误差 / 峰值信噪比否逐像素差异/误差量度简单高效便于实现不符合人眼感知不具备感知鲁棒性压缩、编码等低层处理SSIM结构相似度 Structural Similarity否考察亮度、对比度与结构信息模拟视觉机制感知一致性更好对几何变化、伪影不敏感编解码质量评估MS-SSIM多尺度结构相似度否多分辨率层次感知更贴近人眼感知层级计算略复杂高清视频/图像质量评价VIF信息保真度 Visual Information Fidelity否源图像/失真图像的信息量比率信息论基础评价可靠性高理论复杂耗时较长图像传输、压缩失真评估FSIM特征相似度 Feature SIM否考察相位一致性、梯度强度敏感性高鲁棒性好不适合大规模计算图像增强质量评价LPIPS感知相似度 Learned Perceptual Image Patch Similarity是深度模型提取CNN特征后计算相似度感知特性强视觉一致性高模型依赖重、需GPU超分辨、风格迁移、图像复原等任务2半参考的方法对比Reduced-Reference IQARR-IQA方法名参考特征类型是否训练模型方法特点优点缺点适用场景RRED局部统计量DCT能量特征否基于变换域的熵率与视觉冗余度估计精度高接近FR-IQA特征提取依赖参考图像计算复杂通信系统图像质量反馈DNT-RRDCT统计特征否仅传输部分统计特征用于质量预测传输代价低可嵌入实际系统失真类型覆盖范围有限网络图像编码传输Wavelet-Q小波能量子带统计量否局部频域统计特征构建质量指标可解释性强计算高效对某些失真鲁棒性不足通信协议/嵌入式视频传输RR-FSIM相位一致性幅度统计特征否对FSIM简化只提取部分参考特征接近FR精度传输成本低对特征选择依赖高视频会议、直播质量评估RR-NSS自然场景统计参数否利用自然图像统计模型压缩参考图像信息适应性强不适合非自然图像工业检测、远程图像识别等场景3无参考的方法对比No-Reference / Blind IQANR-IQA NR-IQA研究现状传统统计方法阶段2010年以前代表方法如BIQI、DIIVINE、BRISQUE等依赖自然图像统计NSS特征使用SVM或贝叶斯回归模型实现质量预测。该阶段研究具有可解释性强、计算代价低等优点但泛化能力有限。数据驱动阶段2013年起随着深度学习发展基于CNN的NR-IQA方法如CORNIA、NIMA、DeepBIQ等不断涌现能够从图像中自动学习判别特征主观一致性显著提升。此类方法在主观评分预测、跨数据库泛化等方面取得较好效果但对数据依赖严重、可解释性差。Transformer与自监督阶段2020年至今新一代方法引入Vision Transformer结构如MANIQA、TReS、MUSIQ或自监督学习如CONTRIQUE提升跨场景泛化能力与语义建模能力。当前最先进模型普遍在多个公开数据集如LIVE、TID2013、KonIQ-10k、CLIVE等上取得了优异成绩开始接近甚至超过主观一致性下限。方法名称首次提出模型类型特征类型是否训练适用失真类型主观一致性优点局限性应用场景NIQE (Natural Image Quality Evaluator)2013传统统计模型NSS自然场景统计否泛化失真无需训练数据中等无需训练、计算高效对特定失真不敏感主观一致性不高快速筛选、质量控制BRISQUE (Blind/Referenceless Image Spatial Quality Evaluator)2012SVM回归NSS特征空域是模糊、压缩等常见失真高轻量级、主观一致性较高需训练样本失真类型受限通用图像评估BLIINDS-II (Blind Image Integrity Notator using DCT Statistics)2011贝叶斯回归NSS频域DCT是模糊、噪声等中等频域分析精细提取DCT特征耗时、训练依赖性视频压缩质量监测CORNIA (Codebook Representation for No-Reference IQA)2013机器学习原始图块无监督特征学习是多种失真高结合深层表示对内容敏感训练成本高图像增强前后质量评估HOSA (Higher Order Statistics Aggregation)2015无监督统计特征聚合SVD高阶矩是各类失真高无需深度网络适应性强参数敏感训练集依赖医学图像质量分析DIIVINE2011SVMNSS空间小波域是多类失真高空间-频域联合特征维度高训练成本大图像处理算法评估IL-NIQE2015无监督NSS 亮度不变性否各类失真中等无训练集依赖稳定性强泛化能力有限嵌入式图像监控设备NIMA (Neural Image Assessment)2017CNN回归全图输入Inception是主观美学/质量高可预测MOS分布美学兼顾训练代价高图像美学质量评分DeepBIQ2016CNN分类回归局部图块深度特征是泛化强高利用深层特征有效预测黑盒问题计算量大手机拍照图像优化RankIQA2017Siamese网络Siamese排序特征是多类失真高模拟评分过程更接近人感知排序数据构建复杂图像优化排序任务DBCNN2018CNN分类回归VGG16 评分网络是各类失真高精度高可回归MOS需要大量数据通用图像质量评分CONTRIQUE2021TransformerNSSNSS嵌入 自监督学习是泛化失真无监督高利用NSS嵌入鲁棒性强网络复杂零样本质量估计MANIQA2022Vision Transformer局部块 全局注意力是泛化强极高高分辨率支持跨数据集表现好模型参数多高端视觉质量分析二、常用公开IQA数据集对比表数据集名称类型图像数参考/失真失真类型主观评分特点简介LIVE[官网]FR-IQA29 / 779模糊、压缩、噪声、快门抖动等5类DMOS最早最广泛使用的数据集之一包含真实失真与评分广泛用于FR-IQA评估基准。CSIQ[官网]FR-IQA30 / 8666类失真×不同强度DMOS图像与失真类型更丰富主观得分离散性较小与LIVE互补。TID2013[官网]FR-IQA25 / 300024种失真×5级强度MOS非常全面的数据集失真种类多适合训练与泛化测试。TID2008FR-IQA25 / 170017类失真MOSTID2013前身失真较少但结构相似。KADID-10k[官网]FR-IQA81 / 10,12525类失真×不同强度MOS图像种类多、失真复杂适合深度学习模型训练。CID2013FR-IQA474 / 474实拍设备失真MOS强调真实场景采集拍照质量图像尺寸大适合真实感知建模。Waterloo IAA[官网]FR-IQA4744 / 94,880常见压缩与噪声等失真无主观得分用于无参考方法的无监督训练或构造合成失真大规模。KonIQ-10k[官网]NR-IQA— / 10,073自然图像真实失真MOS高分辨率自然图像图像来源广泛适合NR-IQA训练包含多维质量因子标注。CLIVE[官网]NR-IQA— / 1,162拍摄图像中自然失真MOS强调移动端/手持拍摄自然图像质量适合盲质量评价建模。SPAQ[论文]NR-IQA— / 11,125高质量自然失真图像MOS更具挑战性真实感强含曝光/色彩/对比等因素。FLIVENR-IQA— / 39,000自然采集图像MOS最大规模真实图像质量数据集之一适用于深度NR-IQA模型训练。 说明FR-IQAFull Reference提供参考图像与失真图像可用于全参考算法对比。NR-IQANo Reference无参考图像难度更高适合实际部署情境。MOS/DMOS主观评分标准分别代表“平均意见分数”“差异平均意见分数”。