IVIF文献阅读笔记：Multigrained Attention Network for Infrared and Visible Image Fusion

目录1、题目2、文献信息3、动机4、主要工作1构建融合新框架2双编码与注意力引导3设计双判别器架构4引入特征损失函数5、核心创新点1多粒度注意力机制2特征损失函数Feature Loss3双对抗网络架构6、网络结构1总体架构2注意力模块3鉴别器架构7、损失函数1生成器的损失函数2鉴别器的损失函数1、题目“MultigrainedAttention Network for Infrared and Visible Image Fusion”《用于红外与可见光图像融合的多粒度注意力网络》2、文献信息作者Jing Li ,HongtaoHuo , Chang Li , Member, IEEE,RenhuaWang ,ChenhongSui , and Zhao Liu出处IEEE Transactions on Instrumentation and MeasurementVOL.70,2021,1-12链接Multigrained Attention Network for Infrared and Visible Image Fusion | IEEE Journals Magazine | IEEE Xplore3、动机现有基于生成对抗网络GAN的红外与可见光图像融合方法无法有效感知图像的判别性区域导致在融合过程中容易丢失重要的前景目标、可见光的上下文细节以及未参与对抗博弈的图像信息4、主要工作1构建融合新框架提出了一种基于编码器-解码器网络的多粒度注意力图像融合方法MgAN-Fuse2双编码与注意力引导采用双独立编码器分别处理不同模态图像将提取的多尺度特征与多粒度注意力图结合并拼接输入解码器生成结果3设计双判别器架构引入两个独立的判别器进行对抗训练分别促使模型保留红外图像的强度信息和可见光图像的纹理细节4引入特征损失函数在训练中加入额外的特征损失项通过计算特征差异来强制模型保留可见光图像的关键信息5、核心创新点1多粒度注意力机制将其集成到编码器-解码器框架中充分利用多尺度层的特征迫使生成器聚焦于最具判别性的区域 。该机制既能保留红外图像的前景目标信息又能捕获可见光图像的上下文信息2特征损失函数Feature Loss为保留可见光图像的重要特征通过计算判别器浅层网络中可见光图像与融合图像特征的差异设计了特征损失函数3双对抗网络架构设计了两个结构相同的独立判别器第一个用于区分融合图像与红外图像以保留红外强度第二个用于区分融合图像与可见光图像以捕获纹理细节6、网络结构1总体架构MgAN-Fuse框架由一个生成器和两个独立且结构相同的判别器组成生成器基于编码器-解码器网络 。采用两个独立的编码器分别对红外和可见光图像进行多尺度特征提取 。编码器的各尺度层中集成了注意力模块Att以生成多粒度注意力图随后将其与解码器网络相应的多尺度特征进行拼接最终由解码器计算生成融合图像Discriminator_ir用于区分融合结果与真实红外图像促使生成器保留足够的红外强度信息Discriminator_vis用于区分融合结果与真实可见光图像促使模型捕获足够的可见光细节2注意力模块该模块同时考虑通道和空间维度通过学习权重来强调判别性特征并抑制无关信息输入与维度转换输入为编码器各卷积块的特征图fm,通过”全局平均池化GP”捕获全局信息将空间特征压缩为1×1×m的通道向量权重学习利用”全连接层FC”学习通道间的相互依赖关系随后通过Sigmoid函数SG 生成每个通道的权重系数特征重加权将学习到的权重与原始特征图fm进行逐元素相乘,选择地增强重要特征并抑制次要特征空间图生成在重加权后的特征基础上通过Fmax操作跨通道维度取最大值构建最终的注意力图Attention map计算公式3鉴别器架构K、n和S分别表示核大小、滤波器数和步长MgAN-Fuse设计了两个独立且结构相同的判别器用于在对抗博弈过程中捕获源图像的关键信息对抗博弈Dir旨在区分融合结果与红外图像强制生成器保留红外强度信息细节捕获Dvis旨在区分融合结果与可见光图像帮助模型捕获可见光的纹理细节训练稳定采用带有梯度惩罚的WGAN架构以解决传统GAN训练中梯度消失或爆炸的问题逐层降采样通过在偶数卷积块第2、4、6块中设置步长为2来实现特征图的下采样和空间信息压缩7、损失函数1生成器的损失函数生成器的总损失函数目的是平衡图像融合中的像素强度、纹理细节和对抗博弈α和μ是控制各损失项权重的参数多对抗损失(Ladv),通过与两个判别器的博弈同时获取红外强度和可见光细节内容损失(Lcon),保留红外图像中的像素强度信息热源目标。计算融合图像与红外图像之间的Frobenius范数通过最小化像素差异来维持亮度特征损失(Lfeature),鼓励生成器捕获可见光图像中典型的局部细节特征。判别器Dvis前k层浅层中融合图像与可见光图像之间的特征差异 。由于浅层感受野较小能更好地表征纹理等局部信息2鉴别器的损失函数鉴别器采用基于WGAN-GP带有梯度惩罚的Wasserstein GAN的损失函数以增强训练稳定性并克服梯度消失问题对抗项前两项计算真实数据分布pir/vis与融合图像分布pIf间的Wasserstein距离。鉴别器的目标是最大化这一距离从而准确区分真实源图像与生成的融合图像梯度惩罚项第三项于约束鉴别器的梯度。通过强制梯度的模接近1从而解决权重裁剪导致的梯度爆炸或消失问题