控制与决策

作者：庞忠祥,刘桂华,陈春梅,刘海涛

单位：西南科技大学 信息工程学院,四川 绵阳 621010;特殊环境机器人技术四川省重点实验室,四川 绵阳 621010,,西南科技大学 信息工程学院,四川 绵阳 621010;特殊环境机器人技术四川省重点实验室,四川 绵阳 621010,,西南科技大学 信息工程学院,四川 绵阳 621010;特殊环境机器人技术四川省重点实验室,四川 绵阳 621010,,西南科技大学 信息工程学院,四川 绵阳 621010;特殊环境机器人技术四川省重点实验室,四川 绵阳 621010,

关键词：图像融合;红外图像;可见光图像;EfficientNet;迁移学习

基金：国家自然科学基金项目(11602292)；四川省科技支撑计划项目(2021YFG0380)；四川省卫生和计划生育科研课题项目(17PJ207)；广东电网有限责任公司广州供电局委托项目(080044KK52190002).

目前多数红外与可见光图像融合算法在融合过程中通常需要对源图像进行分解,这样易导致融合图像细节模糊和显著性目标丢失.为解决该问题,提出一种基于深度卷积特征提取的红外与可见光图像融合方法.首先,利用迁移学习理论对EfficientNet特征提取性能进行分析,选择7个特征提取模块;然后,直接将源图像送入特征提取模块以实现显著性特征提取;接着,构造通道归一化和平均算子操作用于获取显著图,再使用Softmax与Up-sampling组合的融合规则来得到融合权重,将融合权重与源图像进行卷积,生成7幅候选融合图像;最后,将候选融合图像的像素最大值作为最终的重构融合图像.所有实验均在公共数据集上进行,并与经典的传统和深度学习方法比较,主客观实验结果均表明,所提出方法能够有效地融合红外与可见光图像中的重要信息,突显融合图像的细节纹理,具有更好的视觉效果和更少的图像伪影以及人工噪声.

来源：2024年第3期

《控制与决策》期刊编辑部

查看控制与决策杂志2024年第3期