打开文本图片集
摘 要： 图像融合是综合两幅或多幅图像信息的过程。目前医学图像融合发展迅速，为人们生活提供了便利。文章介绍了图像融合的层次，图像融合的方法和图像融合的规则，给出图像融合的一些评价指标，并对其发展方向进行展望。
关键词： 医学图像融合; 融合规则; 融合算法; 评价指标
中图分类号：TP391 文献标志码：A 文章编号：1006-8228（2019）09-27-03
Summary of the development of image fusion technology
Shi Minhong
（Information College of Shanxi Agricultural University， Taigu， Shanxi 030800， China）
Abstract： Image fusion is the process of synthesizing two or more images. At present， medical image fusion develops rapidly and provides convenience for people"s life. This paper introduces the level of image fusion， the method of image fusion and the rules of image fusion， gives some evaluation indexes of image fusion， and prospects its development direction.
Key words： medical image fusion; fusion rules; fusion algorithm; evaluation index
0 引言
图像融合是综合两幅或多幅图像信息的过程。由于图像的采集场景、融合目的和使用的算法不同，需要对融合进行相应分类。根据融合过程中算法的空间域范围，图像融合可以分为两类：空间域和变换域。空间域图像融合是一种图像融合算法，可对图像像素执行简单快速的操作。通过源图像的多尺度分解来进行变换域的融合，再通过分解获得的系数来获得融合系数，最后进行算法重构[1]。近年来，医学影像如CT（Computed Tomography，计算机断层扫描成像）和MRI（Magnetic Resonance Imaging，核磁成像）为医生的诊断提供方便。CT对骨骼成像比较清晰，MRI对软组织成像较好，将它们融合在一幅图像中，形成信息互补，帮助医生准确快速地识别病变[2]。
1 图像融合发展现状
1.1 融合层次
一般按照融合过程中信息处理的复杂程度，融合过程如下图1所示，将融合分为三类，基于像素层面的融合，基于特征层面的融合和基于决策层面的融合。这三个层次由低到高，目前，融合主要集中在前两个层次，高层次的融合研究较少。
⑴ 像素级图像融合
基于像素层面的融合是指，直接对图像的像素进行操作得到融合图像的过程[3]。基于像素层面的图像融合，主要优点是对原始的图像中所包含的信息保留较多。但是，在像素级融合前，需要得到精确配准的源图像，否则影响融合结果。因为像素级的处理方式是基于原始的图像的像素点，因此它对源图像的信息丢失最少，保留最好。这有利于对图像进一步分析、处理和理解，使得人们更容易观察图像，便于计算机检测处理。
⑵ 特征级融合
基于特征层面图像融合是指，首先从源图像中提取图像的特征信息，即代表图像轮廓、纹理的信息，然后再对提取到的特征信息进行处理的过程。目前特征级多采用人工神经网络的算法，特征级多用于目标识别。与基于像素层面的图像融合相比，基于特征层面的图像融合的优点是处理速度快，计算量较小，但信息丢失较多。
⑶ 决策级图像融合
基于决策层面的图像融合是对图像进行判断与推理的过程。基于决策层面的融合过程首先模拟人的判断与分析，对图像进行初步判定，然后对判定的结果进行相关处理，最后进行图像融合。主要方法有：贝叶斯推理，D-S证据推理，表决法，聚类分析，模糊推理，神经网络等。基于决策层面的图像融合优点是可用性和可测性较好，但成本较高。与前两个层面图像融合相比，基于决策层面的图像融合信息丢失最多。薛洋[4]等将卷积神经网络用于图像的超分辨率重建，对亮度分量重建，再通过小波的方法进行融合，有效降低了图像信息的损失，获得了较好的效果。
1.2 融合方法
常用的基于变换域的图像融合算法包括DCT变换，FFT变换和多尺度变换算法等。基于变换域的多尺度分解在图像处理时能捕捉细节信息，因此目前众多研究机构和高校将多尺度分解作为研究的重点。多尺度变换的图像融合主要包括塔型变换，小波变换和曲波变换。
⑴ 金字塔变换
金字塔变换由Burt P.J.和Adelson E.H.等提出。金字塔变换的优点是能较为突出的表征图像的特征信息;存在的不足是图像信息丢失较多，分解过程不具备方向性。杨釩[5]等对图像融合中的塔式分解进行研究，通过实验，分析了塔式分解过程中分解方式和层数对融合结果的影响，实验在信息熵、标准差和平均梯度上获得了良好的效果。
⑵ 小波变换
小波变换可以将原始图像分解为不同的频域子图像，并能反映原始图像细节。随着小波技术的进步，小波逐渐应用到图像处理领域。小波变换不仅可以获得低频信息，还可以获得高频部分的水平、垂直和对角线三个方向信息。与传统的基于塔分解的方法相比，小波变换的融合效果更好。
⑶ Curvelet变换
由于小波变换获取的方向信息比较局限，无法有效捕获图像的轮廓纹理特征，因此E.J.Candes等人提出了Curvelets变换。M. Choi等人第一次在多光谱图像和全景图像的融合中使用了Curvelet变换。 张斌等人利用Curvelet变换对红外/可见光图像进行融合，得到多方向的细节信息，从而获得更好的融合效果。
⑷ Contourlet变换
Contourlet变换可以显示多个尺度任意方向上的信息，与Curvelet变换相比计算复杂度较小。周妍等人将Contourlet变换运用到图像增强中，通过参数的自用调节最终得到增强的图像获得了良好的效果。通过直方图的均衡化得到增强的图像。
⑸ 非采样Contourlet变换
非采样Contourlet变换是由A.L.Cunha等提出的，克服了Contourlet变换没有平移不变性的缺点。张强等人将非采样Contourlet变换运用到遥感图像的融合中，通过对每个波段进行双插值运算得到低频系数，对高频子带系数采用物理的注入模型进行调整，得到融合后的高频系数，最终获得的融合图像空间分辨率明显提高。图像融合流程图如图2所示。
1.3 融合规则
融合规则对于融合结果至关重要。在进行多尺度变换后，分别得到了图像的低频和高频系数。对分解得到的系数进行相关處理则需要运用相关的融合规则，融合规则直接决定了融合图像的质量。根据对相关系数的处理方式，融合规则分为两类：像素选择和区域特征。
⑴ 像素的融合规则
像素值取大和加权平均法都是基于像素的融合规则。像素值取大，是对多尺度变换后的系数进行比较，把像素值大的作为融合系数，这种方法忽略了像素之间的联系。加权平均法主要是根据人为经验设定阈值，将多尺度变换得到的系数乘以相关的权值，再求和，这种方法得到的图像对比度不高。
⑵ 区域的融合规则
基于区域的融合规则又称为基于窗口的融合规则，这种方法充分考虑了一个区域内各个像素之间的联系。基于窗口的融合规则，首先设置窗口的大小，然后计算区域的空间特性，如空间频率，区域方差和区域能量等，将空间特性作为最终的融合系数。武晓焱等人[6]在遥感图像的融合中，对于图像的高频系数采用了Hausdorff距离，充分考虑像素之间的相关性，最终获得了较好的融合效果。
1.4 评价指标
⑴ 熵
图像的熵是用来测量图像中容纳信息的多少的指标。信息熵定义为：
[⑴]
其中，pi为图像第i级灰度值的概率密度，可以从图像的灰度直方图中计算得到，L为图像的总灰度级。
⑵ 平均梯度
平均梯度主要体现了图像的细小局部信息，用来评价衡量图像的清晰度。设F是大小为M×N的图像，F在位置（i，j）处的灰度值为F（i，j），平均梯度表达式如下：
[⑵]
[G]值越大，图像越清晰。
⑶ 标准差
标准差体现了图像在某一点的灰度对于总体的平均值的偏离分散情况。标准差可以用来表示图像容纳的信息量。标准差定义为：
[std=i=1Mj=1N（F（i，j）-μ）2MN] ⑶
其中，F（i，j）为图像的均值;μ为图像在此处的灰度值，图像大小为M×N。
⑷ 空间频率
空间频率表示图像的活跃度，反映了图像的清晰程度，其值越大，融合结果越清晰。其公式为：
SF =[RF2+CF2] ⑷
其中，RF为图像的行频率，CF为图像的列频率。
[RF=1M×Ni=1Mj=1N（I（i，j）-I（i，j-1））2] ⑸
[CF=1M×Ni=1Mj=1N（I（i，j）-I（i-1，j））2] ⑹
2 总结与展望
本文介绍了图像融合的发展、图像融合的层次和图像融合的方法，以及融合规则，给出了图像融合的评价指标，对图像融合的研究提供一定的参考价值，对最新的融合方法的研究将是以后工作的重点。同时，对彩色图像的融合是今后的研究方向。
参考文献（References）：
[1] 郑静.基于Contourlet变换的图像融合算法研究[D].山东科技大学，2011.
[2] 李德智，陈宏达，毕锋等.多模态分子影像技术在肿瘤诊断中的进展[J].分析化学，2016.44（10）：1609-1618
[3] 黄卉， 檀结庆. 一种基于区域分割的图像融合方法[J].合肥工业大学学报（自然科学版），2005.28（6）：577-580
[4] 薛洋，曾庆科，夏海英，王文涛.基于卷积神经网络超分辨率重建的遥感图像融合[J].广西师范大学学报（自然科学版），2018.36（2）：33-41
[5] 杨钒，钱立志，刘晓.塔型分解多源图像融合方法[J].计算机技术与发展，2018.12：1-4
[6] 武晓焱，柴晶，刘帆，陈泽华.基于最小Hausdorff距离和NSST的遥感图像融合[J].光子学报，2018.47（2）：187-198