基本概念:
在很多图像处理任务的实现中,利用有关图像的知识是有益的,甚至是必要的。因此图像处理中一个很重要的问题就是如何表示有关的知识并以恰当的方式引入图像处理。由于图像处理任务的复杂性,目前要找出一个通用的方法适应各种情况是几乎不可能的。另一方面,在建立普适的图像处理方法时,往往会忽略某类图像具有的特定属性。相反,针对某类特定问题,则可能找到有效的方法。为此,我们提出基于对象图像处理的概念:限定图像处理的对象为一类物体,考察对象的共有属性(称为先验),并将其结合到图像处理的任务中以提供更多的信息,从而提升图像处理的性能、提高处理效果。它由以下要素构成:待处理的对象;有关对象共同属性的表示;将对象属性的表示引入或结合到图像处理中的途径;问题求解算法。
我们提出表示对象共同属性的方法应满足的4个要求,在此基础上选择基于Karhunen-Loève变换的统计方法表示对象先验,即为统计先验。我们将基于对象图像处理的概念应用于图像处理中的两个基本问题,即轮廓提取和图像恢复,从对象先验知识的表示、结合对象先验的途径和相应求解算法三个要素阐述这一概念的具体实现。在轮廓提取中,现有方法一般将关于对象形状的先验表示为能量泛函的形式,而后应用确定性算法优化得到轮廓。本文则利用对象形状统计先验预测随机过程的状态转移以实现形状知识的引入,而状态估计则利用一种随机方法,即序列蒙特卡罗方法(Sequential Monte-Carlo Method)实现。在图像恢复中,现有方法一般是通过分析图像局部灰度特性来描述图像的先验约束(主要是平滑性)。而我们的方法从概念上完全不同:从图像要表达的物体,即对象出发,表示对象图像灰度所具有的共同属性,将对象灰度先验提供的附加信息分别引入经典的正则化图像恢复和集合论框架中,并提出相应求解算法。
轮廓提取:
1、引入形状统计先验知识的轮廓提取
这里引入形状统计先验的轮廓提取的随机方法。用基于主元分析的形状模型作为统计先验表示人手这一对象的形状共有属性。将逐步连接边缘得到轮廓的过程用状态动态演化的随机过程描述,而后分别用对象形状的统计先验和图像灰度边界属性来构造动态方程和量测方程,最终利用序列蒙特卡罗方法实现状态估计,得到目标物体的轮廓。对各种复杂情况下拍摄的人手图像进行实验表明,该方法对于复杂背景、遮挡和噪声干扰不敏感。
Canny算子边缘检测结果 JetStream算法轮廓提取结果 本方法提取轮廓结果
复杂背景中提取物体轮廓 提取有遮挡物体轮廓 提取有噪图像的物体轮廓
2、基于形状统计模型的面部特征提取
针对呈现多个形状的人脸面部特征的轮廓提取,提出了基于人脸形状统计模型的面部特征提取随机方法。进一步细化描述人脸面部特征的形状先验,建立4个人脸面部特征形状统计模型和1个整体形状模型,表示面部特征形状的先验。面部特征形状模型和整体形状模型分别用来预测面部特征内状态转移和特征间状态转移。与手轮廓提取类似,使用序列蒙特卡罗方法估计面部特征轮廓。这样,面部特征轮廓提取方法也具有前述性能,同时由于引入多个局部特征形状模型,使得该方法能够恢复部分遮挡的面部特征轮廓,而且个别轮廓控制点估计的偏差不会影响其它面部特征轮廓的定位。至此,得到的轮廓提取方法,可分别应用于单个轮廓曲线的物体和具有多个组成部分的物体。描述先验的方法又具有通用性,所以提出的轮廓提取方法可以应用于其它类对象的轮廓提取中,比如花、树叶、以及医学影像中的器官等。
图像恢复:
1、基于对象统计先验的图像恢复正则化方法
我们分析了在考虑图像灰度量化前提下,图像恢复的可能解的数量与降质函数的尺寸的定量关系,指出大尺寸降质情况下引入对象先验知识必要性。基于这一分析,提出了在正则化途径中引入人脸统计先验约束项的数学描述以及迭代求解算法。对降质模型已知的模糊图像,实验结果分析和主观感受表明,该方法能够有效抑制振铃与噪声,显著提高恢复效果。
原始图像 加噪降质图像(BSNR=10dB) Wiener滤波恢复图像
自适应限制最小二乘算法恢复图像 本算法的恢复结果 本算法恢复图像与原图差图像
2、集合论框架下基于对象统计先验的图像恢复
我们提出了集合论框架下,基于人脸灰度统计先验的图像恢复算法。运用基于对象图像处理的概念把图像恢复的对象限定到人脸,将统计模型描述的人脸先验信息用属性集合的形式表示,该属性集与表示降质过程的属性集的交集即为图像恢复的可行解集,而后利用凸集投影算法或并行子梯度投影算法得到恢复图像。对正面人脸图像恢复的实验结果表明,对于较大尺寸和较强噪声污染的降质图像,本文的方法仍然可以获得满意的结果。这从集合论角度给出了引入对象先验的图像恢复的框架,为今后此类方法的研究奠定了基础。