Domain Adaptation for CNN Based IrisSegmentation
Domain Adaptation for CNN Based IrisSegmentation
摘要
卷积神经网络在解决图像分割等关键人工视觉挑战方面取得了巨大成功。然而，训练这些网络通常需要大量标记的数据，而数据标记是一项昂贵而耗时的任务，因为涉及到大量的人力工作。在本文中，我们提出了两种像素级的域自适应方法，介绍了一种基于CNN的虹膜分割训练模型。基于我们的实验，所提出的方法可以有效地将源数据库的域转移到目标数据库的域，产生新的自适应数据库。然后，使用调整后的数据库来训练用于目标数据库中虹膜纹理分割的细胞神经网络，从而消除了对目标标记数据的需要。我们还指出，为新的虹膜分割任务训练特定的CNN，保持最佳分割分数，使用非常少量的训练样本是可能的。
索引术语领域自适应，基于CNN的虹膜分割，虹膜分割
1、介绍
近年来，人们已经做出了相当大的努力来开发用于各种应用的精确自动分割系统，使用监督机器学习算法。眼睛图像中虹膜纹理的精确分割是虹膜识别中的一个关键挑战，对后续特征提取和识别算法的准确性起着至关重要的作用。卷积神经网络在虹膜分割中的应用最近受到了一些研究的关注，并提出了一些基于CNN的模型[1][2]。尽管如此，与任何其他监督学习模型一样，这些模型的性能在很大程度上取决于足够数量的标记数据的可用性。然而，数据标记是一个极其昂贵和耗时的过程，尤其是在分割虹膜数据时，由于涉及大量的人力工作。因此，为每个新的分割任务（即分别为新的数据集或传感器）手动注释大量数据不是可行的选择。
在这项工作中，我们提出了两种域自适应方法，将源虹膜数据库的域（可获得分割标签）转移到目标的域，生成自适应虹膜数据库，从而能够训练全卷积神经网络（FCN）来分割目标数据库中的虹膜。这样，我们可以为新的虹膜分割任务训练FCN，使用自适应的源虹膜图像及其相应的地面真实掩模，从而消除了对生成成本极高的目标虹膜地面真实掩膜的需要。为了实现这一目标，我们选择了三个公开可用的虹膜数据库，并根据像素级的强度值探索了它们的色调分布。随后，我们开发了一个线性和非线性域自适应假设，以使源数据库的强度信息与目标的强度信息相适应，从而生成一组自适应数据库。最终，我们用经过调整的数据库训练了一个FCN，然后在目标数据库上进行了测试。最后，我们通过将自适应模型获得的分割结果与跨数据库和内部数据库的分割结果进行比较来评估我们的模型的方便性。
2、相关工作
计算机视觉中的领域自适应主要集中在视觉分类上，许多研究致力于推广现实世界中物体图像和同一物体照片之间的跨领域转换。在这种情况下，许多研究集中在探索特征表示上，这些特征表示在两个领域之间排列最大的干扰。其他一些工作试图通过最小化其分布之间的差异来重新调整这些特征。刘等人提出了一种耦合生成对抗性网络，以学习源数据库和目标数据库中图像的联合分布。
在其他关键的计算机视觉领域，如检测和分割，对领域自适应的研究非常有限。更准确地说，在检测方面，Hoffman等人通过明确建模分类和检测模型之间的表示转换，引入了一个领域自适应模型。此外，在后续工作中，他们使用多实例学习纳入了感知类别适应。检测模型后来被转换为FCN，用于评估语义分割性能。但这项工作没有提出任何细分特定的适应方法。Hoffman等人提出了唯一一项专注于基于CNN的分割的工作。他们在完全卷积域对抗性训练中同时使用了源数据和目标数据，最大限度地减少了两个域之间特征空间的全局距离。然后，使用受约束的逐像素多实例学习目标对目标图像进行类别更新。他们使用他们的模型对不同场景下获得的城市图像进行语义分割。他们的方法的主要缺点是使用对抗性训练和共享权重。虽然应用这种方法可以让目标网络很好地适应权重，但它会降低源网络中的这一过程。正如他们的实验所示，虽然在大多数类别中，他们的分割结果略有改善，但在其他一些类别中，如“极点”和“卡车”的分割结果却有所下降。
3、CNN训练的域适配
?在本节中，我们描述了用于基于CNN的虹膜分割的领域自适应模型。尽管不失一般性，但我们的方法也适用于其他分割模型。给定源虹膜数据库
及其相应的标签
，
是指源虹膜图像中的强度分布。同样，我们有目标虹膜图像
及其相应的标签
，而
指定了目标虹膜图像中的强度分布。在域差情形下，我们假设
和
的条件分布相同，但
和
的边际分布在两个域中不同。由此产生的两个域中分布之间的差异被称为样本偏差，其中
?使用监督学习的经验风险最小化框架，我们希望选择一个最优参数ψ′，以最小化以下目标函数
?其中
是损失函数，
是
的经验分布。正如可以从（2）中解释的那样，通过ξ对源数据的图像强度进行加权提供了最小化函数的解。对源数据的强度值进行加权的直接解决方案是使用如下的线性归一化模型：
其中a和b分别是输入和输出，b={
，
，..
}，a={
，
，..
}。我们的第一种（线性）域自适应方法基于相同的模型。通过这种方式，我们提取了目标数据库中眼睛图像的虹膜、非虹膜和瞳孔区域中强度的平均范围（最大和最小）。然后使用上面的模型（4），我们将源数据库的强度信息与目标的强度信息进行加权，以生成新的自适应数据库，正如我们已经提到的那样。
?可以看出，该模型为我们的领域自适应问题提供了线性解决方案。在实践中，在这种方法中，对于每个区域，所有源强度范围都被归一化为“目标数据库中该区域的单个平均强度范围”然而，事实是，目标区域的强度范围在目标数据库中遵循非线性分布。为了解决这种非线性问题，我们提出了我们的第二种（非线性）域自适应方法。为此，在提取目标数据库中每个区域的最大值和最小值后，我们为每个区域开发了概率分布函数（PDF）。为了将源区的强度转移到目标区的强度，最初我们从相应的PDF中提取了一个随机值，遵循正态分布。然而，这一战略似乎没有那么有希望，因为它忽略了每个地区最大值和最小值之间的互补关系。对提取的强度的进一步分析还表明，每个区域的最大和最小强度值之间存在明显的相互关系。因此，随着最大值的增加，最小值也会增加，反之亦然。为了解决这种关系，在提取强度范围后，对于每个唯一的最大值，我们计算相应最小值的平均值。然后，我们使用这两个变量为每个区域开发了一个交叉值矩阵。接下来，我们将核平滑回归应用于该数据，以生成多项式函数
，如下所示：
其中
表示模型的输入（最小值），
是多项式函数的次数。现在，为了使每个源图像的域适应目标的域，我们为每个区域随机选择了一个最小值，然后使用我们提出的多项式模型估计其相应的最大值，如图1所示。因此，与线性自适应方法不同，在线性自适应方法中，所有图像都被映射到相同的范围，这里每个自适应图像具有潜在的不同范围。
四、实验框架
?为了评估我们的领域自适应方法的方便性，我们在数据库上进行了一组分割实验。下一节将分别解释这些实验的细节。然而，在下文中，我们将解释这些实验的框架。
A、数据集
?对于我们的分割实验，我们使用了三个公开可用的虹膜数据库。Casia-iris-interval-v4（Casia4i）数据库，包含249名受试者的2640张虹膜图像。该数据库中的虹膜图像是在近红外照明下采集的。IITD数据库由2240幅虹膜图像组成，对应224名受试者。所有这些图像都是在室内环境、近红外照明下获取的。Casia-iris-aging-v5数据库是即将推出的Casia-v5（Casia5a）虹膜数据库的一个子集，包含2009年拍摄的视频序列中每只眼睛和用户120张图像，以及2013年拍摄的图像序列中每两只眼睛和用户20张图像。萨尔茨堡大学提供了这些数据库的分割地面实况掩码。
B、FCN网络
我们在这项工作中使用的网络架构类似于Kendall等人提出的基本全卷积编码器-解码器网络。[14]。然而，我们重新设计了softmax层，仅分割虹膜和非虹膜区域。该网络的编码器架构分为四个部分，包含一组块。每个块包括一个卷积层、一个批量归一化层和一个线性非线性层。同样地，对应的解码器架构被组织为四个块，其层类似于编码器块的层，不同之处在于这里每个块也包括上采样层。解码器网络最终到达生成最终分割图的softmax层。有关网络和层的技术规范的更多详细信息，请参阅相关参考资料。该网络是在“Caffe”深度学习框架中实现的。
C、度量和测量
我们使用基于NICE.I协议的两个分割误差分数nice1（n1）和nice2（n2）来估计虹膜分割的准确性。误差分数nice计算所有图像上对应的不一致像素的比例（通过逻辑异或运算符），如下所示：
其中，c和r是分割掩模的列和行，O（c′，r′）和c（c′、r′）分别是输出和地面实况掩模的像素。误差分数nice旨在补偿图像中虹膜和非虹膜像素的先验概率之间的不均衡——它对I型和II型误差进行平均，即fp（假阳性）和fn（假阴性）率之间的误差，如下所示：
此外，我们还考虑了F分数（f1）来估计虹膜分割的准确性。F分数是精度（P）（检索到的实例中相关实例的分数）和召回率（R）（已检索到的相关实例在总相关实例中的分数）的调和平均值，如下所示：
?nice1和nice2的值在[0，1]区间内有界，“1”和“0”分别是最差和最好的分数。F的分值在[1，0]区间内有界，“0”和“1”分别是最差和最好的分数。
5、实验和讨论
我们通过一组实验评估了我们的领域适应模型的卓越性。通过这种方式，最初，我们使用三个可用的数据库开发了六组唯一的数据库对（源-目标）。接下来，我们探索了目标数据库中的域分布，提取了这些数据库中眼睛图像的虹膜、非虹膜和瞳孔区域的强度范围（图2反映了这一信息）。然后，使用我们的领域自适应方法，我们将源数据库中特定区域的强度值转移到目标的强度值，为每对生成一个自适应数据库。接下来，我们用每个自适应数据库训练我们的网络，然后在相应的目标数据库（自适应目标）上进行测试。图3和图4显示了分别应用线性和非线性自适应方法的三对数据库的样本自适应图像及其相应的分割结果。
然后将分割结果与基线结果（将用源数据库训练的网络直接应用于目标数据库而不进行自适应的结果）进行比较。表1显示了我们的基于线性（LB）和基于非线性（NB）的自适应方法相对于基线（源-目标）结果的分割分数。此外，图5以箱图的形式提供了基于线性的适应实验的进一步信息，包括：最小值、最大值、中值、分位数和异常值。
如表1中的实验结果所示，与基线结果相比，几乎所有的线性域自适应都会显著改善虹膜分割。在非线性域自适应的分割结果中也可以看到稍低但稳定的改进。需要注意的是，在训练过程中影响权重的特征表示并不局限于色调分布，虹膜、非虹膜和瞳孔区域的几何特性等进一步的特征也会最终影响这一过程。在这里，我们只考虑了色调分布，因此当直接使用目标数据集进行训练时，结果与最优解不可比较。
总之，总体结果证实了一个关键结论，即色调分布（虹膜、非虹膜和瞳孔的强度范围）在不同于训练数据的新虹膜数据上的FCN的泛化中起着关键作用。值得注意的是，虽然线性适应的Litdcasia数据库的分割结果显示出比基线略低的分数，但相同数据库的非线性适应的分割结果比基线的分割结果好得多。在Casia5a iitd数据库的分割结果中可以发现类似的一致性，但方式相反。 虽然所提出的域自适应方法被证明可以有效地在虹膜数据库之间转移域，但所获得的分割结果与表2中所示的最优虹膜分割分数相去甚远。在这种程度上，为了最大限度地减少训练新虹膜分割任务的细胞神经网络所需的标记数据数量，并保持最佳分割分数，我们进行了一系列额外的实验。通过这种方式，我们减少了为新的虹膜分割任务逐步训练CNN所需的标记样本数量，遵守了我们用于最优（目标-目标）实验的框架。表3展示了这些实验的结果。考虑到表2中的最佳分割结果，我们可以看到，对于大多数数据库，使用最多100个训练样本可以获得最佳分割分数。然而，在大多数情况下，50个甚至25个样本可以获得略低但非常接近的分数。
6、结论
卷积神经网络在虹膜分割中的应用最近首次受到研究关注，研究人员为此引入了一些基于CNN的模型。尽管如此，与任何其他监督学习模型一样，训练这些模型需要足够数量的标记虹膜数据。由于涉及到大量的人力工作，准备标记数据来训练这些网络用于新的分割任务是非常昂贵和耗时的。在这项工作中，我们提出了两种自适应方法，将源虹膜数据库的域转移到目标的域，生成自适应数据库。然后，自适应的虹膜图像及其相应的地面实况掩码使得能够训练用于在目标虹膜数据库中进行分割的FCN网络，从而消除了对目标地面实况掩码的需要。
虽然实验结果证明了这两种方法的方便性，但在某些情况下，它们的分割分数远未达到最佳值。为了最大限度地减少为新的虹膜分割任务训练网络所需的标记虹膜图像的数量，并保持最佳分割分数，我们逐步减少了训练样本的数量，作为领域自适应的替代方法。实验表明，对于大多数数据库，使用最多100个训练数据样本可以获得最佳分割分数。在我们未来的工作中，我们将调查两种提出的适应方法之间的关系以及产生不同结果的原因。除此之外，我们还将探索更多鼓励两个领域之间最大限度区分的特征表示，希望能够开发出一种更全面的领域自适应方法。