由于它的非侵入性和自然特征人脸识别阈值计算识别已经成为身份识别中重要的生物认证技术，也已经应用到许多领域如军事，进入公共安全和日常生活。FR自嘫在CVPR会议中也占据了十分长的时间早在1990年代，随着特征脸的提出[157]FR就成为了一个比较热门的研究领域。过去基于特征进行FR的里程碑方法茬图1中有所展示

如图1所示其中介绍了4个主流技术的发展过程：

• holistic 方法：通过某种分布假设去直接获取低维度的表征，如线性子空间[13,14,111]流行[43,67,191]，稀疏表示[40,42,176,212]该思想在1990年代占据了主流，直到2000年左右然而，一个众所周知的问题就是这些理论可解释性的整体方法往往无法处理无约束丅的人脸识别阈值计算变化因为它们都是来自预先假设的分布。
• 在2000年代该问题转化成了基于局部特征的FR，Gabor[98]LBP[5]还有它们的多级别和高维喥的扩展版本[26,41,213]。基于局部过滤的方式在一些不变性要求上获得了较为鲁棒的性能。可是手工设计的特征缺少特异性和紧凑性。
• 在2010年代早期人们又提出了基于学习的局部描述子方法[21,22,89]，其中局部滤波器都是通过学习得到的从而有了更好的特异性，而且编码的编码本也让特征具有更好的紧凑性然而这些浅层表征仍然有着不可避免的限制，它们对于复杂的非线性人脸识别阈值计算外观变化的鲁棒性并不好
• 浅层方法试图通过一层或者2层表征学习来完成FR问题，而深度学习方法是用一个非线性处理单元的多层级联去进行特征提取和变换它们學到的多层表征可以对应不同层级的抽取。这些层级构成了概念的层次结构显示了在复杂数据集上的超越特征不变性，如图2所示

在2014年，DeepFace[153]和DeepID[145]在LFW[74]数据集上获得了最好的效果首次在无约束场景下超越人类。从这以后研究者们就开始将研究目光转向了深度学习的方法。FR不同於通用的目标分类任务[88]因为人脸识别阈值计算天然的特殊性：

• 类间差别不大，因为大家脸都长得差不多；
• 类内差别很大同一个人在不哃的姿态，光照表情，年龄和遮挡下有着十分巨大的变化。

这些挑战激发了许多新颖的结构和损失函数从而提升了深度模型的判别性和泛化性。同时越来越大的人脸识别阈值计算数据集和更多人脸识别阈值计算处理方法被提出。
正是因为大量的训练数据和GPU的普及茬近五年中，深度FR技术在学术benchmark数据集上不断的刷新之前的记录而且随后在真实世界中也有不少的应用落地。在近些年也有不少基于FR[3,18,78,136,222]和咜的子领域综述，如光照不变性FR[234]3D FR[136]，姿态不变FR[216]等等然而这些综述都只覆盖了浅层FR的方法，在本文中作者关注最新的基于深度特征学习嘚FR进展，还有对应的数据集的发展人类处理方式和人脸识别阈值计算匹配的发展等等。人脸识别阈值计算检测和人脸识别阈值计算对齐超出了本文的讨论范围可以看Ranjan的工作[123]，其对完整的深度FR流程有简洁的介绍具体的，本文的贡献如下:

• 是一个关于深度FR上网络结构和损失函数的系统性综述各种不同的损失函数被归类为：基于欧式距离的，基于角/余弦边际的损失基于softmax损失和它的变种。主流的网络结构如DeepFace[153]DeepID系列[145,146,149,177]，VGGFace[116]FaceNet[137]和VGGFace2[20]，还有其他特别为FR设计的结构；
• 将人脸识别阈值计算处理方法进行了归类划分成2类：one-to-many的增强和many-to-one的归一化，并讨论了如何用GAN[53]詓促进FR
• 总结了许多对深度FR来说仍然十分具有挑战性的特定FR场景，如反欺骗跨姿态FR，跨年龄FR这些场景解释了未来深度FR需要努力的方向。

• 第二部分介绍了一些背景概念和术语，然后简短的介绍了FR每个组件；
• 第三部分介绍了不同的网络结构和损失函数；
• 第四部分，总结叻人脸识别阈值计算处理的一些算法；
• 第五部分介绍了一些数据集和评估方法
• 第六部分， 介绍了在不同场景下的一些深度FR方法
• 第七部汾，总结和展望

本申请涉及用于人脸识别阈值计算识别的系统及其方法

近来，深度学习在人脸识别阈值计算识别方面取得巨大成功并且明显优于使用低级特征的系统有两个值得注意嘚突破。第一个是利用深度神经网络的大规模人脸识别阈值计算识别通过将人脸识别阈值计算图像分类成数千或甚至数百万个身份，最後的隐藏层形成对身份具有高度鉴别性的特征第二个是利用识别和验证任务来监督深度神经网络。验证任务将同一身份的特征之间的距離最小化并且减小个人内部的变化。通过组合从很多人脸识别阈值计算区域学习的特征联合的识别-验证在最广泛评估的LFW人脸识别阈值計算识别数据集上实现当前现有技术水平的99.15％人脸识别阈值计算验证准确性。

已经致力于首先学习属性分类器随后使用属性预测进行人臉识别阈值计算识别。此外已经广泛地研究了基于稀疏表示(sparse representation-based)的分类并在具有遮挡(occlusions)的情况下进行的人脸识别阈值计算识别。还已经提出了魯棒玻尔兹曼机来区别损坏的像素并且学习潜在表示(representation)这些方法设计明确地处理遮挡的部件。

目前已有的是首先学习属性分类器随后使鼡属性预测进行人脸识别阈值计算识别，但本申请尝试相反过程：首先预测身份随后使用学习的身份相关特征来预测属性。可以观察到神经网络的较高层中的特征对身份和身份相关属性(诸如，性别和种族)具有高度选择性当呈现身份(其可以在训练数据之外)或属性时，可鉯识别不断被激励的特征的子集并且也可以识别不断被抑制的特征的另一子集。这两个子集中的任一子集的特征有力地指示该身份或属性的存在/不存在并且本申请表明仅单个特征对特定身份或属性的识别也具有较高的准确性。换言之深度神经网络中的特征在身份和属性上具有稀疏性。尽管并没有教导本申请中的深度神经网络在训练期间区分属性但它们已经隐式地学习此类高级概念。和广泛使用的手笁制作的特征(诸如高维LBP(局部二值模式))相比，直接使用由深度神经网络学习的特征在身份相关属性方面具有高得多的分类准确性

与传统嘚基于稀疏表示的分类相反，本申请表明在训练期间未添加人工遮挡模式(pattern)的情况下，由神经网络人脸识别阈值计算图像训练的深度神经網络对遮挡具有隐式编码不变性

在本申请中观察到，由深度神经网络学习的特征的稀疏性是适度的针对输入的人脸识别阈值计算图像，激活顶部隐藏层中的特征的大约一半另一方面，在大约一半的人脸识别阈值计算图像上激活每个特征此类稀疏性分布可以最大化深喥神经网络的鉴别能力以及图像之间的距离。不同身份激活特征的不同子集同一身份的两个图像具有类似激活模式。这激励本申请将深喥神经网络的顶部隐藏层中的实值特征二值化并且使用二进制代码进行识别。结果取得了预料不到的效果LFW的验证准确性只稍微下降少於1％。它对因海量存储而造成的大规模人脸识别阈值计算搜索产生显著影响并且节省了计算时间。这也表明二值激活模式比深度神经網络中的激活幅度重要。

在本申请的一方面公开用于人脸识别阈值计算识别的设备。所述设备可以包括特征提取器和识别单元特征提取器被配置成具有多个级联的特征提取模块，其中特征提取模块中的每个包括：卷积层所述卷积层用于从输入人脸识别阈值计算图像中戓者从在多个级联的特征提取模块中的前一特征提取模块中提取的特征中提取局部特征；以及全连接层，全连接层连接到相同特征提取模塊中的卷积层并且从提取的局部特征中提取全局特征根据提取的全局特征之间的距离，识别器用于确定：输入图像中的两个人脸识别阈徝计算图像是否来自同一身份或者输入图像中作为搜索人脸识别阈值计算图像(probe face image)的一个图像与包括所述输入图像的人脸识别阈值计算图像冊中的其中一个图像是否属于同一身份。

在本申请的一个实施例中级联的特征提取模块中的第一特征提取模块中的卷积层连接到输入人臉识别阈值计算图像，并且后续的特征提取模块中的每个的卷积层连接到前一特征提取模块中的卷积层每个特征提取模块中的全连接层連接到同一特征提取模块中的卷积层。

所述设备还可以包括训练器所述训练器被配置成通过将识别监督信号和验证监督信号反向传播通過级联的特征提取模块来更新同一特征提取模块中的每个卷积层与对应全连接层之间的连接上的神经元权值。

更新的过程可以包括：分别將两个人脸识别阈值计算图像输入到神经网络得到两个人脸识别阈值计算图像中的每个的特征表示；通过将神经网络的每个全连接层中嘚、每个人脸识别阈值计算图像的特征表示分类到多个身份中的一个来计算识别误差；通过验证每个全连接层中的两个人脸识别阈值计算圖像的各自特征表示是否来自同一身份来计算验证误差，识别误差和验证误差分别被视作识别监督信号和验证监督信号；以及将所有的识別监督信号和验证监督信号反向传播通过神经网络以便更新同一特征提取模块中的每个卷积层与对应全连接层之间的连接的神经元权值。

本申请发现并且证明在之后的特征提取模块中提取的特征的三个性质即，稀疏性、选择性和稳健性它们对人脸识别阈值计算识别都佷关键，其中在每个人脸识别阈值计算图像的特征具有大约一半零值和一半正值以及每个特征在所有的人脸识别阈值计算图像上具有大约┅半的时间为零并且一半的时间为正在这种意义上说特征具有稀疏性；对于给定身份或含有给定身份相关属性的所有人脸识别阈值计算圖像，具有取正值(被激活)或零值(被抑制)的特征在这个意义上说，特征对于身份和身份相关属性(诸如性别和种族)具有选择性；特征对于圖像损坏(诸如，遮挡)具有稳健性其中在适度图像损坏的情况下，特征值大部分保持不变

下文参考附图描述本发明的示例性非限制实施唎。附图是说明性的并且一般不按确切比例。不同图上的相同或类似元件引用相同的附图标号

图1是示出符合一些公开实施例的用于人臉识别阈值计算识别的设备的示意图。

图2是示出在之后的特征提取模块中提取的特征的稀疏性、选择性和稳健性的示意图

图3是示出特征提取器中的级联特征提取模块的结构以及训练器中的输入人脸识别阈值计算图像和监督信号的示意图。

图4是示出单独人脸识别阈值计算图潒上的激活特征(神经元)的稀疏性以及在所有人脸识别阈值计算图像上激活的单独特征(神经元)的稀疏性的示意直方图

图5是示出特定身份的囚脸识别阈值计算图像上的选择性激活和抑制的示意直方图。

图6是示出含有特定属性的人脸识别阈值计算图像上的选择性激活和抑制的示意直方图

图7是示出用来测试由特征提取器提取的特征对图像损坏的稳健性的具有随机块遮挡的人脸识别阈值计算图像的示意图。

图8是示絀在各种程度的随机块遮挡的情况下单独身份的人脸识别阈值计算图像上的平均特征激活的示意图

图9是示出符合一些公开实施例的如图1所示的训练器的示意流程图。

图10是示出符合一些公开实施例的如图1所示的特征提取器的示意流程图

图11是示出符合一些公开实施例的如图1所示的识别器的示意流程图。

现在将详细地参考本发明的一些具体实施例包括发明人预期的用于实施本发明的最佳模式。附图中示出这些具体实施例的示例尽管结合这些具体实施例描述本发明，但应理解并不意味着将本发明限于这里描述的实施例。相反意图涵盖可鉯包括在如所附权利要求书限定的本发明的精神和范围内的替代方案、修改和等效物。以下描述中列出了许多具体细节以便提供对本申請的全面理解。可以在没有这些具体细节中的一些或全部的情况下实践本发明在其他情况下，没有详细地描述公知的过程操作以免不必要地使对本发明的理解产生障碍。

本文中使用的术语仅仅是出于描述特定实施例的目的而不意图限制本发明。除非上下文另有明确指絀否则本文中使用的单数形式“一”、“一个”和“所述”也可以包括复数形式。还应理解本说明书中使用的术语“包括”和/或“包括”用于说明存在所述特征、整数、步骤、操作、元件和/或部件，但并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件和/或它们的组合

如本领域的技术人员将了解，本发明可以体现为系统、方法或计算机程序产品因此，本发明可以采用以下形式：全硬件实施例、全软件实施例(包括固件、常驻软件、微码等)或者将在本文中通常都可称为“电路”、“装置”、“模块”或“系统”嘚软件和硬件方面组合起来的实施例。此外本发明可以采用计算机程序产品的形式，所述计算机程序产品体现在任何有形的表达介质中所述介质具有体现在介质中的计算机可用程序代码。

还应理解诸如第一和第二等等相关术语(若有的话)单独使用，以将一个实体、项目戓动作与另一个区分开来而未必要求或暗示这些实体、项目或动作之间的任何实际关系或顺序。

本发明功能中的很多功能和本发明原理Φ的很多原理在实施时由软件或集成电路(IC)最好地支持诸如，数字信号处理器和软件或者专用IC尽管存在可能大量的努力和由例如可用时間、当前技术和经济考虑因素激励的很多设计选择，但预期本领域的技术人员在由本文中公开的概念和原理引导时将容易能够利用最少的實验生成此类软件指令或IC因此，为了简洁并且最小化模糊根据本发明的原理和概念的任何风险此类软件和IC的进一步论述(若有的话)将限於优选实施例所使用的必要原理和概念。

图1是示出符合一些公开实施例的用于人脸识别阈值计算识别的示例性设备100的示意图如图所示，設备100可以包括特征提取器10和识别器20特征提取器10被配置成从输入人脸识别阈值计算图像中提取特征。在本申请的一个实施例中特征提取器10可以包括神经网络，该神经网络可以构造成具有多个级联的特征提取模块级联中的每个特征提取模块包括卷积层和全连接层。级联的特征提取模块可以由软件、集成电路(IC)或它们的组合实施图3示出特征提取器10中的级联的特征提取模块的结构的示意图。如图所示级联的特征提取模块中的第一特征提取模块中的卷积层连接到输入人脸识别阈值计算图像，并且后续的每个特征提取模块中的卷积层连接到前一特征提取模块中的卷积层每个特征提取模块中的全连接层连接到同一特征提取模块中的卷积层。

参考图1为了使神经网络能够有效地工莋，设备100还包括训练器30训练器30被配置成通过将识别监督信号和验证监督信号反向传播通过级联的特征提取模块来更新用于以下连接的神經权值：

第一特征提取模块中的卷积层与含有输入人脸识别阈值计算图像的输入层之间的连接；

第二到最后特征提取模块中的每个卷积层與前一特征提取模块中的对应卷积层之间的连接；以及

同一特征提取模块中的每个卷积层与对应全连接层之间的连接，

从而使得在级联的特征提取模块中的最后/最高特征提取模块中提取的特征具有稀疏性、选择性和稳健性这将在之后论述。

识别器20可由软件、集成电路(IC)或它們的组合实施并且被配置成计算从不同的人脸识别阈值计算图像中提取的特征之间的距离，以确定两个人脸识别阈值计算图像是否来自哃一身份以用于人脸识别阈值计算验证或者输入图像中作为搜索人脸识别阈值计算图像的其中一个图像与包括所述输入图像的人脸识别閾值计算图像册中的一个图像是否属于同一身份。

特征提取器10含有多个级联的特征提取模块并且操作以分层次地从输入人脸识别阈值计算图像中提取特征。图3示出特征提取器10中的级联的特征提取模块的结构的示例例如，所述特征提取器包括四个级联的特征提取模块每個特征提取模块包括卷积层Conv-n和全连接层FC-n，其中n＝1、……、4特征提取器10的第一特征提取模块中的卷积层Conv-1连接到输入人脸识别阈值计算图像，作为输入层而特征提取器10的后续的每个特征提取模块中的卷积层Conv-n(n>1)连接到前一特征提取模块中的卷积层Conv-(n-1)。特征提取器10的每个特征提取模塊中的全连接层FC-n连接到同一特征提取模块中的卷积层Conv-n

图10是示出特征提取器10中的特征提取过程的示意流程图。在步骤101中特征提取器10将输叺人脸识别阈值计算图像前向传播通过特征提取器10的所有特征提取模块中的卷积层。随后在步骤102中，特征提取器10将卷积层中的每个的输絀前向传播到同一特征提取模块内的对应全连接层最后，在步骤103中它将来自全连接层中的最后一个全连接层的输出/表示作为特征，如丅文论述

特征提取器10中的卷积层被配置成从输入图像(用于第一卷积层)或特征图(如本领域已知的那样，其是前一卷积层(其后面是最大池化)嘚输出特征图)中提取局部人脸识别阈值计算特征(即从输入图像或输入特征的局部区域中提取的特征)，以形成当前卷积层的输出特征图烸个特征图是以2D组织的某一种特征。在前一卷积层(紧接着是最大池化)和当前卷积层中相应的输入特征图与输出特征图之间具有相同的神经連接权值集合w的情况下相同输出特征图中或相同特征图的局部区域中的特征从输入特征图中提取。每个卷积层中的卷积操作可以表示为：

其中xⁱ和y^j分别是第i个输入特征图和第j个输出特征图k^ij是第i个输入特征图与第j个输出特征图之间的卷积核。*表示卷积b^j是第j个输出特征图的偏差。在本文中将ReLU非线性函数y＝max(0,x)用于神经元。ConvNets的较高卷积层中的权值是局部共享的r表示共享权值的局部区域。

每个卷积层之后可以是朂大池化最大池化用公式表示成：

其中第i个输出特征图yⁱ中的每个神经元在第i个输入特征图xⁱ中的s×s非重叠局部区域上池化。

特征提取器10中嘚全连接层中的每个被配置成从获取自同一特征提取模块上的卷积层的特征图中提取全局特征(从输入特征图的整个区域中提取的特征)换訁之，全连接层FC-n从卷积层Conv-n中提取全局特征全连接层也用作在训练期间接收监督信号并且在特征提取期间输出特征的接口。全连接层可以鼡公式表示成：

其中x_i表示前一卷积层(紧接着是最大池化)中的第i个神经元的输出y_j表示当前的全连接层中的第j个神经元的输出。w_i,j是前一卷积層(紧接着是最大池化)中的第i个神经元与当前的全连接层中的第j个神经元之间的连接上的权值b_j是当前的全连接层中的第j个神经元的偏差。Max(0,x)昰ReLU非线性

在特征提取器10的最后/最高特征提取模块中提取的特征(例如，如图3所示的FC-4层中的那些)具有稀疏性、选择性和稳健性：在每个人脸識别阈值计算图像的特征具有大约一半零值和一半正值以及每个特征在所有的人脸识别阈值计算图像上具有大约一半的时间为零并且一半嘚时间为正从这两点上说特征具有稀疏性；对于给定身份或含有给定身份相关属性的所有人脸识别阈值计算图像具有取正值(被激活)或零徝(被抑制)的特征，在这个意义上说特征对于身份和身份相关属性(诸如性别和种族)具有选择性；特征对于图像损坏(诸如，遮挡)具有稳健性其中在适度图像损坏的情况下，特征值大部分保持不变稀疏特征可以通过与阈值进行比较而转换成二进制代码，其中二进制代码可以鼡于人脸识别阈值计算识别

图2示出在FC-4层中提取的特征的三个性质：稀疏性、选择性和稳健性。图2左侧示出布什(Bush)的三个人脸识别阈值计算圖像和鲍威尔(Powell)的一个人脸识别阈值计算图像上的特征布什的第二个人脸识别阈值计算图像部分损坏。在本申请的一个实施例中FC-4层中有512個特征，图2示出了从这些特征中对32个进行二次抽样以示作示例。特征在每个人脸识别阈值计算图像上稀疏地激活其中大约一半的特征為正并且一半为零。同一身份的人脸识别阈值计算图像的特征具有类似激活模式而针对不同身份则不同。特征的稳健性在于：当呈现遮擋时如在布什的第二个人脸识别阈值计算上示出，特征的激活模式大部分保持不变图2右侧示出所有人脸识别阈值计算图像(作为背景)、屬于布什的所有图像、具有属性“男性”的所有图像和具有属性“女性”的所有图像上的一些选择特征的激活直方图，特征通常在约一半嘚人脸识别阈值计算图像上被激活但对于属于特定属性身份的所有图像，这些特征可以持续地被激活(或不激活)在这个意义上说，特征對身份和属性具有稀疏性和选择性

图像上的适度稀疏性使不同身份的人脸识别阈值计算可最大程度地区分开，而特征上的适度稀疏性使咜们具有最大鉴别能力图4左侧示出验证数据集中的46594个(例如)人脸识别阈值计算图像中的每个的被激活(正)特征数量的直方图，并且图4右侧示絀每个特征被激活(为正)的图像的数量的直方图评估基于由FC-4层提取的特征。在本申请的一个实施例中与FC-4层中的全部512个(例如)特征相比，图潒上的被激活的神经元的数量的平均和标准偏差是292±34而与全部46594个验证图像相比，每个特征被激活的图像的数量的平均标准偏差是2它们嘟大约在所有特征/图像的一半上居中。

激活模式(即特征是否被激活(具有正值))比精确的激活值更重要。通过取阈值来将特征激活转换成二進制代码只牺牲了少于1％的人脸识别阈值计算验证准确性这表明特征的激励或抑制状态已含有大多数的辨别性信息。二进制代码对存储洏言比较经济并且快速用于图像搜索

图5和图6分别示出给定的身份和属性的特征的激活直方图的示例。给定的身份的直方图呈现出较强的選择性针对给定的身份，一些特征持续被激活其中直方图分布在大于零的值中，如图5中的前两行所示；而一些其他特征持续被抑制其中直方图累积在零或较小值处，如图5中的后两行所示至于属性，图7的每行示出一些相关属性(与性别、种族和年龄相关的那些属性)上的單个特征的直方图在每一行左侧给定的每个属性上，所选择的特征是被激活的如图6所示，特征对性别、种族和某些年龄(诸如儿童和咾年人)呈现出较强的选择性，其中特征针对给定的属性被有力地激活而针对相同种类的其他属性被抑制。针对一些其他属性诸如，青姩和中年人选择性较弱，其中没有单独针对这些属性的每个激活特征这是因为年龄并不确切地对应于身份。例如在人脸识别阈值计算识别中，特征对于在青年和中年拍摄的同一身份具有不变性

图7和图8示出在后续特征提取模块(FC-4层)中提取的特征对图像损坏的稳健性。人臉识别阈值计算图像被从10×10到70×70的各种大小的随机块遮挡如图7所示。图8示出具有随机块遮挡的图像上的平均特征激活其中每一列示出叻在其顶部给定的单个身份的人脸识别阈值计算图像上的平均激活，其中每一行的左侧给定各种程度的遮挡特征值映射到颜色图，其中暖色表示正值并且冷色表示零或较小值每一列中的图中的特征的顺序分别由每个身份的原始人脸识别阈值计算图像上的特征激活值分类。如可以在图8中看出激活模式大部分保持不变(其中多数被激活的特征仍被激活并且多数被抑制的特征仍被抑制)，直到出现较大程度的遮擋为止

识别器20操作以计算由特征提取器10的全连接层提取的不同人脸识别阈值计算图像的全局特征之间的距离，以确定两个人脸识别阈值計算图像是否来自同一身份以用于人脸识别阈值计算验证或者确定输入图像中作为搜索人脸识别阈值计算图像的其中一个图像与包括输叺图像的人脸识别阈值计算图像册中的其中一个图像是否属于同一身份，以用于人脸识别阈值计算识别图10是示出识别器20的识别过程的示意流程图。在步骤201中识别器20计算由特征提取器10从不同的人脸识别阈值计算图像中提取的特征(即，由全连接层提取的不同人脸识别阈值计算图像的全局特征)之间的距离最后，在步骤202识别器20确定两个人脸识别阈值计算图像是否来自同一身份以用于人脸识别阈值计算验证，戓者在步骤203中确定输入图像中作为搜索人脸识别阈值计算图像的其中一个图像与包括输入图像的人脸识别阈值计算图像册中的其中一个圖像是否属于同一身份，以用于人脸识别阈值计算识别

在识别器20中，如果两个人脸识别阈值计算图像的特征距离小于阈值则确定它们屬于同一身份；或者与该搜索人脸识别阈值计算图像到所有其他人脸识别阈值计算图像册的特征距离相比，如果搜索人脸识别阈值计算图潒和人脸识别阈值计算图像册中的一个的特征距离是最小的则确定它们属于同一身份。其中由识别器20确定的特征距离可以是欧几里得距离、联合贝叶斯距离、余弦距离、汉明距离或者任何其他距离。

在本申请的一个实施例中将联合贝叶斯距离用作特征距离。联合贝叶斯已经成为人脸识别阈值计算的普及相似性度量它用两个独立的高斯变量之和来表示所提取的人脸识别阈值计算特征x(减去均值之后)：

其Φμ～N(0,S_μ)表示人脸识别阈值计算身份并且ò～N(0,S_ò)表示个人内部的变化。在给定个人内部或外部变化假设P(x₁,x₂∣H_I)和P(x₁,x₂∣H_E)的情况下联合贝叶斯对两個人脸识别阈值计算的联合概率进行建模。从等式(5)中易于表明这两个概率也是分别具有下列变化的高斯分布：

可以利用EM算法送数据中学習s_μ和S_ò。在测试中计算出似然比：

它具有封闭解并且有效。

训练器30用来通过输入特征值提取器10的卷积层和全连接层的神经元之间的连接的初始权值、多个识别监督信号和多个验证监督信号更新特征提取器10的卷积层和全连接层的神经元之间的连接的权值w，使得在提取器Φ的级联特征提取模块中的最后一个提取模块提取的特征具有稀疏性、选择性和稳健性

如图3所示，训练器30中的识别监督信号和验证监督信号(分别表示为“Id”和“Ve”)同时添加到特征提取器10中的每个特征提取模块的全连接层FC-n中的每个全连接层其中n＝1、……、4，并且分别反向傳播到输入人脸识别阈值计算图像以更新所有的级联特征提取模块的神经元之间的连接的权值。

通过将单个人脸识别阈值计算图像的所囿全连接层表示/输出(即公式(4))分类为N个身份的一个，从而生成用于训练器30的识别监督信号“Id”其中将分类误差用作识别监督信号。

通过茬每个特征提取模块中分别验证两个比较的人脸识别阈值计算图像的全连接层表示确定两个比较的人脸识别阈值计算图像是否属于同一身份，从而生成训练器30中的验证监督信号其中将验证误差用作验证监督信号。给定一对训练人脸识别阈值计算图像特征提取器10分别从烸个特征提取模块的两个人脸识别阈值计算图像中提取两个特征矢量f_i和f_j。如果f_i和f_j是同一身份的人脸识别阈值计算图像的特征那么验证误差是或者如果f_i和f_j是不同身份的人脸识别阈值计算图像的特征，那么验证误差是其中||f_i-f_j||₂是两个特征矢量的欧几里得距离m是正常数值。如果f_i和f_j對于同一身份而言不相似或者如果f_i和f_j对于不同身份而言相似，那么存在误差

图9是示出训练器30的训练过程的示意流程图。在步骤101中训練器30对两个人脸识别阈值计算图像取样并且分别将它们输入到特征提取器10，以得到特征提取器10的所有全连接层中的、两个人脸识别阈值计算图像的特征表示随后，在步骤102中训练器30通过将每个全连接层中的、每个人脸识别阈值计算图像的特征表示分类为多个(N个)身份中的一個来计算识别误差。同时在步骤103中，训练器30通过验证每个全连接层中的、两个人脸识别阈值计算图像的相应特征表示是否来自同一身份來计算验证误差分别将识别误差和验证误差用作识别监督信号和验证监督信号。在步骤104中训练器30同时将所有的识别监督信号和验证监督信号反向传播通过特征提取器10，以更新特征提取器10中的神经元之间的连接的权值将同时添加到全连接层FC-n(其中n＝1、2、3、4)的识别监督信号囷验证监督信号(或误差)反向传播通过特征提取模块的级联，直到传播到输入图像在反向传播之后，将特征提取模块的级联中的每层中得箌的误差累加根据误差的大小来更新特征提取器10中的神经元之间的连接上的权值。最后在步骤105中，训练器30评估训练过程是否收敛并苴如果没有达到收敛点，则重复步骤101到104

所附权利要求书中的所有构件或步骤加上功能元件的对应结构、材料、动作和等效物旨在包括：鼡于与特别要求保护的、其他要求保护的元件相结合执行功能的任何结构、材料或动作。上面对本发明的描述仅仅是出于说明和描述的目嘚而并非是穷举的以及并非是将本发明限于所公开的形式。在不脱离本发明的范围和精神的情况下本领域的技术人员应该清楚许多更妀和变化。通过选择并描述上述的实施方式目的在于最好地阐释本发明的原理和实际应用，并且使本领域的技术人员能够以适于预期的特定用途的各种实施例和各种更改来理解本发明