基于生物特征识别的社区智能安防系统

随着社会的进步和经济的发展，人们越来越关注所在社区的安全问题。使用人工的方法进行安全核查不仅增加安保的工作量，也使得进出社区变得不便捷。我们项目希望使用基于生物特征识别的方法，使用人脸识别及指静脉识别的方法，搭建一套智能安防系统，辅助社区进行人员录入和进出人员排查，该系统方便快捷且安全性高。本文将介绍智能安防系统并分别对人脸识别技术和指静脉识别技术进行技术综述，然后详细阐述本课题组在人脸识别和指静脉识别技术中所做的相关工作，最后展望智能安防及生物特征识别的发展趋势和应用前景。

1  项目背景

社区是城镇居民聚集生活的大集体，随着社会的进步和经济的发展，社区不仅要满足人们基本的居住需求，更要实现大家对于社区安全性和便捷性的期望。传统社区一般设置保安亭控制人员进出，也需要大量的时间精力统计住户信息。但由于城镇化的扩大和流动人口的增加，人工方法在效率方面体现出了明显的不足。保安无法准确分辨进出人员是否属于所在社区，而且由于很多住户只是短期租赁，人员信息统计需要一次次反复进行。结合上述情况，亟需自动化的方法完成住户信息的录入和社区进出人员的排查。

因此，我们选用自动化的生物特征识别技术，作为人员识别的手段。而在众多生物特征中，常用于作为识别特征的生物特征有人脸特征，手部特征、眼部特征、步态等。其中，手部特征又包含手形[20]、指纹[21]、指静脉[22]、掌静脉[23]、掌纹[24]、指背纹[25]等。尽管从全球生物特征识别的市场规模上看，基于生物特征的识别技术处于高速而长足的发展阶段，但是实际上，就每一种生物特征而言，例如指纹、虹膜等等，各自都有不少的有点和缺陷。基于人脸的特征检测和识别技术采集较快，但采集环境的干扰和制约，基于虹膜识别的生物特征由于需要对眼部特征成像，使得其被用户接受的程度较差等等。常见生物特征及优缺点如表1所示。

表1常见生物特征及优缺点对比

人脸作为人最具标示性的特征，应用广泛，方便采集和人工对比，非常适合用于社区门禁的安防。除了门禁，社区内大量摄像头，也可以通过录像进行人脸识别。

指纹是目前被研究和应用的最为广泛的一类特征，有资料显示，基于指纹的识别技术占了整个生物特征市场84%的份额[26]。指纹识别有着录入简单，用户接受程度高等优点，但是指纹识别在不少情况下也会有诸多困难。例如，不少人的手指表面出现磨损时指纹这种特征的可靠性便难以得到保障，另外许多女性的手指相对纤细，表面的纹理特征也相对不明显，这些因素都给采集工作以及接下来的特征提取和匹配识别工作都带来了不小的难度。不仅如此，随着社会的不断发展进步，近年来市场上甚至出现了指纹膜等能够以假乱真的产品，这对基于指纹的生物特征识别技术的防伪性能来说是一个非常大的挑战。而基于掌纹的生物特征识别技术，除了存在类似于指纹的表面纹理带来的缺陷外，由于其中主要纹理线路存在较高的相似性，这样也就带来了防伪性能较低的问题。因此，在不少对安全性能要求相对较高的场合，基本很少采用基于指纹或掌纹的生物特征识别技术。

而指静脉能够有效克服表面纹理鲁棒性差、易伪造等缺点。并且由于其特殊的成像原理，可以做到自动的活体检测，避免诸如指纹膜，人脸照片甚至3D打印人脸模型这种伪造手段，这样就进一步加强了其防伪性能。因此对于门锁系统，指静脉比人脸或指纹都更适合。若想伪造一个假的指静脉模型，需要仿造人手指的各个经络、血管等，太过复杂，比伪造一个3D人脸模型都复杂得多。

基于人脸和指静脉的优点，我们设计实现了一套基于生物特征识别的社区智能安防系统。包括基于人脸识别的社区门禁系统和基于指静脉识别的门锁系统两部分。

首先，在社区门禁处，搭建于人脸识别的社区门禁系统，完成人脸录入、人脸检测和人脸识别等功能，极大程度地减少人工，并提升社区的安全指数和便捷性。我们通过在社区门口安置多个摄像头进行人员监控，大屏实时呈现进出人员人脸及其身份属性，如果出现非住户人员即发出警报，通知保安对可疑人员进行身份排查。社区门禁系统采用前端设备采集图像数据，交由本地前端服务器进行检测，通过检测到的特征码对应编号，发送到远程云端服务器识别，通过识别匹配到的特征查询数据库获取人员档案信息，把反馈信息发给前端服务器显示到屏幕上。对不能识别的头像显示在屏幕特定区域并提示盘查，同时发送到距离最近的安保人员手持终端上，提醒盘查。对外访人员系统联系业主，通过APP确认并实名采集进入，如图1所示。

图1基于人脸识别的社区门禁系统

社区门禁系统的目的在于主要在于解决尾随进入的非社区人员，对检测出来的访客人员进行实名登记，例行检查。系统通过采集端，首先采集业主人员身份信息和人脸特征形成识别数据库，再通过部署在社区大门口、关键道路路口、楼层、门厅等关键点的摄像头识别进行排他性检查，对识别不出来的人员发送到距离最近的安保人员手机终端上，告诉人员所在位置及面部特征，提示安保人员进行排查。本系统能够降低安保人员劳动强度、提高社区安保识别级别，避免由于人工依赖映像排查而造成的漏洞。系统可用于学校、社区、工厂、政府机关、办公大楼、医院、景区等各类排他性检查的场合，同时还可以完成考勤登记。

然后，在社区住户防盗门上，安装基于指静脉识别的门锁系统。指静脉识别相比数字密码或指纹密码更加且安全，可以有效防止钥匙丢失、密码泄露及不法分子仿造指纹膜等问题。

通过基于人脸识别的社区门禁系统和基于指静脉识别的门锁系统可以有效防止不法分子进入社区及家中，并且比人工排查更加高效便捷。本文下面将分别对人脸识别技术和指静脉识别技术进行技术综述，然后详细阐述本课题组在人脸识别和指静脉识别技术中所做的相关工作。

2  人脸识别

2.1人脸识别综述

人脸识别一直是生物特征识别领域中不可或缺的一环，被广泛的研究及应用。早在20世纪90年代，针对人脸识别的研究就已经开始流行起来[1]，直到今日，人脸识别的研究成果仍大量发表在著名的杂志和会议中，并逐渐应用到人们的日常生活中，就连深受大家喜爱的iPhone手机也搭载了人脸识别的功能。而在人脸识别技术发展的数十年过程中，涌现了大量的算法，我们可以按算法性质将它们简单划分为四类[2]。第一类，是最开始流行起来的整体学习算法，即通过某些分布假设推导出低维表示，诸如计算图像的线性子空间[3]及稀疏表示的一些方法[4]等，此类方法因为有较强的先验假设，而这些假设在不同情形下不一定都适用，所以导致了这类方法的识别准确率是最低的。第二类方法是基于引入局部特征的算法，其中包括经典的LBP（局部二进制模式）[5]算法，将局部信息进行二进制编码，再通过统计直方图作为特征规律，进行人脸的识别分类。但这些算法的缺点是这些特征缺少独特性和紧凑性，以至于此类方法的识别率也只有70%左右。第三种算法是基于局部描述子的机器学习方法，通过学习的方法，训练局部滤波器，再通过大量局部滤波器综合输出识别结果。这种方法在深度学习流行之前曾是研究的热点，直到第四种算法，即基于深度学习的算法流行起来。深度学习一般指深层的神经网络，实际上神经网络早在20世纪就已经被提出，然而受限于当时的计算力，一直没有很好的发展，不被研究者们看好。直到2012年ImageNet竞赛，Hinton团队使用深度神经网络的团队取得显著成绩[6]，深度神经网络才被人们逐渐重视，并用于计算机视觉的各种领域。2014年，DeepFace[7]和DeepID[8]在LFW数据集[9]中达到了当时最佳的识别率，并首次超越了在无约束情景中的人类的表现。这标志着在人脸识别中（无约束情况下），机器已经超越了人类。这种令人振奋的研究成果，使得研究人员将人脸识别研究重点转向基于深度学习的方法。

基于深度学习的人脸识别算法应用到本项目中，主要包括以下两个关键技术，即人脸检测与人脸识别。人脸检测在于框选出图像或视频中的人脸，要求框选位置与真实位置尽可能相同，并减少非人脸区域被框选出的几率。人脸识别指比对待测试人脸和提前入库人脸的特征，从而得到测试人脸身份。人脸识别通常用识别率判断方法的优劣，给定若干对人脸图片（一半来自同一人，一半来自不同人），算法预测这些图片对是否来自同一人，判断正确的图片对数目占总图片对数目的比例即为识别率。目前主流的人脸识别算法基本都采用深度卷积网络提取人脸特征，通过特征之间的距离判断图片对是否来自同一人。

2.2基于MarginLoss的人脸识别算法

在人脸识别中技术中，特征提取的质量直接决定了识别及分类的准确性。而特征提取的关键在于约束特征空间中同一个人的人脸聚集在一起，而不同人的人脸距离较远，从而防止在利用距离判断人脸对是否来自同一人时出现误判。我们课题组提出一种新型的应用于人脸识别的损失函数，即MarginLoss[13]，基于现有的网络结构，训练后的网络可以使人脸类内间距离扩大，从而提高识别的准确度。

2.2.1算法原理

首先详细介绍一下SoftmaxLoss和CenterLoss这两个损失函数。

SoftmaxLoss在卷积神经网络中有着极其广泛的应用。假设在k类的分类问题中，训练集为，其中，，则SoftmaxLoss可以定义如下：

其中，其中是模型的参数。S(.)表示指标函数。如果X为真，则s(x)=1，否则s(x)=0。

CenterLoss是Wen等人在[19]中提出的，一种判别式特征学习方法，可以最小花类内间距，定义如下：

其中，C_i是第y_i类的样本中心特征。

基于SoftmaxLoss和CenterLoss我们提出一个新的损失函数，即MarginLoss。我们希望设计一个可以扩大类间样本距离，并减小类内样本距离的损失函数，如图2所示，

图2Loss改进动机

我们损失函数的设计主要考虑以下因素：

（1）在人脸识别问题中，每个样本应尽可能靠近其中心（类内差异更小）并远离其他类的中心（类间距离更大）。

（2）在训练阶段，应排除具有足够大的类间距离或足够小的类内距离的样本。否则，训练过程将不稳定并且收敛缓慢。所以，对训练样本进行选择是至关重要的。因此，综合以上两点MarginLoss定义如下：

当x_i的标签为j时，I_ij=1，否则，I_ij=-1。为定义的余量，即Margin。如果I_ij=-1，则MarginLoss仅包括满足的x_i样本。如果I_ij=1，则MarginLoss仅包括满足的x_i样本。通过这种方式，使MarginLoss作用于较难训练的样本上。

理论上，在训练过程中类中心应该随着深度特征变化而更新，而事实上，在整个训练集进行训练时更新类中心是不切实际且无效的[19]。因此，在使用MarginLoss时，我们选择使用mini-batch进行类中心的更新。在每次迭代中，类中心将根据mini-batch中的样本情况进行更新。而更新的参数变化情况如下：

最终，我们采用三种损失函数进行联合监督：SoftmaxLoss，CenterLoss和MarginLoss。我们损失函数表示如下：

其中，入_i是每项损失函数的权重。为了评估我们方法的有效性，我们将对三种损失函数进行组合，得出6种组合，并比较6种不同损失函数组合（见表2），来验证我们MarginLoss的效果。

表2损失函数组合具体参数设置

2.2.2算法实验对比与结果分析

我们使用LFW[9]及YTF[10]数据库，将我们的算法与其他主流算法进行人脸识别率的比较。使用Webface[11]及VGGFace[12]数据库，并使用相同网络和相同数据，修改所使用的损失函数，比较人脸识别率。结果如表3。

表3算法与主流算法对比实验

其中，（c）表示算法使用余弦距离进行计算，（e）表示使用欧式距离进行计算。

表4同网络不同损失函数算法对比实验

其中，（a）表示图像是经过对齐处理的。

实验结果表明，我们的算法在使用较少训练数据（0.46百万）并使用单个网络的情况下，与目前主流算法相比具有竞争力。而当我们使用相同的网络和数据来比较不同的损失时。可以发现，在表3我们的算法优于单纯使用SoftmaxLoss（例如，在LFW中99.09％优于96.62％），并且在一定程度上改善了CenterLoss（例如，在LFW中从98.23％到99.09％）。在表4中，可以看到S+C+M，相较于S+C在识别率上有一些提高（例如，在VGGFace（a）中从68.8％到72.3％）。

3  指静脉识别

3.1指静脉识别综述

与其他生物特征相比，基于手部特征的识别具有如下的优势：首先，由于手部特殊的构造，这个部位有相对丰富的表面的纹理、褶皱，以及内部错综复杂的血管组成，相对丰富的特征可以有效地降低特征提取和识别的难度。另外，手部的生物特征还具有例如采集难度小、被用户接受的程度相对较高、采集设备相对低廉、采集的图像尺寸较小故便于计算机的存储和计算等等的优势，所以在众多的生物特征当中，手部特征便得到了相对广泛的研究和应用。而基于指静脉生物特征由于其在采集的便捷性、防伪性以及相对优良的性能等方面的优势，很早就受到了专家和学者的广泛关注。早在2004年，日本日立公司的MiuraN、NagasakaA以及MiyatakeT等人，就根据近红外光下的静脉部位与手指其它部分灰度上的差异针对静脉图像率先提出了重复线性跟踪的算法[27]。如图3中(a)所示，这个方法主要依据静脉位置与其两侧的灰度差异，从初始的随机点位置出发，重复跟踪静脉的位置，该算法具有不错的识别率和等误率，且证实了方法的鲁棒性。2007年，MiuraN等人经过进一步的研究，将数学上的曲率思想引入到了静脉识别的算法中来[28]。如图3中(b)所示，他们利用静脉横断面位置呈现出的曲率局部最大的特点，提出了利用局部最大曲率的思想提取静脉中心线的位置特征，从结果上看取得了比重复线性跟踪更好的识别率和等误率。2009年，天津市信号处理国家重点实验室的杨金锋等人，进一步拓宽了基于指静脉识别的思路，他们将Gabor滤波器引入到了指静脉识别的领域中来，根据不同的指静脉位置、走向及宽窄，调整滤波器参数，实现对滤波结果的优化[29]。2012年，哈尔滨工业大学的彭建江等人率先将SIFT特征引入到静脉识别的研究当中来[30]，利用SIFT描述子良好的平移和旋转的不变性，更好的提取指静脉特征。而我们课题组，基于自行采集的指静脉及指背纹数据库THU-FV[34]，提出一种基于交叉点加强的竞争编码方法。

图3几种典型的手部特征采集装置及采集图像

3.2指静脉识别算法设计

3.2.1预处理

基于指静脉和指背纹的预处理模块主要包括感兴趣区域（RegionofInterest）的提取，也就是手指位置的提取、光照和图像尺寸的归一化。而对于不同的采集者而言，其手指的形状以及由手指的粗细导致的区域的亮度的变化千差万别。有效的克服上述难点，是特征提取和匹配识别工作的基础和前提。

（1）感兴趣的手指区域的提取

由于近红外LED光源的照射，手指位置的亮度要高于背景区域，所以对于要提取的手指边缘的位置，可以基于扩展的Sobel边缘检测子，如图4所示。

图4基于扩展Sobel检测子的ROI提取

在实际的ROI提取过程中，我们将如图4所示的扩展Sobel边缘检测子从图像的中心线开始向两侧移动，当像素块区域与扩展Sobel模板的卷积值大于预先设定的阈值时，就认为找到了手指的边缘区域。

（2）尺寸和光照的归一化

为了便于后续的处理，我们首先将提取到的感兴趣的手指区域进行双三次插值，将所有图像的尺寸归一化处理为100*200大小。接下来，由于不同图像之间还存在不小的亮度差异，所以需要对图片进行光照强度归一化的操作。具体如式（7）所示。

其中，I(i，j)和分别代表归一化前后相应位置的灰度值，m和σ 分别代表光照归一化操作前原始图像灰度的平均值和方差，m和σ 代表光照归一化操作后图像灰度的平均值和方差。

3.2.2特征提取

在图像处理和模式识别领域中，对处理的图像提取合适的描述属性，即图像特征，是非常核心和关键的一步。而在特征提取的过程中，最重要的莫过于要保证提取出的特征区有可分性的信息，去除包含冗余和噪声的信息。特征提取效果的好坏，往往决定着后续利用分类器分类的性能，所以需要特别的关注。在特征提取过程中，我们希望对于同一根手指，在不同次的采集后（尽管其中存在着噪声、冗余等干扰），特征提取可以尽可能的减小干扰带来的影响，保持较高的相似性。而对于不同的样本，即不同的手指，经过特征提取的步骤可以最大化的显示他们之间的差异。即对于类内差异，希望能够最小化；而对于类间差异，则希望可以最大化。为了达到这样的目的，我们在进行特征提取的操作时，应尽可能的提取样本不同于其余样本的个性特征，而最大化的去除他们之间的共性特征，从而可以最大化后续分类过程的准确率和效率，最大限度的提高系统的性能。

具体的，在基于指静脉和指背纹的生物特征识别领域中，进行特征提取算法的设计时，大致可以分为两类方法，分别是基于空间域，也就是基于图像域，和基于变换域的。两类方法应该说各有优劣，基于空间域的方法直观明了，由于在图像中对操作都是基于像素块的，所以简单直观便于理解，但是缺陷在于容易受到局部极值的影响，而且对噪声也相对敏感。而基于变换域的方法则相对对于局部极值和噪声不敏感，但由于其要对原始图像进行变换操作，所以理解起来不是特别直观。

针对指静脉和指背纹的生物特征提取算法，有不少专家和学者都进行了非常深入和细致的研究。局部二值模式（LocalBinaryPattern）[31]、局部最大曲率（LocalMaximumCurvature）[32]以及Gabor竞争编码（GaborCompetitiveCoding）[33]都是在指静脉特征提取时非常经典和常用的算法，在这几种算法中，局部二值模式和局部最大曲率都是直接在图像域中的操作，而Gabor竞争编码的方法是使用Gabor滤波器对原始图像进行Gabor变换后在变换域上的操作。

3.2.3基于交叉点加强的竞争编码方法

Gabor滤波器的竞争编码的方法由于只关注幅值最大的方向，所以这样的方法对于只包含指静脉的图像来说是非常有效的。Gabor滤波器对于类似指静脉的灰度值较低的纹理的响应是比较大的，然而对于相对较亮的指背纹信息的响应会比较小，那么对于基于新型指静脉和指背纹特征的数据库[34]，这种简单的基于最大幅值方向的方法会忽略指背纹的方向信息。所以，我们基于这样的考虑，为了更加有效地利用新型多模态图像中的指背纹的方向信息，提出了基于交叉点加强的竞争编码方法。基于Gabor竞争编码的方法中，通常会选取6个方向的Gabor滤波器与原始图像做卷积，选取对应幅值最大的方向作为最终的编码方向。为了更加有效地利用幅值响应较低的指背纹的纹理方向信息，我们设计了如下的方法对指静脉和指背纹两种形态的纹理交叉点做识别，并将其“方向”编码为7。识别的具体计算公式如下：

其中，表示使用6个方向的Gabor滤波器对原始图像处理后的响应的最大值，而表示响应的最小值。α 是人为设定的参数，T表示最终确定的阈值。当在某个像素点，其滤波结果的最大值与最小值只差大于此阈值时，便认为该点是指静脉和指背纹两种纹理的交叉点。这样可以更加有效地利用指背纹的纹理信息。

图5基于IGDC的特征提取

如图5所示，图中灰度值最大也就是最亮的点代表了根据式（8）识别出的指静脉和指背纹的交叉点，而这样的点同时包含了指静脉和指背纹的信息，是更具有表征特性的。显然，对这样的点在识别时予以更多的关注会更有利于减小类内样本之间的差异，而增大类间样本之间的差异。所以针对这样的点，提出对应的匹配识别的方法，以进一步的提高系统的性能。

3.2.4匹配识别

经过了上文所述的图像的采集、预处理和特征提取的步骤，接下来输入的待识别图像将要和数据库中的图像进行比对，进行最终的匹配和识别的步骤。设两幅待匹配的特征图像分别为R和T，它们的大小均为m*n，那么它们之间的匹配得分S(R,T)如式（9）和（10）所示。

在（9）式中，R(x,y)和T(x,y)分别代表特征图R和T位于(x,y)处的值。w和h代表实际匹配时两幅特征图在x方向和y方向平移的大小，而(x,y)代表匹配结果的标志。对于上一小节介绍的局部二值模式（LBP）、局部最大曲率（LMC）和Gabor竞争编码的方法，△(x,y)的计算方法如式（10）所示。而对于我们提出的基于交叉点加强的竞争编码方法，为了给予识别出的指静脉和指背纹的交叉点位置更多的关注，我们将匹配分数的计算方法分别修改为如式（11）和（12）所示。

在如式（12）所示的计算方法中，我们对匹配成功的交叉点赋予了一个更大的权重，同时为了归一化最终计算分数，式（11）的分母变为了（9）中的2倍。在计算得到最后的计算分数后，我们采用最近邻分类器对输入的测试图像进行分类，即选取图像数据库中与之计算出的分数最大的样本所属的类作为最终判别输出的类。

3.2.5实验对比与结果分析

为了验证与分析上文中介绍与提出的算法的合理性和有效性，我们在THU-FV[34]数据库上进行了实验。分别对比了基于局部二值模式的LBP[31]、局部最大曲率的LMC[32]、Gabor竞争编码的GCC[33]，和重复线跟踪的RLT[27]和我们专门基于新型指静脉和指背纹多模态特征提出的基于交叉点加强的竞争编码（IGDC）的实验结果，如表5所示

表5实验结果对比

可以看出，我们的结果在数据集上与主流算法相比，效果最好。

4  总结与展望

本文介绍了一套基于生物特征识别的智能安防系统，系统主要包括基于人脸识别的门禁系统，及基于指静脉识别的门锁系统，在使用便捷的同时，提高了社区的安全性。然后重点介绍了人脸识别和指静脉识别两种技术，综述了基本概念及发展情况，并提出了课题组对技术的改进算法。

未来，基于生物特征识别的技术将广泛用到诸如金融、公安、边检、政府、航天、电力、工厂、教育、医疗及众多企事业单位等诸多领域当中。如何使技术落地，将是产业界以后的方向，而如何提高识别率和识别速度也是我们应该关注的重点。