基于三维眼球模型计算视线方向的人脸识别活体检测方法与流程
本发明属于人脸识别技术领域，具体地涉及一种基于三维眼球模型计算视线方向的人脸识别活体检测方法及系统。
背景技术：
随着科技的发展，生活住宅物联网化，办公高楼现代化，交通工具日益发达多样化等等，这些无疑都时时刻刻影响着人们的各个方面，从而人们对大到社会治安小到家庭住所的安全更加担忧；政府部门以及飞机场、高铁站、地铁站、海关等公共场所的人流控制、治安管理、潜在犯罪分析等等需求日益增长；大型公共场所比如体育场、足球场或者金融中心cbd等对人流及身份的监控，都需要用到人脸识别系统。如今人脸识别系统越来越多的应用于日常生活中，为了确保应用时的安全性，要求人脸识别系统能够防范照片、视频、三维人脸模型的干扰与仿冒，这就要用到活体检测技术。
活体检测算法主要分为三类：
(1)基于运动的方法，主要是通过分析图像帧序列的运动趋势，对图像的背景或者用户的无意识动作进行判定，但是计算过程复杂。
(2)基于纹理的方法，主要是通过找出单帧真实人脸和欺骗人脸的显著性区分特征进行活体判断，由于欺骗人脸在二次获取的过程中会带来质量下降、模糊等微纹理的变化，但是其只能处理低分辨率的打印照片攻击，对高清照片无效。
(3)基于融合的方法，即通过融合至少两种活体判别方法，达到抵御多种攻击形式的目的。该方法分为特征层融合方法和得分层融合方法，特征层融合方法是将多个特征串联进行融合，正处于研究阶段，而得分层融合方法是获取多个特征的得分，然后进行加权得到最终得分，但对于不同量纲、不同含义的特征，是无法准确地融合，影响活体识别的效率和精度。
因此，目前的活体检测方法存在计算方法复杂，对图像要求严苛等不足，严重影响活体检测的精确度或效率。
技术实现要素：
针对上述存在的技术问题，本发明的目的是提供一种基于三维眼球模型计算视线方向的人脸识别活体检测方法及系统，计算方法简单，对图像要求较低，大大提高了活体检测的精确度和效率。
本发明的技术方案是：
一种基于三维眼球模型计算视线方向的人脸识别活体检测方法，包括以下步骤：
s01：获取形成了预期的视线方向的人脸图像；
s02：检测图像中的人脸，获取人脸特征点，提取人脸的眼部区域；
s03：检测检测眼球中心和半径，建立三维眼球模型，并提取虹膜边缘进行圆拟合，确定最终的虹膜中心；
s04：获取虹膜中心和眼球中心，计算得到视线方向；
s05：将计算得到的视线方向与预期的视线方向对比，若不一致，则判定目标人脸为非活体或者跳转至步骤s01；若一致，则判定目标人脸为活体。
优选的技术方案中，所述步骤s01中预期的视线方向的形成包括，在屏幕上显示预设的指示点，提示用户注视屏幕上的指示点并持续一定时间，得到预期的视线方向。
优选的技术方案中，所述步骤s03具体包括以下步骤：
s31：根据眼部区域特征点计算左右眼的虹膜半径ri、眼球中心(ue,ve)和眼球半径re；
s32：以眼球中心为原点建立三维坐标系，建立三维眼球模型；
s33：计算虹膜中心坐标(xic,yic,zic)，计算公式为：
虹膜上的点(xi，yi，zi)表示为：
xic(xi-xic)+yic(yi-yic)+zic(zi-zic)＝0
(2)
根据虹膜上的点亦是眼球上的点得到：
其中，re为三维坐标系下的眼球半径；
s34：联立式(1)、式(3)，并将其转换为相机空间下的方程：
其中，眼球中心坐标为(xec，yec，zec)；
s35：将相机坐标系转换成像平面坐标系，将成像平面坐标系转换像素坐标系，则式(4)转换为：
其中，(uic,vic)为虹膜中心坐标，(ui，vi)为虹膜边界上的点。
优选的技术方案中，所述步骤s04中，计算虹膜中心点与眼球中心点之间向量的斜率将斜率k作为视线方向。
优选的技术方案中，重复执行多次步骤s01到步骤s05，每次随机显示预设的指示点。
本发明还公开了一种基于三维眼球模型计算视线方向的人脸识别活体检测系统，包括：
预期视线方向获取模块：获取形成了预期的视线方向的人脸图像；
眼部区域检测模块：检测图像中的人脸，获取人脸特征点，提取人脸的眼部区域；
虹膜中心计算模块：检测眼球中心和半径，建立三维眼球模型，并提取虹膜边缘进行圆拟合，确定最终的虹膜中心；
视线方向计算模块：获取虹膜中心和眼球中心，计算得到视线方向；
判断模块：将计算得到的视线方向与预期的视线方向对比，若不一致，则判定目标人脸为非活体；若一致，则判定目标人脸为活体。
优选的技术方案中，所述预期视线方向获取模块中预期的视线方向的形成包括，在屏幕上显示预设的指示点，提示用户注视屏幕上的指示点并持续一定时间，得到预期的视线方向。
优选的技术方案中，所述虹膜中心计算模块的处理方法具体包括以下步骤：
s31：根据眼部区域特征点计算左右眼的虹膜半径ri、眼球中心(ue,ve)和眼球半径re；
s32：以眼球中心为原点建立三维坐标系，建立三维眼球模型；
s33：计算虹膜中心坐标(xic,yic,zic)，计算公式为：
虹膜上的点(xi，yi，zi)表示为：
xic(xi-xic)+yic(yi-yic)+zic(zi-zic)＝0
(2)
根据虹膜上的点亦是眼球上的点得到：
其中，re为三维坐标系下的眼球半径；
s34：联立式(1)、式(3)，并将其转换为相机空间下的方程：
其中，眼球中心坐标为(xec，yec，zec)；
s35：将相机坐标系转换成像平面坐标系，将成像平面坐标系转换像素坐标系，则式(4)转换为：
其中，(uic,vic)为虹膜中心坐标，(ui，vi)为虹膜边界上的点。
优选的技术方案中，所述视线方向计算模块中，计算虹膜中心点与眼球中心点之间向量的斜率将斜率k作为视线方向。
优选的技术方案中，还包括重复执行模块，重复执行多次活体检测，每次随机显示预设的指示点。
与现有技术相比，本发明的有益效果是：
本发明方法计算方法简单，对图像要求较低，大大提高了活体检测的精确度和效率。解决了现有活体检测人脸识别设备在使用过程中，易存在用户使用合成处理照片、相似照片、视频、三维人脸模型等手段对系统进行欺骗攻击，从而大大降低活体检测人脸识别设备的性能的问题。
附图说明
下面结合附图及实施例对本发明作进一步描述：
图1为本发明基于三维眼球模型计算视线方向的人脸识别活体检测方法的流程图；
图2为本发明人脸对齐特征点示意图；
图3为本发明的三维眼球模型示意图；
图4为本发明眼球中心点与虹膜中心点形成的斜率为视线方向的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
为了方便描述，现对本方法中出现的相关专业术语进行描述：
虹膜：眼睛构造的一部分，虹膜中心有一圆形开口，称为瞳孔，犹如相机当中可调整大小的光圈。
凝视点：凝视点构成基本测量单位，一个凝视点等于摄像头捕获的一个原始样本。
注视点：如果凝视点保持一定的时间，它将成为注视，在这段时间内我们的眼睛被锁定在特定的物体上。
视线：看东西时眼睛与目标之间的假想直线。
如图1所示，一种基于三维眼球模型计算视线方向的人脸识别活体检测方法，包括以下步骤：
s1：获取形成了预期的视线方向的人脸图像；
s2：读取摄像头检测的人脸视频中的图像；
s3：检测图像中的人脸，获取人脸特征点；
s4：提取人脸的眼部区域；
s5：检测检测眼球中心和半径，建立三维眼球模型，并提取虹膜边缘进行圆拟合，确定最终的虹膜中心；
s6：获取虹膜中心和眼球中心，计算得到视线方向；
s7：将计算得到的视线方向与预期的视线方向对比，若不一致，则判定目标人脸为非活体或者跳转至步骤s1；若一致，则判定目标人脸为活体。
步骤s1中预期的视线方向的形成包括，在屏幕上显示预设的指示点，提示用户注视屏幕上的指示点，用户做出相应的转动眼球动作，并持续一定时间，得到预期的视线方向。指示点是预先设置的，每个预设的指示点下都有对应的视线方向。
s2读取摄像头检测的人脸视频中的图像；
s3检测当前帧图像中的人脸，利用人脸检测方法获取人脸特征点。
使用人脸对齐法进行人脸检测，能在给定的图片或实时视频帧中，在检测到人脸的基础上，自动检测定位人脸特征点。该方法是基于回归的算法，对于一张给定的人脸，给出初始形状，通过不断迭代，将初始形状回归到接近甚至等于真实的人脸形状上。该方法主要使用sdm(superviseddescentmethod)来最小化非线性最小二乘目标函数，从训练数据中学习梯度下降的方向并建立相应的回归模型，通过该回归模型进行梯度方向估计，使目标函数以非常快的速度收敛到最小值，解决了复杂最小二乘问题。如图2所示，图中白点即为检测到的人脸特征点x，分别组成眉毛、眼睛、嘴巴、鼻子、脸轮廓5个标志性特征位置。
s4、提取人脸的眼部区域。在s3步骤中已经检测到眼睛区域特征点(x[20]-x[31])。
s5、利用算法检测眼球中心和半径，并提取虹膜边缘进行圆拟合来确定最终的虹膜中心。求取左右眼的虹膜中心粗定位点(uic，vic)、虹膜半径ri、眼球中心(ue，ve)和眼球半径re。
(1)左眼的虹膜中心粗定位点、虹膜半径、眼球中心、眼球半径的计算公式为:
右眼的虹膜中心粗定位点、虹膜半径、眼球中心、眼球半径的计算公式为：
如图3所示，以眼球中心为原点(0，0，0)建立三维坐标轴，z轴方向由眼球中心朝外，假设眼球中心为(xec；yec；zec)，虹膜中心为(xic；yic；zic)，虹膜边界点为(xi；yi；zi)，
则虹膜中心可由式(9)求得：
由于虹膜平面上点的法向量由眼球中心和虹膜中心构成，故虹膜上的点可由式(10)表示：
xic(xi-xic)+yic(yi-yic)+zic(zi-zic)＝0
式(10)
根据虹膜平面上的点亦是眼球上的点这一事实，可推得：
其中，re为三维坐标系下的眼球半径；
因本方法所使用的信息都来自摄像头，故联立式(9)式(11)，并将其转为相机空间下的方程：
由相机针孔模型可知，空间中的点m(x,y,z)与其在投影图像平面上的像素点有以下关系。
1)将相机坐标系转换成像平面坐标系
m(x；y；z)为摄像机坐标系空间中的一点，该点投影到图像平面上的点为m(x；y；f)。
图像平面与z轴垂直，与投影中心的距离为f(f是相机的焦距)。
按照三角比例关系可以得出：即
2)将成像平面坐标系转换成像素坐标系，图像平面上某点在成像平面坐标系中的坐标为(x,y)，在像素坐标系中的坐标为(u；v)，其中(u0；v0)为图像中心点，每个像素的物理尺寸大小为dx、dy，则二者满足如下关系：
又因
故假设则由式(9)可推得以下方程：
其中，re为三维坐标系下的眼球半径，ri为三维坐标系下的虹膜半径；
同理，由式(12)可以推得以下方程：
其中，ue，ui，vi，ve均为输入值，zic-zec可由式(13)求得，(ui，vi)表示平面虹膜边界上的点。
式(14)可用于表达虹膜中心变化时虹膜边界的变化。
s6、根据虹膜中心、眼球中心来形成输入值，计算视线方向。
如图4所示，使用虹膜中心点与眼球中心点之间向量的斜率k计算最终的视线方向，公式如下：
s7、用二维模型计算出的视线方向与步骤一给出的视线方向对比；若未达到一致，则判定目标人脸为非活体或者跳转至步骤s1；若达到一致则判定人脸视频中的人脸为活体。
为了提高活体识别的准确度，可以重复执行多次步骤s1到步骤s7的过程，每次随机的给出指示点，让用户注视。
此外，还可以利用神经网络进行视线追踪，眼动向量特征的选择是本文利用神经网络进行视线追踪的关键。神经网络的特征向量需要具有一定的差异性，否则神经网络的预测输出将不准确。
本文获取了眼角点与虹膜中心的信息，但只使用这6个点的信息量过少。为了提取更多的信息，增加信息的差异，本文使用点之间的距离、角度等信息对特征向量进行扩展。
1)考虑到人脸位置保持不动时变化量为虹膜中心位置，由于虹膜中心位置的变化带来的是虹膜中心到人的两眼角点距离的变化，本文基于这些特征将眼角点与虹膜中心的距离加入眼动向量之中，但仅有这些信息无法表示眼动向量的唯一性。
2)为了使向量的特征差异更大，考虑在此基础上加入角度特征，开始时选择的是以眼角点之间的连线为参考，选取眼角点与虹膜中心之间的夹角，但这种眼动向量仅考虑头部姿态固定时的特征，而在头部姿态发生变化时，向量信息无法得到描述，因此，以原图中心点作为参考点建立坐标轴，以x轴方向作为参考直线，以两眼角作平行于x轴的直线，夹角为虹膜中心与眼角点的夹角。
本发明还公开了一种基于三维眼球模型计算视线方向的人脸识别活体检测系统，包括：
预期视线方向获取模块：获取形成了预期的视线方向的人脸图像；
眼部区域检测模块：检测图像中的人脸，获取人脸特征点，提取人脸的眼部区域；
虹膜中心计算模块：检测眼球中心和半径，建立三维眼球模型，并提取虹膜边缘进行圆拟合，确定最终的虹膜中心；
视线方向计算模块：获取虹膜中心和眼球中心，计算得到视线方向；
判断模块：将计算得到的视线方向与预期的视线方向对比，若不一致，则判定目标人脸为非活体；若一致，则判定目标人脸为活体。
具体的实现方法如上述的检测方法中的步骤，在此不再赘述。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
网址：基于三维眼球模型计算视线方向的人脸识别活体检测方法与流程 http://c.mxgxt.com/news/view/501567
相关内容
基于人脸相似度匹配的明星脸装扮推荐方法CV之FR(H+k机器学习)：基于每人几张人脸图片训练H+k模型实现(国内外明星)新人脸图像的姓名预测(准确度高达100%)
一种STEDF的可视图环境建模方法
STAR伺服驱动器维修检测九大方法
深度解析：目标检测领域的明星模型Faster R
相变材料蓄热系数的计算方法
人脸技术深度解析：从检测到对齐的奇妙之旅
基于DNDC模型的环渤海典型小流域农田氮素淋失潜力估算
人脸识别行业竞争对手综合调查及分析.doc
高维数据的聚类方法研究与应用
