融合2D人脸检测和3D人脸识别系统的方法

  2D与3D人脸识别同属计算机视觉领域。由于2D图像是三维物体在平面上的投影，2D人脸识别的性能会受到光照、姿态、表情等外界因素干扰，从而影响准确性。因此，如何充分利用人脸的二维和三维信息，如何提高人脸识别的识别率，特别是在人脸遮挡、光照条件不好、拍摄角度不佳等场景下提高人脸识别的识别率是当前需解决的关键问题之一。为了解决上述问题这种融合2D人脸检测和3D人脸识别系统的方法包括如下步骤：
  1、通过3D深度相机采集RGB图像和深度图像，或采集IR图像和深度图像；
  2、对RGB图像或IR图像进行预处理；
  3、对预处理后的RGB图像或IR图像，根据2D检测方法检测人脸，框出人脸边界框以及鼻尖、左右眼、左右嘴角这5个人脸关键点；
  4、将所得到的5个人脸关键点映射到对应的5个XYZ关键点的点云上，对XYZ点云数据集检测到的三维人脸数据点云进行标准化；
  5、根据标准化后的三维人脸数据点云，将其正交投影至指定平面，进行网格拟合，网格拟合后将三维人脸数据点云转变为二维人脸深度图；
  6、将二维人脸深度图采用人脸识别方法进行识别，得到人脸识别结果。