基于C++的人脸过渡项目

本文主要介绍关于c++,人脸过渡,源码,报告,课程设计的知识点，对【基于C++的人脸过渡项目】和【现在刷脸技术如何】有兴趣的朋友可以看下由【biyezuopin】投稿的技术文章，希望该技术和经验能帮到你解决你所遇的相关技术问题。

现在刷脸技术如何

资源下载地址：https://download.csdn.net/download/sheziqiong/85884715
资源下载地址：https://download.csdn.net/download/sheziqiong/85884715

人脸过渡报告 基本功能介绍

此次课程设计实现了从一张人脸照片到另一张人脸照片的过渡。

使用程序流程：

选取控制点（特征点）：使用者可以选择已经存储于文件中的控制点，也可以自己手动选择控制点。在选择的时候需要注意，源图像（SI）中控制点和目标图像（DI）中控制点顺序需要对应（比如 SI 中先选眼睛再选鼻子，那么 DI 中也需要先选眼睛再选鼻子），其次，控制点的数量也需要保持一致，如若不然，选取的控制点无效，会被要求重新选取。

显示 Delaunay 分割效果：完成本次作业的核心算法之一便是 Delaunay 三角分割。所以会显示 Delaunay 分割效果。

选择产生多少张过渡图片：过渡图片的数量是使用者选择的。

生成过渡图片并保存：这个过程可能需要一定的时间，程序运行完成之后可以在当前目录下查看产生的图片。

展示过渡图片：每张图片停留 1s。

选择是否保存此次选择的特征点：若保存此次选择的特征点，下次运行程序之时可以直接调用保存后的文件。

设计思路

为了实现程序功能，需要完成以下过程：

人工选取控制点。控制点取在眉心、眼珠、鼻子两侧等特征比较明显的部位。控制点选好之后进行 Delaunay 三角化。根据选择的特征点将一张图片剖分为若干个三角形。根据控制点对应关系，得到 SI 剖分三角形和 DI 剖分三角形对应关系。根据 SI 剖分三角形和 DI 剖分三角形对应关系和过渡系数得到过渡图像中三角形与源/DI 剖分三角形对应关系。根据三角形对应关系，求出仿射矩阵。根据仿射矩阵，求出过渡图像中每一点仿射到源/DI 中的点（很有可能是个浮点数）。不同点在不同三角形中，所以对应的仿射矩阵很可能是不一样的。根据仿射得到点的坐标，再由双线性插值得到过渡图片中每一点在源/DI 中像素值。根据双线性插值结果和过度系数，求出过渡图片像素点的像素值。从而得到过渡图片。改变过度系数，重新得到新的过渡图片，直至过渡完成。 原理

基本原理：

人脸过渡过程，可以使看作 SI 权重不断减小和 DI 权重不断增大，其本质是多次映射。图像权重体现为坐标和像素值权重。

可以这样来想，从 SI 直接变化到 DI 就，没有映射，没有过渡。但是从 SI 照片经过一张过渡照片，再到 DI，就有一次过渡，这个过程中就会发生两次映射，分别是 SI 映射到过渡图片，DI 映射到过渡图片。依此类推，当有两张过渡图片时，会发生四次映射。

在映射的过程中，如果用一个矩阵来代替，必然会导致有很大的误差，为了缩小这个误差，我们应该将图片分为若干个三角形或者是四边形（我选择是分为三角形），这样每个三角形中包含点的映射矩阵就由三角形的三个顶点来确定，而三角形的顶点就是由选取的控制点来确定的。

因为图像可以被剖分为许多三角形，所以我就拿三角形来举个例子：

源图中三角形三个点分别为【（0,0），（100,100）（100,0）】，DI 中三个点分别为【（0,0），（200,200），（200,0）】。若只有一张过渡图片，那么与该三角形对应的过渡三角形应该为【（0,0），（150,150）（150,0）】。若有两张过渡图片，那么对应的两个三角形分别为【（0,0），（133,133,0）（133,0）】和【（0,0），（166,166），（166,0）】。依此类推，就可以知道产生 n 张过渡图片，每张过渡图片的三角形坐标。

得到映射矩阵之后，分别求出 SI 和 DI 到过渡图像的映射，最后再附加上像素值权重，便得到过渡图像。

控制点的选取。

控制点的选取直接影响了过渡图片的质量，根据前面的叙述，三角形映射矩阵是由控制点决定的。那么为什么控制点的选取要选择具有特征的点？

就拿人的眼睛来举例子，如果在 SI 和 DI 中，包含眼睛的三角形控制点不是眼睛，那么 SI 和 DI 分别向过渡图像映射之后，眼睛的位置可能不是重叠的，这就会导致过渡图像中眼睛数量翻了一倍。

三角剖分算法

图像三角化要求产生的三角形边不会相交，并且所有的三角形能够刚好完全覆盖整个图像。在实现此目的时，我选用了 openCV 中的 Delaunay 剖分，Subdiv2D 这个类。

仿射

仿射的目的是要知道过渡三角形中每一个点对应 SI/DI 中三角形的点。

若已知，三角形 A 的三个顶点，分别为（x1，y1），（x2，y2），（x3，y3）对应三角形 B 的顶点为（a1，b1），（a2，b2），（a3，b3）

可以求出 A->B 的仿射矩阵。

Aff =

若已知三角形 A 中某点为(m,n)

可以求出其对应的点(c,d)

双线性插值

根据仿射变换求出对应点坐标是为了得到像素值。

得到的坐标多数情况下不是整数，而如何求取非整数（非网格点）处像素值呢？

我采用的是双线性插值法：

如下图：假设 P 为我们要求的插值节点，Q11，Q12，Q21，Q22 为网格点。

双线性插值方法是先在一个方向上插值（x 方向），再在另一个方向上插值（y 方向）。

举个例子，先在 x 上插值：

再在 y 上插值：

程序实现以及结果

控制点选取

主要调用 setMouseCallback()函数，得到鼠标左键点击处坐标。

并且调用 circle()函数将鼠标左键左键点击处点亮。

Delaunay 三角化

利用 openCV 中的 Subdiv2D 类，将控制点插入后，就可以得到三角化后，三角形的坐标，然后我再将三角形的边画出来，得到以下结果。

仿射矩阵计算以及坐标仿射

仿射矩阵计算：

坐标仿射：

双线性插值

实验结果以及对结果的讨论

由于产生的图片比较多，不放便一张一张的贴出来，所以找了一张有特点的。

以上图片出现了一个问题就是，某些区域会变得模糊，在这张图片中是下巴部分（原因肯可能是我在选取控制点时没选取好，下巴和下巴没有对应起来，也怪 Trump 是个双下巴，不好找。）

实验中遇到的问题

特征点的选取必须要有对应顺序，如果顺序不对应，那么产生的过渡照片质量会很糟糕。

而顺序检验这一点程序无法做到，能做到的只有特征点数量检测。

资源下载地址：https://download.csdn.net/download/sheziqiong/85884715
资源下载地址：https://download.csdn.net/download/sheziqiong/85884715

本文《基于C++的人脸过渡项目》版权归biyezuopin所有，引用基于C++的人脸过渡项目需遵循CC 4.0 BY-SA版权协议。