本申請(qǐng)涉及圖像處理，特別是涉及到一種人臉紋理重建方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、虛擬數(shù)字人涵蓋了計(jì)算機(jī)圖形學(xué)、語(yǔ)音合成、自然語(yǔ)言理解等前沿技術(shù)領(lǐng)域，具有重要的科學(xué)意義和應(yīng)用前景。高逼真人臉建模是虛擬數(shù)字人所涉及的一項(xiàng)重要技術(shù)，關(guān)鍵在于如何高逼真的重建人臉表皮紋理。高逼真人臉表皮紋理采集業(yè)內(nèi)公認(rèn)最好的系統(tǒng)是二十面體細(xì)分系統(tǒng)，該系統(tǒng)通過158個(gè)點(diǎn)光源重建結(jié)合多相機(jī)系統(tǒng)重建人臉材質(zhì)，精度可達(dá)到亞微米級(jí)。然而，這類系統(tǒng)搭建技術(shù)難度大，成本高。

2、因此，現(xiàn)有的人臉表皮紋理采集技術(shù)難度大，成本高，需要提出新的方案以實(shí)現(xiàn)低成本、高精度地重建人臉紋理。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)的主要目的為提供一種人臉紋理重建方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，旨在解決現(xiàn)有技術(shù)人臉紋理重建技術(shù)難度大，成本高的技術(shù)問題。

2、為了實(shí)現(xiàn)上述發(fā)明目的，本申請(qǐng)?zhí)岢鲆环N人臉紋理重建方法，所述方法包括：

3、獲取指定角度下拍攝的多張點(diǎn)光源照片；

4、對(duì)所述點(diǎn)光源照片進(jìn)行高光紋理分離，得到漫反射raw圖和高光反射raw圖；

5、根據(jù)所述漫反射raw圖計(jì)算平均人臉照片；

6、根據(jù)所述平均人臉照片，利用3d人臉模型重建人臉mesh，并計(jì)算獲得初始化人臉mesh；

7、根據(jù)所述初始化人臉mesh，重建漫反射法線貼圖；

8、根據(jù)所述漫反射法線貼圖，通過求解最小二乘問題，重建漫反射貼圖；

9、根據(jù)高光反射模型，利用所述漫反射法線、所述漫反射raw圖和高光反射raw圖，重建高光貼圖；

10、根據(jù)所述初始化人臉mesh、所述漫反射法線貼圖、所述漫反射貼圖和所述高光貼圖，得到重建人臉紋理。

11、進(jìn)一步地，所述對(duì)所述點(diǎn)光源照片進(jìn)行高光紋理分離，得到漫反射raw圖和高光反射raw圖的步驟之后，包括：

12、用所述高光反射raw圖減去所述漫反射raw圖，計(jì)算出高光分量圖。

13、進(jìn)一步地，所述根據(jù)所述平均人臉照片，利用3d人臉模型重建人臉mesh，并計(jì)算獲得初始化人臉mesh的步驟，還包括：

14、計(jì)算3d人臉重建模型的相機(jī)投影矩陣，記為第一投影矩陣；

15、計(jì)算點(diǎn)光源照片拍攝時(shí)實(shí)際相機(jī)的投影矩陣，記為第二投影矩陣；

16、根據(jù)所述第一投影矩陣和所述第二投影矩陣計(jì)算重投影矩陣；

17、根據(jù)所述重投影矩陣，對(duì)所述平均人臉照片中的人臉mesh進(jìn)行移動(dòng)和縮放，得到初始化人臉mesh。

18、進(jìn)一步地，所述根據(jù)所述初始化人臉mesh，重建漫反射法線貼圖的步驟，包括：

19、根據(jù)所述初始化人臉mesh，計(jì)算人臉各個(gè)點(diǎn)的漫反射法線；

20、根據(jù)點(diǎn)光源漫反射原理和所述人臉各個(gè)點(diǎn)的漫反射法線，確定人臉表面接收的光強(qiáng)與點(diǎn)光源照片上像素值的關(guān)系；

21、根據(jù)所述人臉表面接收的光強(qiáng)與點(diǎn)光源照片上像素值的關(guān)系，估計(jì)光源位置和光源強(qiáng)度，重建漫反射法線貼圖。

22、進(jìn)一步地，所述根據(jù)所述初始化人臉mesh，重建漫反射法線貼圖的步驟，包括：

23、根據(jù)所述漫反射法線，利用法線積分技術(shù)得到重新初始化人臉mesh；

24、根據(jù)所述重新初始化人臉mesh，重建漫反射法線貼圖。

25、進(jìn)一步地，所述根據(jù)高光反射模型，利用所述漫反射法線、所述漫反射raw圖和高光反射raw圖，重建高光貼圖的步驟，包括：

26、根據(jù)高光反射模型，利用所述漫反射法線、所述漫反射raw圖和高光反射raw圖，通過求解最小二乘問題，重建高光貼圖。

27、進(jìn)一步地，所述根據(jù)高光反射模型，利用所述漫反射法線、所述漫反射raw圖和高光反射raw圖，重建高光貼圖的步驟之后，包括：

28、根據(jù)所述高光貼圖和所述漫反射貼圖，通過求解最小二乘問題，重建高光法線貼圖；

29、根據(jù)所述高光法線貼圖，重新計(jì)算高光貼圖，循環(huán)迭代多次后，得到最終高光貼圖。

30、本申請(qǐng)還提供了一種人臉紋理重建裝置，所述裝置包括：

31、照片獲取模塊，用于獲取指定角度下拍攝的多張點(diǎn)光源照片；

32、高光紋理分離模塊，用于對(duì)所述點(diǎn)光源照片進(jìn)行高光紋理分離，得到漫反射raw圖和高光反射raw圖；

33、平均人臉計(jì)算模塊，用于根據(jù)所述漫反射raw圖計(jì)算平均人臉照片；

34、人臉mesh初始化模塊，用于根據(jù)所述平均人臉照片，利用3d人臉模型重建人臉mesh，并計(jì)算獲得初始化人臉mesh；

35、漫反射法線貼圖重建模塊，用于根據(jù)所述初始化人臉mesh，重建漫反射法線貼圖；

36、漫反射貼圖重建模塊，用于根據(jù)所述漫反射法線貼圖，通過求解最小二乘問題，重建漫反射貼圖；

37、高光貼圖重建模塊，用于根據(jù)高光反射模型，利用所述漫反射法線、所述漫反射raw圖和高光反射raw圖，重建高光貼圖；

38、人臉紋理重建模塊，用于根據(jù)所述初始化人臉mesh、所述漫反射法線貼圖、所述漫反射貼圖和所述高光貼圖，得到重建人臉紋理。

39、本申請(qǐng)還提供一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述任一項(xiàng)所述方法的步驟。

40、本申請(qǐng)還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述任一項(xiàng)所述方法的步驟。

41、本申請(qǐng)?zhí)峁┑囊环N人臉紋理重建方法，初始化人臉mesh的過程中，通過不同相機(jī)坐標(biāo)系下投影矩陣的轉(zhuǎn)換，實(shí)現(xiàn)使用不同相機(jī)拍攝都可以得到用于初始化人臉mesh的照片，降低了初始化人臉mesh的成本。提出了新的優(yōu)化方法用于重建漫反射法線貼圖和漫反射貼圖。高光貼圖的重建是基于點(diǎn)光源位置估計(jì)進(jìn)行重建，不依賴于光源方向標(biāo)定，降低了重建高光貼圖的難度，實(shí)現(xiàn)了低成本、高精度地重建人臉紋理。

技術(shù)特征：

1.一種人臉紋理重建方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的人臉紋理重建方法，其特征在于，所述對(duì)所述點(diǎn)光源照片進(jìn)行高光紋理分離，得到漫反射raw圖和高光反射raw圖的步驟之后，包括：

3.根據(jù)權(quán)利要求1所述的人臉紋理重建方法，其特征在于，所述根據(jù)所述平均人臉照片，利用3d人臉模型重建人臉mesh，并計(jì)算獲得初始化人臉mesh的步驟，還包括：

4.根據(jù)權(quán)利要求1所述的人臉紋理重建方法，其特征在于，所述根據(jù)所述初始化人臉mesh，重建漫反射法線貼圖的步驟，包括：

5.根據(jù)權(quán)利要求4所述的人臉紋理重建方法，其特征在于，所述根據(jù)所述初始化人臉mesh，重建漫反射法線貼圖的步驟，包括：

6.根據(jù)權(quán)利要求1所述的人臉紋理重建方法，其特征在于，所述根據(jù)高光反射模型，利用所述漫反射法線、所述漫反射raw圖和高光反射raw圖，重建高光貼圖的步驟，包括：

7.根據(jù)權(quán)利要求1所述的人臉紋理重建方法，其特征在于，所述根據(jù)高光反射模型，利用所述漫反射法線、所述漫反射raw圖和高光反射raw圖，重建高光貼圖的步驟之后，包括：

8.一種人臉紋理重建裝置，其特征在于，所述裝置包括：

9.一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)權(quán)利要求1至7中任一項(xiàng)所述方法的步驟。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至7中任一項(xiàng)所述方法的步驟。

技術(shù)總結(jié)
本申請(qǐng)涉及圖像處理技術(shù)領(lǐng)域，特別是涉及到一種人臉紋理重建方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，其中方法包括：獲取多張點(diǎn)光源照片并進(jìn)行高光紋理分離，得到漫反射RAW圖和高光反射RAW圖；根據(jù)漫反射RAW圖計(jì)算平均人臉照片，根據(jù)所述平均人臉照片，利用3D人臉模型重建人臉Mesh，并計(jì)算獲得初始化人臉Mesh；根據(jù)初始化人臉Mesh，計(jì)算人臉各個(gè)點(diǎn)的漫反射法線，重建漫反射法線貼圖；由漫反射法線貼圖通過求解最小二乘問題，重建漫反射貼圖；根據(jù)高光反射模型，利用漫反射法線，重建高光貼圖；根據(jù)初始化人臉Mesh、漫反射法線貼圖、漫反射貼圖和高光貼圖，得到重建人臉紋理。本申請(qǐng)涉及的方法可以解決現(xiàn)有技術(shù)人臉紋理重建技術(shù)難度大，成本高的技術(shù)問題。

技術(shù)研發(fā)人員：王乃洲,張玉兵,謝宗生,鮑文杰
受保護(hù)的技術(shù)使用者：廣州視源電子科技股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/8/20