用于調(diào)整拍攝的用戶的眼睛的顯示裝置和控制方法
【專利摘要】提供一種顯示裝置。該顯示裝置包括：拍攝單元，其被配置為對臉部形狀進(jìn)行拍攝；檢測器，其被配置為檢測臉部形狀的方向和角度；變形器，其被配置為對拍攝的臉部形狀和3D臉部模型進(jìn)行合成，并通過使用檢測到的臉部形狀的方向和角度對合成的臉部形狀進(jìn)行變形；以及輸出接口，其被配置為輸出變形后的臉部形狀。
【專利說明】用于調(diào)整拍攝的用戶的眼睛的顯示裝置和控制方法
[0001]相關(guān)申請的交叉引用
[0002]本申請要求于2013年I月9日向美國專利商標(biāo)局提交的美國臨時申請第61/750，536號的優(yōu)先權(quán)，并且要求于2013年5月29日向韓國知識產(chǎn)權(quán)局提交的韓國專利申請第2013-0061214號的優(yōu)先權(quán)，兩者的公開內(nèi)容通過引用整體合并于此。
【技術(shù)領(lǐng)域】
[0003]示范性實施例涉及顯示裝置及其控制方法。更具體地，示范性實施例涉及能夠調(diào)整拍攝的用戶的眼睛的顯示裝置和控制方法。
【背景技術(shù)】
[0004]由于電子技術(shù)和通信技術(shù)的發(fā)展，已經(jīng)開發(fā)了能夠執(zhí)行各種功能的電子設(shè)備。例如，舊的TV只有通過接收廣播信號輸出廣播節(jié)目的能力。但是，近來的TV能夠執(zhí)行另外的功能，諸如，互聯(lián)網(wǎng)連接、視頻呼叫、等等。
[0005]TV可以被提供為具有用于視頻呼叫的攝像頭。一般，攝像頭被布置在TV的顯示單元的邊緣(例如，上邊緣)周圍，而進(jìn)行視頻呼叫的用戶看向顯示在屏幕上的對方，而不是看向攝像頭。因此，由于攝像頭捕捉到用戶時用戶眼睛朝向下方，從而眼睛朝向下方的用戶被顯示在視頻呼叫的對方的TV上。同樣地，用戶的TV也會顯示眼睛朝向下方的對方。因此，在用戶和對方之間出現(xiàn)了眼睛的不一致，而這種眼睛的不一致成為了干擾在視頻呼叫期間各方融入的因素。
[0006]在過去，為了解決這種涉及各方眼睛的不一致，已經(jīng)使用了機(jī)械學(xué)方法、圖像處理方法、等等。然而，根據(jù)顯示設(shè)備的大小，解決這樣問題的機(jī)械學(xué)方法是受到限制的。而圖像處理方法校準(zhǔn)用戶眼睛注視的方向。然而，因為相關(guān)技術(shù)的圖像處理方法僅僅補(bǔ)償用戶的眼睛區(qū)域，取決于看向顯示裝置時用戶臉部的角度，可能出現(xiàn)用戶臉部與眼睛不能自然匹配的問題。
[0007]因此，已經(jīng)出現(xiàn)了對能夠自然地處理所捕捉的用戶眼睛而不管用戶臉部的角度的技術(shù)的需要。

【發(fā)明內(nèi)容】

[0008]已經(jīng)開發(fā)了示范性實施例以便克服上述障礙以及與相關(guān)技術(shù)的安排相關(guān)的其他問題。示范性實施例的一個方面提供了能夠自然地處理并輸出拍攝的用戶的眼睛的顯示裝置及其控制方法。
[0009]示范性實施例的上述方面和/或其它特征能夠通過提供一種顯示裝置來基本實現(xiàn)，該顯示裝置可以包括:拍攝裝置，其被配置為對臉部的形狀進(jìn)行拍攝；檢測器，其被配置為檢測臉部的形狀的方向和角度；變形器，其被配置為對拍攝的臉部形狀和3D臉部模型進(jìn)行合成，并通過使用檢測到的臉部的形狀的方向和角度對合成的臉部形狀進(jìn)行變形；以及輸出接口，其被配置為輸出變形后的臉部形狀。[0010]變形器可以通過使用與拍攝的臉部的形狀的臉部邊界部分相關(guān)的信息，額外地對變形后的臉部形狀的對應(yīng)的臉部邊界部分進(jìn)行變形。
[0011]檢測器可以從拍攝的臉部的形狀中提取特征點，通過從存儲的參考3D臉部模型中提取特征點來生成網(wǎng)格形式的參考3D臉部模型，并且可以通過投射網(wǎng)格形式的參考3D臉部模型并匹配對應(yīng)的特征點來生成與拍攝的臉部的形狀相對應(yīng)的網(wǎng)格形式的3D臉部模型。
[0012]檢測器可以通過使用網(wǎng)格形式的參考3D臉部模型和所生成的3D臉部模型的預(yù)定部分的位置上的差別來檢測臉部形狀的方向和角度。
[0013]變形器可以投射網(wǎng)格形式的3D臉部模型的預(yù)定部分，然后將對應(yīng)的單位網(wǎng)格與拍攝的臉部形狀的單位網(wǎng)格進(jìn)行合成，以便生成網(wǎng)格形式的合成的臉部形狀。
[0014]預(yù)定部分可以包括眼睛部分。
[0015]變形器可以將合成的臉部形狀變形為面向其前部，即，面向前方。
[0016]變形器可以基于拍攝的臉部形狀和變形后的臉部形狀的臉部邊界，檢測由從臉部形狀向內(nèi)的預(yù)定間隙形成的第一邊界和由從臉部形狀向外的預(yù)定間隙形成的第二邊界，以及可以通過使用與拍攝的臉部的形狀的第一邊界和第二邊界之間的部分相關(guān)的信息，額外地對變形后的臉部形狀的第一邊界和第二邊界之間的對應(yīng)部分進(jìn)行變形。
[0017]顯示裝置可以包括顯示器，其被配置為顯示變形后的臉部形狀。
[0018]顯示裝置可以包括通信器，其被配置為執(zhí)行以下功能中的至少一個:變形后的臉部形狀數(shù)據(jù)的傳送功能，以及與在外部顯示裝置中執(zhí)行變形后的臉部形狀數(shù)據(jù)相關(guān)的接收功能。
[0019]根據(jù)示范性實施例的另一個方面，控制顯示裝置的方法可以包括:對臉部形狀進(jìn)行拍攝；檢測臉部形狀的方向和角度；對拍攝的臉部形狀和3D臉部模型進(jìn)行合成；通過使用檢測到的臉部形狀的方向和角度對合成的臉部形狀進(jìn)行變形；并且輸出變形后的臉部形狀。
[0020]對合成的臉部形狀進(jìn)行變形可以包括通過使用與拍攝的臉部的形狀的臉部邊界部分相關(guān)的信息，額外地對變形后的臉部形狀的對應(yīng)的臉部邊界部分進(jìn)行變形。
[0021]檢測臉部形狀的方向和角度可以包括:從拍攝的臉部形狀提取特征點，通過從存儲的參考3D臉部模型提取特征點來生成網(wǎng)格形式的參考3D臉部模型，并且通過投射網(wǎng)格形式的參考3D臉部模型并匹配對應(yīng)的特征點來生成與拍攝的臉部形狀相對應(yīng)的網(wǎng)格形式的3D臉部模型。
[0022]檢測臉部形狀的方向和角度可以包括通過使用網(wǎng)格形式的參考3D臉部模型和所生成的3D臉部模型的預(yù)定部分的位置上的差別來檢測臉部形狀的方向和角度。
[0023]對合成的臉部形狀進(jìn)行變形可以包括投射網(wǎng)格形式的3D臉部模型的預(yù)定部分，然后將對應(yīng)的單位網(wǎng)格與拍攝的臉部形狀的單位網(wǎng)格進(jìn)行合成，以便生成網(wǎng)格形式的合成的臉部形狀。
[0024]預(yù)定部分可以包括眼睛部分。
[0025]對合成的臉部形狀進(jìn)行變形可以包括將合成的臉部形狀變形為面向前方。
[0026]對合成的臉部形狀進(jìn)行變形可以包括:基于拍攝的臉部形狀和變形后的臉部形狀的臉部邊界，檢測由從臉部形狀向內(nèi)的預(yù)定間隙形成的第一邊界和由從臉部形狀向外的預(yù)定間隙形成的第二邊界，以及通過使用與拍攝的臉部的形狀的第一邊界和第二邊界之間的部分相關(guān)的信息，額外地對變形后的臉部形狀的第一邊界和第二邊界之間的對應(yīng)部分進(jìn)行變形。
[0027]顯示方法可以包括顯示變形后的臉部形狀。
[0028]顯示方法可以包括執(zhí)行以下功能中的至少一個:變形后的臉部形狀數(shù)據(jù)的傳送功能，以及在外部顯示裝置中執(zhí)行變形后的臉部形狀數(shù)據(jù)的接收功能。
[0029]根據(jù)各種示范性實施例，拍攝的用戶的眼睛可以被自然地處理。
[0030]示范性實施例的一個方面可以提供一種顯示裝置，包括:檢測器，其被配置為檢測臉部形狀的方向和角度；以及變形器，其被配置為對臉部的形狀和參考3D臉部模型進(jìn)行合成，并使用檢測到的臉部形狀的方向和角度對合成的臉部形狀進(jìn)行變形。
[0031]顯示裝置還可以包括拍攝單元，其被配置為對用戶臉部的形狀進(jìn)行拍攝。此外，顯示裝置還可以包括輸出接口，其被配置為輸出變形后的臉部形狀。
[0032]變形器可以被配置為通過使用與拍攝的臉部形狀的臉部邊界部分相關(guān)的信息，額外地對變形后的臉部形狀的對應(yīng)的臉部邊界部分進(jìn)行變形。
[0033]檢測器可以被配置為從拍攝的臉部的形狀中提取特征點。
[0034]檢測器可以被配置為通過從存儲的參考3D臉部模型提取特征點來生成網(wǎng)格形式的參考3D臉部模型。
[0035]此外，檢測器可以被配置為通過投射網(wǎng)格形式的參考3D臉部模型并匹配對應(yīng)的特征點，來生成與拍攝的臉部形狀相對應(yīng)的網(wǎng)格形式的3D臉部模型。
[0036]檢測器可以被配置為通過使用網(wǎng)格形式的參考3D臉部模型和所生成的3D臉部模型的預(yù)定部分的位置上的差別來檢測臉部形狀的方向和角度。
[0037]變形器可以被配置為將合成的臉部形狀變形為面向前方。
[0038]顯示裝置還可以包括顯示器，其被配置為顯示變形后的臉部形狀。
[0039]從以下結(jié)合附圖的詳細(xì)描述中，示范性實施例的其它目的、優(yōu)點和顯著特征將變得清楚。
【專利附圖】

【附圖說明】
[0040]從以下結(jié)合附圖的描述中，示范性實施例的這些和/或其它方面和優(yōu)點將變得清楚和更加容易理解，其中:
[0041]圖1是示出根據(jù)示范性實施例的顯示裝置的配置的框圖；
[0042]圖2是示出根據(jù)另一個示范性實施例的顯示裝置的配置的框圖；
[0043]圖3是根據(jù)示范性實施例的用于說明從拍攝的臉部提取特征點的視圖；
[0044]圖4 (a)到(C)是根據(jù)示范性實施例的用于說明生成3D臉部模型的過程的視圖；
[0045]圖5是根據(jù)另一個示范性實施例的用于說明檢測臉部形狀的方向和角度的過程的視圖；
[0046]圖6是根據(jù)示范性實施例的用于說明對拍攝的臉部圖像和3D臉部模型進(jìn)行合成的過程的視圖；
[0047]圖7 (a)到(C)是根據(jù)示范性實施例的用于說明對臉部邊界部分的額外變形的視圖；[0048]圖8是根據(jù)示范性實施例的用于說明處理并輸出用戶的眼睛的顯示裝置的視圖；
[0049]圖9是根據(jù)示范性實施例的控制顯示裝置的方法的流程圖；和
[0050]圖10是根據(jù)另一個示范性實施例的控制顯示裝置的方法的流程圖。
[0051 ]貫穿附圖，相似的參考標(biāo)號將被理解為指代相似的部分、組件和結(jié)構(gòu)。
【具體實施方式】
[0052]以下，將參考附圖詳細(xì)描述一定示范性實施例。
[0053]這里定義的主題，諸如其詳細(xì)的結(jié)構(gòu)和元素，被提供來幫助對這個描述的全面理解。因此，很清楚，示范性實施例可以在沒有所定義的那些主題的情況下執(zhí)行。而且，已知功能或結(jié)構(gòu)被省略，以提供對示范性實施例的清楚和簡潔的描述?？紤]到示范性實施例中的功能來定義稍后將描述的術(shù)語，從而那些術(shù)語將按照用戶或操作者的意圖、實踐等而改變。因此，將在貫穿本說明書的信息的基礎(chǔ)上進(jìn)行定義。
[0054]圖1是示出根據(jù)示范性實施例的顯示裝置的配置的框圖。
[0055]參考圖1，顯示裝置100包括拍攝(photographing)單元110、檢測器121、變形器(transformer) I22、以及輸出接口 1:30。
[0056]顯示裝置100包括拍攝單元110，并且可以輸出視頻。例如，顯示裝置100可以實施為平板計算機(jī)、個人計算機(jī)、筆記本計算機(jī)、膝上型計算機(jī)、便攜式多媒體播放器(PMP)、個人數(shù)字助理(PDA)、智能電話、數(shù)字相框、數(shù)字TV、監(jiān)視器、等等。
[0057]拍攝單元110可以布置在顯示裝置100的外部區(qū)域。例如，拍攝單元110可以布置在上邊緣的中心、左邊緣的中心、或右邊緣的中心。一般，用戶看著顯示裝置100的中心部分(例如，屏幕)。因此，響應(yīng)于放置在顯示裝置100的上邊緣的中心的拍攝單元110，正被輸入到拍攝單元110中的用戶的眼睛的形狀看向下方。
[0058]拍攝單元110對臉部的形狀進(jìn)行拍攝。拍攝單元110包括鏡頭模塊，鏡頭模塊包含至少一個鏡頭和圖像傳感器。進(jìn)入鏡頭的用戶的臉部的形狀作為光學(xué)信號被輸入到圖像傳感器中以便扮演影片中的角色，而圖像傳感器將輸入的光學(xué)信號轉(zhuǎn)換為電信號并將轉(zhuǎn)換的電信號傳送給檢測器121。
[0059]檢測器121檢測臉部形狀的方向和角度。顯示裝置100存儲參考3D臉部模型。參考3D臉部模型是指用于人臉的標(biāo)準(zhǔn)類型的3D模型。檢測器121從拍攝的臉部形狀提取特征點，并將提取的特征點與參考3D臉部模型的對應(yīng)的特征點進(jìn)行匹配。換句話說，檢測器121可以通過使用與拍攝的臉部形狀相關(guān)的信息對參考3D臉部模型進(jìn)行變形(transform).因此，檢測器121可以生成關(guān)于拍攝的臉部的形狀3D臉部模型。檢測器121可以通過將關(guān)于拍攝的臉部形狀的3D臉部模型與參考3D臉部模型進(jìn)行比較來檢測臉部形狀的方向和角度。其詳細(xì)過程將在稍后描述。
[0060]變形器122將所拍攝的臉部形狀與3D臉部模型進(jìn)行合成(mix)，然后通過使用檢測到的臉部形狀的方向和角度對合成的臉部形狀進(jìn)行變形。這里，拍攝的臉部形狀意味著通過連接所提取的特征點而形成的網(wǎng)格形式的臉部形狀。3D臉部模型意味著檢測器121通過使用與拍攝的臉部的形狀相關(guān)的信息對參考3D臉部模型進(jìn)行變形而生成的、關(guān)于拍攝的臉部形狀的3D臉部模型。3D臉部模型的合成是用來校準(zhǔn)臉部形狀的過程，并且以將3D臉部模型投射到網(wǎng)格形式的臉部形狀上并且匹配特征點或單位網(wǎng)格的方式來執(zhí)行。[0061]3D臉部模型的合成可以對于整個臉部而執(zhí)行?；蛘撸?D臉部模型的合成可以只針對臉部的一定部分執(zhí)行。例如，變形器122可以提取3D臉部模型的眼睛部分，并且可以通過投射提取的眼睛部分來對提取的眼睛部分和網(wǎng)格形式的拍攝的臉部形狀進(jìn)行合成。變形器122基于檢測到的方向和角度信息對合成的臉部形狀進(jìn)行變形。
[0062]輸出接口 130輸出變形后的臉部形狀。輸出接口 130將變形后的臉部形狀數(shù)據(jù)傳送到用于輸出的不同配置。用于輸出的不同配置可以輸出變形后的臉部形狀。
[0063]圖2是示出根據(jù)另一個示范性實施例的顯示裝置的配置的框圖。
[0064]參考圖2，顯示裝置IOOa可以包括拍攝單元110、控制器120、輸出接口 130、顯示器140、以及通信器150。拍攝單元110和輸出接口 130參考圖1進(jìn)行了描述；因此，其描述將被省略。
[0065]控制器120可以包括檢測器121和變形器122。檢測器121檢測拍攝的臉部形狀的方向和角度。變形器122對拍攝的臉部形狀和3D臉部模型進(jìn)行合成，然后通過使用檢測到的臉部形狀的方向和角度來對合成的臉部形狀進(jìn)行變形。檢測器121和變形器122可以實施為單一的控制器120。換句話說，檢測器121和變形器122可以實施為單一的控制器120內(nèi)的硬件芯片或軟件模塊。
[0066]控制器120控制拍攝單元110、輸出接口 130、顯示器140、以及通信器150?？刂破?20可以控制輸出接口 130和顯示器140，以便在屏幕上顯示變形后的臉部形狀。同時，控制器120可以控制輸出接口 130和通信器150，以便將變形后的臉部形狀數(shù)據(jù)傳送給其它顯示裝置(未示出)。在一些情況下，控制器120可以控制輸出接口 130、顯示器140、以及通信器150，使得變形后的臉部形狀被顯示在屏幕上，并且同時被傳送給其它顯示裝置。
[0067]顯示器140可以顯示變形后的臉部形狀。在這種情況下，用戶可以看到用戶自己的變形后的臉部形狀。顯示器140可以顯示通過通信器150接收的對方的臉部形狀。例如，顯示器140可以實施為各種顯示器，諸如液晶顯示器(IXD)面板、等離子體顯示面板(PDP)、有機(jī)發(fā)光二極管(0LED)、真空熒光顯示器(VFD)、場致發(fā)射顯示器(FED)、電發(fā)光顯示器(ELD)等等。
[0068]顯示器140可以實施為沒有觸摸輸入功能的一般顯示面板，或者可以實施為能夠通過使用接近傳感器或觸摸傳感器來識別用戶操作的觸摸顯示面板。響應(yīng)于被實施為觸摸顯示面板的顯示器140，顯示器140可以通過用戶的身體(例如，包括拇指的手指)或通過能夠被檢測到的另一個輸入裝置(例如，手寫筆)來接收至少一個觸摸手勢。
[0069]通信器150可以將變形后的臉部形狀數(shù)據(jù)傳送給其它顯示裝置，并且可以接收在另一個顯示裝置中執(zhí)行變形后的臉部形狀數(shù)據(jù)。
[0070]例如，通信器150可以包括無線局域網(wǎng)(LAN)模塊(未示出)、有線局域網(wǎng)(LAN)模塊(未示出)、或本地通信模塊(未示出)。無線LAN模塊可以按照控制器120的控制，在安裝了無線接入點(AP)(未示出)的地方連接到互聯(lián)網(wǎng)。無線LAN模塊支持電氣和電子工程師協(xié)會(IEEE)的無線LAN基準(zhǔn)(IEEE802.llx)。有線LAN模塊可以通過線纜連接到互聯(lián)網(wǎng)。通信器150可以通過無線或有線LAN模塊將變形后的臉部形狀數(shù)據(jù)傳送給其它顯示裝置。
[0071]本地通信模塊可以按照控制器120的控制無線地執(zhí)行顯示裝置IOOa和外部設(shè)備之間的本地通信。本地通信方法可以包括藍(lán)牙?、紅外數(shù)據(jù)關(guān)聯(lián)等等。
[0072]至此，描述了顯示裝置的配置。以下，將描述拍攝用戶的臉部的形狀和對拍攝的臉部形狀進(jìn)行變形的過程。
[0073]圖3是根據(jù)示范性實施例的用于說明從拍攝的臉部提取特征點的視圖。
[0074]參考圖3，示出了由拍攝單元110拍攝的用戶的臉部的形狀11。拍攝的用戶的臉部形狀11被傳送給檢測器121。在示范性實施例中，主動外觀模型(AAM)可以用來檢測特征點。主動外觀模型是被設(shè)計用來匹配對象形狀的統(tǒng)計模型和新圖像的外觀的計算機(jī)視覺算法。這樣的算法使用當(dāng)前測量外觀與目標(biāo)圖像之間的差別用于驅(qū)動最優(yōu)化處理。
[0075]檢測器121從用戶的臉部形狀11提取特征點51-1、51_2和51_n。例如，檢測器121可以找到關(guān)于用戶的臉部形狀11的眼鏡、眉毛、鼻子、上嘴唇、下嘴唇、以及頜線的88個位置信息點，然后實時跟蹤特征點。而且，檢測器121使用除了正臉以外還按照左/右角度添加了四個AAM模型的總共五個AAM模型來檢測臉部形狀。
[0076]而且，檢測器121通過從存儲的參考3D臉部模型中提取特征點來生成網(wǎng)格形式的3D臉部模型。
[0077]圖4是根據(jù)示范性實施例的用于說明生成3D臉部模型的過程的視圖。
[0078]圖4 Ca)示出了從其中提取了特征點53-1和53_n的臉部形狀模型，并且示出了參考3D臉部模型13。參考3D臉部模型13被實施為普通人(average person)的3D臉部形狀。由于參考3D臉部模型代表普通人的臉部形狀，參考3D臉部模型可以被使用而不管拍攝的用戶。
[0079]例如，參考3D臉部模型13由具有113個3D網(wǎng)格點的190個網(wǎng)格三角形(或單位網(wǎng)格)構(gòu)成。網(wǎng)格點是從臉部形狀的眼睛、眉毛、鼻子、上嘴唇、下嘴唇等等提取的點。網(wǎng)格三角形是指通過連接三個網(wǎng)格點(或特征點)而做出的三角形形狀。網(wǎng)格點和網(wǎng)格三角形被用作用于生成其中調(diào)整了用戶的眼睛的圖像的基本單位。參考3D臉部模型13可以通過提取的網(wǎng)格點和連接網(wǎng)格點的網(wǎng)格三角形而重新生成(regenerate)。參考3D臉部模型13以這樣的方式生成從而成為網(wǎng)格形式的參考3D臉部模型。特征點可以從拍攝的臉部形狀11中提取，并且所提取的特征點可以以網(wǎng)格形式生成，從而以這樣的方式生成的臉部形狀成為網(wǎng)格形式的臉部形狀。
[0080]圖4 (b)示出了其中參考3D臉部模型13的網(wǎng)格點和臉部形狀的特征點相匹配的模型。由于參考3D臉部模型是三維(3D)的，網(wǎng)格點可以投射到扁平表面(flat surface)上。投射的網(wǎng)格點被匹配到對應(yīng)的臉部形狀的特征點。例如，在參考3D臉部模型13內(nèi)的左眼的左端網(wǎng)格點與臉部形狀的對應(yīng)的特征點相匹配，并且參考3D臉部模型13內(nèi)的右眼的右端網(wǎng)格點與臉部形狀的對應(yīng)的特征點相匹配。以同樣的方式，包括匹配的特征點55-1和55-n的臉部形狀模型被生成。
[0081]圖4 (C)示出了網(wǎng)格形式的3D臉部模型15。如圖4 (b)中所說明的，網(wǎng)格形式的3D臉部模型15可以從包括匹配的特征點55-1和55-n的臉部形狀中生成。換句話說，網(wǎng)格形式的3D臉部模型15是將參考3D臉部模型13調(diào)整成與拍攝的用戶的臉部形狀相匹配的臉部模型。3D臉部模型可以通過考慮2D拍攝的用戶的臉部形狀和3D參考臉部模型之間的差別而生成。
[0082]例如，可以執(zhí)行高斯牛頓迭代更新過程。換句話說，3D臉部模型15通過完全考慮以下各項而生成:拍攝的圖像的2D平均模型和修改的外觀之間的差別(E2D) ；2D形狀和投射到2D上的參考3D臉部模型的形狀之間的差別(E3D);拍攝的圖像的修改的紋理和主中貞(key frame)的參考紋理之間的差別(Etexture);以及當(dāng)前巾貞和先前巾貞之間的距離特征(Epoint)0
[0083]圖4是關(guān)于一個圖像進(jìn)行說明的，但是這個過程可以實時地連續(xù)執(zhí)行。拍攝的臉部的形狀的方向和角度可以從在圖4中生成的3D臉部模型15中檢測。
[0084]圖5是根據(jù)示范性實施例的用于說明檢測臉部形狀的方向和角度的過程的視圖。
[0085]參考圖5，示出了參考3D臉部模型13和所生成的3D臉部模型15a。在圖4中描述了 3D臉部模型15a的生成過程。所生成的3D臉部模型15a包括與拍攝的臉部的形狀相關(guān)的信息。換句話說，響應(yīng)于比參考3D臉部模型13更寬的拍攝的臉部形狀，所生成的3D臉部模型15a可以通過變形得比參考3D臉部模型13更寬來生成。響應(yīng)于傾斜向一側(cè)的拍攝的臉部形狀，所生成的3D臉部模型15a可以被生成為傾斜向一側(cè)。
[0086]由于參考3D臉部模型13是標(biāo)準(zhǔn)臉部模型，參考3D臉部模型可以是面向其前方的形狀。因此，所生成的3D臉部模型15a具有基于參考3D臉部模型13的X、Y和Z軸旋轉(zhuǎn)、以及X和Y軸的位置改變和標(biāo)度改變。因此，檢測器121可以檢測所生成的3D臉部模型15a的滾動(roll)、俯仰(pitch)、和偏轉(zhuǎn)(yaw)方向中的每一個的旋轉(zhuǎn)量，因此可以檢測拍攝的臉部的方向和角度。同時，響應(yīng)于稍微向左旋轉(zhuǎn)的拍攝的臉部的方向，所生成的3D臉部模型15a的左臉網(wǎng)格三角形可以表現(xiàn)為小于參考3D臉部模型13的對應(yīng)區(qū)域，而所生成的3D臉部模型15a的右臉網(wǎng)格三角形可以表現(xiàn)為大于參考3D臉部模型13的對應(yīng)區(qū)域。拍攝的臉部形狀的方向可以通過比較對應(yīng)區(qū)域的網(wǎng)格三角形的面積來檢測。
[0087]或者，檢測器121可以通過使用臉部形狀的鼻子的垂直方向、眼睛的垂直方向等來檢測臉部的形狀的方向和角度。換句話說，檢測器121可以通過使用參考3D臉部模型13和所生成的3D臉部模型15a的預(yù)定部分(例如，眼睛、鼻子、左臉、右臉等)的位置和垂直方向上的差別，來檢測臉部的方向和角度。
[0088]顯示裝置100通過使用檢測到的臉部形狀的方向和角度來對拍攝的臉部形狀進(jìn)行變形。顯示裝置100可以在對拍攝的臉部的形狀進(jìn)行變形之前只使用3D臉部模型15a的一定部分。
[0089]圖6是根據(jù)示范性實施例的用于說明對拍攝的臉部圖像和3D臉部模型進(jìn)行合成的過程的視圖。
[0090]圖6示出了網(wǎng)格形式的拍攝的臉部形狀I(lǐng)Ia和生成的3D臉部模型15。變形器122可以從所生成的3D臉部模型15中提取眼睛部分72的信息。變形器122可以通過投射所提取的眼睛部分72并通過合成拍攝的臉部形狀I(lǐng)la的眼睛部分71的對應(yīng)的特征點或網(wǎng)格三角形(或單位網(wǎng)格)，來生成合成的臉部形狀。變形器122可以通過根據(jù)檢測到的方向和角度對合成的臉部形狀進(jìn)行變形，來生成變形后的臉部形狀。
[0091]響應(yīng)于僅僅二維的(2D)拍攝的臉部形狀I(lǐng)la正被使用，臉部形狀只具有與平面(plane)相關(guān)的信息。響應(yīng)于臉部形狀I(lǐng)la被變形為看向前方，在眼睛部分出現(xiàn)相對較大的改變，而在臉部的一側(cè)出現(xiàn)相對較小的改變。響應(yīng)于在如上所述的、拍攝的臉部形狀I(lǐng)la只具有2D信息的狀態(tài)下出現(xiàn)部分不同的改變，眼睛部分的失真可能更嚴(yán)重(例如，當(dāng)佩戴眼鏡時，眼鏡的形狀發(fā)生失真)。
[0092]響應(yīng)于只通過使用所生成的3D臉部模型15進(jìn)行變形，作為臉部形狀的不規(guī)則性、起伏等等的結(jié)果，產(chǎn)生了這樣的失真:臉部的一側(cè)的輪廓線(outline)變粗。[0093]因此，為了解決失真的問題，可以通過從所生成的3D臉部模型15中提取預(yù)定部分(例如，眼睛部分)并將其與拍攝的臉部形狀I(lǐng)la進(jìn)行合成，來生成網(wǎng)格形式的合成的臉部形狀。此后，變形器122可以通過對合成的臉部的形狀進(jìn)行變形來生成變形后的臉部形狀。例如，變形器122可以對合成的臉部的形狀進(jìn)行變形，從而臉部形狀和眼睛面向前方。
[0094]顯示裝置100可以執(zhí)行額外的變形以便生成更自然的臉部形狀。
[0095]圖7是根據(jù)示范性實施例的用于說明對臉部邊界部分的額外變形的視圖。
[0096]圖7 (a)是示出拍攝的臉部的形狀的視圖。變形器122可以在從拍攝的臉部形狀的臉部輪廓(contour) 11向內(nèi)和向外分開一定距離的位置生成虛擬邊界。例如，所述一定距離可以被設(shè)定為從臉部輪廓11分開Imm (毫米)或10像素的點。如圖7 Ca)中所示的邊界是通過連接分開一定距離的點來形成的。為了方便描述，在臉部形狀內(nèi)生成的邊界被稱為第一邊界11-1，而在臉部形狀外生成的邊界被稱為第二邊界11-2。
[0097]特征點從拍攝的臉部形狀的臉部輪廓11、第一邊界11-1、和第二邊界11-2中提取，然后所提取的特征點被連接以生成包括網(wǎng)格三角形(或單位網(wǎng)格)31的形狀。特征點和網(wǎng)格三角形31可以沿臉部形狀的輪廓11連續(xù)地形成?；蛘?，特征點和網(wǎng)格三角形可以作為整體形成在臉部形狀上。換句話說，可以生成網(wǎng)格形式的臉部形狀。
[0098]在臉部形狀的一側(cè)示出的水平線21a是指背景。對臉部形狀進(jìn)行拍攝是指拍攝其中包括臉部形狀的區(qū)域，而不是指僅僅拍攝與所述區(qū)域分開的臉部形狀。因此，背景圖像可以包含在臉部形狀的頂部、底部、左側(cè)和右側(cè)。換句話說，在臉部形狀的一側(cè)水平示出的水平線21a是指在拍攝的圖像中沒有失真的背景圖像。換句話說，與臉部形狀接觸的水平線區(qū)域75被表現(xiàn)為垂直于臉部形狀的切線。
[0099]圖7 (b)是示出變形后的臉部形狀的視圖。圖7 (b)示出了變形后的臉部形狀的輪廓17、第一邊界17-1、第二邊界17-2、特征點、以及網(wǎng)格三角形33。變形后的臉部形狀的輪廓17、第一邊界17-1、第二邊界17-2、特征點、以及網(wǎng)格三角形33與圖7 Ca)的那些相同。因此，它們的描述將被省略。
[0100]在臉部形狀的一側(cè)示出的水平線21b是指背景。然而，圖7 (b)中示出的背景包括較小失真區(qū)域76。換句話說，由于執(zhí)行了針對臉部形狀的變形過程，與臉部輪廓17接觸的水平線21b被表現(xiàn)為失真的。環(huán)顧失真區(qū)域76，失真從第二邊界17-2附近開始，并且大多數(shù)的嚴(yán)重失真出現(xiàn)在臉部形狀輪廓17附近。因此，變形器122可以使用原始的拍攝的臉部形狀的第一邊界11-1和第二邊界11-2的部分信息執(zhí)行額外的變形。
[0101]圖7 (C)是示出額外變形后的臉部的形狀的視圖。圖7 (C)示出了額外變形后的臉部形狀的輪廓19、第一邊界19-1、第二邊界19-2、特征點、以及網(wǎng)格三角形35。其中示出了對應(yīng)于背景的水平線21c和額外失真區(qū)域77。
[0102]原始的拍攝的臉部形狀的外部背景的水平線21a用直線來表示。因此，變形器122可以通過用對應(yīng)于原始臉部形狀的背景的水平線21a的區(qū)域75來替換失真的水平線21b的區(qū)域76，來自然地表現(xiàn)額外失真的水平線21c的區(qū)域77。第一邊界和第二邊界可以按照顯示裝置100的屏幕大小等來設(shè)定。對應(yīng)于額外變形后的臉部形狀的背景圖像的水平線21c不會被理想地變形。然而，由于用戶在與顯示裝置100分開一定距離的點處看向正被顯示的臉部的形狀，因此用戶幾乎不能檢測到水平線21c的失真。
[0103]在圖7中，描述了對臉部輪廓和第二邊界之間的區(qū)域的額外的變形。然而，額外的變形可以以同樣的方式應(yīng)用在第一邊界和臉部輪廓之間的區(qū)域。
[0104]圖8是根據(jù)示范性實施例的用于說明顯示裝置如何通過處理用戶的眼睛而輸出的視圖。
[0105]參考圖8，示出了顯示變形后的臉部形狀的顯示裝置100和執(zhí)行視頻呼叫的用戶
3。在圖8中，外部顯示裝置(未示出)執(zhí)行對方的臉部形狀的變形，并通過通信器將其傳送給顯示裝置100。顯示裝置100顯示所傳送的對方的變形后的臉部形狀5。同時，顯示裝置100可以拍攝用戶的臉部的形狀，對拍攝的臉部形狀進(jìn)行變形，并將變形后的臉部形狀通過通信器傳送給外部顯示裝置或通過顯示器顯示臉部形狀。
[0106]在圖8中，拍攝單元被布置在顯示裝置100的上邊緣的中心。響應(yīng)于具有布置在同一位置的拍攝單元的外部顯示裝置，外部顯示裝置拍攝眼睛朝向下方的對方的臉部形狀。外部顯示裝置通過上述過程對臉部形狀進(jìn)行變形，并將變形后的臉部形狀傳送給顯示裝置100。顯示裝置100顯示看向顯示裝置的前面的對方的臉部形狀5。
[0107]因此，由于用戶可以感覺到匹配正被顯示的對方的眼睛，但是可以幾乎感覺不到背景的失真，因此用戶在執(zhí)行諸如視頻呼叫的動作時可以更集中在對方的外觀。
[0108]圖9是根據(jù)示范性實施例的控制顯示裝置的方法的流程圖。
[0109]參考圖9，顯示裝置拍攝臉部的形狀(S910)。顯示裝置檢測臉部形狀的方向和角度(S920)。顯示裝置可以從拍攝的臉部形狀中提取特征點。顯示裝置存儲參考3D臉部模型，并且通過從參考3D臉部模型中提取特征點(或網(wǎng)格點)來生成網(wǎng)格形式的參考3D臉部模型。顯示裝置投射網(wǎng)格形式的參考3D臉部模型，并且將其與拍攝的臉部形狀的對應(yīng)的特征點進(jìn)行匹配，從而生成網(wǎng)格形式的3D臉部模型。顯示裝置通過將網(wǎng)格形式的參考3D臉部模型和所生成的3D臉部模型進(jìn)行比較來檢測臉部形狀的方向和角度。
[0110]顯示裝置將拍攝的臉部形狀與3D模型進(jìn)行合成，并且通過使用檢測到的方向和角度對合成的臉部形狀進(jìn)行變形(S930)。顯示裝置提取所生成的3D模型的預(yù)定部分，并對其進(jìn)行合成以對應(yīng)于拍攝的臉部形狀。合成的臉部形狀根據(jù)檢測到的方向和角度而變形。
[0111]顯示裝置輸出變形后的臉部形狀(S940 )。顯示裝置可以通過顯示器顯示變形后的臉部形狀。顯示裝置可以通過通信器將變形后的臉部形狀數(shù)據(jù)傳送給其它顯示裝置。
[0112]圖10是根據(jù)另一個示范性實施例的控制顯示裝置的方法的流程圖。除了臉部形狀的變形以外，顯示裝置可以執(zhí)行關(guān)于與臉部形狀接觸的區(qū)域的變形。
[0113]參考圖10，顯示裝置可以通過使用與拍攝的臉部形狀的臉部邊界部分相關(guān)的信息，額外地對變形后的臉部形狀的對應(yīng)的臉部邊界部分進(jìn)行變形(S1010)。顯示裝置基于拍攝的臉部形狀和變形后的臉部形狀的臉部邊界，來檢測由從臉部形狀向內(nèi)的預(yù)定間隙形成的第一邊界和由從臉部形狀向外的預(yù)定間隙形成的第二邊界。
[0114]顯示裝置可以通過使用關(guān)于拍攝的臉部形狀的第一邊界和第二邊界之間的部分的信息，額外地對變形后的臉部形狀的第一邊界和第二邊界之間的對應(yīng)部分進(jìn)行變形。
[0115]根據(jù)各種示范性實施例的控制顯示裝置的方法可以實施為程序并且可以提供給顯示裝置。
[0116]例如，可以提供非瞬時計算機(jī)可讀存儲介質(zhì)，其中存儲用于執(zhí)行以下步驟的程序:從拍攝的臉部的形狀中檢測方向和角度；將拍攝的臉部與3D臉部模型進(jìn)行合成；通過使用檢測到的臉部的方向和角度來對合成的臉部形狀進(jìn)行變形；以及輸出變形后的臉部形狀。[0117]與諸如寄存器、緩存器、存儲器等的短時存儲數(shù)據(jù)的介質(zhì)相反，非瞬時計算機(jī)可讀存儲介質(zhì)是指能夠以半永久的方式存儲數(shù)據(jù)并且能夠由設(shè)備讀取的介質(zhì)。具體來講，上述各種應(yīng)用或程序可以存儲在非瞬時計算機(jī)可讀介質(zhì)中或者與非瞬時計算機(jī)可讀介質(zhì)一起提供，所述非瞬時計算機(jī)可讀介質(zhì)諸如CD、DVD、硬盤、藍(lán)光盤?、USB、存儲卡、ROM等等。
[0118]雖然已經(jīng)描述了示范性實施例，本領(lǐng)域技術(shù)人員一旦學(xué)習(xí)了基本發(fā)明構(gòu)思就可以想到實施例的另外的變化和修改。因此，意圖將所附權(quán)利要求解釋為包括全部上述實施例以及落在本發(fā)明構(gòu)思的精神和范圍之內(nèi)的所有這樣的變化和修改。
【權(quán)利要求】
1.一種顯示裝置，包括: 拍攝單元，其被配置為對用戶臉部的形狀進(jìn)行拍攝； 檢測器，其被配置為檢測臉部形狀的方向和角度； 變形器，其被配置為將拍攝的臉部的形狀與3D臉部模型進(jìn)行合成，并通過使用檢測到的臉部形狀的方向和角度對合成的臉部形狀進(jìn)行變形；以及輸出接口，其被配置為輸出變形后的臉部形狀。
2.如權(quán)利要求1所述的顯示裝置，其中 所述變形器被配置為通過使用與拍攝的臉部形狀的臉部邊界部分相關(guān)的信息，額外地對變形后的臉部形狀的對應(yīng)的臉部邊界部分進(jìn)行變形。
3.如權(quán)利要求1所述的顯示裝置，其中 所述檢測器被配置為從拍攝的臉部形狀中提取特征點， 通過從存儲的參考3D臉部模型中提取特征點，生成網(wǎng)格形式的參考3D臉部模型，并且通過投射網(wǎng)格形式的參考3D臉部模型并匹配對應(yīng)的特征點，生成與拍攝的臉部形狀相對應(yīng)的網(wǎng)格形式的3D臉部模型。
4.如權(quán)利要求3所述的顯示裝置，其中 所述檢測器被配置為通過使用網(wǎng)格形式的參考3D臉部模型和所生成的3D臉部模型的預(yù)定部分的位置上的差別來檢測臉部形狀的方向和角度。
5.如權(quán)利要求3所述的顯示裝置，其中 所述變形器被配置為投射網(wǎng)格形式的3D臉部模型的預(yù)定部分，然后將對應(yīng)的單位網(wǎng)格與拍攝的臉部形狀的單位網(wǎng)格進(jìn)行合成，以便生成網(wǎng)格形式的合成的臉部形狀。
6.如權(quán)利要求5所述的顯示裝置，其中 所述預(yù)定部分包括眼睛部分。
7.如權(quán)利要求1所述的顯示裝置，其中 所述變形器被配置為將合成的臉部形狀變形為面向前方。
8.如權(quán)利要求2所述的顯示裝置，其中 所述變形器被配置為基于拍攝的臉部形狀和變形后的臉部形狀的臉部邊界，檢測由從臉部形狀向內(nèi)的預(yù)定間隙形成的第一邊界和由從臉部形狀向外的預(yù)定間隙形成的第二邊界，以及 通過使用與拍攝的臉部的形狀的第一邊界和第二邊界之間的部分相關(guān)的信息，額外地對變形后的臉部形狀的第一邊界和第二邊界之間的對應(yīng)部分進(jìn)行變形。
9.一種控制顯示裝置的方法，該方法包括: 對臉部的形狀進(jìn)行拍攝； 檢測臉部形狀的方向和角度； 將拍攝的臉部形狀與3D臉部模型進(jìn)行合成； 通過使用檢測到的臉部形狀的方向和角度，對合成的臉部形狀進(jìn)行變形；以及 輸出變形后的臉部的形狀。
10.如權(quán)利要求9所述的控制方法，其中 對合成的臉部形狀進(jìn)行變形包括通過使用與拍攝的臉部形狀的臉部邊界部分相關(guān)的信息，額外地對變形后的臉部形狀的對應(yīng)的臉部邊界部分進(jìn)行變形。
11.如權(quán)利要求9所述的控制方法，其中 檢測臉部形狀的方向和角度包括從拍攝的臉部的形狀中提取特征點， 通過從存儲的參考3D臉部模型中提取特征點，生成網(wǎng)格形式的參考3D臉部模型，以及 通過投射網(wǎng)格形式的參考3D臉部模型并匹配對應(yīng)的特征點，生成與拍攝的臉部形狀相對應(yīng)的網(wǎng)格形式的3D臉部模型。
12.如權(quán)利要求11所述的控制方法，其中 檢測臉部形狀的方向和角度包括通過使用網(wǎng)格形式的參考3D臉部模型和所生成的3D臉部模型的預(yù)定部分的位置上的差別來檢測臉部形狀的方向和角度。
13.如權(quán)利要求11所述的控制方法，其中 對合成的臉部形狀進(jìn)行變形包括投射網(wǎng)格形式的3D臉部模型的預(yù)定部分，然后將對應(yīng)的單位網(wǎng)格與拍攝的臉部形狀的單位網(wǎng)格進(jìn)行合成，以便生成網(wǎng)格形式的合成的臉部形狀。
14.如權(quán)利要求9所述的控制方法，其中 對合成的臉部形狀進(jìn)行變形包括將合成的臉部形狀變形為面向前方。
15.如權(quán)利要求10所述的控制方法，其中 對合成的臉部形狀進(jìn)行變形包括基于拍攝的臉部形狀和變形后的臉部形狀的臉部邊界，檢測由從臉部形狀向內(nèi)的預(yù)定間隙形成的第一邊界和由從臉部形狀向外的預(yù)定間隙形成的第二邊界，以及 通過使用與拍攝的臉部的形狀的第一邊界和第二邊界之間的部分相關(guān)的信息，額外地對變形后的臉部形狀的第一邊界和第二邊界之間的對應(yīng)部分進(jìn)行變形。
【文檔編號】G06T19/00GK103914806SQ201410008787
【公開日】2014年7月9日 申請日期:2014年1月8日 優(yōu)先權(quán)日:2013年1月9日
【發(fā)明者】金度完, 金成烈, 金圣晉, 金珠熙, 李珍晟 申請人:三星電子株式會社