專利名稱：一種頭部姿態(tài)檢測設(shè)備及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及頭部姿態(tài)檢測，更具體地講，涉及一種利用三維模型的頭部姿態(tài)檢測設(shè)備和方法。
背景技術(shù)：
頭部姿態(tài)及運(yùn)動檢測是常用于人機(jī)交互領(lǐng)域中的一種技術(shù)，可以通過檢測頭部姿態(tài)來實現(xiàn)各種控制。例如，通過檢測人的頭部姿態(tài)來檢測人的視線，從而根據(jù)視線或者直接根據(jù)人的頭部姿態(tài)來進(jìn)行各種控制應(yīng)用(例如，通過檢測人的視線或頭部姿態(tài)來控制光標(biāo)在屏幕上移動)；通過檢測駕駛員的頭部姿態(tài)來提醒駕駛員注意駕駛安全等；通過檢測觀眾的頭部姿態(tài)來自動調(diào)整顯示裝置的屏幕角度等等。當(dāng)前，主要存在兩種檢測頭部姿態(tài)的技術(shù)。一種是利用傳統(tǒng)的運(yùn)動傳感器(例如， 角度、位移傳感器等)檢測頭部的運(yùn)動來獲得頭部姿態(tài)。另一種是圖像技術(shù)，通過拍攝頭部的頭像并根據(jù)拍攝的頭部圖像的特征來確定頭部的姿態(tài)。第11/078144號美國專利申請公開了一種用于視線檢測的頭部跟蹤傳感器來獲取頭部的運(yùn)動。該方案屬于上面提到的利用運(yùn)動傳感器來獲得頭部姿態(tài)的技術(shù)。在該方案中，傳感器布置在人的頭部，來檢測頭部的姿態(tài)。由于每個被檢測對象需要攜帶上述傳感器，否則無法實現(xiàn)頭部姿態(tài)的檢測，因此使用起來很不方便，有很大的局限性。當(dāng)前研究地較多的利用圖像技術(shù)來檢測頭部姿態(tài)。用于檢測頭部姿態(tài)的圖像技術(shù)主要是基于統(tǒng)計理論和基于人臉的特征點(diǎn)的幾何信息?；诮y(tǒng)計理論的頭部姿態(tài)檢測技術(shù)首先獲得不同姿態(tài)的人臉樣本，然后基于這些樣本訓(xùn)練出一個分類器，通過分類器的分類結(jié)果來確定一個人臉的頭部姿態(tài)信息?；诮y(tǒng)計的方法原理相對容易，但訓(xùn)練工作量巨大，獲得的姿態(tài)信息的精確度也不高，通常獲得的結(jié)果僅是一個區(qū)間，很難獲得精確的姿態(tài)信息?；谌四樚卣鼽c(diǎn)幾何信息的頭部姿態(tài)檢測技術(shù)一般首先檢測出人臉的特征信息，然后利用不同角度幾何信息的變化來確定姿態(tài)。第200910103884. 2號中國專利申請公開了一種估計人的頭部姿態(tài)的方法，即，經(jīng)攝像頭得到人臉像后，提取兩個眼角、兩個嘴角和鼻尖5個特征點(diǎn)，以一幅正面圖像為參考，根據(jù)5個特征點(diǎn)的位置及對應(yīng)關(guān)系通過對極幾何計算來估計任意圖像中人臉的3個偏轉(zhuǎn)角度。上述方法屬于上面提到的基于人臉特征點(diǎn)幾何信息的頭部姿態(tài)檢測技術(shù)。由于該方法利用了對極幾何方法，需要預(yù)先獲得正面圖像并且對人臉與攝像頭的位置關(guān)系存在約束，因此難以在任意人臉以及任意相對位置獲得準(zhǔn)確的姿態(tài)信息。由于現(xiàn)有技術(shù)的頭部姿態(tài)檢測技術(shù)準(zhǔn)確度較差，并且不能對任意對象檢測頭部姿態(tài)信息，因此需要一種方便、準(zhǔn)確地檢測頭部姿態(tài)的方法和設(shè)備
發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種頭部姿態(tài)檢測設(shè)備及方法。本發(fā)明的一方面提供一種頭部姿態(tài)檢測設(shè)備，其包括多視角圖像獲取單元，獲取從不同角度同時拍攝的對象的視角圖像；正面人臉圖像估計單元，從獲取的視角圖像中檢測具有偏航角最小的人臉的視角圖像；頭部姿態(tài)估計單元，從一個人臉三維模型獲得預(yù)定人臉特征點(diǎn)的三維坐標(biāo)，從檢測的視角圖像中檢測所述預(yù)定人臉特征點(diǎn)以及所述預(yù)定人臉特征點(diǎn)的二維坐標(biāo)，根據(jù)獲得的預(yù)定人臉特征點(diǎn)的二維坐標(biāo)和三維坐標(biāo)計算相對于拍攝所述具有偏航角最小的人臉的視角圖像的圖像捕捉設(shè)備的第一頭部姿態(tài)；坐標(biāo)轉(zhuǎn)換單元，根據(jù)所述圖像捕捉設(shè)備的世界坐標(biāo)系坐標(biāo)，將第一頭部姿態(tài)轉(zhuǎn)換為以世界坐標(biāo)系表示的第二頭部姿態(tài)。頭部姿態(tài)估計單元可包括三維坐標(biāo)獲取單元，根據(jù)預(yù)定人臉特征點(diǎn)在一人臉三維模型上的位置，獲得預(yù)定人臉特征點(diǎn)的三維坐標(biāo)；特征點(diǎn)檢測單元，從所述檢測的視角圖像中檢測預(yù)定人臉特征點(diǎn)，并獲得檢測的預(yù)定人臉特征點(diǎn)的二維坐標(biāo)；姿態(tài)估計單元，利用獲得的預(yù)定人臉特征點(diǎn)的二維坐標(biāo)和三維坐標(biāo)來計算對象的第一頭部姿態(tài)。頭部姿態(tài)估計單元可從一個姿態(tài)正的人臉三維模型獲得預(yù)定人臉特征點(diǎn)的三維坐標(biāo)。計算的第一頭部姿態(tài)可以為俯仰角、偏航角、滾轉(zhuǎn)角，其中， 偏航角
權(quán)利要求
1.一種頭部姿態(tài)檢測設(shè)備，包括多視角圖像獲取單元，獲取從不同角度同時拍攝的對象的視角圖像；正面人臉圖像估計單元，從獲取的視角圖像中檢測具有偏航角最小的人臉的視角圖像；頭部姿態(tài)估計單元，從一個姿態(tài)正的人臉三維模型獲得預(yù)定人臉特征點(diǎn)的三維坐標(biāo)， 從檢測的視角圖像中檢測所述預(yù)定人臉特征點(diǎn)以及所述預(yù)定人臉特征點(diǎn)的二維坐標(biāo)，根據(jù)獲得的所述預(yù)定人臉特征點(diǎn)的二維坐標(biāo)和三維坐標(biāo)計算相對于拍攝所述具有偏航角最小的人臉的視角圖像的圖像捕捉設(shè)備的第一頭部姿態(tài)；坐標(biāo)轉(zhuǎn)換單元，根據(jù)所述圖像捕捉設(shè)備的世界坐標(biāo)系坐標(biāo)，將第一頭部姿態(tài)轉(zhuǎn)換為以世界坐標(biāo)系表示的第二頭部姿態(tài)，其中，所述預(yù)定人臉特征點(diǎn)的二維坐標(biāo)和三維坐標(biāo)各自的坐標(biāo)系的原點(diǎn)被設(shè)置在所述預(yù)定人臉特征點(diǎn)在各個坐標(biāo)軸上的坐標(biāo)的算術(shù)平均值處。
2.根據(jù)權(quán)利要求1所述的頭部姿態(tài)檢測設(shè)備，其中，頭部姿態(tài)估計單元包括三維坐標(biāo)獲取單元，根據(jù)預(yù)定人臉特征點(diǎn)在所述人臉三維模型上的位置，獲得預(yù)定人臉特征點(diǎn)的三維坐標(biāo)；特征點(diǎn)檢測單元，從所述檢測的視角圖像中檢測預(yù)定人臉特征點(diǎn)，并獲得檢測的預(yù)定人臉特征點(diǎn)的二維坐標(biāo)；姿態(tài)估計單元，利用獲得的預(yù)定人臉特征點(diǎn)的二維坐標(biāo)和三維坐標(biāo)來計算第一頭部姿態(tài)。
3.根據(jù)權(quán)利要求1所述的頭部姿態(tài)檢測設(shè)備，其中，計算的第一頭部姿態(tài)被表示為俯仰角、偏航角、滾轉(zhuǎn)角，其中，偏航艫=—呵如^^) 俯仰角產(chǎn)arg測^‘。―)滾轉(zhuǎn)角"rgsin^ffer) 其中，A為預(yù)定人臉特征點(diǎn)的三維坐標(biāo)，B為預(yù)定人臉特征點(diǎn)的二維坐標(biāo)。
4.根據(jù)權(quán)利要求1所述的頭部姿態(tài)檢測設(shè)備，其中，正面人臉圖像估計單元包括 N個并聯(lián)的分類器，用于檢測獲取的視角圖像中的人臉，其中，每個分類器用于檢測N 個連續(xù)的偏航角區(qū)間中的對應(yīng)于該分類器的偏航角區(qū)間的人臉，其中，N為大于1的自然數(shù)；偏航角計算單元，基于所述N個分類器輸出的候選結(jié)果的置信度來計算輸入的視角圖像中的人臉的偏航角；正面人臉圖像輸出單元，對計算的偏航角最接近零的視角圖像的所有候選結(jié)果進(jìn)行融合或者組合，以輸出具有偏航角最小的人臉的視角圖像中的人臉圖像。
5.根據(jù)權(quán)利要求4所述的頭部姿態(tài)檢測設(shè)備，其中， 所述人臉的偏航角YR = Σ Wi^YCi其中，Wi是所述N個分類器輸出的候選結(jié)果的置信度，YCi是與輸出Wi的分類器對應(yīng)的偏航角區(qū)間的中值，i是候選結(jié)果的索引。
6.根據(jù)權(quán)利要求4所述的頭部姿態(tài)檢測設(shè)備，其中，所述N個偏航角區(qū)間的并集為 [-90，+90]度。
7.根據(jù)權(quán)利要求1所述的頭部姿態(tài)檢測設(shè)備，其中，所述人臉三維模型為標(biāo)準(zhǔn)的人臉三維模型。
8.根據(jù)權(quán)利要求1所述的頭部姿態(tài)檢測設(shè)備，還包括人臉三維模型建模單元，利用獲取的視角圖像來產(chǎn)生所述人臉三維模型。
9.一種頭部姿態(tài)檢測方法，包括獲取從不同角度同時拍攝的對象的視角圖像； 從獲取的視角圖像中檢測具有偏航角最小的人臉的視角圖像； 從一個姿態(tài)正的人臉三維模型獲得預(yù)定人臉特征點(diǎn)的三維坐標(biāo)，從檢測的視角圖像中檢測所述預(yù)定人臉特征點(diǎn)以及所述預(yù)定人臉特征點(diǎn)的二維坐標(biāo)，根據(jù)獲得的所述預(yù)定人臉特征點(diǎn)的二維坐標(biāo)和三維坐標(biāo)計算相對于拍攝所述具有偏航角最小的人臉的視角圖像的圖像捕捉設(shè)備的第一頭部姿態(tài)；根據(jù)所述圖像捕捉設(shè)備的世界坐標(biāo)系坐標(biāo)，將第一頭部姿態(tài)轉(zhuǎn)換為以世界坐標(biāo)系表示的第二頭部姿態(tài)，其中，所述預(yù)定人臉特征點(diǎn)的二維坐標(biāo)和三維坐標(biāo)計各自的坐標(biāo)系的原點(diǎn)被設(shè)置在所述預(yù)定人臉特征點(diǎn)在各個坐標(biāo)軸上的坐標(biāo)的算術(shù)平均值處。
10.根據(jù)權(quán)利要求9所述的頭部姿態(tài)檢測方法，其中，獲得第一頭部姿態(tài)的步驟包括 根據(jù)預(yù)定人臉特征點(diǎn)在所述人臉三維模型上的位置，獲得預(yù)定人臉特征點(diǎn)的三維坐從所述檢測的視角圖像中檢測預(yù)定人臉特征點(diǎn)，并獲得檢測的預(yù)定人臉特征點(diǎn)的二維坐標(biāo)；利用獲得的預(yù)定人臉特征點(diǎn)的二維坐標(biāo)和三維坐標(biāo)來計算對象的第一頭部姿態(tài)。
11.根據(jù)權(quán)利要求9所述的頭部姿態(tài)檢測方法，其中，計算的第一頭部姿態(tài)被表示為俯仰角、偏航角、滾轉(zhuǎn)角，其中，滾轉(zhuǎn)角偏航角俯仰角其中，
12.根據(jù)權(quán)利要求9所述的頭部姿態(tài)檢測方法，其中，檢測具有偏航角最小的人臉的視角圖像的步驟包括利用N個并聯(lián)的分類器來檢測獲取的視角圖像中的人臉，其中，每個分類器用于檢測 N個連續(xù)的偏航角區(qū)間中的對應(yīng)于該分類器的偏航角區(qū)間的人臉，其中，N為大于1的自然數(shù)；基于所述N個分類器輸出的候選結(jié)果的置信度來計算輸入的視角圖像中的人臉的偏航角；對計算的偏航角最接近零的視角圖像的所有候選結(jié)果進(jìn)行融合或者組合，以輸出具有偏航角最小的人臉的視角圖像中的人臉圖像。
13.根據(jù)權(quán)利要求12所述的頭部姿態(tài)檢測方法，其中， 所述人臉的偏航角偏航角YR = Σ Wi^YCi,其中，Wi是所述N個分類器輸出的候選結(jié)果的置信度，YCi是與輸出Wi的分類器對應(yīng)的偏航角區(qū)間的中值，i是候選結(jié)果的索引。
14.根據(jù)權(quán)利要求12所述的頭部姿態(tài)檢測方法，其中，所述N個偏航角區(qū)間的并集為 [-90，+90]度。
15.根據(jù)權(quán)利要求9所述的頭部姿態(tài)檢測方法，其中，所述人臉三維模型為標(biāo)準(zhǔn)的人臉三維模型。
16.根據(jù)權(quán)利要求9所述的頭部姿態(tài)檢測方法，還包括利用獲取的視角圖像來產(chǎn)生所述人臉三維模型。
17.一種頭部姿態(tài)檢測方法，包括獲取從不同角度同時拍攝的對象的視角圖像； 從獲取的視角圖像中檢測具有偏航角最小的人臉的視角圖像； 從一個人臉三維模型獲得預(yù)定人臉特征點(diǎn)的三維坐標(biāo)，從檢測的視角圖像中檢測所述預(yù)定人臉特征點(diǎn)以及所述預(yù)定人臉特征點(diǎn)的二維坐標(biāo)，根據(jù)獲得的所述預(yù)定人臉特征點(diǎn)的二維坐標(biāo)和三維坐標(biāo)計算相對于人臉三維模型的第一頭部姿態(tài)；根據(jù)人臉三維模型的姿態(tài)和所述圖像捕捉設(shè)備的世界坐標(biāo)系坐標(biāo)，將第一頭部姿態(tài)轉(zhuǎn)換為以世界坐標(biāo)系表示的第二頭部姿態(tài)，其中，所述預(yù)定人臉特征點(diǎn)的二維坐標(biāo)和三維坐標(biāo)計各自的坐標(biāo)系的原點(diǎn)被設(shè)置在所述預(yù)定人臉特征點(diǎn)在各個坐標(biāo)軸上的坐標(biāo)的算術(shù)平均值處。
18.一種頭部姿態(tài)檢測方法，包括獲取從不同角度同時拍攝的對象的視角圖像； 從獲取的視角圖像中檢測具有偏航角最小的人臉的視角圖像； 從一個人臉三維模型獲得預(yù)定人臉特征點(diǎn)的三維坐標(biāo)，從檢測的視角圖像中檢測所述預(yù)定人臉特征點(diǎn)以及所述預(yù)定人臉特征點(diǎn)的二維坐標(biāo)，根據(jù)獲得的所述預(yù)定人臉特征點(diǎn)的二維坐標(biāo)和三維坐標(biāo)計算相對于人臉三維模型的第一頭部姿態(tài)，并根據(jù)人臉三維模型的姿態(tài)和第一頭部姿態(tài)來計算相對于拍攝所述具有偏航角最小的人臉的視角圖像的圖像捕捉設(shè)備的第二頭部姿態(tài)；根據(jù)所述圖像捕捉設(shè)備的世界坐標(biāo)系坐標(biāo)，將第二頭部姿態(tài)轉(zhuǎn)換為以世界坐標(biāo)系表示的第三頭部姿態(tài)，其中，所述預(yù)定人臉特征點(diǎn)的二維坐標(biāo)和三維坐標(biāo)計各自的坐標(biāo)系的原點(diǎn)被設(shè)置在所述預(yù)定人臉特征點(diǎn)在各個坐標(biāo)軸上的坐標(biāo)的算術(shù)平均值處。
全文摘要
提供一種頭部姿態(tài)檢測設(shè)備和方法。所述頭部姿態(tài)檢測設(shè)備包括多視角圖像獲取單元，獲取從不同角度同時拍攝的對象的視角圖像；正面人臉圖像估計單元，從獲取的視角圖像中檢測具有偏航角最小的人臉的視角圖像；頭部姿態(tài)估計單元，從一個人臉三維模型獲得預(yù)定人臉特征點(diǎn)的三維坐標(biāo)，從檢測的視角圖像中檢測所述預(yù)定人臉特征點(diǎn)以及所述預(yù)定人臉特征點(diǎn)的二維坐標(biāo)，根據(jù)獲得的預(yù)定人臉特征點(diǎn)的二維坐標(biāo)和三維坐標(biāo)計算相對于拍攝所述具有偏航角最小的人臉的視角圖像的圖像捕捉設(shè)備的第一頭部姿態(tài)；坐標(biāo)轉(zhuǎn)換單元，根據(jù)所述圖像捕捉設(shè)備的世界坐標(biāo)系坐標(biāo)，將第一頭部姿態(tài)轉(zhuǎn)換為以世界坐標(biāo)系表示的第二頭部姿態(tài)。
文檔編號G06F3/01GK102156537SQ20101011514
公開日2011年8月17日 申請日期2010年2月11日 優(yōu)先權(quán)日2010年2月11日
發(fā)明者任海兵, 王西穎, 金智淵 申請人:三星電子株式會社, 北京三星通信技術(shù)研究有限公司