專利名稱：基于深度信息的剛體部件方向檢測(cè)方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種剛體部件方向檢測(cè)方法和裝置，更具體地，涉及一種基于深度信息的剛體部件方向檢測(cè)方法和裝置。
背景技術(shù)：
剛體部件方向確定是計(jì)算機(jī)視覺(jué)的基本問(wèn)題，并可廣泛用于許多領(lǐng)域，諸如人機(jī)互動(dòng)、手勢(shì)識(shí)別以及用于游戲、電影和體育科學(xué)的現(xiàn)實(shí)角色動(dòng)畫。由于其理論和商業(yè)價(jià)值，在計(jì)算機(jī)視覺(jué)和模式識(shí)別領(lǐng)域中剛體部件檢測(cè)吸引了更多的關(guān)注，尤其是用于非剛性 (non-rigid)對(duì)象定位或姿態(tài)估計(jì)。使用人類手臂檢測(cè)作為例子，提出了大量方法并可根據(jù)不同的圖像特征將所述方法大體分為四種類型基于區(qū)域的方法、基于色彩的方法、基于邊緣的方法和基于深度信息的方法。基于區(qū)域的方法是在某些約束下通過(guò)產(chǎn)生幾個(gè)分割的區(qū)域來(lái)恢復(fù)手臂。例如，首先使用規(guī)格化分割(normalized cuts)分割彩色圖像，并假設(shè)一般手臂由單個(gè)分割的區(qū)域構(gòu)成，并通過(guò)分析每個(gè)分割的區(qū)域來(lái)尋找手臂檢測(cè)。通常，這種方法在忽略圖像分割問(wèn)題的困難的同時(shí)，假設(shè)每個(gè)部分可以從靜止圖像被完美地分割。然而，由于雜亂的背景、各種衣著以及不同的亮度，通常難以獲得好的分割，并且彩色圖像分割通常是耗時(shí)的。基于色彩的方法假設(shè)手臂的皮膚暴露，通過(guò)使用檢測(cè)的皮膚區(qū)域來(lái)估計(jì)用于前臂的候選，因此當(dāng)處理雜亂的背景以及沒(méi)有暴露皮膚的其它衣著時(shí)，該方法的性能較差。此外，甚至在暴露手臂皮膚的情況下，當(dāng)在衣著或背景中存在與皮膚相似的色彩時(shí)，也難以準(zhǔn)確地檢測(cè)皮膚區(qū)域?；谶吘壍姆椒梢酝ㄟ^(guò)尋找手臂的邊界來(lái)檢測(cè)手臂。例如，基于一對(duì)平行線段提取軀干。然而，基于邊緣的方法對(duì)于線段是敏感的，尤其在復(fù)雜的背景和衣著或自遮擋姿態(tài)中。與彩色圖像分割類似，完美的圖像邊緣提取本身也是一個(gè)難題。與上述方法不同，基于深度信息的方法使用由深度TOF相機(jī)(Time-of-Flight Camera)捕捉的深度圖像來(lái)確定部件。首先將對(duì)象從背景分割，隨后基于空間信息和深度信息將前景像素集合為子集合，并最終使用所述子集合和拓?fù)浣Y(jié)構(gòu)確定部件。然而，這種方法主要對(duì)沒(méi)有自遮擋以及非重疊環(huán)境的簡(jiǎn)單姿態(tài)有效。因此，需要一種能夠應(yīng)對(duì)適應(yīng)各種環(huán)境、對(duì)象和亮度的具有更好魯棒性的剛體部件方向檢測(cè)方法。

發(fā)明內(nèi)容
技術(shù)方案本發(fā)明仍然聚焦于用于非剛性對(duì)象定位或姿態(tài)估計(jì)的剛體部件方向檢測(cè)。為了增強(qiáng)魯棒性和計(jì)算效率，提供了使用深度信息的新穎方案。提供了一種基于深度信息提取圖像特征的方法，包括對(duì)由深度相機(jī)捕捉的輸入圖像的預(yù)定像素計(jì)算突出度特征；通過(guò)計(jì)算的突出度特征獲得輸入圖像的突出度特征圖像；尋找突出度特征圖像上的具有顯著突出度特征的種子；以及通過(guò)種子的生長(zhǎng)來(lái)產(chǎn)生突出區(qū)域。通過(guò)使用如下公式計(jì)算突出度特征-.Ph = fH、,其中，隊(duì)表示深度值小于深度閾值的內(nèi)區(qū)域中的像素的比率，Nc表示深度值大于深度閾值的外區(qū)域中的像素的比率， 深度閾值是內(nèi)區(qū)域中像素的最小深度與特定變化范圍的和，內(nèi)區(qū)域是以當(dāng)前像素為中心的預(yù)定大小的區(qū)域，外區(qū)域是由以當(dāng)前像素為中心的大于所述內(nèi)區(qū)域的另一預(yù)定大小的區(qū)域減去內(nèi)區(qū)域所得到的環(huán)狀區(qū)域。產(chǎn)生突出區(qū)域的步驟還可包括丟棄孤立的像素和小的突出區(qū)域。內(nèi)區(qū)域和外區(qū)域的大小以及內(nèi)區(qū)域與外區(qū)域的比率是可調(diào)節(jié)的，并且內(nèi)區(qū)域和外區(qū)域可具有多種形狀。所述獲得輸入圖像的突出度特征圖像的步驟可包括將輸入圖像的所述預(yù)定像素的突出度特征量化為O 255的灰度值；通過(guò)輸入圖像的所述預(yù)定像素的灰度值獲得輸入圖像的突出度特征圖像，其中，通過(guò)使用如下公式進(jìn)行所述量化
權(quán)利要求
1.一種基于深度信息提取圖像特征的方法，包括對(duì)由深度相機(jī)捕捉的輸入圖像的預(yù)定像素計(jì)算突出度特征； 通過(guò)計(jì)算的突出度特征獲得輸入圖像的突出度特征圖像； 尋找突出度特征圖像上的具有顯著突出度特征的種子；以及通過(guò)種子的生長(zhǎng)來(lái)產(chǎn)生突出區(qū)域。
2.如權(quán)利要求1所述的方法，其中，通過(guò)使用如下公式計(jì)算突出度特征Ph = eV(Nc+N"其中，Nk表示深度值小于深度閾值的內(nèi)區(qū)域中的像素的比率，Nc表示深度值大于深度閾值的外區(qū)域中的像素的比率，深度閾值是內(nèi)區(qū)域中像素的最小深度與特定變化范圍的和，內(nèi)區(qū)域是以當(dāng)前像素為中心的預(yù)定大小的區(qū)域，外區(qū)域是由以當(dāng)前像素為中心的大于所述內(nèi)區(qū)域的另一預(yù)定大小的區(qū)域減去內(nèi)區(qū)域所得到的環(huán)狀區(qū)域。
3.如權(quán)利要求1所述的方法，其中，產(chǎn)生突出區(qū)域的步驟還包括丟棄孤立的像素和小的突出區(qū)域。
4.如權(quán)利要求2所述的方法，其中，內(nèi)區(qū)域和外區(qū)域的大小以及內(nèi)區(qū)域與外區(qū)域的比率是可調(diào)節(jié)的，并且內(nèi)區(qū)域和外區(qū)域具有多種形狀。
5.如權(quán)利要求1 4之一所述的方法，所述獲得輸入圖像的突出度特征圖像的步驟包括將輸入圖像的所述預(yù)定像素的突出度特征量化為0 255的灰度值； 通過(guò)輸入圖像的所述預(yù)定像素的灰度值獲得輸入圖像的突出度特征圖像， 其中，通過(guò)使用如下公式進(jìn)行所述量化Ph= 255χ( H ) ‘1P -P一max nun _其中，Pmin、P_分別是輸入圖像中所述預(yù)定像素的最小、最大的突出度特征，[]是取整符號(hào)。
6.一種基于深度信息的剛體部件方向檢測(cè)方法，包括對(duì)由深度相機(jī)捕捉的輸入圖像的預(yù)定像素計(jì)算突出度特征； 通過(guò)計(jì)算的突出度特征獲得輸入圖像的突出度特征圖像； 尋找突出度特征圖像上的具有顯著突出度特征的種子； 通過(guò)種子的生長(zhǎng)來(lái)產(chǎn)生突出區(qū)域；以及基于產(chǎn)生的突出區(qū)域進(jìn)行剛體部件方向檢測(cè)并獲得剛體部件方向。
7.如權(quán)利要求6所述的方法，其中，通過(guò)使用如下公式計(jì)算突出度特征 P = -''(Nc+Nr)其中，Nk表示深度值小于深度閾值的內(nèi)區(qū)域中的像素的比率，Nc表示深度值大于深度閾值的外區(qū)域中的像素的比率，深度閾值是內(nèi)區(qū)域中像素的最小深度與特定變化范圍的和，內(nèi)區(qū)域是以當(dāng)前像素為中心的預(yù)定大小的區(qū)域，外區(qū)域是由以當(dāng)前像素為中心的大于所述內(nèi)區(qū)域的另一預(yù)定大小的區(qū)域減去內(nèi)區(qū)域所得到的環(huán)狀區(qū)域。
8.如權(quán)利要求6所述的方法，其中，產(chǎn)生突出區(qū)域的步驟還包括丟棄孤立的像素和小的突出區(qū)域。
9.如權(quán)利要求7所述的方法，其中，內(nèi)區(qū)域和外區(qū)域的大小以及內(nèi)區(qū)域與外區(qū)域的比率是可調(diào)節(jié)的，并且內(nèi)區(qū)域和外區(qū)域具有多種形狀。
10.如權(quán)利要求6所述的方法，其中，所述獲得輸入圖像的突出度特征圖像的步驟包括將輸入圖像的所述預(yù)定像素的突出度特征量化為0 255的灰度值； 通過(guò)輸入圖像的所述預(yù)定像素的灰度值獲得輸入圖像的突出度特征圖像， 其中，通過(guò)使用如下公式進(jìn)行所述量化
11.如權(quán)利要求6 10之一所述的方法，所述進(jìn)行剛體部件方向檢測(cè)并獲得部件方向的步驟包括對(duì)突出區(qū)域提取骨架；以及連接相鄰的較小的突出區(qū)域的骨架以產(chǎn)生提供剛體部件方向的直線段， 其中，所述較小的突出區(qū)域的骨架的長(zhǎng)度小于預(yù)定值。
12.如權(quán)利要求6 10之一所述的方法，所述進(jìn)行剛體部件方向檢測(cè)并獲得部件方向的步驟包括對(duì)突出區(qū)域提取骨架；以及將具有主要方向的突出區(qū)域的骨架作為提供剛體部件方向的直線段。
13.如權(quán)利要求6 10之一所述的方法，所述進(jìn)行剛體部件方向檢測(cè)并獲得剛體部件方向的步驟包括對(duì)突出區(qū)域提取骨架；以及將突出區(qū)域的彎曲的骨架分割為提供剛體部件方向的多條直線段，并將所述多條直線段作為剛體部件方向候選。
14.如權(quán)利要求13所述的方法，如果獲得多個(gè)剛體部件方向候選，則計(jì)算每個(gè)剛體部件方向候選作為所述剛體部件方向的置信度，并選取置信度最大的剛體部件方向候選作為部件方向，其中，對(duì)于第i剛體部件方向候選，使用如下公式計(jì)算置信度ω-^ylrlY1Y β ]\ Z lo )其中，Ii是第i剛體部件方向候選的長(zhǎng)度，Itl是預(yù)定的基礎(chǔ)剛體部件長(zhǎng)度或根據(jù)訓(xùn)練數(shù)據(jù)學(xué)習(xí)的基礎(chǔ)剛體部件長(zhǎng)度，i是對(duì)第i剛體部件方向候選作出貢獻(xiàn)的突出區(qū)域內(nèi)的像素的平均突出度特征，α和β是預(yù)定的權(quán)重系數(shù)。
15.一種基于深度信息的剛體部件方向檢測(cè)裝置，包括突出度特征計(jì)算單元，對(duì)由深度相機(jī)捕捉的輸入圖像的預(yù)定像素計(jì)算突出度特征； 突出度特征圖像獲得單元，通過(guò)計(jì)算的突出度特征獲得輸入圖像的突出度特征圖像； 種子尋找單元，尋找突出度特征圖像上的具有顯著突出度特征的種子；突出區(qū)域產(chǎn)生單元，通過(guò)種子的生長(zhǎng)來(lái)產(chǎn)生突出區(qū)域；以及剛體部件方向獲得單元，基于產(chǎn)生的突出區(qū)域進(jìn)行剛體部件方向檢測(cè)并獲得剛體部件方向。
16.如權(quán)利要求15所述的剛體部件方向檢測(cè)裝置，其中，突出度特征計(jì)算單元通過(guò)使用如下公式計(jì)算突出度特征
17.如權(quán)利要求15所述的剛體部件方向檢測(cè)裝置，其中，突出區(qū)域產(chǎn)生單元還丟棄孤立的像素和小的突出區(qū)域。
18.如權(quán)利要求16所述的剛體部件方向檢測(cè)裝置，其中，內(nèi)區(qū)域和外區(qū)域的大小以及內(nèi)區(qū)域與外區(qū)域的比率是可調(diào)節(jié)的，并且內(nèi)區(qū)域和外區(qū)域具有多種形狀。
19.如權(quán)利要求15所述的剛體部件方向檢測(cè)裝置，突出度特征圖像獲得單元進(jìn)一步執(zhí)行以下步驟將輸入圖像的所述預(yù)定像素的突出度特征量化為0 255的灰度值；通過(guò)輸入圖像的所述預(yù)定像素的灰度值獲得輸入圖像的突出度特征圖像，其中，通過(guò)使用如下公式進(jìn)行所述量化P1
20.如權(quán)利要求15 19之一所述的剛體部件方向檢測(cè)裝置，剛體部件方向獲得單元進(jìn)一步執(zhí)行以下步驟對(duì)突出區(qū)域提取骨架；以及連接相鄰的較小的突出區(qū)域的骨架以產(chǎn)生提供剛體部件方向的直線段，其中，所述較小的突出區(qū)域的骨架的長(zhǎng)度小于預(yù)定值。
21.如權(quán)利要求15 19之一所述的剛體部件方向檢測(cè)裝置，剛體部件方向獲得單元進(jìn)一步執(zhí)行以下步驟對(duì)突出區(qū)域提取骨架；以及將具有主要方向的突出區(qū)域的骨架作為提供剛體部件方向的直線段。
22.如權(quán)利要求15 19之一所述的剛體部件方向檢測(cè)裝置，剛體部件方向獲得單元進(jìn)一步執(zhí)行以下步驟對(duì)突出區(qū)域提取骨架；以及將突出區(qū)域的彎曲的骨架分割為提供剛體部件方向的多條直線段，并將所述多條直線段作為剛體部件方向候選。
23.如權(quán)利要求22所述的剛體部件方向檢測(cè)裝置，還包括置信度計(jì)算單元，如果獲得多個(gè)剛體部件方向候選，則計(jì)算每個(gè)剛體部件方向候選作為所述剛體部件方向的置信度，并選取置信度最大的剛體部件方向候選作為剛體部件方向，其中，對(duì)于第i剛體部件方向候選，使用如下公式計(jì)算置信度
24. 一種人機(jī)交互系統(tǒng)，包括深度相機(jī)，對(duì)人體進(jìn)行拍攝以得到圖像，并將所述圖像輸出；如權(quán)利要求15所述的基于深度信息的剛體部件方向檢測(cè)裝置，使用輸入圖像檢測(cè)人體四肢的方向；頭部檢測(cè)裝置，使用輸入圖像檢測(cè)人體頭部； 軀干檢測(cè)裝置，使用輸入圖像檢測(cè)軀干；以及姿態(tài)獲得裝置，根據(jù)檢測(cè)的人體四肢的方向、頭部和軀干來(lái)得到人體姿態(tài)。
全文摘要
提供了一種基于深度信息的剛體部件方向檢測(cè)方法和裝置，所述方法包括對(duì)由深度相機(jī)捕捉的輸入圖像的預(yù)定像素計(jì)算突出度特征；通過(guò)計(jì)算的突出度特征獲得輸入圖像的突出度特征圖像；尋找突出度特征圖像上的具有顯著突出度特征的種子；通過(guò)種子的生長(zhǎng)來(lái)產(chǎn)生突出區(qū)域；以及基于產(chǎn)生的突出區(qū)域進(jìn)行剛體部件方向檢測(cè)并獲得剛體部件方向。
文檔編號(hào)G06K9/00GK102402687SQ20101028151
公開(kāi)日2012年4月4日 申請(qǐng)日期2010年9月13日 優(yōu)先權(quán)日2010年9月13日
發(fā)明者林華書, 楚汝峰, 胡芝蘭, 陳茂林 申請(qǐng)人:三星電子株式會(huì)社, 北京三星通信技術(shù)研究有限公司