專利名稱：檢測類棍狀目標部件的方法
技術領域：
本發(fā)明涉及圖像處理中對目標部件進行檢測的方法，具體來說，在深度圖像中檢 測用類棍狀形狀鉸鏈連接的高變形的目標部件。
背景技術：
當前，正在廣泛研究三種分類方法。第一種方法是對深度圖像進行聚類 (W02008128568)，在該方法中，將深度圖像用作輸入，并對深度圖像進行聚類。第二種方法 使用具有對稱屬性的線段，它在彩色/灰度圖像中檢測線，然后找到具有兩條對稱線的匹 配對以形成對象部件。第三種方法試圖提取類棍狀部件的內在模式，然后用基于樣本的方 法來訓練其分類器。對于第一種分類方法，它顯然只對簡單對象姿勢起作用。對于第二種分類方法，為 了能夠很好地提取線條，需要彩色/灰度圖像中的裸體的人。對于第三種分類方法，它將在 剛體對象檢測(比如臉部檢測、頭部檢測等)的方法移植到變形對象的檢測，從而使檢測變 得復雜，并且檢測性能很低。目標檢測分成兩類，一類是剛體目標檢測，一類是非剛體目標檢測；前者比較容 易，后者難在目標可以高度變形，導致檢測很難。還有一個問題就是檢測的速度問題，現(xiàn)有 應用要求實時檢測，如果在圖像內掃描驗證每個位置，每個尺度的窗口(滑動窗口方式)是 否是目標，就要求分類器簡單可靠，這就對分類器的性能要求很高。這對非剛體目標來說， 就更加困難，通常都是排除出去大部分目標不可能所在的區(qū)域，然后在較小的區(qū)域上檢測， 期望降低計算量，從而提高運行速度。

發(fā)明內容
本發(fā)明提供了一種在深度圖像中檢測用類棍狀形狀鉸鏈連接的可變形的目標部 件的方法，其中，深度圖像的像素表示相機和3D空間中對象上的點之間的距離。所使用的 相機可以是能夠輸出對象的深度值的TOF相機、立體相機等。通過所述方法，分析視頻流以 提取對象分量。為了提高對象分量檢測的性能，可使用其他類型的相機或裝置已與深度視 頻相機協(xié)作，這樣可利用他們的優(yōu)點并有助于定位對象部分。本發(fā)明提供了一種可對因為所穿的衣服而變形的高度變形的對象(比如人的胳 膊、腿)進行有效檢測的方法。在用深度相機產(chǎn)生的或者多相機構造的深度圖像中，當對象 部件被呈現(xiàn)在圖像中時，它們到相機之間的距離不同?；谠撎卣?，可容易地將對象部件 (例如人的胳膊、腿等)進行定位。對于人的胳膊或腿等這類對象，可由N個類棍狀體來構 成這類對象，可逐個檢測類棍狀體，也就是說，先檢測第一類棍狀體部分、第二類棍狀體部 分......對于深度圖像，像素值表示對象上的相應點到相機之間的距離。根據(jù)本發(fā)明的一方面，提供了 一種檢測類棍狀目標部件的方法，所述類棍狀目標 部件包括至少一個棍狀的子部件，相鄰的子部件之間通過鉸鏈連接的方式連接起來，其中， 針對每個子部件，執(zhí)行如下搜索操作產(chǎn)生子部件的假設子部件；對產(chǎn)生的假設子部件進行評估；產(chǎn)生子部件的候選子部件。根據(jù)本發(fā)明的一方面，通過使用具有二維特征的梯形來產(chǎn)生子部件的假設子部 件，所述產(chǎn)生假設子部件的步驟包括在圖像中選擇預定起點，然后分別按預定步長變化梯 形的高度、寬度和方向，從而得到該起點的所有假設子部件。根據(jù)本發(fā)明的一方面，對產(chǎn)生的假設子部件進行評估的步驟包括根據(jù)預定特征 丟棄掉一些不可能是子部件的假設子部件。根據(jù)本發(fā)明的一方面，所述產(chǎn)生子部件的候選子部件的步驟包括計算每個未被 丟棄掉的假設子部件可能是子部件的概率；生成子部件的候選子部件的集合。根據(jù)本發(fā)明的一方面，在對產(chǎn)生的假設子部件進行評估的步驟中，對于每個假設 子部件，在其兩側構造兩個輔助假設子部件，所述輔助假設子部件與該假設子部件具有相 同的高度，但是其底邊的寬度分別為該假設子部件的相應底邊的寬度的一半。根據(jù)本發(fā)明的一方面，所述預定特征是下述特征中的至少一個表示假設子部件 不屬于背景、假設子部件的最小深度小于輔助假設子部件的平均深度、假設子部件的平均 深度小于輔助假設子部件的平均深度、假設子部件在3D空間中具有有效尺度。根據(jù)本發(fā)明的一方面，計算每個未被丟棄掉的假設子部件可能是子部件的概率的 步驟包括將假設子部件分割為N個切片，并產(chǎn)生與每個切片相應的兩個位于輔助假設子 部件中的外切片；將切割下來的每個片段的像素分成切片和外切片；對N個切片中的第m 切片中像素深度值滿足|D(k，m)-D(m) | < TI的像素以及該切片中不滿足該條件的像素進 行計數(shù)，其中，TI是預先設定的閾值，D(k，m)表示切片中的第k個像素的深度值，D(m)表示 第m切片的平均深度值；對于與該切片相應的兩個外切片中的像素，計算其中的第ρ像素滿 足|D1 (P，m)-D(m) I > TO的像素以及所述兩個外切片中不滿足該條件的像素進行計數(shù)，其 中，TO是預先設定的閾值，Dl (p，m)表示外切片中的第ρ個像素的深度值；計算第m切片中 滿足|D(k，m)-D(m) | < TI的像素個數(shù)和不滿足該條件的像素個數(shù)的比率Pi (m)，以及與第 m切片相應的外切片中滿足|Dl(p，m)-D(m) I > TO的像素個數(shù)和不滿足該條件的像素個數(shù) 的比率Po (m)；利用下面的公式來計算每個假設子部件的概率Wi
NPh = U^Yj Pi(m) * Po{m)，
m=l其中，α是常數(shù)；對假設子部件根據(jù)概率值由大到小的順序進行排序，選取排在 前面的至少一個假設子部件作為該子部件的有效的假設子部件。根據(jù)本發(fā)明的一方面，所述生成子部件的候選子部件的集合的步驟包括對獲得 的有效的假設子部件進行聚類；在每個聚類中按照計算出來的假設子部件的概率進行排 序；選擇具有較高概率的假設子部件作為子部件的候選子部件；保存和輸出該子部件的候 選子部件。根據(jù)本發(fā)明的一方面，在產(chǎn)生了所述子部件的候選子部件之后，從該子部件和相 鄰子部件相連接的點作為起點，開始進行對相鄰子部件的搜索操作。根據(jù)本發(fā)明的一方面，在對多個子部件進行搜索操作之后，當子部件的相鄰子部 件的候選子部件與該子部件的候選子部件相同時，去除與該子部件的候選子部件相同的所 述相鄰子部件的候選子部件，以輸出相鄰子部件的候選子部件。
根據(jù)本發(fā)明的一方面，通過計算凹凸度圖像特征的方法確定所述預定起點，凸度 深度特征計算公式如下Ph =e'll{N^)其中，W1表示凸度特征值，R和C分別為外圓和內圓區(qū)域，Nr表示R中深度值小于 深度極值dth的像素的百分比，N。表示C中深度值大于dth的像素的百分比，深度極值dth可 以為R區(qū)域中最小深度值加上一個常數(shù)δ得到；其中，所述預定起點是W1值大于預定閾值 的點。


圖1是根據(jù)本發(fā)明示例性實施例的對由子部件構成的目標部件進行搜索的流程 圖。圖2是由2個子部件構成的目標部件的示圖。圖3是對部件進行搜索的流程圖。圖4是解釋說明假設子部件和在部件檢測中用到的深度特征依據(jù)。圖5是進一步對產(chǎn)生假設子部件步驟的詳細的流程圖。圖6進一步對第一子部件的假設子部件進行評估并產(chǎn)生第一子部件的候選子部 件的步驟的詳細流程圖。圖7進一步說明假設子部件的切割方法。圖8示出了通過特征集合來對假設子部件進行評估的流程圖。圖9示出計算參照圖8所述的假設子部件評估過程中未被丟棄的假設子部件的概 率的流程圖。圖10示出產(chǎn)生第一子部件的候選子部件的集合的流程圖。圖IlA示出凹凸度深度特征計算選取內圓和外圓的方法。圖IlB示出計算出來潛在的搜索起點。
具體實施例方式圖1是根據(jù)本發(fā)明示例性實施例的對由多個棍狀體(在下面的描述中稱作子部 件)構成的目標部件進行搜索的流程圖。圖2是由2個子部件構成的目標部件的示圖。在 圖2中，目標部件(如，對應于胳膊)由兩個通過鉸鏈(如，肘部)連接的子部件(如，分別 對應于上臂和前臂)構成。如圖1所示，輸入是深度圖像，在步驟SlOO中，對第一子部件進 行搜索，然后在步驟S120中，對第二子部件進行搜索。由于子部件之間進行端對端鉸鏈連 接，所以它們具有相同的端點，在對第二子部件進行搜索的過程中，以它與第一子部件的相 同端點作為起點，來對第二子部件進行搜索。以此類推，直至搜索到后面第N子部件，如步 驟S130所示。圖1從宏觀上初步說明如何去搜索由多個子部件首尾鉸鏈一起而形成的目 標部件。首先從圖像上某個特定點出發(fā)，在不同方向、高度和寬度上搜索第一子部件，將得 到一些候選子部件，如圖2中為了描述簡便而示出的若干梯形。然后，從這些候選子部件出 發(fā)，接著搜索下一子部件。另外，根據(jù)本發(fā)明的另一示例性實施例，為了降低計算量，可以將 得到的若干梯形做簡單的聚類，得到至少一個聚類梯形，然后從所述聚類梯形出發(fā)搜索下 一子部件。
圖3是對部件進行搜索的流程圖。參照圖3，在S310，首先對構成部件的第一子部 件產(chǎn)生假設子部件，然后在S320中對得到的假設子部件進行評估，從而在步驟S330中產(chǎn)生 第一子部件的候選子部件。圖2中的不同位置不同尺寸的梯形對應著圖3中產(chǎn)生的假設子 部件，在步驟S320中，在確定假設子部件是目標部件的子部件時，則生成該子部件的候選 子部件；而在確定該假設子部件不是目標部件的子部件時，丟棄該假設子部件。對于第二子 部件，采用與上面步驟S310、S320和S330分別相同的方式，來對第二子部件執(zhí)行相同的操 作，即產(chǎn)生第二子部件的假設子部件(S340)、評估所述假設子部件(S350)和產(chǎn)生第二子 部件的候選子部件(S360)。如果目標部件由N(N大于等于2)個子部件構成，則重復S310、 S320和S330的操作，直至對最后一個子部件的搜索完成后，就生成目標部件的候選部件 (S370)，所述目標部件的候選部件由各個子部件的候選子部件構成。圖4是解釋說明假設子部件和在部件檢測中用到的深度特征依據(jù)。棍狀子部件實 際是具有近似圓臺(3維)或者梯形0維)的形狀。這些三維或二維的子部件在顯示的圖 像中以二維的形式呈現(xiàn)出來，因此在部件檢測的過程中，通過使用具有二維特征的梯形來 執(zhí)行子部件的檢測，即起點(梯形的某一底邊中心點)、梯形的高度、兩個底邊的寬度和方 向。通過觀察深度圖像上部件的深度數(shù)值的分布，發(fā)現(xiàn)呈U型的形狀，所以叫U型特征，即 子部件所在的經(jīng)線上的深度和兩側的深度值呈現(xiàn)U型的形狀，反映了子部件離攝像機的距 離，即子部件離攝像機近，兩側的背景和其它目標離攝像機遠一些。圖5是進一步對圖3的步驟S310的產(chǎn)生假設子部件步驟的詳細的流程圖。根據(jù)本 發(fā)明，首先，在步驟S510，在圖像中選擇預定起點，然后，可以分別按預定步長在步驟S520 中變化梯形的高度、在步驟S530中變化梯形的寬度，并在步驟S540中變化梯形的方向，從 而在高度、寬度和方向上遍歷所有可能的組合，從而得到針對該起點的所有假設子部件。圖6進一步對圖3的步驟S320和步驟S330中對第一子部件的假設子部件進行評 估并產(chǎn)生第一子部件的候選子部件的步驟的詳細流程圖。根據(jù)本發(fā)明，對第一子部件進行 評估的過程分為三個步驟。首先，在步驟S610，首先根據(jù)預定特征丟棄掉一些不可能是子部 件的假設子部件，將參照圖8對該步驟進行詳細描述；然后在步驟S620，計算每個假設子部 件可能是子部件的概率，將參照圖9對該步驟進行詳細描述；最后在步驟S630，生成子部件 的候選子部件的集合，將參照圖10對該步驟進行詳細描述。圖7進一步說明假設子部件的切割方法。對于每個假設子部件，在其兩側構造兩 個輔助假設子部件，這兩個輔助假設子部件與該假設子部件具有相同的高度，但是其底邊 的寬度分別為該假設子部件的相應底邊的寬度的一半。對于在假設子部件的兩側構造了兩 個輔助假設子部件的情況，經(jīng)過切割之后所產(chǎn)生的片段除了包括假設子部件的切片之外， 也會同時在輔助假設子部件中產(chǎn)生相應的兩個外切片，以參與特征結合的計算。圖8在以上所示的附圖的基礎上，示出了通過特征集合來對假設子部件進行評估 的流程圖。假定特征集合中有n(n為正整數(shù))個特征，則首先針對假設子部件集合中的 某個特定假設子部件檢測其是否符合特征1 (S810)，然后檢測該假設子部件是否符合特征
2(S820)......直到該假設子部件是否符合第η個特征(S830)，其中，如果檢測到該假設子
部件不符合所述η個特征中的某個特征，將跳出對該假設子部件后續(xù)特征的檢測，直接丟 棄當前假設子部件。例如，針對本發(fā)明，可以如下設定四個特征，其中，特征1表示假設子部 件不屬于背景，特征2表示假設子部件的最小深度小于輔助假設子部件的平均深度，特征3表示假設子部件的平均深度小于輔助假設子部件的平均深度，特征4表示假設子部件在 3D空間中具有有效尺度，也就是說，子部件的寬度和高度存在于一個合理的范圍之內，這樣 做，變換參數(shù)的范圍就受到這個尺度的約束，從而減少了假設子部件的個數(shù)，降低了需要驗 證的假設子部件的個數(shù)。圖9示出計算參照圖8所述的假設子部件評估過程中未被丟棄的假設子部件的概 率的流程圖。從相同的起點，可產(chǎn)生很多在方向、高度、寬度上有所不同的假設子部件。針 對預定起點的每個假設子部件，分別執(zhí)行下述操作。首先，在步驟S910，根據(jù)圖7所示的方 式來構造輔助假設子部件。將假設子部件分割為N個切片，并產(chǎn)生與每個切片相應的兩個 外切片。然后，將切割下來的每個片段的像素分成兩類(S920)，即切片和外切片。在該步驟
中，首先計算第m切片的平均深度值，用D (m)表示，其中，m= 1，2，......N。然后分別對該
切片中像素深度值滿足|D(k，m)-D(m) | < TI的像素以及該切片中不滿足該條件的像素進 行計數(shù)，其中，TI是預先設定的閾值，D(k，m)表示切片中的第k個像素的深度值。與此同 時，對于與該切片相應的兩個外切片中的像素，計算其中的第P像素滿足I Dl (p，m)-D(m) > TO的像素以及所述兩個外切片中不滿足該條件的像素進行計數(shù)，其中，TO是預先設定的 閾值，其中，Dl(p，m)表示外切片中的第P個像素的深度值，這里的D(m)依然表示第m切片 的平均深度值。然后在步驟S930中計算第m切片中滿足上述相應條件的像素個數(shù)和不滿 足該條件的像素個數(shù)的比率Pi (m)，以及與第m切片相應的外切片中滿足上述相應條件的
像素個數(shù)和不滿足該條件的像素個數(shù)的比率Po (m)，其中，m等于1、2......N。最后，在步
驟S940中，利用下面的公式來計算每個假設子部件的概率ph
權利要求
1.一種檢測類棍狀目標部件的方法，所述類棍狀目標部件包括至少一個棍狀的子部 件，相鄰的子部件之間通過鉸鏈連接的方式連接起來，其中，針對每個子部件，執(zhí)行如下搜 索操作產(chǎn)生子部件的假設子部件； 對產(chǎn)生的假設子部件進行評估； 產(chǎn)生子部件的候選子部件。
2.如權利要求1所述的方法，其特征在于，通過使用具有二維特征的梯形來產(chǎn)生子部 件的假設子部件，所述產(chǎn)生假設子部件的步驟包括在圖像中選擇預定起點，然后分別按預定步長變化梯形的高度、寬度和方向，從而得到 該起點的所有假設子部件。
3.如權利要求2所述的方法，其特征在于，對產(chǎn)生的假設子部件進行評估的步驟包括 根據(jù)預定特征對假設的子部件進行評估，丟棄掉一些不可能是子部件的假設子部件。
4.如權利要求3所述的方法，其特征在于，所述產(chǎn)生子部件的候選子部件的步驟包括 計算每個未被丟棄掉的假設子部件可能是子部件的概率；生成子部件的候選子部件的集合。
5.如權利要求4所述的方法，其特征在于，在對產(chǎn)生的假設子部件進行評估的步驟中， 對于每個假設子部件，在其兩側構造兩個輔助假設子部件，所述輔助假設子部件與該假設 子部件具有相同的高度，但是其底邊的寬度分別為該假設子部件的相應底邊的寬度的一半。
6.如權利要求5所述的方法，其特征在于，所述預定特征是下述特征中的至少一個表 示假設子部件不位于背景區(qū)域、假設子部件的最小深度小于輔助假設子部件的平均深度、 假設子部件的平均深度小于輔助假設子部件的平均深度、假設子部件在3D空間中具有有 效尺度。
7.如權利要求6所述的方法，其特征在于，計算每個未被丟棄掉的假設子部件可能是 子部件的概率的步驟包括將假設子部件分割為N個切片，并產(chǎn)生與每個切片相應的兩個位于輔助假設子部件中 的外切片；將切割下來的每個片段的像素分成切片和外切片；對N個切片中的第m切片中像素深度值滿足|D(k，m)-D(m)| < TI的像素以及該切片 中不滿足該條件的像素進行計數(shù)，其中，TI是預先設定的閾值，D(k，m)表示切片中的第k個 像素的深度值，D(m)表示第m切片的平均深度值；對于與該切片相應的兩個外切片中的像素，計算其中的第P像素滿足|Dl(p，m)-D(m) > TO的像素以及所述兩個外切片中不滿足該條件的像素進行計數(shù)，其中，TO是預先設定的 閾值，Dl (P，m)表示外切片中的第P個像素的深度值；計算第m切片中滿足|D(k，m)-D(m) | < TI的像素個數(shù)和不滿足該條件的像素個數(shù)的 比率Pi(m)，以及與第m切片相應的外切片中滿足I Dl (p，m)-D (m) I > TO的像素個數(shù)和不 滿足該條件的像素個數(shù)的比率Po (m)；利用下面的公式來計算每個假設子部件的概率Wi
8.如權利要求7所述的方法，其特征在于，所述生成子部件的候選子部件的集合的步 驟包括對獲得的有效的假設子部件進行聚類；在每個聚類中按照計算出來的假設子部件的概率進行排序；選擇具有較高概率的假設子部件作為子部件的候選子部件；保存和輸出該子部件的候選子部件。
9.如權利要求8所述的方法，其特征在于，在產(chǎn)生了所述子部件的候選子部件之后，從 該子部件和相鄰子部件相連接的點作為起點，開始進行對相鄰子部件的搜索操作。
10.如權利要求9所述的方法，其特征在于，在對多個子部件進行搜索操作之后，當子 部件的相鄰子部件的候選子部件與該子部件的候選子部件相同時，去除與該子部件的候選 子部件相同的所述相鄰子部件的候選子部件，以輸出相鄰子部件的候選子部件。
11.如權利要求2所述的方法，通過計算凹凸度圖像特征的方法來確定所述預定起點， 凸度深度特征計算公式如下其中，Wi表示凸度特征值，R和C分別為外圓和內圓區(qū)域，Nr表示R中深度值小于深度 極值dth的像素的百分比，N。表示C中深度值大于dth的像素的百分比，深度極值dth可以為R 區(qū)域中最小深度值加上一個常數(shù)δ得到；其中，所述預定起點是W1值大于預定閾值的點。
全文摘要
一種檢測類棍狀目標部件的方法，所述類棍狀目標部件包括至少一個棍狀的子部件，相鄰的子部件之間通過鉸鏈連接的方式連接起來，其中，針對每個子部件，執(zhí)行如下搜索操作產(chǎn)生子部件的假設子部件；對產(chǎn)生的假設子部件進行評估；產(chǎn)生子部件的候選子部件。
文檔編號G06T7/00GK102147917SQ201010106720
公開日2011年8月10日 申請日期2010年2月8日 優(yōu)先權日2010年2月8日
發(fā)明者林華書, 楚汝峰, 陳茂林 申請人:三星電子株式會社, 北京三星通信技術研究有限公司