本發(fā)明涉及圖像處理領(lǐng)域，具體而言，涉及一種量體特征點提取方法及裝置。

背景技術(shù)：

在基于圖像的非接觸式人體參數(shù)測量中，人體輪廓提取對測量精度有重要影響。但是，目前傳統(tǒng)的Snake模型進行人體完整輪廓的提取時，效率較低，提取的結(jié)果魯棒性較差，且易受背景環(huán)境及著裝的影響。

技術(shù)實現(xiàn)要素：

有鑒于此，本發(fā)明的目的在于提供一種量體特征點提取方法及裝置，以改善上述問題。

本發(fā)明較佳實施例提供一種量體特征點提取方法，應(yīng)用于基于圖像的非接觸式人體參數(shù)測量中，該方法包括：

獲取圖像特征區(qū)域內(nèi)的初始輪廓線；

構(gòu)建所述初始輪廓線的能量函數(shù)，通過偏微分方程對該能量函數(shù)進行求解，并對求解得到的方程進行離散化得到離散方程；

將所述離散方程的五對角帶狀矩陣中對應(yīng)所述初始輪廓線的第一圖像點、第二圖像點、倒數(shù)第一圖像點及倒數(shù)第二圖像點的系數(shù)進行重新設(shè)置得到非閉合的Snake模型；及

對所述非閉合的Snake模型進行迭代求解得到所述圖像特征區(qū)域的目標輪廓線，再根據(jù)該目標輪廓線提取出相應(yīng)的量體特征點。

本發(fā)明另一較佳實施例提供一種量體特征點提取裝置，應(yīng)用于基于圖像的非接觸式人體參數(shù)測量中，該裝置包括：

輪廓線獲取模塊，用于獲取圖像特征區(qū)域內(nèi)的初始輪廓線；

函數(shù)構(gòu)建模塊，用于構(gòu)建所述初始輪廓線的能量函數(shù)，通過偏微分方程對該能量函數(shù)進行求解，并對求解得到的方程進行離散化得到離散方程；

系數(shù)重置模塊，用于將所述離散方程的五對角帶狀矩陣中對應(yīng)所述初始輪廓線的第一圖像點、第二圖像點、倒數(shù)第一圖像點及倒數(shù)第二圖像點的系數(shù)進行重新設(shè)置得到非閉合的Snake模型；及

提取模塊，用于對所述非閉合的Snake模型進行迭代求解得到所述圖像特征區(qū)域的目標輪廓線，再根據(jù)該目標輪廓線提取出相應(yīng)的量體特征點。

本發(fā)明實施例提供的量體特征點提取方法及裝置，通過建立非閉合Snake模型提取量體特征點所在的圖像特征區(qū)域的局部輪廓，與傳統(tǒng)的Snake模型相比，其提取結(jié)果魯棒性更強，效率更高。此外，本發(fā)明實施例還提供了一種帶形狀估計的非閉合Snake模型，以克服背景環(huán)境及人體著裝對提取結(jié)果的影響，使提取出的局部輪廓更加連續(xù)平滑，滿足量體特征點的提取要求。

附圖說明

為了更清楚地說明本發(fā)明實施例的技術(shù)方案，下面將對實施例中所需要使用的附圖作簡單地介紹，應(yīng)當(dāng)理解，以下附圖僅示出了本發(fā)明的某些實施例，因此不應(yīng)被看作是對范圍的限定，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他相關(guān)的附圖。

圖1為本發(fā)明實施例提供的一種圖像處理設(shè)備的示意性結(jié)構(gòu)框圖；

圖2為本發(fā)明實施例提供的一種應(yīng)用圖1所示的圖像處理設(shè)備實現(xiàn)的量體特征點提取方法的流程圖；

圖3為本發(fā)明實施例提供的一種預(yù)定人體站姿示意圖；

圖4為本發(fā)明實施例提供的對人體左手腕的特征區(qū)域進行自動設(shè)置初始輪廓線后得到的結(jié)果示意圖；

圖5為本發(fā)明實施例提供的另一種量體特征點提取方法的流程圖；

圖6為本發(fā)明實施例提供的對圖3所示的預(yù)定站姿中人體左手腕對應(yīng)的特征區(qū)域進行形狀估計的示意圖；

圖7為本發(fā)明實施例提供的量體特征點提取裝置的功能模塊框圖；

圖8為本發(fā)明實施例提供的基于簡單背景實驗條件下傳統(tǒng)Snake模型與非閉合Snake模型對人體左手腕特征點的提取結(jié)果對比示意圖；

圖9為本發(fā)明實施例提供的基于復(fù)雜背景實驗條件下傳統(tǒng)Snake模型與非閉合Snake模型對人體左手腕特征點的提取結(jié)果對比示意圖。

主要元件符號匯總：

具體實施方式

為使本發(fā)明實施例的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例是本發(fā)明一部分實施例，而不是全部的實施例。

應(yīng)注意到：相似的標號和字母在下面的附圖中表示類似項，因此，一旦某一項在一個附圖中被定義，則在隨后的附圖中不需要對其進行進一步定義和解釋。

因此，以下對在附圖中提供的本發(fā)明的實施例的詳細描述并非旨在限制要求保護的本發(fā)明的范圍，而是僅僅表示本發(fā)明的選定實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

請參閱圖1，是本發(fā)明較佳實施例提供的一種圖像處理設(shè)備100的示意性結(jié)構(gòu)框圖。該圖像處理設(shè)備100包括存儲器110、處理器120以及量體特征點提取裝置130。所述圖像處理設(shè)備100可以是計算機或其他任意具有圖像數(shù)據(jù)處理能力的計算設(shè)備。

所述存儲器110與處理器120之間直接或間接地電性連接，以實現(xiàn)數(shù)據(jù)的傳輸或交互。例如，可通過一條或多條通訊總線或信號線實現(xiàn)電性連接。所述量體特征點提取裝置130包括至少一個可以軟件或固件(firmware)的形式存儲于所述存儲器110中或固化在所述圖像處理設(shè)備100的操作系統(tǒng)(operating system，OS)中的軟件功能模塊。所述處理器120用于執(zhí)行存儲器110中存儲的可執(zhí)行模塊，例如所述量體特征點提取裝置130包括的軟件功能模塊或計算機程序。所述處理器120在接收到執(zhí)行指令后，執(zhí)行所述功能模塊或程序，下述本發(fā)明任一實施例揭示的流過程定義的圖像處理設(shè)備100所執(zhí)行的方法可以應(yīng)用于處理器120中，或者由處理器120實現(xiàn)。

請參閱圖2，是本發(fā)明較佳實施例提供的使用所述圖像處理設(shè)備100實現(xiàn)的量體特征點提取方法的流程圖。所應(yīng)說明的是，本發(fā)明提供的方法并不以圖2及以下所述的具體順序為限制。下面將對圖2所示的具體步驟及流程進行詳細闡述。

步驟S101，獲取圖像特征區(qū)域內(nèi)的初始輪廓線。

在基于圖像的人體參數(shù)測量中，精準提取量體特征點的前提是準確劃分出待測人體的特征區(qū)域。本發(fā)明的設(shè)計者在進行大量實驗并總結(jié)規(guī)律后發(fā)現(xiàn)，對于各種體型的待測者，在圖像中，其量體特征點所在位置總與待測者的身高、頭全高占身高的比值、頭部位置以及站姿存在一定關(guān)系。由此，本實施例中，在預(yù)先設(shè)定一種二維圖像中的人體站姿后，由與所述圖像處理設(shè)備100連接的圖像獲取設(shè)備(如攝像機或設(shè)置于圖像處理設(shè)備100上的攝像頭)獲取待測人體的正、側(cè)面圖像，再通過人臉檢測方法確定正、側(cè)面圖像中人臉矩形位置，并結(jié)合人體比例及所設(shè)定的站姿等先驗知識劃分出待提取的量體特征點所在的特征區(qū)域。

可選地，如圖3所示，本實施例中提供一種適用于各種體型的待測人體并且便于劃分特征區(qū)域的預(yù)定站姿：正面雙手張開與豎直方向呈45°角，掌心向外，大拇指與四指分開，雙腳后跟并攏，腳掌呈90°；側(cè)面成立正站姿。圖中矩形框內(nèi)所包括的區(qū)域即為待測人體的各特征區(qū)域，每個特征區(qū)域內(nèi)的黑色標記點即為該特征區(qū)域內(nèi)待提取的量體特征點。

在劃分出量體特征點所應(yīng)在的特征區(qū)域后，還需要設(shè)置該特征區(qū)域的初始輪廓線，以便根據(jù)該初始輪廓線建立求解模型。本實施例中，可以采用兩種設(shè)置所述初始輪廓線的方式：其一，傳統(tǒng)的手動設(shè)置方式；其二，通過對比相鄰圖像點的梯度值進行自動設(shè)置的方式。

傳統(tǒng)的手動設(shè)置方式在連續(xù)進行輪廓提取時較為費時，與之相比，自動設(shè)置初始輪廓線更為方便。本實施中，自動設(shè)置初始輪廓線的實現(xiàn)方式為，對圖像特征區(qū)域內(nèi)相同間隔的列，從上至下依次計算該列上每一點的梯度值，并將梯度值變化首次超過閾值的圖像點標記為Snake點，然后將獲得的所有Snake點依次連接起來形成所述初始輪廓線。其中，圖像的梯度值可按下式計算：

其中，I(x,y)表示圖像灰度值。

圖4是本實施例提供的采用自動設(shè)置初始輪廓線的方式對人體左手腕的特征區(qū)域進行輪廓初始化得到的初始輪廓線。

步驟S103，構(gòu)建所述初始輪廓線的能量函數(shù)，通過偏微分方程對該能量函數(shù)進行求解，并對求解得到的方程進行離散化得到離散方程。

本實施例中，定義所述初始輪廓線為v(s)＝(x(s),y(s))，s∈[0,1]表示數(shù)字圖像中的一組離散Snake點。該初始輪廓線的能量函數(shù)可構(gòu)建為：

其中，E_int(v(s))表示曲線的內(nèi)部能量，用于控制曲線進行拉伸與彎曲，E_ext(v(s))表示曲線的外部能量，通常表示為圖像梯度產(chǎn)生的圖像能量，可控制曲線向圖像梯度大的方向移動。

具體地，式中E_int(v(s))可定義為：

E_int(v(s))＝(α(s)|v′(s)|²+β(s)|v″(s)|²)/2 (2)

其中，v′(s)為曲線的一階導(dǎo)數(shù)，表示曲線的彈性能量，控制曲線的連續(xù)性，v″(s)為曲線的二階導(dǎo)數(shù)，表示曲線的彎曲能量，控制曲線的平滑性。α和β值分別表示曲線在各點的連續(xù)程度與彎曲程度。若α為0時，表示該點處不連續(xù)，曲線可出現(xiàn)斷點；若β為0時，該點處不平滑，曲線可出現(xiàn)角點。

式中E_ext(v(s))可定義為：

其中，(G_σ(x,y)表示方差為σ的高斯函數(shù)，I(x,y)表示圖像灰度值，γ(s)表示圖像能量的控制參數(shù)。由上式可以看出，圖像梯度值最大處外部能量最小，即在圖像目標邊緣處外部能量最小，于是原能量函數(shù)可改寫為：

Snake模型的求解是對能量函數(shù)進行最小值求解，即在曲線內(nèi)部能量與圖像能量的共同作用下，曲線發(fā)生形變并向圖像特征區(qū)域的目標輪廓邊緣移動，當(dāng)能量函數(shù)取得最小值時，曲線收斂到圖像目標輪廓處，即得到目標輪廓線，此為傳統(tǒng)Snake模型的基本原理。其求解的實質(zhì)為一變分問題。本實施例中，通過Euler-Lagrange偏微分方程對公式(4)求解得到：

其中，v″(s)和v⁽⁴⁾(s)表示曲線的二階導(dǎo)數(shù)和四階導(dǎo)數(shù)。在數(shù)字圖像中，以各點之間的差分來近似估計曲線的各階導(dǎo)數(shù)，可以得到求解方程的離散形式：

其中，f_x(v_i)和f_y(v_i)分別表示函數(shù)p(v(i))對x和y偏導(dǎo)數(shù)的離散形式。實際應(yīng)用中，α和β通常為固定值。

步驟S105，將所述離散方程的五對角帶狀矩陣中對應(yīng)所述初始輪廓線的第一圖像點、第二圖像點、倒數(shù)第一圖像點及倒數(shù)第二圖像點的系數(shù)進行重新設(shè)置得到非閉合的Snake模型。

本實施例中，非閉合Snake模型的實現(xiàn)體現(xiàn)在Snake模型求解的過程中，需要重新研究曲線各點的可導(dǎo)性。以x為例，將式(6)所示的離散方程改寫為矩陣形式可得到：

如式(7)所示，左側(cè)的五對角帶狀矩陣保證了曲線的首尾相連和各個點的二階可導(dǎo)性，若要獲得非閉合的Snake模型，需要重新設(shè)置系數(shù)，使得第一個Snake點與最后一個Snake點不存在一階導(dǎo)數(shù)，第二個Snake點與倒數(shù)第二個Snake點存在一階導(dǎo)數(shù)、不存在二階導(dǎo)數(shù)。即第一個Snake點與最后一個Snake點的α和β系數(shù)均取零值，第二個Snake點與倒數(shù)第二個Snake點的β系數(shù)取零值。于是系數(shù)修改之后，非閉合Snake模型解的矩陣形式為(以x為例)：

步驟S107，對所述非閉合的Snake模型進行迭代求解得到所述圖像特征區(qū)域的目標輪廓線，再根據(jù)該目標輪廓線提取出相應(yīng)的量體特征點。

請參閱圖5，是本發(fā)明實施例提供的另一種量體特征點提取方法的流程圖，與圖2所示方法不同的是，本實施例提供的量體特征點提取方法還包括：

步驟S201，該步驟位于圖2中所示的步驟S103之前，具體地，該步驟S201為，對所述特征區(qū)域進行形狀估計，得到形狀估計線。

由于非閉合Snake模型同樣易受到環(huán)境或人體著裝影響，而導(dǎo)致曲線收斂到錯誤邊緣。因此，本實施例中，對待測圖像特征區(qū)域的輪廓進行形狀估計，并在所述初始輪廓線的原能量函數(shù)中設(shè)置形狀約束項，以便進行更準確的目標輪廓提取。

具體地，定義形狀估計線為c(s)＝(x_c(s),y_c(s))，其中s∈[0,1]。在量體特征點提取過程中，待測人體姿勢的不同，形狀估計線的具體形式也會不同。以圖3所示的預(yù)定站姿中人體左手腕對應(yīng)的特征區(qū)域為例，如圖6所示，根據(jù)手臂、手掌與水平方向和豎直方向所成角度，可按下式定義左手腕形狀估計線：

如上式，左手腕部分的形狀估計線是一個分段函數(shù)，由兩條線段組成。實際應(yīng)用中，兩線段長度不一定相等，可按一定比例分配部分Snake點向第一段曲線形狀靠近，剩余Snake點向第二段曲線形狀靠近。最后在得到的結(jié)果中，按照之前Snake點分配比例提取特征點。

待提取的量體特征點包括左右肩膀點、左右胸點、左右手腕點和腳底點。類似地，可依次求得左肩膀、右肩膀、左胸、右胸、右手腕、腳底等形狀曲線方程如下：

以E_con(v(s))表示形狀約束能量，形狀估計的目的是使Snake曲線在迭代的過程中，盡量保持相應(yīng)的形狀，對于數(shù)字圖像而言，Snake曲線上每個點到形狀估計線的距離構(gòu)成一組隨機變量，這組變量的方差越小，Snake曲線越能保持相應(yīng)的形狀，于是形狀約束能量可定義為：

其中，n為曲線上的點數(shù)，為曲線到所述形狀估計線的平均距離，λ(s)表示形狀約束能量的控制參數(shù)，實際應(yīng)用中一般取固定值，為曲線上任意極小段與形狀估計線的垂直距離。

步驟S203，該步驟S203應(yīng)在圖2中所示的步驟S103中構(gòu)建所述初始輪廓線的能量函數(shù)的操作之后執(zhí)行，具體地，該步驟S203為，通過所述形狀約束能量對所述初始輪廓線的原能量函數(shù)進行約束，得到帶有形狀估計的新的能量函數(shù)：

得到如式(12)所示的帶有形狀估計的能量函數(shù)后，同樣對該能量函數(shù)進行偏微分方程求解，再對離散方程中的五對角帶狀矩陣的系數(shù)進行重新設(shè)置得到帶形狀估計的非閉合Snake模型。本實施例中，用A表示重新設(shè)置系數(shù)后的五對角帶狀矩陣，將v_i表達為時間t的函數(shù)，再用μ表示單位步長，可以得到如下迭代公式：

對式(13)進行求解得到帶有形狀估計的非閉合Snake模型的迭代公式(14)：

根據(jù)公式(14)進行不斷迭代，直到曲線收斂到圖像目標輪廓處，得到待提取的目標輪廓線，再根據(jù)所述目標輪廓線提取出量體特征點。

請參閱圖7，是本發(fā)明較佳實施例提供的所述量體特征點提取裝置130的功能模塊示意圖。所述量體特征點提取裝置130包括輪廓線獲取模塊1302、函數(shù)構(gòu)建模塊1304、系數(shù)重置模塊1306、提取模塊1308以及形狀估計模塊1310。下面將對圖7所示的功能模塊進行詳細闡述。

所述輪廓線獲取模塊1302，用于獲取圖像特征區(qū)域內(nèi)的初始輪廓線。該輪廓線獲取模塊1302可用于執(zhí)行圖2中所示的步驟S101，具體的操作方法參照上述對步驟S101的詳細描述。

所述函數(shù)構(gòu)建模塊1304，用于構(gòu)建所述初始輪廓線的能量函數(shù)，通過偏微分方程對該能量函數(shù)進行求解，并對求解得到的方程進行離散化得到離散方程，還用于通過該形狀估計線的形狀約束能量對所述初始輪廓線的原能量函數(shù)進行約束，得到帶有形狀估計的新的能量函數(shù)。具體地，該函數(shù)構(gòu)建模塊1304可用于執(zhí)行圖2中所示的步驟S103及圖5中所示的步驟S203，具體的操作方法參照上述對步驟S103及步驟S203的詳細描述。

所述系數(shù)重置模塊1306，用于將所述離散方程的五對角帶狀矩陣中對應(yīng)所述初始輪廓線的第一圖像點、第二圖像點、倒數(shù)第一圖像點及倒數(shù)第二圖像點的系數(shù)進行重新設(shè)置得到非閉合的Snake模型。該系數(shù)重置模塊1306可用于執(zhí)行圖2中所示的步驟S105，具體的操作方法參照上述對步驟S105的詳細描述。

所述提取模塊1308，用于對所述非閉合的Snake模型進行迭代求解得到所述圖像特征區(qū)域的目標輪廓線，再根據(jù)該目標輪廓線提取出相應(yīng)的量體特征點。該提取模塊1308可用于執(zhí)行圖2中所示的步驟S107，具體的操作方法參照上述對步驟S107的詳細描述。

所述形狀估計模塊1310，用于對所述特征區(qū)域進行形狀估計，得到形狀估計線。該形狀估計模塊1310可用于執(zhí)行圖5中所示的步驟S201，具體的操作步驟可參照上述對步驟S201的詳細描述。

圖8和圖9是本發(fā)明實施例提供的非閉合Snake模型與傳統(tǒng)的Snake模型在簡單背景、復(fù)雜背景兩種實驗條件下的量體特征點提取結(jié)果的對比圖。本實驗中，仍以人體左手腕為例，分配Snake曲線前1/2靠近第一段形狀估計線，后1/2靠近第二段形狀估計線。

圖8給出了簡單環(huán)境下的實驗對比結(jié)果。圖8(a)為原始圖像；8(b)為傳統(tǒng)的Snake算法迭代10次耗時14秒的收斂結(jié)果，由于需手動設(shè)置初始輪廓，造成部分曲線與手腕邊緣過遠而不能正確收斂，對之后的手腕點提取造成極大阻礙，因此不適用于人體局部輪廓提??；8(c)為不帶形狀估計的非閉合Snake算法在CPU頻率2.40GHz、內(nèi)存4G的Windows 7 SP1系統(tǒng)下，迭代10次耗時2.2秒的收斂結(jié)果，可以看出在簡單環(huán)境下，不帶形狀估計的Snake算法也能較好地收斂到手腕邊緣；8(d)為帶形狀估計的非閉合Snake算法在相同軟硬件實驗條件下，迭代10次耗時2.1秒的收斂結(jié)果，取Snake曲線1/2處為左手腕點，在圖8(c)和8(d)中用圓點標識出來。

同樣地，圖8給出了復(fù)雜環(huán)境下的實驗對比結(jié)果。圖9(a)為原始圖像；圖9(b)為傳統(tǒng)Snake算法迭代10次耗時24.5秒的收斂結(jié)果，與圖9(b)類似地，不適用于人體局部輪廓提取；圖9(c)為不帶形狀估計的非閉合Snake算法在CPU頻率2.40GHz、內(nèi)存4G的Windows 7 SP1系統(tǒng)下，迭代10次耗時3.7秒的收斂結(jié)果，可以看出，在復(fù)雜環(huán)境下，其檢測結(jié)果受到了背景與人物著裝的影響，對之后的手腕點提取造成阻礙；圖9(d)為帶形狀估計的非閉合Snake算法在相同軟硬件實驗條件下，迭代10次耗時3.2秒的收斂結(jié)果，雖然也受到了一定的環(huán)境影響，但手腕輪廓連續(xù)且較為平滑，同樣取Snake曲線1/2處為左手腕點，在圖9(c)和9(d)中用圓點標識出來。

總體來講，傳統(tǒng)的Snake模型耗時長、效果差且必須由一條封閉曲線開始迭代，不適用于人體局部輪廓提??；對于非閉合的Snake模型，在簡單背景中能夠較為準確地提取人體局部輪廓，但是在復(fù)雜環(huán)境中容易受到背景和人物著裝的影響；對于形狀估計的非閉合Snake模型，在復(fù)雜環(huán)境中，也能較好地針對不同人體特征區(qū)域進行局部輪廓和量體特征點的提取。在時間效率方面，由于Snake點數(shù)量減半，所以非閉合Snake模型相較于傳統(tǒng)的Snake模型效率明顯提高。

以上所述，僅為本發(fā)明的具體實施方式，但本發(fā)明的保護范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到變化或替換，都應(yīng)涵蓋在本發(fā)明的保護范圍之內(nèi)。因此，本發(fā)明的保護范圍應(yīng)以所述權(quán)利要求的保護范圍為準。