本發(fā)明一般地涉及計(jì)算機(jī)視覺領(lǐng)域，更具體地，涉及一種目標(biāo)跟蹤裝置和方法。

背景技術(shù)：

目標(biāo)跟蹤技術(shù)用于自動對焦、自動白平衡和自動曝光，以用相機(jī)裝置拍攝期望的圖像和視頻。然而，參考圖1a，在傳統(tǒng)的目標(biāo)跟蹤方法中跟蹤輸出矩形102(即，跟蹤輸出區(qū)域或跟蹤輸出框)適合于跟蹤目標(biāo)a的尺寸和形狀，尤其當(dāng)跟蹤目標(biāo)a和障礙物b發(fā)生部分重疊，即，跟蹤目標(biāo)a和障礙物b均出現(xiàn)在跟蹤輸出矩形中時(shí)，這種傳統(tǒng)的目標(biāo)跟蹤方法容易錯(cuò)誤地跟蹤相似或相同的目標(biāo)障礙物b。例如，如果目標(biāo)跟蹤技術(shù)用于自動對焦功能，則因?yàn)榕臄z的圖像的對焦區(qū)域會是錯(cuò)誤的障礙物，所以錯(cuò)誤的跟蹤結(jié)果會導(dǎo)致拍攝模糊不清的圖像。

其他方法具有傳統(tǒng)目標(biāo)跟蹤方法的輸出數(shù)據(jù)格式。大部分傳統(tǒng)的目標(biāo)跟蹤方法的輸出信息是矩形，該矩形適合于跟蹤目標(biāo)尺寸和形狀。但是對于相機(jī)的自動對焦功能，這種矩形是低自動對焦精度的原因。因?yàn)榫匦涡畔尘皡^(qū)域，自對對焦模塊有時(shí)會聚焦在跟蹤輸出矩形內(nèi)部的背景區(qū)域上。例如，參考圖2a，將左側(cè)的輸入圖像進(jìn)行轉(zhuǎn)換并輸出右側(cè)的圖像，由于輸出圖像的跟蹤輸出矩形中包括多個(gè)背景區(qū)域(例如，圖2a中的5個(gè)背景區(qū)域)，所以在相機(jī)自動對焦時(shí)，有時(shí)會聚焦在跟蹤輸出矩形內(nèi)部的背景區(qū)域上。

技術(shù)實(shí)現(xiàn)要素：

為了解決現(xiàn)有技術(shù)中所存在的錯(cuò)誤地跟蹤相似或相同的目標(biāo)障礙物、拍攝模糊不清的圖像或者自動對焦在跟蹤輸出矩形內(nèi)部的背景區(qū)域上的技術(shù)問題，本發(fā)明提出了以下對象跟蹤裝置和方法。

根據(jù)本發(fā)明的一方面，提供了一種對象跟蹤裝置，包括處理器和存儲器，處理器包括：圖像預(yù)處理模塊，用于對輸入圖像的背景區(qū)域進(jìn)行歸一化處理，以獲得具有固定尺寸的背景區(qū)域的歸一化的圖像；超像素匹配模塊，用于使用超像素算法將歸一化的圖像轉(zhuǎn)換為超像素圖像并將超像素圖像和參照超像素區(qū)域進(jìn)行匹配，以在超像素圖像中找到具有與參照超像素區(qū)域相似度高的超像素顏色的匹配區(qū)域；以及背景屏蔽模塊，用于對具有匹配區(qū)域的超像素圖像進(jìn)行屏蔽處理以獲得匹配區(qū)域之外的背景區(qū)域被屏蔽的超像素屏蔽圖像。

優(yōu)選地，圖像預(yù)處理模塊還包括對象概率估計(jì)子模塊，對象概率估計(jì)子模塊用于使用前景區(qū)域和背景區(qū)域的顏色直方圖來計(jì)算每個(gè)像素的對象概率，并且執(zhí)行均值平移以將前景區(qū)域平移至適當(dāng)位置。

優(yōu)選地，超像素匹配模塊還用于通過應(yīng)用超像素圖像將對象概率轉(zhuǎn)換為超像素級對象概率，超像素級對象概率為具有相同的超像素標(biāo)記的對象概率的平均值。

優(yōu)選地，背景屏蔽模塊進(jìn)一步用于：將位于匹配區(qū)域外部的超像素標(biāo)記為超像素屏蔽圖像的背景并將背景設(shè)置為黑色；當(dāng)匹配區(qū)域的內(nèi)部的超像素顏色與參照超像素區(qū)域的超像素顏色相似時(shí)，將位于匹配區(qū)域內(nèi)部的超像素標(biāo)記為前景并將前景設(shè)置為白色；以及當(dāng)匹配區(qū)域的內(nèi)部的超像素顏色與參照超像素區(qū)域的超像素顏色不相似時(shí)，將位于匹配區(qū)域內(nèi)部的超像素標(biāo)記為中景并將中景設(shè)置為灰色。

優(yōu)選地，背景屏蔽模塊還用于將超像素屏蔽圖應(yīng)用于超像素級對象概率并且生成屏蔽概率圖。

優(yōu)選地，將超像素屏蔽圖應(yīng)用于超像素級對象概率并且生成屏蔽概率圖進(jìn)一步包括：當(dāng)超像素屏蔽圖像標(biāo)記為前景時(shí)，屏蔽概率圖的概率為1；當(dāng)超像素屏蔽圖像標(biāo)記為中景時(shí)，屏蔽概率圖的概率具有與對象概率相同的概率；以及當(dāng)超像素屏蔽圖像標(biāo)記為背景時(shí)，屏蔽概率圖的概率為0。

優(yōu)選地，對象區(qū)域歸一化子模塊用于通過與輸入圖像的背景區(qū)域相同的長寬比，將輸入圖像的背景區(qū)域縮放至固定尺寸，以獲得具有固定尺寸的背景區(qū)域的歸一化的圖像。

優(yōu)選地，對象跟蹤裝置還包括對象區(qū)域估計(jì)模塊，用于求解馬爾科夫隨機(jī)場mrf以生成超像素對象二值圖；基于對象二值圖計(jì)算最終的輸出區(qū)域；計(jì)算輸出區(qū)域的顏色直方圖和先前幀的參照直方圖之間的直方圖相似度，以判定 跟蹤成功；以及存儲最終的輸出區(qū)域中的超像素信息。

優(yōu)選地，參照超像素區(qū)域是先前幀的跟蹤對象區(qū)域，輸入圖像的背景區(qū)域是輸入圖像的第一幀中的初始框或在每幅后續(xù)圖像中的先前幀的跟蹤框。

根據(jù)本發(fā)明的另一方面，提供了一種對象跟蹤方法，包括：對輸入圖像的背景區(qū)域進(jìn)行歸一化處理，以獲得具有固定尺寸的背景區(qū)域的歸一化的圖像；以及基于使用超像素算法將歸一化的圖像轉(zhuǎn)換為超像素圖像并將超像素圖像和參照超像素區(qū)域進(jìn)行匹配，以在超像素圖像中找到具有與參照超像素區(qū)域的相似度最高的超像素顏色的匹配區(qū)域；以及對具有匹配區(qū)域的超像素圖像進(jìn)行屏蔽處理以獲得匹配區(qū)域之外的背景區(qū)域被屏蔽的超像素屏蔽圖像。

優(yōu)選地，對象跟蹤方法還包括：在對圖像的背景區(qū)域進(jìn)行歸一化處理之后，使用前景區(qū)域和背景區(qū)域的顏色直方圖來計(jì)算每個(gè)像素的對象概率，并且執(zhí)行均值平移以將前景區(qū)域平移至適當(dāng)位置。

優(yōu)選地，對象跟蹤方法還包括：通過應(yīng)用超像素圖像將對象概率轉(zhuǎn)換為超像素級對象概率，超像素級對象概率為具有相同的超像素標(biāo)記的對象概率的平均值。

優(yōu)選地，對具有匹配區(qū)域的超像素圖像進(jìn)行屏蔽處理進(jìn)一步包括：將位于匹配區(qū)域外部的超像素標(biāo)記為超像素屏蔽圖像的背景并將背景設(shè)置為黑色；當(dāng)匹配區(qū)域的內(nèi)部的超像素顏色與參照超像素區(qū)域的超像素顏色相似時(shí)，將位于匹配區(qū)域內(nèi)部的超像素標(biāo)記為前景并將前景設(shè)置為白色；以及當(dāng)匹配區(qū)域的內(nèi)部的超像素顏色與參照超像素區(qū)域的超像素顏色不相似時(shí)，將位于匹配區(qū)域內(nèi)部的超像素標(biāo)記為中景并將中景設(shè)置為灰色。

優(yōu)選地，對象跟蹤方法還包括將超像素屏蔽圖應(yīng)用于超像素級對象概率并且生成屏蔽概率圖。

優(yōu)選地，將超像素屏蔽圖應(yīng)用于超像素級對象概率并且生成屏蔽概率圖進(jìn)一步包括：當(dāng)超像素屏蔽圖像標(biāo)記為前景時(shí)，屏蔽概率圖的概率為1；當(dāng)超像素屏蔽圖像標(biāo)記為中景時(shí)，屏蔽概率圖的概率具有與對象概率相同的概率；以及當(dāng)超像素屏蔽圖像標(biāo)記為背景時(shí)，屏蔽概率圖的概率為0。

優(yōu)選地，對圖像的背景區(qū)域進(jìn)行歸一化處理進(jìn)一步包括：通過與輸入圖像的背景區(qū)域相同的長寬比，將輸入圖像的背景區(qū)域縮放至固定尺寸，以獲得具有固定尺寸的背景區(qū)域的歸一化的圖像。

優(yōu)選地，對象跟蹤方法還包括對象區(qū)域估計(jì)模塊，用于求解馬爾科夫隨機(jī)場mrf以生成超像素對象二值圖；基于對象二值圖計(jì)算最終的輸出區(qū)域；計(jì)算輸出區(qū)域的顏色直方圖和先前幀的參照直方圖之間的直方圖相似度，以判定跟蹤成功；以及存儲最終的輸出區(qū)域中的超像素信息。

優(yōu)選地，參照超像素區(qū)域是先前幀的跟蹤對象區(qū)域，輸入圖像的背景區(qū)域是輸入圖像的第一幀中的初始框或在每幅后續(xù)圖像中的先前幀的跟蹤框。

根據(jù)本發(fā)明的又一方面，提供了一種具有對象跟蹤裝置的拍攝裝置，其特征在于，包括：對象跟蹤裝置，包括處理器和存儲器，處理器包括：圖像預(yù)處理模塊，用于對輸入圖像的背景區(qū)域進(jìn)行歸一化處理，以獲得具有固定尺寸的背景區(qū)域的歸一化的圖像；超像素匹配模塊，用于使用超像素算法將歸一化的圖像轉(zhuǎn)換為超像素圖像并將超像素圖像和參照超像素區(qū)域進(jìn)行匹配，以在超像素圖像中找到具有與參照超像素區(qū)域相似度最高的超像素顏色的匹配區(qū)域；和背景屏蔽模塊，用于對具有匹配區(qū)域的超像素圖像進(jìn)行屏蔽處理以獲得匹配區(qū)域之外的背景區(qū)域被屏蔽的超像素屏蔽圖像；控制模塊，用于控制拍照裝置自動焦點(diǎn)、自動曝光、和自動白平衡，從對象跟蹤裝置接收跟蹤對象，并生成控制信號；以及圖像獲取模塊，用于從控制模塊接收拍攝控制信號，并基于拍攝控制信號獲取圖像。

優(yōu)選地，具有對象跟蹤裝置的拍攝裝置還包括：透鏡控制模塊，用于接收來著控制模塊的控制透鏡控制信號，并基于透鏡控制信號控制透鏡的焦距。

本發(fā)明的實(shí)施例通過生成二值圖和目標(biāo)對象區(qū)域的邊界矩形以防止自對對焦模塊聚焦在輸出矩形內(nèi)部的背景區(qū)域上，并且可以穩(wěn)定地跟蹤與相似或相同顏色的障礙物部分重疊的跟蹤對象。如果該跟蹤方法用于相機(jī)的自動對焦功能，則即使跟蹤對象與相似或相同顏色的障礙物部分重疊，相機(jī)也可以聚焦在正確的跟蹤對象上。本發(fā)明所提出的方法可以跟蹤用戶通過相機(jī)的圖形用戶界面gui(graphicaluserinterface)所選擇的任何跟蹤對象，并且可以生成精確地指示跟蹤對象區(qū)域的對象二值圖。使用該對象二值圖，相機(jī)可以保持以高精度聚焦在跟蹤對象區(qū)域上。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實(shí)施例中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1a和圖1b分別為利用現(xiàn)有技術(shù)和本發(fā)明所提出的裝置或方法進(jìn)行對象跟蹤時(shí)的跟蹤過程和結(jié)果；

圖2a是利用現(xiàn)有技術(shù)將輸入圖像轉(zhuǎn)換為具有輸出區(qū)域(或輸出框、輸出矩形)的輸出圖像，以及圖2b是利用本發(fā)明的裝置或方法將輸入圖像轉(zhuǎn)換為限定矩形的對象二值圖；

圖3是根據(jù)本發(fā)明的第一實(shí)施例的對象跟蹤裝置的框圖；

圖4是根據(jù)本發(fā)明的第二實(shí)施例的對象跟蹤裝置的框圖；

圖5是對象區(qū)域歸一化子模塊將輸入圖像進(jìn)行歸一化的示意圖；

圖6是對象概率估計(jì)子模塊的對歸一化的圖像進(jìn)行對象概率估計(jì)和均值平移的示意圖；

圖7是基于歸一化圖像生成超像素圖像的示意圖；

圖8是將像素級對象概率轉(zhuǎn)換為超像素級對象概率的示意圖；

圖9是超像素匹配單元進(jìn)行超像素匹配的示意圖；

圖10是對具有匹配區(qū)域的超像素圖像進(jìn)行背景屏蔽的示意圖；

圖11將超像素級對象概率圖轉(zhuǎn)換為屏蔽概率圖的示意圖；

圖12是對象區(qū)域估計(jì)模塊的執(zhí)行對象區(qū)域估計(jì)的示意圖；

圖13為圖像數(shù)據(jù)結(jié)構(gòu)的示意圖；

圖14為該相鄰超像素的消息權(quán)重與超像素i和k之間絕對距離之和的曲線圖；

圖15為根據(jù)本發(fā)明的第一實(shí)施例的對象跟蹤方法的流程圖；

圖16為根據(jù)本發(fā)明的第二實(shí)施例的對象跟蹤方法的流程圖；

圖17為對圖像序列進(jìn)行跟蹤的示意圖；

圖18是根據(jù)本發(fā)明的實(shí)施例的拍攝裝置的示意圖；

圖19是示出根據(jù)本發(fā)明的實(shí)施例的顏色直方圖的提取和貝葉斯概率 圖的計(jì)算；以及

圖20是示出根據(jù)本發(fā)明的實(shí)施例的對貝葉斯概率圖進(jìn)行的均值平移的示意圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

參考圖1b，在本發(fā)明實(shí)施例的目標(biāo)跟蹤裝置和方法中跟蹤輸出矩形102(即，跟蹤輸出區(qū)域或跟蹤輸出框)適合于跟蹤目標(biāo)a的尺寸和形狀，即使跟蹤目標(biāo)a和障礙物b發(fā)生部分重疊，即，整個(gè)障礙物b不會出現(xiàn)在跟蹤輸出矩形中時(shí)，本發(fā)明的實(shí)施例的目標(biāo)跟蹤方法和裝置能夠穩(wěn)定地跟蹤目標(biāo)a，從而避免了錯(cuò)誤地跟蹤相似或相同的目標(biāo)障礙物b。

參考圖2b，本發(fā)明的實(shí)施例通過生成二值圖和目標(biāo)對象區(qū)域的邊界矩形以防止自對對焦模塊聚焦在輸出矩形內(nèi)部的背景區(qū)域上，并且可以穩(wěn)定地跟蹤與相似或相同顏色的障礙物部分重疊的跟蹤對象。

以下將參照附圖分別對對象(或跟蹤對象或跟蹤目標(biāo))跟蹤裝置和對象跟蹤方法進(jìn)行詳細(xì)描述。

圖3是根據(jù)本發(fā)明的第一實(shí)施例的對象跟蹤裝置的框圖。參照圖3，對象跟蹤裝置300包括處理器和存儲器(在附圖中未示出)。處理器包括：圖像預(yù)處理模塊302，用于對輸入圖像的背景區(qū)域進(jìn)行歸一化處理，以獲得具有固定尺寸的背景區(qū)域的歸一化的圖像；以及超像素匹配模塊304，用于使用超像素算法將所述歸一化的圖像轉(zhuǎn)換為超像素圖像并將超像素圖像和參照超像素區(qū)域進(jìn)行匹配，以在超像素圖像中找到具有與參照超像素區(qū)域相似度最高的超像素顏色的匹配區(qū)域；以及背景屏蔽模塊306，用于對具有匹配區(qū)域的超像素圖像進(jìn)行屏蔽處理以獲得匹配區(qū)域之外的背景區(qū)域被屏蔽的超像素屏蔽圖像。

利用本發(fā)明的第一實(shí)施例的對象跟蹤裝置能夠在跟蹤對象與障礙物重疊的情況下，穩(wěn)定地跟蹤對象，從而克服了跟蹤錯(cuò)誤等缺陷，與現(xiàn)有技術(shù) 相比較，能夠更準(zhǔn)確地跟蹤對象。

圖4是根據(jù)本發(fā)明的第二實(shí)施例的對象跟蹤裝置的框圖。參照圖3，對象跟蹤裝置400包括處理器和存儲器(在附圖中未示出)。處理器包括：圖像預(yù)處理模塊302、超像素匹配模塊404、背景屏蔽模塊406、對象區(qū)域估計(jì)模塊412。其中，圖像預(yù)處理模塊302包括對象區(qū)域歸一化子模塊408和對象概率估計(jì)子模塊410。下文中，將對這些模塊進(jìn)行詳細(xì)描述。

對象區(qū)域歸一化子模塊408用于對輸入圖像的背景區(qū)域進(jìn)行歸一化處理，以獲得具有固定尺寸的背景區(qū)域的歸一化的圖像。具體地，對象區(qū)域歸一化模塊108用于通過與輸入圖像的背景區(qū)域相同的長寬比，將輸入圖像的背景區(qū)域縮放至固定尺寸，以獲得具有所述固定尺寸的背景區(qū)域的歸一化的圖像。具體地，歸一化的圖像的背景區(qū)域與輸入圖像的背景區(qū)域具有相同的長寬比。輸入圖像的背景區(qū)域是輸入圖像的第一幀中的初始框或在每幅后續(xù)圖像中的先前幀的跟蹤框。

圖5是對象區(qū)域歸一化子模塊將輸入圖像進(jìn)行歸一化的示意圖。下文中將參照附圖5，對對象區(qū)域歸一化子模塊進(jìn)行詳細(xì)描述。

在對象區(qū)域歸一化子模塊402中，將輸入圖像的背景區(qū)域縮小至固定尺寸。將背景區(qū)域限定為第一矩形rfg(或者稱為區(qū)域或框)和第二矩形rbg，其中，第一矩形rfg是先前幀的對象跟蹤矩形。通過在寬度和高度方向上的添加邊緣(margin)生成第二矩形rbg。根據(jù)以下公式由歸一化圖像的第一矩形rfg＇的寬度和高度計(jì)算邊緣。

margin＝(wfg+hfg)/α公式1

xbg＝xfg-margin公式2

ybg＝y(tǒng)fg-margin公式3

wbg＝wfg+2*margin公式4

hbg＝hfg+2*margin公式5

在以上公式1中，xfg、yfg、xbg、ybg分別為第一矩形區(qū)域和第二矩形區(qū)域的x和y坐標(biāo)值，α是確定邊緣長度的可調(diào)節(jié)參數(shù)。根據(jù)矩形rbg確定歸一化圖像的矩形r′bg的尺寸。矩形r′bg的長寬比與矩形rbg的長寬比相同并且矩形r′bg的最長邊(即，寬度)是用戶預(yù)先定義的固定長度。通過插值方法將矩形rbg的圖像數(shù)據(jù)歸一化為矩形r′bg，例如，插值方法包括最 近鄰插值法、雙線性插值法和雙三次插值法等。α的取值范圍為3.0-5.0。在對象概率估計(jì)單元中，為了獲得適當(dāng)?shù)膶ο蟾怕矢鶕?jù)經(jīng)驗(yàn)確定該取值范圍。如果α太大，則矩形r′bg中的對象概率太大(大部分顏色的概率為1.0)。另一方面，如果α太小，則矩形r′bg中的對象概率太小，無法用作跟蹤部件。

該歸一化的目的是通過將圖像數(shù)據(jù)縮小至固定尺寸來進(jìn)行快速運(yùn)行，并且目標(biāo)對象區(qū)域的歸一化用于超像素匹配。因?yàn)楦鶕?jù)對象尺寸在序列圖像中不相同，所以進(jìn)行歸一化，以便于執(zhí)行超像素匹配。

圖像預(yù)處理模塊402還包括對象概率估計(jì)子模塊408。對象概率估計(jì)子模塊408用于使用前景區(qū)域和背景區(qū)域的顏色直方圖來計(jì)算每個(gè)像素的對象概率，并且執(zhí)行均值平移以將前景區(qū)域平移至適當(dāng)位置。

圖6是對象概率估計(jì)子模塊的對歸一化的圖像進(jìn)行對象概率估計(jì)和均值平移的示意圖。在對象概率估計(jì)子模塊410中，通過以下公式來計(jì)算對象的概率：

其中，ci：是值為i的顏色，i的取值范圍取決于后續(xù)圖像的顏色空間的大小，例如，在灰度圖像中，i的取值為[0,255]，在rgb圖像中，i的取值范圍為[0,255×255×255]；

obj：表示對象區(qū)域(又稱為目標(biāo)區(qū)域)；

p(ci)：表示顏色ci的分布概率；

p(ci,obj)：表示顏色ci在對象區(qū)域中的分布概率

p(obj|ci)：表示上述兩個(gè)概率之比，并作為具有顏色ci的像素在整個(gè)置信度圖中的像素值。

其中，該分布概率之比越大，表明該顏色屬于對象的可能性越大。

下文中，將參照附圖19描述顏色直方圖的提取和貝葉斯概率圖的計(jì)算。首先將歸一化的圖像中的某種顏色標(biāo)記為ci，該顏色對應(yīng)于顏色直方圖中的一個(gè)庫bin。例如，歸一化的圖像中的紅色、黃色、藍(lán)色或者粉色等?；谟?jì)算的該顏色在目標(biāo)區(qū)域中的分布概率繪制目標(biāo)直方圖；基于計(jì)算的該顏色背景區(qū)域中的分布概率繪制背景直方圖。然后通過上述公式6計(jì)算該顏色在目標(biāo)區(qū)域中的面積與背景區(qū)域中的面積的比值，該比值為ci顏色的貝葉斯概率值。

然后，進(jìn)行均值平移來獲取更精確的對象概率圖，以使對象矩形適合當(dāng)前框的對象位置。在該方法的以下模塊中，沒有使用均值平移輸出的矩形，而是使用基于顏色直方圖的對象概率圖。圖20是示出根據(jù)本發(fā)明的實(shí)施例的對貝葉斯概率圖進(jìn)行的均值平移的示意圖。如圖20所示，首先獲取前一幀(諸如第n-1幀)的貝葉斯概率圖；對當(dāng)前幀(例如，第n幀)的貝葉斯概率圖應(yīng)用前一幀的目標(biāo)框；在貝葉斯概率圖上計(jì)算目標(biāo)框內(nèi)概率的重心，并更新目標(biāo)框的位置，使得目標(biāo)框內(nèi)的中心與重心重合。同時(shí)使用新的目標(biāo)框重新計(jì)算貝葉斯概率圖；接下來，重復(fù)迭代更新目標(biāo)框的位置和重新計(jì)算貝葉斯概率圖直到目標(biāo)框位置收斂穩(wěn)定下來才停止移動目標(biāo)框，然后輸出結(jié)果。

超像素匹配模塊404，用于使用超像素算法將歸一化的圖像轉(zhuǎn)換為超像素圖像并將超像素圖像和參照超像素區(qū)域進(jìn)行匹配，以在超像素圖像中找到具有與參照超像素區(qū)域相似度最高的超像素顏色的匹配區(qū)域。參照超像素區(qū)域是先前幀的跟蹤對象區(qū)域。超像素匹配模塊404還用于通過應(yīng)用超像素圖像將對象概率轉(zhuǎn)換為超像素級對象概率，超像素級對象概率為具有相同的超像素標(biāo)記的對象概率的平均值。其中，計(jì)算超像素屏蔽圖像進(jìn)一步包括：將位于匹配區(qū)域外部的超像素標(biāo)記為超像素屏蔽圖像的背景并將背景設(shè)置為黑色；當(dāng)匹配區(qū)域的內(nèi)部的超像素顏色與參照超像素區(qū)域的超像素顏色相似時(shí)，將位于匹配區(qū)域內(nèi)部的超像素標(biāo)記為前景并將前景設(shè)置為白色；以及當(dāng)匹配區(qū)域的內(nèi)部的超像素顏色與參照超像素區(qū)域的超像素顏色不相似時(shí)，將位于匹配區(qū)域內(nèi)部的超像素標(biāo)記為中景并將中景設(shè)置為灰色。

超像素匹配模塊404在功能上可以劃分為超像素生成模塊和超像素匹配模塊。圖7是基于歸一化圖像生成超像素圖像的示意圖。在超像素生成模塊中，通過使用諸如網(wǎng)格接縫(gridseams)超像素的超像素算法來生成超像素圖像。這里，為了執(zhí)行超像素匹配，可以使用超像素圖像的寬度和高度可控的超像素算法。生成超像素的目的是為了降低具有與目標(biāo)對象相同顏色的小背景區(qū)域的影響。如果使用對象區(qū)域估計(jì)的信息，則由于像素級數(shù)據(jù)，生成多個(gè)像素噪聲區(qū)域。但是通過使用超像素，因此在超像素圖像中忽略了小像素噪聲區(qū)域，所以降低了具有與目標(biāo)相同顏色的像素照射區(qū)域的影響。

根據(jù)能夠忽略像素噪聲的影響的最小超像素尺寸來確定超像素的最優(yōu)尺寸。在網(wǎng)格接縫的情況下，5×5個(gè)像素的正方形網(wǎng)格足以降低像素噪聲的影響。生成超像素的其他原因是降低以下模塊的計(jì)算成本。例如，如果r′bg歸一化圖像具有300×200個(gè)像素，則超像素的圖像s(i,j)的尺寸減小至60×40個(gè)超像素。數(shù)據(jù)量減小了25倍。

圖8是將像素級對象概率轉(zhuǎn)換為超像素級對象概率的示意圖。通過將超像素圖像s(i,j)應(yīng)用于像素級對象概率圖像來生成超像素級對象概率圖像。因此，對象概率也被轉(zhuǎn)換為超像素級概率sp(i,j)。超像素級概率是在相同的超像素標(biāo)記下的目標(biāo)概率的平均值。

圖9是超像素匹配單元進(jìn)行超像素匹配的示意圖。在超像素匹配模塊中，進(jìn)行當(dāng)前幀的超像素圖像s(i,j)和先前幀的超像素sref(l,m)的匹配。為了找到匹配區(qū)域，計(jì)算絕對距離之和sad(sumofabsolutedistance)作為匹配分?jǐn)?shù)。

其中，

其中，(xs,ys):最小絕對距離之和的位置；

xs,ys：分別是左上角的x和y坐標(biāo)值；

先前幀的參照超像素sref(l,m)的寬度和高度；

矩形中的

在以上進(jìn)程中，|s(x+l,y+m)-sref(l,m)|是超像素的平均顏色的距離。如果估計(jì)的當(dāng)前幀的超像素顏色與參照幀的超像素顏色sref(l,m)非常相似，則最小的絕對距離之和為零。通過在s(i,j)中窗口掃描sref(l,m)，計(jì)算最小絕對距離之和的位置。在超像素中執(zhí)行的掃描比在像素圖像數(shù)據(jù)中的通常的模板匹配更快。最終，rm是其寬度和高度與sref(l,m)的寬度和高度相同的輸出匹配區(qū)域。在超像素匹配之后，在參照超像素和匹配超像素之間的顏色距離d(l,m)是超像素平均顏色的距離。這些顏色距離用于接下來的處理。

背景屏蔽模塊406，用于對具有匹配區(qū)域的超像素圖像進(jìn)行屏蔽處理以獲得匹配區(qū)域之外的背景區(qū)域被屏蔽的超像素屏蔽圖像。其中，當(dāng)超像素屏蔽圖像標(biāo)記為前景時(shí)，屏蔽概率圖的概率為1；當(dāng)超像素屏蔽圖像標(biāo)記為中景時(shí)，屏蔽概率圖的概率具有與對象概率相同的概率；以及當(dāng)超像素屏蔽圖像標(biāo)記為背景時(shí)，屏蔽概率圖的概率為0。具體地，將所述超像素屏蔽圖應(yīng)用于所述超像素級對象概率并且生成屏蔽概率圖進(jìn)一步包括：當(dāng)超像素屏蔽圖像標(biāo)記為前景時(shí)，屏蔽概率圖的概率為1；當(dāng)超像素屏蔽圖像標(biāo)記為中景時(shí)，屏蔽概率圖的概率具有與對象概率相同的概率；以及當(dāng)超像素屏蔽圖像標(biāo)記為背景時(shí)，屏蔽概率圖的概率為0。

圖10是對具有匹配區(qū)域的超像素圖像進(jìn)行背景屏蔽的示意圖；圖11將超像素級對象概率圖轉(zhuǎn)換為屏蔽概率圖的示意圖。

為了估計(jì)smp(l,m)，在第一步驟中計(jì)算屏蔽圖像sm(l,m)。sm(l,m)具有3種標(biāo)記：背景、中景和前景。為了確定sm(l,m)的值，首先使用超像素匹配中的匹配區(qū)域?？梢钥紤]匹配區(qū)域rm外部的超像素不是目標(biāo)區(qū)域，因此，相應(yīng)的超像素的sm(l,m)被標(biāo)記為背景。位于rm內(nèi)部的其他超像素被標(biāo)記為中景或前景。如果超像素的顏色距離d(l,m)小于閾值并且對應(yīng)的參照超像素sref(l,m)的標(biāo)記是前景，則被標(biāo)記為前景。因?yàn)槲挥谄ヅ涑袼氐膬?nèi)部的超像素的標(biāo)記與先前幀的超像素的標(biāo)記相同的概率高。顏色距離d(l,m)大的其他像素被標(biāo)記為中景。因?yàn)榭赡苡捎谀繕?biāo)對象的變形，其顏色從先前幀顏色進(jìn)行改變，所以中景超像素可能是背景區(qū)域。

基于在超像素匹配模塊中計(jì)算的匹配的sad值的值，來確定判定s(i,j)的超像素顏色是否與參照超像素顏色相似。如果sad值大，則相應(yīng)地將閾值設(shè)置為較大。如果sad值小，則將閾值設(shè)置為小的值。使用自適應(yīng)閾值的原因是為了防止從錯(cuò)誤的超像素分割推導(dǎo)出不正確的屏蔽標(biāo)記。顏色距離d(l,m)的值不僅根據(jù)序列圖像的差異改變，而且根據(jù)超像素分割精度而改變改變。如果由于超像素分割的低精度，超像素包含不正確像素，則dd(l,m)取大的值。sad值在rm中是顏色距離的和d(l,m)，該sad值是超像素分割精度和d(l,m)的可靠性的良好的測量值。

為了去除其概率高(由于與目標(biāo)對象具有相似或相同顏色)的背景區(qū)域，sm(i,j)應(yīng)用于sp(i,j)并且生成屏蔽的概率圖smp(i,j)。如果sm(i,j)的 標(biāo)記為前景，則smp(i,j)的概率為1。如果sm(i,j)標(biāo)記為中景，則將與sm(i,j)相同的概率用于smp(i,j)的概率中。如果sm(i,j)的標(biāo)記為背景，則smp(i,j)的概率為0。通過將sm(i,j)應(yīng)用于sp(i,j)，生成屏蔽的概率圖smp(i,j)，屏蔽具有類似顏色的非對象區(qū)域。

屏蔽處理在與類似顏色的障礙物部分重疊的情況下尤其有效。類似顏色的障礙物接近目標(biāo)對象，sp(i,j)中的障礙物的對象概率高。但是通過應(yīng)用sm(i,j)，去除了具有高對象概率的錯(cuò)誤區(qū)域。

對象區(qū)域估計(jì)模塊412，用于求解馬爾科夫隨機(jī)場mrf以生成超像素對象二值圖；基于對象二值圖計(jì)算最終的輸出矩形區(qū)域；計(jì)算輸出矩形區(qū)域的顏色直方圖和先前幀的參照直方圖之間的直方圖相似度，以判定跟蹤成功；存儲最終的輸出區(qū)域中的超像素信息。

圖12是對象區(qū)域估計(jì)模塊的執(zhí)行對象區(qū)域估計(jì)的示意圖。以下將參照圖12詳細(xì)描述對象區(qū)域估計(jì)模塊的具體實(shí)例。

對象區(qū)域估計(jì)模塊具有4個(gè)功能

1)解決mrf問題以獲得超像素的對象二值圖，包括以下所述的6個(gè)步驟。

在對象區(qū)域估計(jì)模塊中，通過輸入smp(i,j)超像素概率來估計(jì)對象區(qū)域sb(i,j)的二值圖。sb(i,j)是前景和背景的標(biāo)記圖。如果對象區(qū)域是背景標(biāo)記，對應(yīng)的超像素屬于跟蹤對象區(qū)域。如果對象區(qū)域是前景區(qū)域，則對應(yīng)的超像素屬于非跟蹤對象區(qū)域。

為了估計(jì)對象區(qū)域的二值圖，解決馬爾科夫隨機(jī)場mrf(markovrandfield)問題。mrf是無向圖模型并且可以將超像素圖像處理為圖形結(jié)構(gòu)數(shù)據(jù)，該圖形結(jié)構(gòu)數(shù)據(jù)具有概率節(jié)點(diǎn)和連接邊緣。例如，環(huán)路信念傳播lbp(loopybeliefpropagation)用于獲取對象二值圖，其中，環(huán)路信念傳播lbp是mrf問題的最簡單解法之一。

在第一步驟中，生成圖像數(shù)據(jù)結(jié)構(gòu)

圖13為圖像數(shù)據(jù)結(jié)構(gòu)的示意圖。參考圖13，圖形數(shù)據(jù)結(jié)構(gòu)由節(jié)點(diǎn)node和邊緣edge組成。節(jié)點(diǎn)包含超像素i的概率pi。邊緣是與節(jié)點(diǎn)相鄰的超像素的指數(shù)。通過節(jié)點(diǎn)和邊緣信息來初始化所有的超像素。

在第二步驟中，計(jì)算相鄰超像素的消息權(quán)重wik

圖14為該相鄰超像素的消息權(quán)重與超像素i和k之間絕對距離之和的曲線圖。消息權(quán)重表示來自相鄰超像素的影響。如果超像素i的顏色和相鄰超像素k的顏色相似，則k對i的影響大。這表示如果相鄰的超像素i和k具有相同顏色時(shí)，可以考慮超像素i和k具有相同的對象區(qū)域。

d(ci,ck)＝∑∈rgb|ci-ck|公式9

其中，β:可調(diào)節(jié)參數(shù)

d(ci,ck)是超像素i和k之間絕對距離之和。davg是所有的d(ci,ck)的平均值。權(quán)重可以被視為d(ci,ck)和davg的高斯分布。如果d(ci,ck)大，則權(quán)重wik低。davg用于控制高斯分布的傾斜度。如果davg小，則權(quán)重wik的曲線陡峭(steep)。

在第三步驟中，計(jì)算能量

基于pi和wik計(jì)算用于標(biāo)記前景和背景的超像素i的能量。

和是將超像素i標(biāo)記為前景和背景的能量，較小的能量標(biāo)記優(yōu)選地用于進(jìn)行標(biāo)記。

在第四步驟中，計(jì)算概率

通過發(fā)送消息來更新超像素i的概率pi。前景能量值較小，

如果

背景能量值較小，

:如果

在概率更新的以上公式中，γ是確定最大消息量的參數(shù)。如果γ小，則 轉(zhuǎn)換大消息量。因此γ是控制lbp快速收斂的參數(shù)。

在第五步驟中，計(jì)算總能量

計(jì)算總能量以判定是否完成消息傳送。將總能量定義如下。

在超像素生成模塊中由超像素級對象概率來確定閾值。r′bg內(nèi)部的概率的平均值。

bi是前景(＝1)和背景(＝0)的時(shí)間標(biāo)記。在每次重復(fù)的步驟5中，每一個(gè)超像素的bi都被計(jì)算為估計(jì)當(dāng)前的消息傳送狀態(tài)的穩(wěn)定性。e是總能量值并且如果所有的bi都接近1或0，則e收斂于穩(wěn)定狀態(tài)(0)。

pi′用作下一次重復(fù)lbp的輸入概率

如果e收斂，則完成lbp循環(huán)并且進(jìn)行到下一步驟。

在第六步驟中，確定最終標(biāo)記

在總能量收斂之后，基于pi′確定每個(gè)超像素的標(biāo)記li。如果li大于閾值，則將超像素i標(biāo)記為前景(li＝1)。如果li不大于閾值，則將超像素i標(biāo)記為背景(li＝0)。

2.基于對象二值圖技術(shù)最終的輸出矩形

在估計(jì)對象區(qū)域sb(i,j)的二值圖之后，計(jì)算輸出框，用于接下來的框的跟蹤輸入。在該輸出矩形計(jì)算中，生成兩個(gè)候選矩形。然后通過合并兩個(gè)候選矩形計(jì)算輸出矩形。

在第一步驟中，生成第一候選矩形

首先，在sb(i,j)圖像中計(jì)算前景標(biāo)記的中心位置。然后，將其寬度和高度與先前框的跟蹤矩形相同的矩形被應(yīng)用，使得其中心與前景標(biāo)記的中心位置相同。該矩形是第一候選矩形。

在第二步驟中，生成第二候選矩形

使用對象二值圖信息，計(jì)算限制sb(i,j)中的前景區(qū)域的矩形。矩形是 第二候選矩形。

在第四步驟中，計(jì)算直方圖的相似度

基于對象區(qū)域歸一化子模塊生成2個(gè)直方圖。然后，通過比較2個(gè)直方圖來計(jì)算顏色直方圖相似度(候選矩形的直方圖和參照直方圖)。使用巴氏距離來計(jì)算直方圖相似度。

在第五步驟中，合并兩個(gè)候選矩形

將兩個(gè)候選矩形合并為輸出矩形。相似度值用作合并兩個(gè)候選矩形的權(quán)重。以下計(jì)算兩個(gè)候選矩形的權(quán)重。

輸出矩形的寬度和高度是第一候選矩形和第二候選矩形的加權(quán)和。

該合并處理使得跟蹤結(jié)果非常穩(wěn)定。第二候選矩形是通過mrf生成的對象二值圖的彈性矩形。但是因?yàn)槌袼胤指铄e(cuò)誤等，通過mrf估計(jì)的前景區(qū)域有時(shí)包含背景。尤其當(dāng)與第二候選矩形的顏色直方圖相比較時(shí)，第一候選矩形的顏色直方圖更類似于參照顏色直方圖。

3.計(jì)算直方圖相似度

計(jì)算輸出矩形的顏色直方圖和第一幀的參照直方圖之間的直方圖相似度，以判定跟蹤速度。將輸出跟蹤矩形的置信度值輸出為跟蹤置信度分?jǐn)?shù)。因此，將參照顏色直方圖和輸出顏色直方圖的顏色直方圖的相似度進(jìn)行比較。直方圖相似度測量值為巴氏距離。該相似度值為跟蹤置信度分?jǐn)?shù)。如果相似度低于閾值，則跟蹤結(jié)果被視為錯(cuò)誤。具體地，對于巴氏距離來說，該閾值的取值范圍為0.8-0.9。如果該值太低，則輸出矩形容易移動至背景區(qū)域。但是如果該閾值太高，則跟蹤容易失敗。

4.存儲最終輸出矩形中的超像素信息。

在最后的步驟中，存儲超像素信息用于接下來的框的跟蹤處理。sb(i,j)是通過mrf估計(jì)的對象二值圖。sb(i,j)信息和輸出矩形信息被存儲至存儲器中。位于輸出矩形內(nèi)部的超像素用作接下來的框的超像素匹配模塊中的參照超像素sref。

圖15為根據(jù)本發(fā)明的第一實(shí)施例的對象跟蹤方法的流程圖。參照圖15，對象跟蹤方法包括：在步驟1502中，對輸入圖像的背景區(qū)域進(jìn)行歸一化處理，以獲得具有固定尺寸的背景區(qū)域的歸一化的圖像；在步驟1504中，基于使用 超像素算法將歸一化的圖像轉(zhuǎn)換為超像素圖像并將超像素圖像和參照超像素區(qū)域進(jìn)行匹配，以在超像素圖像中找到具有與參照超像素區(qū)域的相似度最高的超像素顏色的匹配區(qū)域；以及在步驟1506中，對具有匹配區(qū)域的超像素圖像進(jìn)行屏蔽處理以獲得匹配區(qū)域之外的背景區(qū)域被屏蔽的超像素屏蔽圖像。其中，參照超像素區(qū)域是先前幀的跟蹤對象區(qū)域，輸入圖像的背景區(qū)域是輸入圖像的第一幀中的初始框或在每幅后續(xù)圖像中的先前幀的跟蹤框。

圖16是根據(jù)本發(fā)明的第二實(shí)施例的對象跟蹤方法的流程圖。參照圖16，對象跟蹤方法包括：在步驟1602中，對輸入圖像的背景區(qū)域進(jìn)行歸一化處理以獲得具有固定尺寸的背景區(qū)域的歸一化的圖像；在步驟1604中，在對圖像的背景區(qū)域進(jìn)行歸一化處理之后，使用前景區(qū)域和背景區(qū)域的顏色直方圖來計(jì)算每個(gè)像素的對象概率，并且執(zhí)行均值平移以將前景區(qū)域平移至適當(dāng)位置。在步驟1606中，通過應(yīng)用超像素圖像將對象概率轉(zhuǎn)換為超像素級對象概率，超像素級對象概率為具有相同的超像素標(biāo)記的對象概率的平均值；以及在步驟1608中，將超像素屏蔽圖應(yīng)用于超像素級對象概率并且生成屏蔽概率圖。

具體地，生成屏蔽概率圖進(jìn)一步包括：當(dāng)超像素屏蔽圖像標(biāo)記為前景時(shí)，屏蔽概率圖的概率為1；當(dāng)超像素屏蔽圖像標(biāo)記為中景時(shí)，屏蔽概率圖的概率具有與對象概率相同的概率；以及當(dāng)超像素屏蔽圖像標(biāo)記為背景時(shí)，屏蔽概率圖的概率為0。

具體地，通過以下方式生成超像素屏蔽圖。具體地，將位于匹配區(qū)域外部的超像素標(biāo)記為超像素屏蔽圖像的背景并將背景設(shè)置為黑色；當(dāng)匹配區(qū)域的內(nèi)部的超像素顏色與參照超像素區(qū)域的超像素顏色相似時(shí)，將位于匹配區(qū)域內(nèi)部的超像素標(biāo)記為前景并將前景設(shè)置為白色；以及當(dāng)匹配區(qū)域的內(nèi)部的超像素顏色與參照超像素區(qū)域的超像素顏色不相似時(shí)，將位于匹配區(qū)域內(nèi)部的超像素標(biāo)記為中景并將中景設(shè)置為灰色。

具體地，對圖像的背景區(qū)域進(jìn)行歸一化處理進(jìn)一步包括：通過與輸入圖像的背景區(qū)域相同的長寬比，將輸入圖像的背景區(qū)域縮放至固定尺寸，以獲得具有固定尺寸的背景區(qū)域的歸一化的圖像。

在進(jìn)行背景屏蔽之后，還對對象區(qū)域進(jìn)行估計(jì)，具體地包括以下步驟：求解馬爾科夫隨機(jī)場mrf以生成超像素對象二值圖；基于對象二值圖計(jì)算最終的輸出區(qū)域；計(jì)算輸出區(qū)域的顏色直方圖和先前幀的參照直方圖之間的直方圖相似度，以判定跟蹤成功；以及存儲最終的輸出區(qū)域中的超像素信息。

圖17為對圖像序列進(jìn)行跟蹤的示意圖。對象跟蹤通過相機(jī)用戶初始化以生成對象特征數(shù)據(jù)作為目標(biāo)區(qū)域的顏色的參照顏色直方圖。

跟蹤每個(gè)圖像序列中的對象，基于參考幀(用戶指定的該參照幀，例如，第一幀、第二幀、第三幀等)中的對象特征數(shù)據(jù)跟蹤后續(xù)圖像的跟蹤目標(biāo)。如果最終輸出矩形的直方圖與參照幀的直方圖相似，則跟蹤成功。使用巴氏距離來測量直方圖的相似性。

圖18是根據(jù)本發(fā)明的實(shí)施例的拍攝裝置的示意圖。拍攝裝置包括數(shù)碼相機(jī)、攝像頭、攝像機(jī)等。拍攝裝置為具有對象跟蹤裝置的拍攝裝置1800。參考圖18，拍攝裝置1800包括處理器和存儲器(在附圖18中未示出)。處理器包括：透鏡控制模塊1802、圖像獲取模塊1804主cpu1806、以及控制模塊，例如圖18中的af/ae/awb控制模塊1810。在一個(gè)實(shí)施例中，主cpu1806中包括對象跟蹤裝置。在另一實(shí)施例中，對象跟蹤裝置沒有設(shè)置在cpu內(nèi)，而是作為獨(dú)立裝置存在。處理器包括圖像預(yù)處理模塊402，用于對輸入圖像的背景區(qū)域進(jìn)行歸一化處理，以獲得具有固定尺寸的背景區(qū)域的歸一化的圖像；超像素匹配模塊404，用于使用超像素算法將歸一化的圖像轉(zhuǎn)換為超像素圖像并將超像素圖像和參照超像素區(qū)域進(jìn)行匹配，以在超像素圖像中找到具有與參照超像素區(qū)域相似度最高的超像素顏色的匹配區(qū)域；和背景屏蔽模塊406，用于對具有匹配區(qū)域的超像素圖像進(jìn)行屏蔽處理以獲得匹配區(qū)域之外的背景區(qū)域被屏蔽的超像素屏蔽圖像。控制模塊1810，用于控制拍照裝置自動焦點(diǎn)、自動曝光、和自動白平衡，從對象跟蹤裝置接收跟蹤對象，并生成控制信號。圖像獲取模塊1804，用于從控制模塊接收拍攝控制信號，并基于拍攝控制信號獲取圖像。

具有對象跟蹤裝置的拍攝裝置1800還包括：透鏡控制模塊1802，用于接收來著所述控制模塊的控制透鏡控制信號，并基于所述透鏡控制信號控制所述透鏡的焦距。

采用本發(fā)明的實(shí)施例能夠準(zhǔn)確穩(wěn)定地跟蹤對象，通過背景屏蔽的方式從輸出區(qū)域中排除障礙物，使得拍攝的圖像清晰，并且準(zhǔn)確的對焦在跟蹤輸出區(qū)域內(nèi)部的跟蹤對象上。

通過生成二值圖和目標(biāo)對象區(qū)域的邊界矩形以防止自對對焦模塊聚焦 在輸出矩形內(nèi)部的背景區(qū)域上，并且可以穩(wěn)定地跟蹤與相似或相同顏色的障礙物部分重疊的跟蹤對象。如果該跟蹤方法用于相機(jī)的自動對焦功能，則即使跟蹤對象與相似或相同顏色的障礙物部分重疊，相機(jī)也可以聚焦在正確的跟蹤對象上。本發(fā)明所提出的方法可以跟蹤用戶通過相機(jī)的圖形用戶界面gui(graphicaluserinterface)所選擇的任何跟蹤對象，并且可以生成精確地指示跟蹤對象區(qū)域的對象二值圖。使用該對象二值圖，相機(jī)可以保持以高精度聚焦在跟蹤對象區(qū)域上。

以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。