專利名稱：一種圖像跟蹤方法及系統(tǒng)的制作方法
技術(shù)領域：
本發(fā)明涉及圖像跟蹤技術(shù)，尤其涉及一種圖像跟蹤方法及系統(tǒng)。
背景技術(shù)：
目前的圖像跟蹤技術(shù)中，通常采用基于直方圖匹配的目標跟蹤算法實現(xiàn)對目標的跟蹤，即在新一幀圖像中目標可能出現(xiàn)的區(qū)域搜索最匹配的對應目標，作為目標的新位置。具體過程包括在跟蹤區(qū)域內(nèi)確定每個搜索窗口，將每個搜索窗口的直方圖與目標的標準直方圖進行匹配，將最匹配的搜索窗口作為目標的新位置。其中，考慮到每一幀圖像在拍攝過程中，由于目標的遠近移動，而可能使目標在每幀圖像中的尺寸大小不一樣，即目標在每幀圖像中的尺度有可能不同，因此，在新一幀圖像中目標可能出現(xiàn)的區(qū)域除了包括跟蹤區(qū)域中不同位置的區(qū)域外，還包括對相同位置進行不同尺度縮放所形成的區(qū)域。
在基于直方圖匹配的目標跟蹤算法中，現(xiàn)有技術(shù)中有多種實現(xiàn)方法，如Meanshift目標跟蹤算法，以及基于全局搜索的目標跟蹤算法等，但這些算法中，在計算每個搜索窗口的直方圖時，由于直方圖的特點，使得在統(tǒng)計過程中會丟失各像素的空間位置信息，當在跟蹤區(qū)域內(nèi)存在與目標顏色相似的物體時，容易造成跟蹤失敗。

發(fā)明內(nèi)容
有鑒于此，本發(fā)明一方面提供一種圖像跟蹤方法；另一方面提供一種圖像跟蹤系統(tǒng)，能夠提高跟蹤準確度。
本發(fā)明所提供的圖像跟蹤方法，將目標圖像進行分塊，并計算得到目標圖像各分塊的分塊直方圖，該方法包括
將每個搜索窗口分別按照與目標圖像對應的分塊方式進行分塊，得到每個搜索窗口的子窗口；計算每個子窗口的直方圖，將得到的每個子窗口的直方圖與目標圖像對應塊的分塊直方圖進行匹配，得到每個子窗口的分塊匹配度；根據(jù)每個搜索窗口中每個子窗口的分塊匹配度，得到每個搜索窗口的匹配結(jié)果，根據(jù)所述匹配結(jié)果確定目標的跟蹤位置。
較佳地，所述將每個搜索窗口分別按照與目標圖像對應的分塊方式進行分塊之前，進一步包括計算每個搜索窗口的全局直方圖，將所計算的每個搜索窗口的全局直方圖與預先計算的目標圖像的全局直方圖進行匹配，得到每個搜索窗口的全局匹配度，根據(jù)所述每個搜索窗口的全局匹配度，得到多個全局匹配度滿足預設條件的搜索窗口；對所述多個搜索窗口中的每個搜索窗口執(zhí)行所述分別按照與目標圖像對應的分塊方式進行分塊的操作；所述根據(jù)每個搜索窗口中每個子窗口的分塊匹配度，得到每個搜索窗口的匹配結(jié)果為根據(jù)每個搜索窗口的全局匹配度和該搜索窗口中每個子窗口的分塊匹配度，得到每個搜索窗口的匹配結(jié)果。
較佳地，該方法進一步包括通過積分運算，計算整個跟蹤區(qū)域內(nèi)以整個跟蹤區(qū)域預先設定的一角為起始點的所有區(qū)域的直方圖，得到區(qū)域積分直方圖；所述計算每個搜索窗口的全局直方圖具體為利用區(qū)域積分直方圖，計算每個搜索窗口的全局直方圖；所述計算每個子窗口的直方圖具體為利用區(qū)域積分直方圖，計算每個子窗口的直方圖。
其中，所述利用區(qū)域積分直方圖，計算每個搜索窗口的全局直方圖為對每個搜索窗口，用該搜索窗口四個角對應的區(qū)域積分直方圖進行加減運算，得到該搜索窗口的直方圖；所述利用區(qū)域積分直方圖，計算每個子窗口的直方圖為對每個子窗口，用該子窗口四個角對應的區(qū)域積分直方圖進行加減運算，得到該子窗口的直方圖。
其中，所述通過積分運算，計算整個跟蹤區(qū)域內(nèi)以整個跟蹤區(qū)域預先設定的一角為起始點的所有區(qū)域的直方圖，得到區(qū)域積分直方圖包括確定直方圖組數(shù)；計算整個跟蹤區(qū)域中每個像素點所屬的直方圖組別；統(tǒng)計整個跟蹤區(qū)域中以預先設定的一角O作為起始點的所有區(qū)域Ci，j中屬于每個直方圖組別的區(qū)域積分像素個數(shù)；根據(jù)直方圖組數(shù)和每個Ci，j中每個直方圖組別的區(qū)域積分像素個數(shù)，得到每個區(qū)域積分直方圖。
其中，所述統(tǒng)計整個跟蹤區(qū)域中所有Ci，j中屬于每個直方圖組別的區(qū)域積分像素個數(shù)具體為根據(jù)每個像素點所屬的直方圖組別信息，在整個跟蹤區(qū)域O所屬的一條邊的方向上，對每個組別中的像素點個數(shù)進行加法遞推計算，得到每個組別在該方向上的方向積分像素個數(shù)；對得到的每個組別的所述方向積分像素個數(shù)，在整個跟蹤區(qū)域O所屬的另一條邊的方向上進行加法遞推計算，得到每個Ci，j中每個組別的區(qū)域積分像素個數(shù)。
較佳地，計算每個搜索窗口的全局直方圖之前，進一步包括利用分類器對整個跟蹤區(qū)域中目標可能出現(xiàn)的每個搜索窗口進行置信度描述，若不存在置信度滿足跟蹤要求的搜索窗口，則執(zhí)行所述計算每個搜索窗口的全局直方圖的操作。
較佳地，該方法進一步包括若存在置信度滿足跟蹤要求的搜索窗口，則對置信度滿足跟蹤要求的搜索窗口進行直方圖匹配，若直方圖匹配失敗，則執(zhí)行所述計算每個搜索窗口的全局直方圖的操作；若直方圖匹配成功，則將匹配成功的搜索窗口作為目標的跟蹤位置。
較佳地，該方法進一步包括將匹配成功的搜索窗口進行存儲，根據(jù)存儲的預定個數(shù)的搜索窗口的全局直方圖，計算每個特征通道中直方圖各組別的權(quán)重；則所述將搜索窗口的全局直方圖與目標圖像的全局直方圖進行匹配為根據(jù)每個特征通道中各組別的權(quán)重，對搜索窗口的全局直方圖與目標圖像的全局直方圖進行匹配。
較佳地，該方法進一步包括將匹配成功的搜索窗口進行存儲，根據(jù)存儲的預定個數(shù)的搜索窗口的子窗口直方圖，計算全局匹配度的權(quán)重和每個子窗口的分塊匹配度的權(quán)重；則所述根據(jù)每個搜索窗口的全局匹配度和該搜索窗口中每個子窗口的分塊匹配度，得到每個搜索窗口的匹配結(jié)果為根據(jù)每個搜索窗口的全局匹配度及所述全局匹配度的權(quán)重和該搜索窗口中每個子窗口的分塊匹配度及所述分塊匹配度的權(quán)重，得到每個搜索窗口的匹配結(jié)果。
其中，所述直方圖包括顏色直方圖，和/或，梯度方向直方圖。
其中，當直方圖包括梯度方向直方圖時，所述計算每個像素點所屬的直方圖組別包括按照直方圖組數(shù)確定梯度方向的角度區(qū)間；計算每個像素點的梯度方向所屬的角度區(qū)間，得到該像素點所屬的直方圖組別。
其中，所述計算每個像素點的梯度方向所屬的角度區(qū)間包括計算角度區(qū)間的邊界點的正切值，得到正切值區(qū)間；計算每個像素點在坐標軸的y方向的梯度值與x方向的梯度值的比值，根據(jù)該比值所處的正切值區(qū)間，得到每個像素點的梯度方向所屬的角度區(qū)間。
本發(fā)明所提供的圖像跟蹤系統(tǒng)，包括搜索窗口分塊直方圖匹配模塊，用于對確定的當前搜索窗口按照與目標圖像對應的分塊方式進行分塊，得到子窗口，對每個子窗口，計算子窗口直方圖，將所計算的子窗口直方圖與目標圖像對應塊的分塊直方圖進行匹配，得到每個子窗口的分塊匹配度，將所得到的當前搜索窗口的分塊匹配度提供給搜索窗口綜合匹配計算模塊；搜索窗口綜合匹配計算模塊，用于根據(jù)所述當前搜索窗口的所有子窗口的分塊匹配度，計算當前搜索窗口的綜合匹配度，并將計算得到的當前搜索窗口的綜合匹配度提供給跟蹤位置確定模塊；跟蹤位置確定模塊，用于根據(jù)搜索窗口綜合匹配計算模塊提供的所有搜索窗口的綜合匹配度，將匹配最好的搜索窗口區(qū)域作為目標的跟蹤位置。
較佳地，該系統(tǒng)進一步包括搜索窗口全局直方圖匹配模塊，用于從跟蹤區(qū)域中確定當前的搜索窗口，并計算當前搜索窗口的全局直方圖，將計算得到的當前搜索窗口的全局直方圖與預先計算的目標圖像的全局直方圖進行匹配，將匹配結(jié)果提供給搜索窗口選取模塊；搜索窗口選取模塊，用于根據(jù)搜索窗口全局直方圖匹配模塊提供的所有搜索窗口的匹配結(jié)果，從中選取滿足預設條件的多個搜索窗口，提供給所述搜索窗口分塊直方圖匹配模塊；所述搜索窗口分塊直方圖匹配模塊，進一步地從搜索窗口選取模塊提供的搜索窗口中確定當前的搜索窗口，對所述確定的當前搜索窗口執(zhí)行所述按照與目標圖像對應的分塊方式進行分塊的操作；將所得到的當前搜索窗口的分塊匹配度提供給搜索窗口綜合匹配計算模塊時，進一步將當前搜索窗口的全局匹配度提供給搜索窗口綜合匹配計算模塊；所述搜索窗口綜合匹配計算模塊，進一步還根據(jù)所述當前搜索窗口的全局匹配度，執(zhí)行所述計算當前搜索窗口的綜合匹配度的操作。
較佳地，該系統(tǒng)進一步包括區(qū)域積分計算模塊，用于通過積分運算，計算整個跟蹤區(qū)域內(nèi)以整個跟蹤區(qū)域預先設定的一角為起始點的所有區(qū)域的直方圖，得到區(qū)域積分直方圖，并將得到的區(qū)域積分直方圖提供給所述搜索窗口全局直方圖匹配模塊和所述搜索窗口分塊直方圖匹配模塊；所述搜索窗口全局直方圖匹配模塊，利用所述區(qū)域積分直方圖，執(zhí)行所述計算當前搜索窗口的全局直方圖的操作；所述搜索窗口分塊直方圖匹配模塊，利用所述區(qū)域積分直方圖，執(zhí)行所述計算子窗口直方圖的操作。
較佳地，該系統(tǒng)進一步包括目標分類器跟蹤模塊，用于利用分類器對整個跟蹤區(qū)域中目標可能出現(xiàn)的每個搜索窗口進行置信度描述，若不存在置信度滿足跟蹤要求的搜索窗口，則向所述搜索窗口全局直方圖匹配模塊發(fā)送跟蹤失敗的通知；所述搜索窗口全局直方圖匹配模塊，進一步地根據(jù)所述跟蹤失敗的通知，執(zhí)行所述從跟蹤區(qū)域中確定當前搜索窗口的操作。
較佳地，該系統(tǒng)進一步包括直方圖匹配模塊；則目標分類器跟蹤模塊進一步用于若存在置信度滿足跟蹤要求的搜索窗口，則將所述置信度滿足跟蹤要求的搜索窗口提供給直方圖匹配模塊；直方圖匹配模塊，用于計算目標分類器跟蹤模塊提供的置信度滿足跟蹤要求的搜索窗口的直方圖，將計算的搜索窗口直方圖與目標圖像的標準直方圖進行匹配，根據(jù)匹配結(jié)果，確定目標的跟蹤位置。
較佳地，該系統(tǒng)進一步包括直方圖權(quán)重更新模塊；則所述直方圖匹配模塊，進一步地將直方圖匹配成功的搜索窗口提供給直方圖權(quán)重更新模塊；直方圖權(quán)重更新模塊，用于根據(jù)存儲的預定個數(shù)的搜索窗口的子窗口直方圖，計算每個子窗口的分塊匹配度的權(quán)重，將所述計算的每個子窗口的分塊匹配度的權(quán)重提供給所述搜索窗口綜合匹配計算模塊；所述搜索窗口綜合匹配計算模塊，進一步地根據(jù)直方圖權(quán)重更新模塊提供的每個子窗口的分塊匹配度的權(quán)重，執(zhí)行所述根據(jù)所述當前搜索窗口的所有子窗口的分塊匹配度，計算當前搜索窗口的綜合匹配度的操作。
從上述方案可以看出，本發(fā)明中在進行直方圖匹配時，通過采用分塊直方圖匹配，從而避免了由于在統(tǒng)計過程中丟失各像素的空間位置信息而造成跟蹤失敗的情況，進一步保證了跟蹤效果。
此外，本發(fā)明中在進行直方圖匹配時，除了包括顏色直方圖，還包括梯度方向直方圖，從而在跟蹤區(qū)域內(nèi)存在與目標顏色相似的物體時，不會受到該物體的干擾，進一步保證了跟蹤效果。
另外，本發(fā)明中首先計算整個跟蹤區(qū)域的區(qū)域積分直方圖，然后利用區(qū)域積分直方圖，通過加減運算，逐次計算每個搜索窗口的直方圖。即本發(fā)明中對每個像素點所屬的直方圖組別只在計算積分直方圖時計算一次，之后對每個搜索窗口的直方圖的計算只需根據(jù)區(qū)域積分直方圖的結(jié)果，進行三次加減運算，得到搜索窗口的直方圖，在對大量窗口進行匹配的情況下，該算法大大降低了運算量，提高了運算速度，保證了跟蹤的實時性；又因為利用這種區(qū)域積分直方圖的算法，可對本發(fā)明中目標可能出現(xiàn)的每個搜索窗口都進行直方圖匹配，根據(jù)所有匹配結(jié)果得到目標的預測位置，從而進一步保證了跟蹤效果。
最后，本發(fā)明中在進行直方圖匹配時，進一步采用與目標分類器相結(jié)合的方法，從而由目標分類器實現(xiàn)粗略跟蹤，進一步提高了跟蹤實時性，之后由直方圖匹配實現(xiàn)精細跟蹤，保證了跟蹤效果。


圖1為本發(fā)明實施例一中圖像跟蹤方法的流程圖。
圖2為本發(fā)明實施例一中圖像跟蹤系統(tǒng)的結(jié)構(gòu)示意圖。
圖3為本發(fā)明實施例二中圖像跟蹤方法的流程圖。
圖4為本發(fā)明實施例二中圖像跟蹤系統(tǒng)的結(jié)構(gòu)示意圖。
圖5為本發(fā)明實施例三中直方圖計算方法的流程圖。
圖6(a)為大小為7×7的跟蹤區(qū)域像素矩陣示意圖。
圖6(b)為圖6(a)所示像素矩陣中每個像素點所屬直方圖組別信息的矩陣圖。
圖7為每個直方圖組別的行積分像素個數(shù)矩陣圖。
圖8為每個直方圖組別的區(qū)域積分像素個數(shù)矩陣圖。
圖9(a)為圖6(a)所示像素矩陣的一種區(qū)域窗口劃分示意圖。
圖9(b)為在圖8所示區(qū)域積分像素個數(shù)矩陣中計算搜索窗口像素個數(shù)的示意圖。
圖10為本發(fā)明實施例三中一種圖像跟蹤系統(tǒng)的結(jié)構(gòu)示意圖。
圖11為本發(fā)明實施例三中又一種圖像跟蹤系統(tǒng)的結(jié)構(gòu)示意圖。
圖12為本發(fā)明實施例四中圖像跟蹤方法的流程圖。
圖13為本發(fā)明實施例四中一種圖像跟蹤系統(tǒng)的結(jié)構(gòu)示意圖。
圖14為本發(fā)明實施例四中又一種圖像跟蹤系統(tǒng)的結(jié)構(gòu)示意圖。
具體實施例方式
本發(fā)明的基本思想是為了體現(xiàn)目標的邊緣特征和空間位置特征，預先將目標圖像按照預設的塊數(shù)進行分塊，并計算目標圖像的分塊直方圖，即目標圖像的標準直方圖中包括分塊直方圖；將每個搜索窗口分別按照與目標圖像對應的分塊方式進行分塊，得到每個搜索窗口的子窗口；計算每個子窗口的直方圖，將得到的每個子窗口的直方圖與目標圖像對應塊的分塊直方圖進行匹配，得到每個子窗口的分塊匹配度；根據(jù)每個搜索窗口中每個子窗口的分塊匹配度，得到每個搜索窗口的匹配結(jié)果，根據(jù)所述匹配結(jié)果確定目標的跟蹤位置。
為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚明白，下面結(jié)合實施例和附圖，對本發(fā)明進一步詳細說明。
實施例一圖1為本發(fā)明實施例一中圖像跟蹤方法的流程圖。如圖1所示，該流程包括如下步驟步驟101，確定當前搜索窗口。
本步驟中，可按現(xiàn)有技術(shù)中的選取方法確定當前搜索窗口，也可按其它方法確定當前搜索窗口。
例如可預先在當前幀圖像中設置跟蹤區(qū)域，在整個跟蹤區(qū)域中確定當前搜索窗口?；蛘撸部梢栽陬A先設定的幾個搜索窗口中，確定當前搜索窗口。
本實施例中，若在當前幀圖像中設置跟蹤區(qū)域，則設置跟蹤區(qū)域的方法可以有多種。其中一種可以為先通過位置預測得到目標的預測位置，然后在目標的預測位置基礎上，根據(jù)目標的最大運動速度來設置目標的整個跟蹤區(qū)域。
例如可采用如下的位置預測方法，得到目標的預測位置若跟蹤到目標在時刻t的位置為(xt，yt)，在時刻t-Δt的位置為(xt-1，yt-1)，則可以簡單的估計當前目標的速度為vx＝(xt-xt-1)/Δt，vy＝(yt-yt-1)/Δt。
考慮到目標的不規(guī)則運動或者跟蹤過程中的偏差，為了避免上述估計不夠穩(wěn)定，可采用濾波器通過多幀圖像來平滑速度向量，并得到如下的速度向量vx(t)=k×(xt-xt-1)/Δt+Σn=1k-1(k-n)×vx(t-n)Σn=1kn,vy(t)=k×(yt-yt-1)/Δt+Σn=1k-1(k-n)×vy(t-n)Σn=1kn,]]>其中，k為進行平滑所需的總圖像幀數(shù)。
根據(jù)目標的速度向量估計，可以預測目標在下一時刻的位置為t+1＝xt+vx(t)，y^t+1=yt+vy(t).]]>其中，在對不只一個像素點的目標的位置進行預測時，(xt，yt)和 都為目標的位置中心點，因此，得到目標在下一時刻的預測位置中心點 之后，根據(jù)該中心點確定目標在下一時刻的預測位置(xp，yp，wp，hp)，其中，(xp，yp)為目標在下一時刻位置的左上角點的坐標，(wp，hp)為目標在下一時刻位置的寬度和高度。
得到上述預測位置之后，可按照如下方法，根據(jù)目標的最大運動速度來設置目標的整個跟蹤區(qū)域設最大預測誤差Δmax＝(Δxmax，Δymax)，則目標可能出現(xiàn)的矩形區(qū)域為(xs，ys，ws，hs)，其中，xs＝xp-Δxmax，ys＝y(tǒng)p-Δymax，ws＝wp+2Δxmax，hs＝hp+2Δymax。
將矩形區(qū)域(xs，ys，ws，hs)設置為整個跟蹤區(qū)域。
在整個跟蹤區(qū)域內(nèi)確定當前搜索窗口時，可采用現(xiàn)有技術(shù)中的多種確定方法，以采用窮盡搜索法為例，在整個跟蹤區(qū)域中逐次搜索目標可能出現(xiàn)的區(qū)域，即搜索窗口。其中，目標可能出現(xiàn)的搜索窗口還包括可能尺度下的區(qū)域窗口，假設目標區(qū)域為w×h，可能的尺度c為0.9倍、1.0倍、1.1倍等，則目標可能出現(xiàn)的搜索窗口包括0.9w×0.9h、w×h、1.1w×1.1h等大小的區(qū)域窗口。
在確定當前搜索窗口時，可在每個尺度下，按照一定的方向，如由左向右，由上向下的方向，或由上向下，由左向右的方向等依次確定當前搜索窗口。例如，具體實現(xiàn)過程可以為在每個可能的尺度c下，計算尺度c所對應目標區(qū)域的寬度wc＝c×w和高度hc＝c×h，之后按照一定的方向確定每個可能的搜索窗口左上角位置(x，y)，得到當前搜索窗口(x，y，wc，hc)。其中c∈C，C為所有可能尺度的集合，如C＝{0.8，0.9，1.0，1.1，1.2}等。
此外，還可以采用多種其它的方法，具體采用何種方法根據(jù)實際需要而定。
若在預先設定的幾個搜索窗口中，確定當前搜索窗口，則本實施例中，可預先對預設的幾個搜索窗口進行編號，假設共有N個搜索窗口，則可將N個搜索窗口依次編號為1，2，......，N?？纱_定N個中的一個作為當前搜索窗口，如可按照編號次序，確定當前搜索窗口。
步驟102，將所確定的當前搜索窗口按照與目標圖像相同的分塊方法進行分塊，得到多個子窗口。
本步驟中，假設目標圖像分為M×N塊，則也將當前搜索窗口分為大小對應的M×N塊。
步驟103，計算每個子窗口的直方圖，并將所計算的子窗口直方圖與目標圖像對應塊的分塊直方圖進行匹配，得到每個子窗口匹配結(jié)果。
本步驟中，子窗口匹配結(jié)果的具體計算過程可以為
for m＝1→M{for n＝1→N{計算第(m，n)塊的子窗口直方圖；將所計算的第(m，n)塊子窗口直方圖與目標圖像的第(m，n)塊分塊直方圖進行匹配，記錄匹配結(jié)果；}}上述計算過程表示，按照從上到下，從左到右的方向逐次選取當前塊，并計算當前塊的子窗口直方圖，將所計算的當前塊的子窗口直方圖與目標圖像對應塊的分塊直方圖進行匹配，并記錄匹配結(jié)果(匹配度)，之后選取當前塊的下一塊作為當前塊，繼續(xù)上述過程，直到匹配完所有子窗口。
其中，計算第(m，n)塊的子窗口直方圖時，計算方法與計算未分塊的搜索窗口直方圖的方法相同，可應用現(xiàn)有技術(shù)中的多種直方圖計算方法進行計算，也可采用其它直方圖計算方法進行計算。
例如計算直方圖的一般過程包括確定直方圖的組數(shù)K，即位數(shù)，或稱長度；然后計算搜索區(qū)域(子窗口區(qū)域或未分塊的搜索窗口區(qū)域)中每個像素點所屬直方圖組別k的組別信息fk(i，j)，k∈(0，1，...，K-1)，即計算每個像素點屬于直方圖的第幾位。然后根據(jù)直方圖組數(shù)和搜索區(qū)域中每個組別k的像素個數(shù)，得到每個搜索區(qū)域的直方圖。
一般情況下，直方圖都為顏色直方圖，而顏色標準一般包括紅綠藍(RGB)圖像標準，或YUV圖像標準等。計算顏色直方圖時，可以將整個顏色作為一個特征通道，計算該特征通道的直方圖，或者，為了描述目標圖像的顏色特征，也可以將其中每一個顏色通道作為一個特征通道，計算每個特征通道的直方圖。如若采用RGB圖像標準，則特征通道可以為紅(R)、綠(G)、藍(B)三個顏色通道；若采用YUV圖像標準，則特征通道可以為Y、U、V三個顏色通道。
因為像素的亮度色階分布為0～255，總數(shù)為256，若以其中的一個特征通道為例，用I(i，j)表示(i，j)處像素點在該特征通道中的色階值，并用fk(i，j)，k∈(0，1，...，K-1)表示(i，j)處像素點所屬的組別信息，則(i，j)處像素點在該特征通道中所屬的直方圖組別計算可以為fk(i,j)=1,I(i,j)256/K=k0,]]>其中，為1表示屬于第k組，為0表示不屬于第k組。當然，也可以采用區(qū)間計算法，即分別計算各組別的邊界值，根據(jù)組別的邊界值，判斷I(i，j)所屬的組別區(qū)間，從而得到I(i，j)所屬的組別。計算出所有fk(i，j)后，得到每個特征通道的每個組別中的像素點個數(shù)，根據(jù)直方圖組數(shù)和每個特征通道中的各組別的像素點個數(shù)，得到各特征通道的直方圖。則搜索區(qū)域的直方圖hwin包括每個顏色通道的直方圖，即hwin＝[hr，hg，hb]，或hwin＝[hy，hu，hv]，相應地，預先計算的目標圖像的標準直方圖hstd為hstd＝[hr，hg，hb]，或hstd＝[hy，hu，hv]。其中，hr，hg，hb分別為R、G、B特征通道的直方圖；同理，hy，hu，hv分別為Y、U、V特征通道的直方圖。
由于顏色直方圖只是對顏色的一種描述，因此容易受到與目標顏色相似的物體的干擾，使跟蹤不準確，為此，可在采用顏色直方圖的基礎上，結(jié)合另外一種直方圖，即梯度方向直方圖。
梯度方向直方圖是指按照直方圖組數(shù)確定梯度方向的角度區(qū)間；計算每個像素點的梯度方向所屬的角度區(qū)間，得到該像素點所屬的直方圖組別。具體計算過程如下假設用I(i，j)表示(i，j)處像素點的灰度值，用Gx(i，j)表示x方向上的梯度值，Gy(i，j)表示y方向上的梯度值，Gdir(i，j)表示梯度方向，則有Gx(i，j)＝I(i+1，j)-I(i-1，j)，Gy(i，j)＝I(i，j+1)-I(i，j-1)，Gdir(i,j)=arctanGy(i,j)Gx(i,j).]]>因為-π2<arctanGy(i,j)Gx(i,j)<π2,]]>因此可將梯度方向在 范圍內(nèi)對直方圖分組，若直方圖組數(shù)為K，則將 分為K個角度區(qū)間。如可進行如下區(qū)間劃分R0=[-π2,-(2K-1)π2K)∪[(2K-1)π2K,π2)Ri=[-π2+iπK-π2K,-π2+iπK+π2K),i=1,2......,K-1]]>計算出每個像素點的Gdir(i，j)，根據(jù)Gdir(i，j)所處區(qū)間的范圍，得到該像素點所屬直方圖的組別。
實際應用中，為了避免進行反正切運算，可以首先計算區(qū)間邊界上點的正切值bi，然后計算(i，j)處像素點的梯度比Gy(i，j)/Gx(i，j)所處的區(qū)間(bi-1，bi)，然后得到該像素點所屬的直方圖組別。若仍用fk(i，j)，k∈(0，1，...，K-1)表示(i，j)處像素點所屬的組別信息，則具體計算過程可以為fk(i,j)=1,bi-1<Gy(i,j)/Gx(i,j)<bi0.]]>之后，對每個梯度方向直方圖組別中的像素個數(shù)進行統(tǒng)計，最后根據(jù)梯度方向直方圖組數(shù)和每個組別中的像素個數(shù)，得到搜索區(qū)域的梯度方向直方圖hdir。若計算顏色直方圖時采用的是對顏色的每個顏色通道都計算直方圖，則結(jié)合顏色直方圖和梯度方向直方圖后每個搜索區(qū)域的總直方圖hwin為hwin＝[hr，hg，hb，hdir]，(或hwin＝[hy，hu，hv，hdir])，相應地，預先計算的目標圖像的標準直方圖hstd為hstd＝[hr，hg，hb，hdir]，(或hstd＝[hy，hu，hv，hdir])，即此時特征通道還包括梯度方向通道。
其中，梯度方向直方圖也可單獨使用，此時搜索區(qū)域的直方圖hwin為hwin＝hdir相應地，預先計算的目標圖像的標準直方圖hstd為hstd＝hdir。
將所計算的第(m，n)塊子窗口直方圖與目標圖像的第(m，n)塊分塊直方圖進行匹配時，可采用多種匹配方法，如可采用歐式距離作為直方圖匹配的標準，若用hmn表示第(m，n)塊的子窗口直方圖，用hstmn表示目標圖像第(m，n)塊的分塊直方圖，用M(hmn，hstmn)表示hmn與hstmn的匹配度，則M(hmn,hstmn)=ΣdD(hmn.d,hstmn.d),]]>D(hmn.d,hstmn.d)=Σk=0K-1(hmn.d(k)-hstmn.d(k))2.]]>
其中，若只采用顏色直方圖，則d∈D，D＝{r，g，b}(或D＝{y，u，v})；若采用顏色直方圖結(jié)合梯度方向直方圖，則d∈D，D＝{r，g，b，Gdir}(或D＝{y，u，v，Gdir})，或d∈D，D＝Gdir；若只采用梯度方向直方圖，則d∈D，D＝Gdir。
其中，K為直方圖的組數(shù)，k為直方圖的組別，D(hmn.d，hstmn.d)為d特征通道中第(m，n)塊子窗口直方圖與目標圖像的第(m，n)塊分塊直方圖之間的偏差大小，M(hmn，hstmn)為第(m，n)塊子窗口直方圖與目標圖像的第(m，n)塊分塊直方圖的綜合偏差。
較佳地，上述計算過程中，為了使計算更加準確，也可以在計算公式中添加權(quán)重，如D(hmn.d，hstmn.d)可以為D(hmn.d,hstmn.d)=Σk=0K-1w(d,k)(hmn.d(k)-hstmn.d(k))2,]]>其中，w(d，k)為d特征通道中直方圖第k組的權(quán)重；而M(hmn，hstmn)也可以為M(hmn,hstmn)=ΣdwdD(hmn.d,hstmn.d),]]>其中，wd為d特征通道的權(quán)重。
最后，將得到的分塊匹配度M(hmn，hstmn)進行記錄。
步驟104，根據(jù)當前搜索窗口的子窗口匹配結(jié)果，計算當前搜索窗口與目標的綜合匹配結(jié)果。
其中，若用Mz表示當前搜索窗口與目標圖像的綜合匹配結(jié)果，則綜合匹配結(jié)果Mz可以為Mz=Σ1≤m≤M,1≤n≤NwmnM(hmn,hstmn),]]>其中，wmn為搜索窗口分塊匹配結(jié)果M(hmn，hstmn)的權(quán)重。權(quán)重wmn可以根據(jù)經(jīng)驗值設置，也可以根據(jù)實際需要設置。
步驟105，判斷是否所有搜索窗口都已分塊匹配完畢，如果是，則執(zhí)行步驟106；否則，返回執(zhí)行步驟101。
步驟106，根據(jù)綜合匹配結(jié)果，得到目標的跟蹤位置。
本實施例中，步驟104中計算的匹配結(jié)果Mz為當前搜索窗口與目標圖像的綜合匹配度，而Mz實際上得到的是二者之間的偏差大小，因此，Mz的值越小，表示當前搜索窗口與目標圖像越匹配。根據(jù)步驟104中記錄下來的所有搜索窗口的Mz，從中選取Mz值最小的搜索窗口區(qū)域作為目標的跟蹤位置。
上述對本發(fā)明實施例一中的圖像跟蹤方法進行了詳細描述，下面再對本發(fā)明實施例一中圖像跟蹤系統(tǒng)進行詳細描述。
圖2為本發(fā)明實施例一中圖像跟蹤系統(tǒng)的結(jié)構(gòu)示意圖。如圖2所示，該系統(tǒng)包括搜索窗口分塊直方圖匹配模塊、搜索窗口綜合匹配計算模塊和跟蹤位置確定模塊。
其中，搜索窗口分塊直方圖匹配模塊，用于對確定的當前搜索窗口按照與目標圖像對應的分塊方式進行分塊，得到子窗口，對每個子窗口，計算子窗口直方圖，將所計算的子窗口直方圖與目標圖像對應塊的分塊直方圖進行匹配，得到每個子窗口的分塊匹配度，將所得到的當前搜索窗口的分塊匹配度提供給搜索窗口綜合匹配計算模塊。
搜索窗口綜合匹配計算模塊，用于根據(jù)搜索窗口分塊直方圖匹配模塊提供的當前搜索窗口的所有子窗口的分塊匹配度，計算當前搜索窗口與目標的綜合匹配度，并將計算得到的當前搜索窗口的綜合匹配度提供給跟蹤位置確定模塊。
跟蹤位置確定模塊，用于根據(jù)搜索窗口綜合匹配計算模塊提供的所有搜索窗口的綜合匹配度，將匹配最好的搜索窗口區(qū)域作為目標的跟蹤位置。
其中，圖2所示系統(tǒng)中每個功能模塊的詳細實現(xiàn)過程可以與圖1所示方法流程中的描述一致。
實施例二圖3為本發(fā)明實施例二中圖像跟蹤方法的流程圖。如圖3所示，該流程包括如下步驟步驟301，在當前幀圖像整個跟蹤區(qū)域中確定當前搜索窗口。
本實施例中，可在當前幀圖像中設置跟蹤區(qū)域，則本步驟中在整個跟蹤區(qū)域中確定當前搜索窗口的方法可與圖1所示步驟101中的描述一致。
步驟302，計算當前搜索窗口的全局直方圖。
本步驟中，計算全局直方圖的方法與圖1所示步驟103中描述的直方圖計算方法一致。并且該處的全局直方圖可以是顏色直方圖，也可以是顏色直方圖結(jié)合梯度方向直方圖，還可以是梯度方向直方圖等。
步驟303，將所計算的當前搜索窗口的全局直方圖與預先計算的目標圖像的全局直方圖進行匹配，得到當前搜索窗口的全局匹配度。
本步驟中，全局匹配度的計算方法也有多種，如也可采用歐式距離作為直方圖匹配的標準，若用hwin表示當前搜索窗口的全局直方圖，用hstd表示目標圖像的全局直方圖，用M(hwin，hstd)表示hwin與hstd的匹配度，則M(hwin，hstd)的計算過程可以為M(hwin,hstd)=ΣdD(hwin.d,hstd.d),]]>D(hwin.d,hstd.d)=Σk=0K-1(hwin.d(k)-hstd.d(k))2.]]>其中，K為直方圖的組數(shù)，k為直方圖的組別，D(hwin.d，hstd.d)為d特征通道中搜索窗口直方圖與目標圖像的標準直方圖之間的偏差大小，M(hwin，hstd)為hwin與hstd的綜合偏差。其中，若只采用顏色直方圖，則d∈D，D＝{r，g，b}(或D＝{y，u，v})；若采用顏色直方圖結(jié)合梯度方向直方圖，則d∈D，D＝{r，g，b，Gdir}(或D＝{y，u，v，Gdir})，或d∈D，D＝Gdir；若只采用梯度方向直方圖，則d∈D，D＝Gdir。
較佳地，上述計算過程中，為了使計算更加準確，可以在計算公式中添加權(quán)重，如D(hwin.d，hstd.d)可以為D(hwin.d,hstd.d)=Σk=0K-1w(d,k)(hwin.d(k)-hstd.d(k))2,]]>其中，w(d，k)為d特征通道中直方圖第k組的權(quán)重；M(hwin，hstd)也可以為M(hwin,hstd)=ΣdwdD(hwin.d,hstd.d),]]>其中，wd為d特征通道的權(quán)重。
其中，權(quán)重w(d，k)和wd可以由經(jīng)驗值或?qū)嶋H需要得到。
最后，將得到的搜索窗口匹配度M(hwin，hstd)進行記錄。
步驟304，判斷是否所有搜索窗口都已匹配完畢，如果是，則執(zhí)行步驟305；否則，返回執(zhí)行步驟301。
步驟305，根據(jù)每個搜索窗口的全局匹配度，得到多個全局匹配度滿足預設條件的搜索窗口。
本步驟中，根據(jù)步驟303中記錄的匹配結(jié)果M(hwin，hstd)，按照預設的條件，選取符合條件的M(hwin，hstd)值較小的多個搜索窗口。其中預設條件可以為選擇的搜索窗口個數(shù)N，則根據(jù)該預設條件選取N個M(hwin，hstd)值較小的搜索窗口；或者預設條件可以為M(hwin，hstd)值門限，則根據(jù)該預設條件選取M(hwin，hstd)值小于該門限的搜索窗口。
本步驟中可對選取的多個搜索窗口進行編號，假設選取了N個搜索窗口，則可將N個搜索窗口依次編號為1，2，......，N。
步驟306，從得到的多個搜索窗口中確定當前搜索窗口。
本步驟中，可按照圖1所示步驟101中描述的方式進行確定，若步驟305中對所選取的多個窗口進行了編號，則本步驟中，可按照編號次序，確定當前搜索窗口。
步驟307，將所確定的當前搜索窗口按照與目標圖像相同的分塊方法進行分塊，得到多個子窗口。
本步驟的具體實現(xiàn)過程可與圖1所示步驟102中的描述一致。
步驟308，計算每個子窗口的直方圖，并將所計算的子窗口直方圖與目標圖像對應塊的分塊直方圖進行匹配，得到每個子窗口匹配結(jié)果。
本步驟的具體實現(xiàn)過程可與圖1所示步驟103中的描述一致。
步驟309，根據(jù)當前搜索窗口的子窗口匹配結(jié)果，計算當前搜索窗口與目標的綜合匹配結(jié)果。
本步驟的具體實現(xiàn)過程可與圖1所示步驟104中的描述一致。也可以是按照如下方法進行計算若仍用Mz表示當前搜索窗口與目標圖像的綜合匹配結(jié)果，則綜合匹配結(jié)果Mz可以為Mz=w1M(hwin,hstd)+Σ1≤m≤M,1≤n≤NwmnM(hmn,hstmn),]]>其中，w1為搜索窗口全局匹配結(jié)果M(hwin，hstd)的權(quán)重，wmn為搜索窗口分塊匹配結(jié)果M(hmn，hstmn)的權(quán)重。權(quán)重w1和wmn可以根據(jù)經(jīng)驗值設置，也可以根據(jù)實際需要設置。
步驟310，判斷是否所選取的搜索窗口都已分塊匹配完畢，如果是，則執(zhí)行步驟311；否則，返回執(zhí)行步驟306。
步驟311，根據(jù)綜合匹配結(jié)果，得到目標的跟蹤位置。
本步驟中，根據(jù)綜合匹配結(jié)果Mz，從中選取Mz值最小的搜索窗口區(qū)域作為目標的跟蹤位置。
若需繼續(xù)跟蹤目標，則提取下一幀圖像，返回執(zhí)行步驟301。
上述對本發(fā)明實施例二中的圖像跟蹤方法進行了詳細描述，下面再對本發(fā)明實施例二中圖像跟蹤系統(tǒng)進行詳細描述。
圖4為本發(fā)明實施例二中圖像跟蹤系統(tǒng)的結(jié)構(gòu)示意圖。如圖4所示，該系統(tǒng)在圖2所示系統(tǒng)的基礎上，進一步包括搜索窗口全局直方圖匹配模塊和搜索窗口選取模塊。
其中，搜索窗口全局直方圖匹配模塊，用于從跟蹤區(qū)域中確定當前的搜索窗口，并計算當前搜索窗口的全局直方圖，將計算得到的當前搜索窗口的全局直方圖與預先計算的目標圖像的全局直方圖進行匹配，將匹配結(jié)果提供給搜索窗口選取模塊。
搜索窗口選取模塊，用于根據(jù)搜索窗口全局直方圖匹配模塊提供的所有搜索窗口的匹配結(jié)果，從中選取滿足預設條件的多個搜索窗口，提供給所述搜索窗口分塊直方圖匹配模塊。
則搜索窗口分塊直方圖匹配模塊，進一步地從搜索窗口選取模塊提供的搜索窗口中確定當前的搜索窗口，對所述確定的當前搜索窗口執(zhí)行所述按照與目標圖像對應的分塊方式進行分塊的操作。
此外，搜索窗口分塊直方圖匹配模塊將所得到的當前搜索窗口的分塊匹配度提供給搜索窗口綜合匹配計算模塊時，還可進一步將當前搜索窗口的全局匹配度提供給搜索窗口綜合匹配計算模塊。則搜索窗口綜合匹配計算模塊，進一步地，還可根據(jù)所述當前搜索窗口的全局匹配度，執(zhí)行所述計算當前搜索窗口的綜合匹配度的操作，即搜索窗口綜合匹配計算模塊，用于根據(jù)搜索窗口分塊直方圖匹配模塊提供的當前搜索窗口的全局匹配度及當前搜索窗口中所有子窗口的分塊匹配度，計算當前搜索窗口的綜合匹配度，并將計算得到的當前搜索窗口的綜合匹配度提供給跟蹤位置確定模塊。
實施例三本實施例中的圖像跟蹤方法可與實施例一中的圖像跟蹤方法一致，也可與實施例二中的圖像跟蹤方法一致。其區(qū)別在于為了縮減直方圖的計算次數(shù)，提高運算速度，以保證跟蹤的實時性，本實施例中，對實施例一和實施例二中所述的直方圖(包括分塊直方圖和全局直方圖)采用圖5所示的方法進行計算，圖5為本發(fā)明實施例三中直方圖計算方法的流程圖，該流程包括如下步驟步驟501，預先計算整個跟蹤區(qū)域的區(qū)域積分直方圖。
其中，計算整個跟蹤區(qū)域的區(qū)域積分直方圖時，可通過積分運算，計算整個跟蹤區(qū)域內(nèi)以整個跟蹤區(qū)域預先設定的一角為起始點的所有區(qū)域的直方圖，得到區(qū)域積分直方圖。
具體可以為確定積分直方圖的組數(shù)K，即位數(shù)，或稱長度；然后計算整個跟蹤區(qū)域中每個像素點所屬直方圖組別k的組別信息fk(i，j)，k∈(0，1，...，K-1)，即計算每個像素點屬于直方圖的第幾位。為統(tǒng)一起見，本文中凡涉及起始點的地方，都按起始點為0點進行處理；預先設定整個跟蹤區(qū)域的一角O作為起始點，統(tǒng)計整個跟蹤區(qū)域中以O作為起始點的所有區(qū)域Ci，j中屬于每個組別k的像素個數(shù)，將每個Ci，j中屬于每個組別k的像素個數(shù)統(tǒng)稱為每個Ci，j中屬于每個組別k的區(qū)域積分像素個數(shù)IIk(i，j)；根據(jù)直方圖組數(shù)和每個以O作為起始點的區(qū)域Ci，j中每個組別k的區(qū)域積分像素個數(shù)IIk(i，j)，得到每個區(qū)域Ci，j的直方圖，并將每個Ci，j的直方圖統(tǒng)稱為區(qū)域積分直方圖。其中，對于步驟101中所設置的跟蹤區(qū)域，Ci，j中i，j的取值為0≤i＜ws，0≤j＜hs，且IIk(i,j)=Σm<i,n<jfk(i,j).]]>具體實現(xiàn)時，為了快速統(tǒng)計每個Ci，j中每個直方圖組別中的像素個數(shù)，可以采用加法遞推運算，根據(jù)每個像素點所屬的直方圖組別信息，在整個跟蹤區(qū)域起始點O所屬的一條邊的方向上，對每個組別中的像素點個數(shù)進行加法遞推計算，得到每個組別在該方向上的方向積分像素個數(shù)，對得到的每個組別的方向積分像素個數(shù)，在整個跟蹤區(qū)域O所屬的另一條邊的方向上進行加法遞推計算，得到每個Ci，j中每個組別的區(qū)域積分像素個數(shù)。
其中，O可以為左上角，或右上角，或左下角，或右下角，O所屬的一條邊的方向可以是行方向，也可以是列方向，若是行方向，則O所屬的另一條邊的方向為列方向；若是列方向，則O所屬的另一條邊的方向為行方向。
為方面描述，下文中均以O為左上角，O所屬的一條邊的方向為行方向的情況為例。
以顏色直方圖的情況為例，若以顏色通道中的一個特征通道為例，用I(i，j)表示(i，j)處像素點在該特征通道中的色階值，并用fk(i，j)，k∈(0，1，...，K-1)表示(i，j)處像素點所屬的組別信息，則(i，j)處像素點在該特征通道中所屬的直方圖組別計算可以為fk(i,j)=1,I(i,j)256/K=k0,]]>其中，為1表示屬于第k組，為0表示不屬于第k組。當然，也可以采用區(qū)間計算法，即分別計算各組別的邊界值，根據(jù)組別的邊界值，判斷I(i，j)所屬的組別區(qū)間，從而得到I(i，j)所屬的組別。計算出所有fk(i，j)后，得到K個組別矩陣Fk，k∈(0，1，...，K-1)。
圖6給出了一組計算得到的每個像素點所屬直方圖組別的示意圖。如圖6(a)所示，圖6(a)為大小為7×7的跟蹤區(qū)域像素矩陣示意圖。為方便描述，圖6中以整個跟蹤區(qū)域大小為7×7的情況為例，并假設直方圖組數(shù)K＝8，起始點O的坐標(xs，ys)為(0，0)，則在7×7的像素矩陣跟蹤區(qū)域中，每個像素點所屬直方圖組別的情況分別如圖6(b)中所示的8個組別矩陣Fk，k∈(0，1，...，7)，圖6(b)為圖6(a)所示像素矩陣中每個像素點所屬直方圖組別信息的矩陣圖。如圖6(b)所示，F(xiàn)0示出了像素點在直方圖中第0組的分布，......，F(xiàn)7示出了像素點在直方圖中第7組的分布，F(xiàn)k中的1表示屬于直方圖中的k組，0表示不屬于直方圖中的k組。如F0中(1，2)位置處的值為1，即f0(1，2)的值為1，而其它Fk，k∈(1，...，7)中相應位置處的值都為0，即fk(i，j)，k∈(1，...，7)為0，表示圖6(a)中(1，2)位置處的像素點屬于直方圖的第0組，依次類推，圖6(b)中的組別矩陣Fk示出了每個像素點所屬直方圖的組別信息。
在得出了每個像素點所屬的直方圖組別信息后，下面對每個直方圖組別中的像素個數(shù)的統(tǒng)計進行詳細描述。
若用RIk表示第k組的行積分像素個數(shù)矩陣，用RIk(i，j)表示第k組的行積分像素個數(shù)矩陣中從像素矩陣第x行起始點(i，0)到點(i，j)處的行積分像素個數(shù)，則RIk(i，j)的計算公式可以為Σ0≤j≤hs-1Σ0≤i≤ws-1RIk(i-1,j)+fk(i,j),]]>其中，RIk(0，j)＝fk(0，j)。
具體實現(xiàn)時，計算過程可以為for j＝0→hs-1{RIk(0，j)＝fk(0，j)for i＝1→ws-1RIk(i，j)＝RIk(i-1，j)+fk(i，j)}上述計算過程表示從組別矩陣Fk的第0行到第hs-1行，即j＝0→hs-1，對每一行都進行加法遞推計算，其中加法遞推計算為將該行的第一個值作為該行積分像素個數(shù)的初始值，即RIk(0，j)＝fk(0，j)，將初始值與該行的第二個值相加得到第二個行積分像素個數(shù)值，將第二個行積分像素個數(shù)值與第三個值相加得到第三個行積分像素個數(shù)值，依次遞推，直到得到該行最后一個行積分像素個數(shù)值，即i＝1→ws-1，RIk(i，j)＝RIk(i-1，j)+fk(i，j)。
對于圖6(a)中所示的7×7的像素矩陣來說，hs＝7，ws＝7，則可得到如圖7所示的8個7×7的行積分像素個數(shù)矩陣RIk。
以計算第0組的行積分像素個數(shù)矩陣RI0為例，從第一行開始計算，賦初值，即RI0(0，0)＝f0(0，0)＝0，之后遞推計算，RI0(1，0)＝RI0(0，0)+f0(1，0)＝0+1＝1，RI0(2，0)＝RI0(1，0)+f0(2，0)＝1+0＝1，......，RI0(6，0)＝RI0(5，0)+f0(6，0)＝3+0＝3，然后開始計算第二行，過程與第一行相同，直到計算完第6行，第0組的行積分像素個數(shù)計算完畢。
對于其它組別的行積分像素個數(shù)按照與第0組的行積分像素個數(shù)相同的計算過程進行計算，最后得到每個組別的行積分像素個數(shù)，即得到每個組別在行方向上的方向積分像素個數(shù)。
對得到的每個組別的行積分像素個數(shù)RIk(i，j)，在整個跟蹤區(qū)域起始點O所屬的另一條邊的方向上即列方向上進行加法遞推計算，若用IIk表示第k組的區(qū)域積分像素個數(shù)矩陣，用IIk(i，j)表示第k組的區(qū)域積分像素個數(shù)矩陣中從像素矩陣起始點(0，0)到點(i，j)的區(qū)域Ci，j的像素個數(shù)，將IIk(i，j)稱為點(i，j)對應的區(qū)域積分像素個數(shù)，則IIk(i，j)的計算公式可以為Σ0≤i≤ws-1Σ0≤j≤hs-1IIk(i,j-1)+RIk(i,j),]]>其中，IIk(i，0)＝RIk(i，0)。
具體實現(xiàn)時，計算過程可以為for i＝0→ws-1{IIk(i，0)＝RIk(i，0)for j＝1→hs-1IIk(i，j)＝IIk(i，j-1)+RIk(i，j)}上述計算過程表示從行積分像素個數(shù)RIk第0列到第ws-1列，即i＝0→ws-1，對每一列都進行加法遞推計算，其中加法遞推計算為將該列的第一個值作為該列元素對應的區(qū)域積分像素個數(shù)的初始值，即IIk(i，0)＝RIk(i，0)，將初始值與該列的第二個值相加得到第二個區(qū)域積分像素個數(shù)值，將第二個區(qū)域積分像素個數(shù)值與第三個值相加得到第三個區(qū)域積分像素個數(shù)值，依次遞推，直到得到該列元素對應的最后一個區(qū)域積分像素個數(shù)值，即j＝1→hs-1，IIk(i，j)＝IIk(i，j-1)+RIk(i，j)。
其中，元素對應的區(qū)域積分像素個數(shù)值為以起始點O與該元素作為對角線的矩形區(qū)域的區(qū)域積分像素個數(shù)值。其中，極端情況下，起始點與該元素位于同一行或同一列，則以起始點O與該元素為對角線的矩形區(qū)域為i×1或1×j的區(qū)域。
對于圖6(a)中所示的7×7的像素矩陣來說，hs＝7，ws＝7，則可得到如圖8所示的8個7×7的區(qū)域積分像素個數(shù)矩陣IIk。
以計算第0組的區(qū)域積分像素個數(shù)矩陣II0為例，從第一列開始計算，首先賦初值，即II0(0，0)＝RI0(0，0)＝0，之后進行遞推計算，II0(0，1)＝II0(0，0)+RI0(0，1)＝0+0＝0，II0(0，2)＝II0(0，1)+RI0(0，2)＝0+0＝0，......，II0(0，6)＝II0(0，5)+RI0(0，6)＝0+0＝0，然后開始計算第二列，過程同第一列相同，直到計算完第6列，第0組的區(qū)域積分像素個數(shù)計算完畢。
對于其它組別的區(qū)域積分像素個數(shù)按照與第0組的區(qū)域積分像素個數(shù)相同的計算過程進行計算，最后得到每個組別的區(qū)域積分像素個數(shù)，即得到每個Ci，j中每個組別的區(qū)域積分像素個數(shù)。
圖9(a)為圖6(a)所示像素矩陣的一種區(qū)域劃分示意圖。其中，H點對應的區(qū)域積分像素個數(shù)IIk(1，1)為圖中OAHG表示的區(qū)域I中的像素個數(shù)，C點對應的區(qū)域積分像素個數(shù)IIk(5，1)為圖中OBCG表示的區(qū)域II中的像素個數(shù)，D點對應的區(qū)域積分像素個數(shù)IIk(5，4)為圖中OBDF表示的區(qū)域IV中的像素個數(shù)，E點對應的區(qū)域積分像素個數(shù)IIk(1，4)為圖中OAEF表示的區(qū)域III中的像素個數(shù)。其中，區(qū)域I可表示為C1，1，區(qū)域II可表示為C5，1，區(qū)域IV可表示為C5，4，區(qū)域III可表示為C1，4。
根據(jù)直方圖組數(shù)和每個區(qū)域Ci，j中各組別的像素個數(shù)，可得到每個區(qū)域Ci，j的直方圖，即區(qū)域積分直方圖hi，j。其中，若采用將顏色的每個顏色通道都作為特征通道計算直方圖，則每個區(qū)域Ci，j的直方圖hi，j包括每個顏色通道的直方圖，即hi，j＝[hr，hg，hb]i，j，或hi，j＝[hy，hu，hv]i，j。其中，hr，hg，hb分別為R、G、B特征通道的直方圖；同理，hy，hu，hv分別為Y、U、V特征通道的直方圖。
對于梯度方向直方圖，可以采用圖1所示步驟103中描述的方法，得到每個像素點的Gdir(i，j)，進而得到該像素點所屬直方圖的組別，然后對每個梯度方向直方圖組別中的像素個數(shù)進行統(tǒng)計，其中統(tǒng)計方法與顏色直方圖的統(tǒng)計方法相同，此處不再贅述。
最后根據(jù)梯度方向直方圖組數(shù)和每個區(qū)域Ci，j中每個組別中的像素個數(shù)，得到每個區(qū)域Ci，j的梯度方向直方圖hdir。
若計算顏色直方圖時采用的是對顏色的每個顏色通道都計算直方圖，則結(jié)合顏色直方圖和梯度方向直方圖后每個區(qū)域Ci，j的總直方圖hi，j為hi，j＝[hr，hg，hb，hdir]i，j，或hi，j＝[hy，hu，hv，hdir]i，j，即此時特征通道還包括梯度方向通道。若只采用梯度方向直方圖，則有hi，j＝hdir。
步驟502，利用區(qū)域積分直方圖，計算所確定的當前搜索區(qū)域的直方圖。
本步驟中，對于搜索窗口的全局直方圖，計算所確定的當前搜索窗口的全局直方圖時，將該搜索窗口右下角對應的區(qū)域積分直方圖與該搜索窗口左上角對應的區(qū)域積分直方圖相加之后，減去該搜索窗口右上角對應的區(qū)域積分直方圖和左下角對應的區(qū)域積分直方圖，得到該搜索窗口的直方圖。如對于當前搜索窗口為(x，y，wc，hc)時，則該搜索窗口為Cx+wc，y+hc+Cx，y-Cx+wc，y-Cx，y+hc，該搜索窗口的直方圖為hx+wc，y+hc+hx，y-hx+wc，y-hx，y+hc。
假設當前搜索窗口為圖9(a)所示的HCDE表示的區(qū)域窗口，則計算區(qū)域窗口HCDE的直方圖時，需要計算該區(qū)域窗口中屬于直方圖各組別的像素個數(shù)，即可利用步驟501中計算得到的區(qū)域積分像素個數(shù)進行加減運算，具體為IIk(5，4)+IIk(1，1)-IIk(5，1)-IIk(1，4)。
如圖9(b)所示，HCDE表示的區(qū)域窗口中屬于直方圖第0組的像素個數(shù)為II0(5，4)+II0(1，1)-II0(5，1)-II0(1，4)＝9+1-5-2＝3；屬于直方圖第1組的像素個數(shù)為II1(5，4)+II1(1，1)-II1(5，1)-II1(1，4)＝8+2-4-4＝2；......；屬于直方圖第7組的像素個數(shù)為II7(5，4)+II7(1，1)-II7(5，1)-II7(1，4)＝4+0-0-0＝4。
根據(jù)直方圖組數(shù)和該搜索窗口中每個直方圖組別中的像素個數(shù)，得到該搜索窗口的直方圖hwin。其中，若采用將顏色的每個顏色通道都作為特征通道計算直方圖，則搜索窗口的直方圖hwin包括每個顏色通道的直方圖，即hwin＝[hr，hg，hb]，或hwin＝[hy，hu，hv]。其中，hr，hg，hb分別為R、G、B特征通道的直方圖；同理，hy，hu，hv分別為Y、U、V特征通道的直方圖。
對于搜索窗口的子窗口直方圖，計算所確定的當前子窗口的直方圖時，計算方法與計算搜索窗口全局直方圖的方法相同，如假設第(m，n)塊的窗口區(qū)域為(mx，ny，wMN，hMN)時，則該子窗口為Cmx+wMN，ny+hMN+Cmx，ny-Cmx+wMN，ny-Cmx，ny+hMN，該子窗口的直方圖為hmx+wMN，ny+hMN+hmx，ny-hmx+wMN，ny-hmx，ny+hMN。
相應地，本實施例中的系統(tǒng)可在實施例一中的系統(tǒng)或?qū)嵤├械南到y(tǒng)的基礎上，進一步包括區(qū)域積分計算模塊。
參見圖10，圖10為本發(fā)明實施例三中一種圖像跟蹤系統(tǒng)的結(jié)構(gòu)示意圖。該系統(tǒng)在圖2所示系統(tǒng)的基礎上，添加了區(qū)域積分計算模塊，用于通過積分運算，計算整個跟蹤區(qū)域內(nèi)以整個跟蹤區(qū)域預先設定的一角為起始點的所有區(qū)域的直方圖，得到區(qū)域積分直方圖，并將得到的區(qū)域積分直方圖提供給搜索窗口分塊直方圖匹配模塊。
則搜索窗口分塊直方圖匹配模塊，利用區(qū)域積分計算模塊提供的區(qū)域積分直方圖，執(zhí)行所述計算子窗口直方圖的操作。
參見圖11，圖11為本發(fā)明實施例三中又一種圖像跟蹤系統(tǒng)的結(jié)構(gòu)示意圖。該系統(tǒng)在圖4所示系統(tǒng)的基礎上，添加了區(qū)域積分計算模塊，用于通過積分運算，計算整個跟蹤區(qū)域內(nèi)以整個跟蹤區(qū)域預先設定的一角為起始點的所有區(qū)域的直方圖，得到區(qū)域積分直方圖，并將得到的區(qū)域積分直方圖提供給搜索窗口全局直方圖匹配模塊和搜索窗口分塊直方圖匹配模塊。
則搜索窗口全局直方圖匹配模塊，利用區(qū)域積分計算模塊提供的區(qū)域積分直方圖，執(zhí)行所述計算當前搜索窗口的全局直方圖的操作；搜索窗口分塊直方圖匹配模塊，利用區(qū)域積分計算模塊提供的區(qū)域積分直方圖，執(zhí)行所述計算子窗口直方圖的操作。
實施例四本實施例中，在實施例一或?qū)嵤├驅(qū)嵤├幕A上，結(jié)合目標分類器進行目標的位置跟蹤。由目標分類器對目標進行粗略跟蹤，以進一步提高跟蹤實時性，降低運算量，之后由直方圖匹配對目標進行精細跟蹤，以保證跟蹤效果。
圖12為本發(fā)明實施例四中圖像跟蹤方法的流程圖。如圖12所示，該流程包括如下步驟步驟1201，利用分類器在當前圖像整個跟蹤區(qū)域中目標可能出現(xiàn)的每個搜索窗口進行置信度描述，若存在置信度滿足跟蹤要求的搜索窗口，則執(zhí)行步驟1202；若不存在置信度滿足跟蹤要求的搜索窗口，則執(zhí)行步驟1204。
本實施例中，設置跟蹤區(qū)域的方法可以和實施例一中步驟101中的描述一致。
若假設目標圖像的大小為wp×hp，則每個可能的尺度c下，尺度c所對應搜索窗口的寬度為wc＝c×wp，高度為hc＝c×hp，其中c∈C，C為所有可能尺度的集合，如C＝{0.8，0.9，1.0，1.1，1.2}等。
又假設目標分類器的標準窗口大小為wstd×hstd，則進行目標分類器跟蹤時，首先需要將跟蹤區(qū)域中目標可能出現(xiàn)的每個搜索窗口放縮到目標分類器的標準窗口大小，判斷該搜索窗口是否可能為目標，對可能為目標的搜索窗口進行存儲，然后對所存儲的搜索窗口利用目標分類器進行置信度描述，若置信度大于預先設置的閾值，則存在置信度滿足要求的搜索窗口，并可選出置信度最大的窗口，此時跟蹤成功；若置信度小于預設的閾值，則不存在置信度滿足要求的搜索窗口，此時跟蹤失敗。
步驟1202，對置信度滿足跟蹤要求的搜索窗口進行直方圖匹配，若直方圖匹配成功，則執(zhí)行步驟1203；否則，進一步地，可執(zhí)行步驟1204。
本步驟中，可以是對所有置信度滿足跟蹤要求的搜索窗口進行直方圖匹配，也可以是對部分置信度滿足跟蹤要求的搜索窗口進行直方圖匹配，如選取置信度較大的若干個置信度滿足跟蹤要求的搜索窗口進行直方圖匹配，或選取置信度最大的一個置信度滿足跟蹤要求的搜索窗口進行直方圖匹配。
對置信度滿足跟蹤要求的搜索窗口進行直方圖匹配時，可采用分塊直方圖匹配，也可采用全局直方圖匹配，還可采用全局直方圖與分塊直方圖結(jié)合的方法進行匹配。例如，采用全局直方圖匹配時，確定直方圖組數(shù)后，對置信度滿足跟蹤要求的搜索窗口，計算該搜索窗口中像素點所屬的直方圖組別，統(tǒng)計每個組別中的像素個數(shù)，根據(jù)直方圖組數(shù)和每個組別中的像素個數(shù)，得到該搜索窗口的直方圖，將計算得到的搜索窗口直方圖與目標圖像的標準直方圖進行匹配，若存在直方圖匹配結(jié)果滿足要求的搜索窗口，則直方圖匹配成功，將其中匹配最好的搜索窗口稱為匹配成功的搜索窗口，否則，匹配失敗。
其中，搜索窗口直方圖和目標圖像的標準直方圖可以是顏色直方圖，也可以是顏色直方圖加梯度方向直方圖，還可以是梯度方向直方圖。具體采用哪種直方圖，根據(jù)實際情況而定。
步驟1203，將直方圖匹配成功的搜索窗口作為目標的跟蹤位置，之后執(zhí)行步驟1205。
步驟1204，進行直方圖計算和直方圖匹配跟蹤計算，得到目標的跟蹤位置。
本步驟中的具體實現(xiàn)過程可以與實施例一中的步驟101至步驟106所示流程相同，也可以與實施例二中的步驟301至步驟311所示流程相同，或者也可以與實施例三中的流程相同。
步驟1205，判斷是否需要繼續(xù)跟蹤目標，如果是，則提取下一幀圖像，并返回執(zhí)行步驟1201，否則，結(jié)束本流程。
至此，實施例三中的圖像跟蹤方法流程結(jié)束。
上述流程中，步驟1202和步驟1203也可以省略，則步驟1201中若分類器跟蹤成功，則直接將置信度滿足跟蹤要求的搜索窗口中置信度最高的搜索窗口作為目標的跟蹤位置，然后執(zhí)行步驟1205。
上述對本發(fā)明實施例四中的圖像跟蹤方法進行了詳細描述，下面再對本發(fā)明實施例四中圖像跟蹤系統(tǒng)進行詳細描述。
圖13為本發(fā)明實施例四中一種圖像跟蹤系統(tǒng)的結(jié)構(gòu)示意圖。如圖13所示，該系統(tǒng)在圖2或圖10所示系統(tǒng)的基礎上，添加了目標分類器跟蹤模塊和直方圖匹配模塊。
此時，目標分類器跟蹤模塊，用于利用分類器對整個跟蹤區(qū)域中目標可能出現(xiàn)的每個搜索窗口進行置信度描述，若存在置信度滿足跟蹤要求的搜索窗口，則跟蹤成功，將置信度滿足跟蹤要求的搜索窗口提供給直方圖匹配模塊；若不存在置信度滿足跟蹤要求的搜索窗口，則跟蹤失敗，向搜索窗口分塊直方圖匹配模塊發(fā)送跟蹤失敗的通知。
其中，目標分類器跟蹤模塊將置信度滿足跟蹤要求的搜索窗口提供給直方圖匹配模塊時，可將所有置信度滿足跟蹤要求的搜索窗口提供給直方圖匹配模塊，也可以將部分置信度滿足跟蹤要求的搜索窗口提供給直方圖匹配模塊，如選取置信度較大的若干個置信度滿足跟蹤要求的搜索窗口，或選取置信度最大的一個置信度滿足跟蹤要求的搜索窗口提供給直方圖匹配模塊。
直方圖匹配模塊，用于計算目標分類器跟蹤模塊提供的置信度滿足跟蹤要求的搜索窗口的直方圖，將計算的搜索窗口的直方圖與目標圖像的標準直方圖進行匹配，根據(jù)匹配結(jié)果，確定目標的跟蹤位置。
若存在直方圖匹配結(jié)果滿足要求的搜索窗口，則直方圖匹配成功，將其中匹配最好的搜索窗口稱為匹配成功的搜索窗口，并將該匹配成功的搜索窗口作為目標的跟蹤位置，若直方圖匹配失敗，則可結(jié)束，或進一步地向直方圖匹配跟蹤單元發(fā)送跟蹤失敗的通知，直方圖匹配跟蹤單元根據(jù)該跟蹤失敗的通知，執(zhí)行所述計算每個搜索窗口的直方圖的操作。
搜索窗口分塊直方圖匹配模塊進一步用于根據(jù)來自目標分類器跟蹤模塊的跟蹤失敗的通知，執(zhí)行所述對確定的當前搜索窗口按照與目標圖像對應的分塊方式進行分塊的操作。
圖14為本發(fā)明實施例四中又一種圖像跟蹤系統(tǒng)的結(jié)構(gòu)示意圖。如圖14所示，該系統(tǒng)在圖4或圖11所示系統(tǒng)的基礎上，添加了目標分類器跟蹤模塊和直方圖匹配模塊。
此時，目標分類器跟蹤模塊，用于利用分類器對整個跟蹤區(qū)域中目標可能出現(xiàn)的每個搜索窗口進行置信度描述，若存在置信度滿足跟蹤要求的搜索窗口，則跟蹤成功，將置信度滿足跟蹤要求的搜索窗口提供給直方圖匹配模塊；若不存在置信度滿足跟蹤要求的搜索窗口，則跟蹤失敗，向搜索窗口全局直方圖匹配模塊發(fā)送跟蹤失敗的通知。
其中，目標分類器跟蹤模塊將置信度滿足跟蹤要求的搜索窗口提供給直方圖匹配模塊時，可將所有置信度滿足跟蹤要求的搜索窗口提供給直方圖匹配模塊，也可以將部分置信度滿足跟蹤要求的搜索窗口提供給直方圖匹配模塊，如選取置信度較大的若干個置信度滿足跟蹤要求的搜索窗口，或選取置信度最大的一個置信度滿足跟蹤要求的搜索窗口提供給直方圖匹配模塊。
直方圖匹配模塊，用于計算目標分類器跟蹤模塊提供的置信度滿足跟蹤要求的搜索窗口的直方圖，將計算的搜索窗口的直方圖與目標圖像的標準直方圖進行匹配，根據(jù)匹配結(jié)果，確定目標的跟蹤位置。
若存在直方圖匹配結(jié)果滿足要求的搜索窗口，則直方圖匹配成功，將其中匹配最好的搜索窗口稱為匹配成功的搜索窗口，并將該匹配成功的搜索窗口作為目標的跟蹤位置，若直方圖匹配失敗，則可結(jié)束，或進一步地向直方圖匹配跟蹤單元發(fā)送跟蹤失敗的通知，直方圖匹配跟蹤單元根據(jù)該跟蹤失敗的通知，執(zhí)行所述計算每個搜索窗口的直方圖的操作。
搜索窗口全局直方圖匹配模塊進一步用于根據(jù)來自目標分類器跟蹤模塊的跟蹤失敗的通知，執(zhí)行所述從跟蹤區(qū)域中確定當前搜索窗口的操作。
其中，本實施例中的系統(tǒng)中也可以無需直方圖匹配模塊，則目標分類器跟蹤模塊在跟蹤成功時，直接將置信度滿足跟蹤要求的搜索窗口中置信度最大的搜索窗口作為目標的跟蹤位置。
上述實施例三中，圖12所示方法流程的步驟1203中，可進一步包括將匹配成功的搜索窗口進行存儲。
則本實施例中的方法可進一步包括當存儲的搜索窗口的個數(shù)達到預設條件時，利用這些搜索窗口的全局直方圖，計算每個特征通道中直方圖各組別的權(quán)重w(d，k)，d∈D，其中，若采用顏色直方圖，則特征通道D＝{r，g，b}(或D＝{y，u，v})；若采用顏色直方圖加梯度方向直方圖，則特征通道D＝{r，g，b，Gdir}(或D＝{y，u，v，Gdir})；若只采用梯度方向直方圖，則特征通道D＝Gdir。
假設所存儲的搜索窗口的個數(shù)為N0，所確定的直方圖的組數(shù)為K，則具體計算權(quán)重的過程如下1、計算所存儲的N個搜索窗口在每個特征通道中每個組別的全局直方圖hdkn，n∈(0，1，...，N0-1)，k∈(0，1，...，K-1)。
2、計算每個特征通道中的每個組別的全局直方圖的均差Mhdk、方差Varhdk。
若N個搜索窗口包括不同尺度的搜索窗口，則計算均差和方差之前，首先將各自每個組別的直方圖轉(zhuǎn)換為標準尺度每個組別的直方圖。然后再進行均差及方差計算。
具體計算過程如下Mhdk=Σn=0N-1hdknN,]]>Varhdk=Σn=0N-1(hdkn-Mhdk)2N;]]>3、利用上述均差和方差，計算w(d，k)。
w(d,k)1=Mhdk2Varhdk+σ2,]]>其中，σ2為方差調(diào)整參數(shù)，用于避免Varhdk為0的情況，σ2的取值很小，如可以為10-5等。
為了使各組別的權(quán)重相加為1，需要對各組別的權(quán)重進行歸一化，即W(d,K)=Σk=0K-1w(d,k)1,]]>w(d,k)=w(d,k)1W(d,K),]]>k∈(0，1，...，K-1)。
進一步地，還可以利用所存儲的搜索窗口的分塊直方圖，計算圖3所示流程步驟309中的全局匹配結(jié)果的權(quán)重w1和分塊匹配結(jié)果的權(quán)重wmn。
同樣，假設所存儲的搜索窗口的個數(shù)為N0，所確定的直方圖的組數(shù)為K，又假設每個搜索窗口被分為M×N塊，則具體計算權(quán)重的過程如下1、計算所存儲的N個搜索窗口在每個特征通道中每個組別的分塊直方圖hdkn(m，n)，1≤m≤M，1≤n≤N。
2、計算每個特征通道中的每個組別的分塊直方圖的均差Mhdk(m，n)、方差Varhdk(m，n)。
若N個搜索窗口包括不同尺度的搜索窗口，則計算均差和方差之前，首先將各自每個組別的直方圖轉(zhuǎn)換為標準尺度每個組別的直方圖。然后再進行均差及方差計算。
具體計算過程如下Mhdk(m,n)=Σn=0N-1hdkn(m,n)N,]]>Varhdk(m,n)=Σn=0N-1(hdkn(m,n)-Mhdk(m,n))2N.]]>3、利用上述均差和方差，計算w1和wmn。
3.1計算w1計算全局直方圖各個特征通道方差的加權(quán)和Var=Σd∈DwcΣk=0K-1Varhdk;]]>計算w1=1Var+σ2,]]>其中，σ2為方差調(diào)整參數(shù)，用于避免Var為0的情況，同樣，σ2的取值很小，如可以為10-5等。
3.2計算wmn
計算分塊直方圖各個特征通道方差的加權(quán)和Var(m,n)=Σd∈DwcΣk=0K-1Varhdk(m,n);]]>計算wmn.1=1/Var(m,n)+σ2,]]>同樣，σ2為方差調(diào)整參數(shù)。
為了使各分塊的權(quán)重相加為1，需要對各分塊的權(quán)重進行歸一化，即Wmn=Σk=0K-1wmn.1,]]>wmn=wmn.1Wmn,]]>k∈(0，1，...，K-1)，1≤m≤M，1≤n≤N。
相應地，圖13和圖14所示系統(tǒng)中，還可進一步包括直方圖權(quán)重更新模塊。
此時，圖13所示系統(tǒng)中，直方圖匹配模塊進一步用于將匹配成功的搜索窗口提供給直方圖權(quán)重更新模塊，直方圖權(quán)重更新模塊用于根據(jù)存儲的預定個數(shù)的搜索窗口的全局直方圖，計算每個特征通道中直方圖各組別的權(quán)重，將計算的每個特征通道中各組別的權(quán)重提供給搜索窗口分塊直方圖匹配模塊，搜索窗口分塊直方圖匹配模塊進一步用于根據(jù)直方圖權(quán)重更新模塊提供的每個特征通道中各組別的權(quán)重，執(zhí)行所述將所計算的子窗口直方圖與目標圖像對應塊的分塊直方圖進行匹配的操作。
此外，進一步地，直方圖權(quán)重更新模塊還用于根據(jù)存儲的預定個數(shù)的搜索窗口的子窗口直方圖，計算搜索窗口分塊匹配結(jié)果的權(quán)重，將計算的搜索窗口分塊匹配結(jié)果的權(quán)重提供給搜索窗口綜合匹配計算模塊，由搜索窗口綜合匹配計算模塊根據(jù)直方圖權(quán)重更新模塊提供的搜索窗口分塊匹配結(jié)果的權(quán)重，執(zhí)行所述計算搜索窗口與目標的綜合匹配結(jié)果的操作。
圖14所示系統(tǒng)中，直方圖匹配模塊進一步用于將匹配成功的搜索窗口提供給直方圖權(quán)重更新模塊，直方圖權(quán)重更新模塊用于根據(jù)存儲的預定個數(shù)的搜索窗口的全局直方圖，計算每個特征通道中直方圖各組別的權(quán)重，將計算的每個特征通道中各組別的權(quán)重提供給搜索窗口全局直方圖匹配模塊，搜索窗口全局直方圖匹配模塊進一步用于根據(jù)直方圖權(quán)重更新模塊提供的每個特征通道中各組別的權(quán)重，執(zhí)行所述將所計算的當前搜索窗口的全局直方圖與預先計算的目標圖像的全局直方圖進行匹配的操作。
此外，進一步地，直方圖權(quán)重更新模塊還用于根據(jù)存儲的預定個數(shù)的搜索窗口的子窗口的直方圖，計算搜索窗口全局匹配結(jié)果的權(quán)重和分塊匹配結(jié)果的權(quán)重，將計算的搜索窗口全局匹配結(jié)果的權(quán)重和分塊匹配結(jié)果的權(quán)重提供給搜索窗口綜合匹配計算模塊，由搜索窗口綜合匹配計算模塊根據(jù)直方圖權(quán)重更新模塊提供的搜索窗口全局匹配結(jié)果的權(quán)重和分塊匹配結(jié)果的權(quán)重，執(zhí)行所述計算搜索窗口與目標的綜合匹配結(jié)果的操作。
以上所述的具體實施例，對本發(fā)明的目的、技術(shù)方案和有益效果進行了進一步詳細說明，所應理解的是，以上所述僅為本發(fā)明的較佳實施例而已，并非用于限定本發(fā)明的保護范圍，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內(nèi)。
權(quán)利要求
1.一種圖像跟蹤方法，其特征在于，將目標圖像進行分塊，并計算得到目標圖像各分塊的分塊直方圖，該方法包括將每個搜索窗口分別按照與目標圖像對應的分塊方式進行分塊，得到每個搜索窗口的子窗口；計算每個子窗口的直方圖，將得到的每個子窗口的直方圖與目標圖像對應塊的分塊直方圖進行匹配，得到每個子窗口的分塊匹配度；根據(jù)每個搜索窗口中每個子窗口的分塊匹配度，得到每個搜索窗口的匹配結(jié)果，根據(jù)所述匹配結(jié)果確定目標的跟蹤位置。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將每個搜索窗口分別按照與目標圖像對應的分塊方式進行分塊之前，進一步包括計算每個搜索窗口的全局直方圖，將所計算的每個搜索窗口的全局直方圖與預先計算的目標圖像的全局直方圖進行匹配，得到每個搜索窗口的全局匹配度，根據(jù)所述每個搜索窗口的全局匹配度，得到多個全局匹配度滿足預設條件的搜索窗口；對所述多個搜索窗口中的每個搜索窗口執(zhí)行所述分別按照與目標圖像對應的分塊方式進行分塊的操作；所述根據(jù)每個搜索窗口中每個子窗口的分塊匹配度，得到每個搜索窗口的匹配結(jié)果為根據(jù)每個搜索窗口的全局匹配度和該搜索窗口中每個子窗口的分塊匹配度，得到每個搜索窗口的匹配結(jié)果。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，該方法進一步包括通過積分運算，計算整個跟蹤區(qū)域內(nèi)以整個跟蹤區(qū)域預先設定的一角為起始點的所有區(qū)域的直方圖，得到區(qū)域積分直方圖；所述計算每個搜索窗口的全局直方圖具體為利用區(qū)域積分直方圖，計算每個搜索窗口的全局直方圖；所述計算每個子窗口的直方圖具體為利用區(qū)域積分直方圖，計算每個子窗口的直方圖。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述利用區(qū)域積分直方圖，計算每個搜索窗口的全局直方圖為對每個搜索窗口，用該搜索窗口四個角對應的區(qū)域積分直方圖進行加減運算，得到該搜索窗口的直方圖；所述利用區(qū)域積分直方圖，計算每個子窗口的直方圖為對每個子窗口，用該子窗口四個角對應的區(qū)域積分直方圖進行加減運算，得到該子窗口的直方圖。
5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述通過積分運算，計算整個跟蹤區(qū)域內(nèi)以整個跟蹤區(qū)域預先設定的一角為起始點的所有區(qū)域的直方圖，得到區(qū)域積分直方圖包括確定直方圖組數(shù)；計算整個跟蹤區(qū)域中每個像素點所屬的直方圖組別；統(tǒng)計整個跟蹤區(qū)域中以預先設定的一角O作為起始點的所有區(qū)域Ci，j中屬于每個直方圖組別的區(qū)域積分像素個數(shù)；根據(jù)直方圖組數(shù)和每個Ci，j中每個直方圖組別的區(qū)域積分像素個數(shù)，得到每個區(qū)域積分直方圖。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述統(tǒng)計整個跟蹤區(qū)域中所有Ci，j中屬于每個直方圖組別的區(qū)域積分像素個數(shù)具體為根據(jù)每個像素點所屬的直方圖組別信息，在整個跟蹤區(qū)域O所屬的一條邊的方向上，對每個組別中的像素點個數(shù)進行加法遞推計算，得到每個組別在該方向上的方向積分像素個數(shù)；對得到的每個組別的所述方向積分像素個數(shù)，在整個跟蹤區(qū)域O所屬的另一條邊的方向上進行加法遞推計算，得到每個Ci，j中每個組別的區(qū)域積分像素個數(shù)。
7.根據(jù)權(quán)利要求2所述的方法，其特征在于，計算每個搜索窗口的全局直方圖之前，進一步包括利用分類器對整個跟蹤區(qū)域中目標可能出現(xiàn)的每個搜索窗口進行置信度描述，若不存在置信度滿足跟蹤要求的搜索窗口，則執(zhí)行所述計算每個搜索窗口的全局直方圖的操作。
8.根據(jù)權(quán)利要求7所述的方法，其特征在于，該方法進一步包括若存在置信度滿足跟蹤要求的搜索窗口，則對置信度滿足跟蹤要求的搜索窗口進行直方圖匹配，若直方圖匹配失敗，則執(zhí)行所述計算每個搜索窗口的全局直方圖的操作；若直方圖匹配成功，則將匹配成功的搜索窗口作為目標的跟蹤位置。
9.根據(jù)權(quán)利要求8所述的方法，其特征在于，該方法進一步包括將匹配成功的搜索窗口進行存儲，根據(jù)所存儲的預定個數(shù)的搜索窗口的直方圖，計算每個特征通道中直方圖各組別的權(quán)重；則所述將搜索窗口的全局直方圖與目標圖像的全局直方圖進行匹配為根據(jù)每個特征通道中各組別的權(quán)重，對搜索窗口的全局直方圖與目標圖像的全局直方圖進行匹配。
10.根據(jù)權(quán)利要求8所述的方法，其特征在于，該方法進一步包括將匹配成功的搜索窗口進行存儲，根據(jù)所存儲的預定個數(shù)的搜索窗口的子窗口的直方圖，計算全局匹配度的權(quán)重和每個子窗口的分塊匹配度的權(quán)重；則所述根據(jù)每個搜索窗口的全局匹配度和該搜索窗口中每個子窗口的分塊匹配度，得到每個搜索窗口的匹配結(jié)果為根據(jù)每個搜索窗口的全局匹配度及所述全局匹配度的權(quán)重和該搜索窗口中每個子窗口的分塊匹配度及所述分塊匹配度的權(quán)重，得到每個搜索窗口的匹配結(jié)果。
11.根據(jù)權(quán)利要求1至10中任一項所述的方法，其特征在于，所述直方圖包括顏色直方圖，和/或，梯度方向直方圖。
12.根據(jù)權(quán)利要求11所述的方法，其特征在于，當直方圖包括梯度方向直方圖時，所述計算每個像素點所屬的直方圖組別包括按照直方圖組數(shù)確定梯度方向的角度區(qū)間；計算每個像素點的梯度方向所屬的角度區(qū)間，得到該像素點所屬的直方圖組別。
13.根據(jù)權(quán)利要求12所述的方法，其特征在于，所述計算每個像素點的梯度方向所屬的角度區(qū)間包括計算角度區(qū)間的邊界點的正切值，得到正切值區(qū)間；計算每個像素點在坐標軸的y方向的梯度值與x方向的梯度值的比值，根據(jù)該比值所處的正切值區(qū)間，得到每個像素點的梯度方向所屬的角度區(qū)間。
14.一種圖像跟蹤系統(tǒng)，其特征在于，該系統(tǒng)包括搜索窗口分塊直方圖匹配模塊，用于對確定的當前搜索窗口按照與目標圖像對應的分塊方式進行分塊，得到子窗口，對每個子窗口，計算子窗口直方圖，將所計算的子窗口直方圖與目標圖像對應塊的分塊直方圖進行匹配，得到每個子窗口的分塊匹配度，將所得到的當前搜索窗口的分塊匹配度提供給搜索窗口綜合匹配計算模塊；搜索窗口綜合匹配計算模塊，用于根據(jù)所述當前搜索窗口的所有子窗口的分塊匹配度，計算當前搜索窗口的綜合匹配度，并將計算得到的當前搜索窗口的綜合匹配度提供給跟蹤位置確定模塊；跟蹤位置確定模塊，用于根據(jù)搜索窗口綜合匹配計算模塊提供的所有搜索窗口的綜合匹配度，將匹配最好的搜索窗口區(qū)域作為目標的跟蹤位置。
15.根據(jù)權(quán)利要求14所述的系統(tǒng)，其特征在于，該系統(tǒng)進一步包括搜索窗口全局直方圖匹配模塊，用于從跟蹤區(qū)域中確定當前的搜索窗口，并計算當前搜索窗口的全局直方圖，將計算得到的當前搜索窗口的全局直方圖與預先計算的目標圖像的全局直方圖進行匹配，將匹配結(jié)果提供給搜索窗口選取模塊；搜索窗口選取模塊，用于根據(jù)搜索窗口全局直方圖匹配模塊提供的所有搜索窗口的匹配結(jié)果，從中選取滿足預設條件的多個搜索窗口，提供給所述搜索窗口分塊直方圖匹配模塊；所述搜索窗口分塊直方圖匹配模塊，進一步地從搜索窗口選取模塊提供的搜索窗口中確定當前的搜索窗口，對所述確定的當前搜索窗口執(zhí)行所述按照與目標圖像對應的分塊方式進行分塊的操作；將所得到的當前搜索窗口的分塊匹配度提供給搜索窗口綜合匹配計算模塊時，進一步將當前搜索窗口的全局匹配度提供給搜索窗口綜合匹配計算模塊；所述搜索窗口綜合匹配計算模塊，進一步還根據(jù)所述當前搜索窗口的全局匹配度，執(zhí)行所述計算當前搜索窗口的綜合匹配度的操作。
16.根據(jù)權(quán)利要求15所述的系統(tǒng)，其特征在于，該系統(tǒng)進一步包括區(qū)域積分計算模塊，用于通過積分運算，計算整個跟蹤區(qū)域內(nèi)以整個跟蹤區(qū)域預先設定的一角為起始點的所有區(qū)域的直方圖，得到區(qū)域積分直方圖，并將得到的區(qū)域積分直方圖提供給所述搜索窗口全局直方圖匹配模塊和所述搜索窗口分塊直方圖匹配模塊；所述搜索窗口全局直方圖匹配模塊，利用所述區(qū)域積分直方圖，執(zhí)行所述計算當前搜索窗口的全局直方圖的操作；所述搜索窗口分塊直方圖匹配模塊，利用所述區(qū)域積分直方圖，執(zhí)行所述計算子窗口直方圖的操作。
17.根據(jù)權(quán)利要求15或16所述的系統(tǒng)，其特征在于，該系統(tǒng)進一步包括目標分類器跟蹤模塊，用于利用分類器對整個跟蹤區(qū)域中目標可能出現(xiàn)的每個搜索窗口進行置信度描述，若不存在置信度滿足跟蹤要求的搜索窗口，則向所述搜索窗口全局直方圖匹配模塊發(fā)送跟蹤失敗的通知；所述搜索窗口全局直方圖匹配模塊，進一步地根據(jù)所述跟蹤失敗的通知，執(zhí)行所述從跟蹤區(qū)域中確定當前搜索窗口的操作。
18.根據(jù)權(quán)利要求17所述的系統(tǒng)，其特征在于，該系統(tǒng)進一步包括直方圖匹配模塊；則目標分類器跟蹤模塊進一步用于若存在置信度滿足跟蹤要求的搜索窗口，則將所述置信度滿足跟蹤要求的搜索窗口提供給直方圖匹配模塊；直方圖匹配模塊，用于計算目標分類器跟蹤模塊提供的置信度滿足跟蹤要求的搜索窗口的直方圖，將計算的搜索窗口直方圖與目標圖像的標準直方圖進行匹配，根據(jù)匹配結(jié)果，確定目標的跟蹤位置。
19.根據(jù)權(quán)利要求18所述的系統(tǒng)，其特征在于，該系統(tǒng)進一步包括直方圖權(quán)重更新模塊；則所述直方圖匹配模塊，進一步地將直方圖匹配成功的搜索窗口提供給直方圖權(quán)重更新模塊；直方圖權(quán)重更新模塊，用于根據(jù)存儲的預定個數(shù)的搜索窗口的子窗口直方圖，計算每個子窗口的分塊匹配度的權(quán)重，將所述計算的每個子窗口的分塊匹配度的權(quán)重提供給所述搜索窗口綜合匹配計算模塊；所述搜索窗口綜合匹配計算模塊，進一步地根據(jù)直方圖權(quán)重更新模塊提供的每個子窗口的分塊匹配度的權(quán)重，執(zhí)行所述根據(jù)所述當前搜索窗口的所有子窗口的分塊匹配度，計算當前搜索窗口的綜合匹配度的操作。
全文摘要
本發(fā)明公開了一種圖像跟蹤方法，將目標圖像進行分塊，并計算得到目標圖像各分塊的分塊直方圖，該方法中，將每個搜索窗口分別按照與目標圖像對應的分塊方式進行分塊，得到每個搜索窗口的子窗口；計算每個子窗口的直方圖，將得到的每個子窗口的直方圖與目標圖像對應塊的分塊直方圖進行匹配，得到每個子窗口的分塊匹配度；根據(jù)每個搜索窗口中每個子窗口的分塊匹配度，得到每個搜索窗口的匹配結(jié)果，根據(jù)所述匹配結(jié)果確定目標圖像的跟蹤位置。此外，本發(fā)明還公開了一種圖像跟蹤系統(tǒng)。本發(fā)明所公開的方法及系統(tǒng)，避免了由于在統(tǒng)計過程中丟失各像素的空間位置信息而造成跟蹤失敗的情況，進一步保證了跟蹤效果。
文檔編號G06T7/20GK101038674SQ20071009897
公開日2007年9月19日 申請日期2007年4月30日 優(yōu)先權(quán)日2007年4月30日
發(fā)明者曾志, 王耀輝 申請人:北京中星微電子有限公司