專利名稱：一種圖像跟蹤方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像跟蹤技術(shù)，尤其涉及一種圖像跟蹤方法及系統(tǒng)。
背景技術(shù)：
目前的圖像跟蹤技術(shù)中，通常采用基于直方圖匹配的目標(biāo)跟蹤算法實(shí)現(xiàn)對目標(biāo)的跟蹤，即在新一幀圖像中目標(biāo)可能出現(xiàn)的區(qū)域搜索最匹配的對應(yīng)目標(biāo)，作為目標(biāo)的新位置。具體過程包括在跟蹤區(qū)域內(nèi)確定每個搜索窗口，將每個搜索窗口的直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配，將最匹配的搜索窗口作為目標(biāo)的新位置。其中，考慮到每一幀圖像在拍攝過程中，由于目標(biāo)的遠(yuǎn)近移動，而可能使目標(biāo)在每幀圖像中的尺寸大小不一樣，即目標(biāo)在每幀圖像中的尺度有可能不同，因此，在新一幀圖像中目標(biāo)可能出現(xiàn)的區(qū)域除了包括跟蹤區(qū)域中不同位置的區(qū)域外，還包括對相同位置進(jìn)行不同尺度縮放所形成的區(qū)域。
在基于直方圖匹配的目標(biāo)跟蹤算法中，現(xiàn)有技術(shù)中有多種實(shí)現(xiàn)方法，如Meanshift目標(biāo)跟蹤算法，以及基于全局搜索的目標(biāo)跟蹤算法等。Meanshift算法采用基于匹配度梯度下降的迭代策略，只能找到匹配度的局部最優(yōu)位置，使跟蹤算法受臨近干擾目標(biāo)的影響比較大。而基于全局搜索的目標(biāo)跟蹤算法需要窮舉搜索目標(biāo)可能出現(xiàn)的每個窗口，并需要對每個搜索窗口，均進(jìn)行直方圖計(jì)算，以及將所計(jì)算的直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配的操作，而直方圖計(jì)算的運(yùn)算量較大，因此使得跟蹤速度較慢，影響跟蹤的實(shí)時性。

發(fā)明內(nèi)容
有鑒于此，本發(fā)明一方面提供一種圖像跟蹤方法；另一方面提供一種圖像跟蹤系統(tǒng)，能夠提高跟蹤速度。
本發(fā)明所提供的圖像跟蹤方法，包括利用分類器對整個跟蹤區(qū)域中目標(biāo)可能出現(xiàn)的每個搜索窗口進(jìn)行置信度描述；若不存在置信度滿足跟蹤要求的搜索窗口，則計(jì)算每個搜索窗口的直方圖，將所計(jì)算的每個搜索窗口的直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配，得到每個搜索窗口的匹配結(jié)果，根據(jù)所述匹配結(jié)果確定目標(biāo)的跟蹤位置；若存在置信度滿足跟蹤要求的搜索窗口，則根據(jù)所述置信度滿足跟蹤要求的搜索窗口確定目標(biāo)的跟蹤位置。
其中，若存在置信度滿足跟蹤要求的搜索窗口，則所述根據(jù)所述置信度滿足跟蹤要求的搜索窗口確定目標(biāo)的跟蹤位置為對所述置信度滿足要求的搜索窗口進(jìn)行直方圖匹配，若直方圖匹配成功，則將所述匹配成功的搜索窗口作為目標(biāo)的跟蹤位置。
較佳地，該方法進(jìn)一步包括將直方圖匹配成功的搜索窗口進(jìn)行存儲，根據(jù)存儲的預(yù)定個數(shù)的搜索窗口的全局直方圖，計(jì)算每個特征通道中直方圖各組別的權(quán)重；則所述將搜索窗口的直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配為根據(jù)每個特征通道中各組別的權(quán)重，對搜索窗口的直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配。
其中，所述目標(biāo)的標(biāo)準(zhǔn)直方圖包括目標(biāo)的全局直方圖；則所述將所計(jì)算的每個搜索窗口的直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配，得到匹配結(jié)果包括將所計(jì)算的每個搜索窗口的全局直方圖與目標(biāo)的全局直方圖進(jìn)行匹配，得到搜索窗口的全局匹配度，將所得到的搜索窗口的全局匹配度作為匹配結(jié)果。
其中，所述目標(biāo)的標(biāo)準(zhǔn)直方圖還包括將目標(biāo)分塊后的分塊直方圖；則得到搜索窗口的全局匹配度之后，將該搜索窗口的全局匹配度作為匹配結(jié)果之前，進(jìn)一步包括根據(jù)搜索窗口的全局匹配度，得到多個全局匹配度滿足預(yù)設(shè)條件的搜索窗口；將所述多個搜索窗口分別按照與目標(biāo)對應(yīng)的分塊方式進(jìn)行分塊，得到每個搜索窗口的子窗口；利用區(qū)域積分直方圖，計(jì)算每個子窗口的直方圖，將得到的每個子窗口的直方圖與目標(biāo)對應(yīng)塊的分塊直方圖進(jìn)行匹配，得到每個子窗口的分塊匹配度；根據(jù)每個搜索窗口的全局匹配度和該搜索窗口中每個子窗口的分塊匹配度，得到每個搜索窗口的匹配結(jié)果。
較佳地，該方法進(jìn)一步包括通過積分運(yùn)算，計(jì)算整個跟蹤區(qū)域內(nèi)以整個跟蹤區(qū)域預(yù)先設(shè)定的一角為起始點(diǎn)的所有區(qū)域的直方圖，得到區(qū)域積分直方圖；所述計(jì)算每個搜索窗口的全局直方圖具體為利用區(qū)域積分直方圖，計(jì)算每個搜索窗口的全局直方圖；所述計(jì)算每個子窗口的直方圖具體為利用區(qū)域積分直方圖，計(jì)算每個子窗口的直方圖。
其中，所述利用區(qū)域積分直方圖，計(jì)算每個搜索窗口的全局直方圖為對每個搜索窗口，用該搜索窗口四個角對應(yīng)的區(qū)域積分直方圖進(jìn)行加減運(yùn)算，得到該搜索窗口的直方圖；所述利用區(qū)域積分直方圖，計(jì)算每個子窗口的直方圖為對每個子窗口，用該子窗口四個角對應(yīng)的區(qū)域積分直方圖進(jìn)行加減運(yùn)算，得到該子窗口的直方圖。
其中，所述通過積分運(yùn)算，計(jì)算整個跟蹤區(qū)域內(nèi)以整個跟蹤區(qū)域預(yù)先設(shè)定的一角為起始點(diǎn)的所有區(qū)域的直方圖，得到區(qū)域積分直方圖包括確定直方圖組數(shù)；計(jì)算整個跟蹤區(qū)域中每個像素點(diǎn)所屬的直方圖組別；統(tǒng)計(jì)整個跟蹤區(qū)域中以預(yù)先設(shè)定的一角O作為起始點(diǎn)的所有區(qū)域Ci，j中屬于每個直方圖組別的區(qū)域積分像素個數(shù)；根據(jù)直方圖組數(shù)和每個Ci，j中每個直方圖組別的區(qū)域積分像素個數(shù)，得到每個區(qū)域積分直方圖。
其中，所述統(tǒng)計(jì)整個跟蹤區(qū)域中所有Ci，j中屬于每個直方圖組別的區(qū)域積分像素個數(shù)具體為根據(jù)每個像素點(diǎn)所屬的直方圖組別信息，在整個跟蹤區(qū)域O所屬的一條邊的方向上，對每個組別中的像素點(diǎn)個數(shù)進(jìn)行加法遞推計(jì)算，得到每個組別在該方向上的方向積分像素個數(shù)；對得到的每個組別的所述方向積分像素個數(shù)，在整個跟蹤區(qū)域O所屬的另一條邊的方向上進(jìn)行加法遞推計(jì)算，得到每個Ci，j中每個組別的區(qū)域積分像素個數(shù)。
其中，所述直方圖包括顏色直方圖，和/或，梯度方向直方圖。
其中，當(dāng)直方圖包括梯度方向直方圖時，所述計(jì)算每個像素點(diǎn)所屬的直方圖組別包括按照直方圖組數(shù)確定梯度方向的角度區(qū)間；計(jì)算每個像素點(diǎn)的梯度方向所屬的角度區(qū)間，得到該像素點(diǎn)所屬的直方圖組別。
其中，所述計(jì)算每個像素點(diǎn)的梯度方向所屬的角度區(qū)間包括計(jì)算角度區(qū)間的邊界點(diǎn)的正切值，得到正切值區(qū)間；計(jì)算每個像素點(diǎn)在坐標(biāo)軸的y方向的梯度值與x方向的梯度值的比值，根據(jù)該比值所處的正切值區(qū)間，得到每個像素點(diǎn)的梯度方向所屬的角度區(qū)間。
本發(fā)明所提供的圖像跟蹤系統(tǒng)，包括目標(biāo)分類器跟蹤單元，用于利用目標(biāo)分類器對整個跟蹤區(qū)域中目標(biāo)可能出現(xiàn)的每個搜索窗口進(jìn)行置信度描述，若不存在置信度滿足跟蹤要求的搜索窗口，則向直方圖匹配跟蹤單元發(fā)送跟蹤失敗的通知；若存在置信度滿足跟蹤要求的搜索窗口，則將所述置信度滿足跟蹤要求的搜索窗口輸出；直方圖匹配跟蹤單元，用于根據(jù)來自目標(biāo)分類器跟蹤單元的跟蹤失敗的通知，計(jì)算每個搜索窗口的直方圖，將計(jì)算得到的每個搜索窗口的直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配，根據(jù)匹配結(jié)果得到目標(biāo)的跟蹤位置。
較佳地，該系統(tǒng)進(jìn)一步包括直方圖匹配單元，用于接收目標(biāo)分類器跟蹤單元輸出的置信度滿足跟蹤要求的搜索窗口，并計(jì)算所述搜索窗口的直方圖，將計(jì)算的搜索窗口直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配，根據(jù)匹配結(jié)果，確定目標(biāo)的跟蹤位置。
較佳地，該系統(tǒng)進(jìn)一步包括直方圖權(quán)重更新單元；則直方圖匹配單元進(jìn)一步用于將直方圖匹配成功的搜索窗口提供給直方圖權(quán)重更新單元；直方圖權(quán)重更新單元，用于根據(jù)存儲的預(yù)定個數(shù)的搜索窗口的全局直方圖，計(jì)算每個特征通道中直方圖各組別的權(quán)重，將計(jì)算的每個特征通道中各組別的權(quán)重提供給直方圖匹配跟蹤單元；直方圖匹配跟蹤單元進(jìn)一步用于根據(jù)直方圖權(quán)重更新單元提供的每個特征通道中各組別的權(quán)重，執(zhí)行所述對搜索窗口的直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配的操作。
較佳地，該系統(tǒng)進(jìn)一步包括區(qū)域積分計(jì)算單元，用于通過積分運(yùn)算，計(jì)算整個跟蹤區(qū)域內(nèi)以整個跟蹤區(qū)域預(yù)先設(shè)定的一角為起始點(diǎn)的所有區(qū)域的直方圖，得到區(qū)域積分直方圖，并將得到的區(qū)域積分直方圖提供給所述直方圖匹配跟蹤單元；所述直方圖匹配跟蹤單元，利用所述區(qū)域積分直方圖，執(zhí)行所述計(jì)算每個搜索窗口的直方圖的操作。
其中，所述直方圖匹配跟蹤單元包括搜索窗口全局直方圖匹配模塊，用于從跟蹤區(qū)域中確定當(dāng)前的搜索窗口，并計(jì)算當(dāng)前搜索窗口的全局直方圖，將計(jì)算得到的當(dāng)前搜索窗口的全局直方圖與目標(biāo)的全局直方圖進(jìn)行匹配，將匹配結(jié)果提供給跟蹤位置確定模塊；跟蹤位置確定模塊，用于根據(jù)搜索窗口全局直方圖匹配模塊提供的所有搜索窗口的匹配結(jié)果，將匹配最好的搜索窗口區(qū)域作為目標(biāo)的跟蹤位置。
其中，所述跟蹤位置確定模塊包括搜索窗口選取子模塊，用于根據(jù)搜索窗口全局直方圖匹配模塊提供的所有搜索窗口的匹配結(jié)果，從中選取滿足預(yù)設(shè)條件的多個搜索窗口，提供給所述搜索窗口分塊直方圖匹配子模塊；搜索窗口分塊直方圖匹配子模塊，用于從搜索窗口選取子模塊提供的搜索窗口中確定當(dāng)前的搜索窗口，對所確定的當(dāng)前搜索窗口按照與目標(biāo)對應(yīng)的分塊方式進(jìn)行分塊，得到子窗口，對每個子窗口，計(jì)算子窗口直方圖，將所計(jì)算的子窗口直方圖與目標(biāo)對應(yīng)塊的分塊直方圖進(jìn)行匹配，得到每個子窗口的分塊匹配度，將所得到的當(dāng)前搜索窗口的分塊匹配度提供給搜索窗口綜合匹配計(jì)算子模塊；搜索窗口綜合匹配計(jì)算子模塊，用于根據(jù)所述當(dāng)前搜索窗口的所有子窗口的分塊匹配度，計(jì)算當(dāng)前搜索窗口的綜合匹配度，并將計(jì)算得到的當(dāng)前搜索窗口的綜合匹配度提供給跟蹤位置確定子模塊；跟蹤位置確定子模塊，用于根據(jù)搜索窗口綜合匹配計(jì)算模塊提供的所有搜索窗口的綜合匹配度，將匹配最好的搜索窗口區(qū)域作為目標(biāo)的跟蹤位置。
從上述方案可以看出，本發(fā)明中利用分類器對整個跟蹤區(qū)域中目標(biāo)可能出現(xiàn)的每個搜索窗口進(jìn)行置信度描述匹配；若不存在置信度滿足跟蹤要求的搜索窗口，則計(jì)算每個搜索窗口的直方圖，將所計(jì)算的每個搜索窗口的直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配，得到每個搜索窗口的匹配結(jié)果，根據(jù)所述匹配結(jié)果確定目標(biāo)的跟蹤位置；若存在置信度滿足跟蹤要求的搜索窗口，則根據(jù)所述置信度滿足跟蹤要求的搜索窗口確定目標(biāo)的跟蹤位置。可見，通過采用目標(biāo)分類器與直方圖匹配相結(jié)合的方法，從而由目標(biāo)分類器實(shí)現(xiàn)粗略跟蹤，進(jìn)一步提高了跟蹤實(shí)時性，之后由直方圖匹配實(shí)現(xiàn)精細(xì)跟蹤，保證了跟蹤效果。
此外，本發(fā)明中在進(jìn)行直方圖匹配時，通過采用分塊直方圖匹配，從而避免了由于在統(tǒng)計(jì)過程中丟失各像素的空間位置信息而造成跟蹤失敗的情況，進(jìn)一步保證了跟蹤效果。
另外，本發(fā)明中在進(jìn)行直方圖匹配時，除了包括顏色直方圖，還包括梯度方向直方圖，從而在跟蹤區(qū)域內(nèi)存在與目標(biāo)顏色相似的物體時，不會受到該物體的干擾，進(jìn)一步保證了跟蹤效果。
最后，本發(fā)明中在進(jìn)行直方圖匹配之前，首先計(jì)算整個跟蹤區(qū)域的區(qū)域積分直方圖，然后利用區(qū)域積分直方圖，通過加減運(yùn)算，逐次計(jì)算每個搜索窗口的直方圖。即本發(fā)明中對每個像素點(diǎn)所屬的直方圖組別只在計(jì)算積分直方圖時計(jì)算一次，之后對每個搜索窗口的直方圖的計(jì)算只需根據(jù)區(qū)域積分直方圖的結(jié)果，進(jìn)行三次加減運(yùn)算，得到搜索窗口的直方圖，在對大量窗口進(jìn)行匹配的情況下，該算法大大降低了運(yùn)算量，提高了運(yùn)算速度，保證了跟蹤的實(shí)時性；又因?yàn)槔眠@種區(qū)域積分直方圖的算法，可對本發(fā)明中目標(biāo)可能出現(xiàn)的每個搜索窗口都進(jìn)行直方圖匹配，根據(jù)所有匹配結(jié)果得到目標(biāo)的預(yù)測位置，從而進(jìn)一步保證了跟蹤效果。


圖1為本發(fā)明實(shí)施例一中圖像跟蹤方法的流程圖。
圖2為本發(fā)明實(shí)施例一中圖像跟蹤系統(tǒng)的結(jié)構(gòu)示意圖。
圖3為本發(fā)明實(shí)施例二中目標(biāo)的標(biāo)準(zhǔn)直方圖構(gòu)成示意圖。
圖4為本發(fā)明實(shí)施例二中圖像跟蹤方法步驟104中具體實(shí)現(xiàn)的流程圖。
圖5為本發(fā)明實(shí)施例二中圖像跟蹤系統(tǒng)的結(jié)構(gòu)示意圖。
圖6為本發(fā)明實(shí)施例三中直方圖計(jì)算方法的流程圖。
圖7(a)為大小為7×7的跟蹤區(qū)域像素矩陣示意圖。
圖7(b)為圖7(a)所示像素矩陣中每個像素點(diǎn)所屬直方圖組別信息的矩陣圖。
圖8為每個直方圖組別的行積分像素個數(shù)矩陣圖。
圖9為每個直方圖組別的區(qū)域積分像素個數(shù)矩陣圖。
圖10(a)為圖7(a)所示像素矩陣的一種區(qū)域窗口劃分示意圖。
圖10(b)為在圖9所示區(qū)域積分像素個數(shù)矩陣中計(jì)算搜索窗口像素個數(shù)的示意圖。
圖11為本發(fā)明實(shí)施例三中一種圖像跟蹤系統(tǒng)的結(jié)構(gòu)示意圖。
圖12為本發(fā)明實(shí)施例三中又一種圖像跟蹤系統(tǒng)的結(jié)構(gòu)示意圖。
具體實(shí)施例方式
本發(fā)明的基本思想是結(jié)合目標(biāo)分類器進(jìn)行目標(biāo)的位置跟蹤。由目標(biāo)分類器對目標(biāo)進(jìn)行粗略跟蹤，以進(jìn)一步提高跟蹤實(shí)時性，降低運(yùn)算量，之后由直方圖匹配對目標(biāo)進(jìn)行精細(xì)跟蹤，以保證跟蹤效果。
為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，下面結(jié)合實(shí)施例和附圖，對本發(fā)明進(jìn)一步詳細(xì)說明。
實(shí)施例一圖1為本發(fā)明實(shí)施例一中圖像跟蹤方法的流程圖。如圖1所示，該流程包括如下步驟步驟101，利用分類器在當(dāng)前圖像整個跟蹤區(qū)域中目標(biāo)可能出現(xiàn)的每個搜索窗口進(jìn)行置信度描述，若存在置信度滿足跟蹤要求的搜索窗口，則執(zhí)行步驟102；若不存在置信度滿足跟蹤要求的搜索窗口，則執(zhí)行步驟104。
本實(shí)施例中，可預(yù)先在當(dāng)前圖像中設(shè)置跟蹤區(qū)域，由于現(xiàn)有技術(shù)中設(shè)置跟蹤區(qū)域的方法可有多種，因此本實(shí)施例中不再贅述，假設(shè)所確定的跟蹤區(qū)域?yàn)榫匦螀^(qū)域(xs，ys，ws，hs)，其中，(xs，ys)為跟蹤區(qū)域左上角點(diǎn)的坐標(biāo)，(ws，hs)為跟蹤區(qū)域的寬度和高度。
若假設(shè)目標(biāo)的大小為wp×hp，則每個可能的尺度c下，尺度c所對應(yīng)搜索窗口的寬度為wc＝c×wp，高度為hc＝c×hp，其中c∈C，C為所有可能尺度的集合，如C＝{0.8，0.9，1.0，1.1，1.2}等。
又假設(shè)目標(biāo)分類器的標(biāo)準(zhǔn)窗口大小為wstd×hstd，則進(jìn)行目標(biāo)分類器跟蹤時，首先需要將跟蹤區(qū)域中目標(biāo)可能出現(xiàn)的每個搜索窗口放縮到目標(biāo)分類器的標(biāo)準(zhǔn)窗口大小，判斷該搜索窗口是否可能為目標(biāo)，對可能為目標(biāo)的搜索窗口進(jìn)行存儲，然后對所存儲的搜索窗口利用目標(biāo)分類器進(jìn)行置信度描述，若置信度大于預(yù)先設(shè)置的閾值，則存在置信度滿足要求的搜索窗口，并可選出置信度最大的窗口，此時跟蹤成功；若置信度小于預(yù)設(shè)的閾值，則不存在置信度滿足要求的搜索窗口，此時跟蹤失敗。
步驟102，對置信度滿足跟蹤要求的搜索窗口進(jìn)行直方圖匹配，若直方圖匹配成功，則執(zhí)行步驟103；否則，進(jìn)一步地，可執(zhí)行步驟104。
本步驟中，可以是對所有置信度滿足跟蹤要求的搜索窗口進(jìn)行直方圖匹配，也可以是對部分置信度滿足跟蹤要求的搜索窗口進(jìn)行直方圖匹配，如選取置信度較大的若干個置信度滿足跟蹤要求的搜索窗口進(jìn)行直方圖匹配，或選取置信度最大的一個置信度滿足跟蹤要求的搜索窗口進(jìn)行直方圖匹配。
對置信度滿足跟蹤要求的搜索窗口進(jìn)行直方圖匹配時，可采用現(xiàn)有技術(shù)中的直方圖匹配方法。例如，可以為確定直方圖組數(shù)后，對置信度滿足跟蹤要求的搜索窗口，計(jì)算該搜索窗口中像素點(diǎn)所屬的直方圖組別，統(tǒng)計(jì)每個組別中的像素個數(shù)，根據(jù)直方圖組數(shù)和每個組別中的像素個數(shù)，得到該搜索窗口的直方圖，將計(jì)算得到的搜索窗口直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配，若存在直方圖匹配結(jié)果滿足要求的搜索窗口，則直方圖匹配成功，將其中匹配最好的搜索窗口稱為匹配成功的搜索窗口，否則，匹配失敗。
步驟103，將直方圖匹配成功的搜索窗口作為目標(biāo)的跟蹤位置，之后執(zhí)行步驟105。
步驟104，對所有搜索窗口進(jìn)行直方圖匹配跟蹤，得到目標(biāo)的跟蹤位置。
本步驟中，對所有搜索窗口都進(jìn)行直方圖匹配，從中選取滿足要求的且匹配最好的搜索窗口作為目標(biāo)的跟蹤位置，若不存在滿足要求的搜索窗口，則可刪除目標(biāo)。其中，進(jìn)行直方圖匹配時，可采用現(xiàn)有技術(shù)中的直方圖匹配方法。例如，同樣可以為確定直方圖組數(shù)后，對每個搜索窗口，計(jì)算該搜索窗口中像素點(diǎn)所屬的直方圖組別，統(tǒng)計(jì)每個組別中的像素個數(shù)，根據(jù)直方圖組數(shù)和每個組別中的像素個數(shù)，得到該搜索窗口的直方圖，將計(jì)算得到的搜索窗口直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配，得到匹配結(jié)果。
步驟105，判斷是否需要繼續(xù)跟蹤目標(biāo)，如果是，則提取下一幀圖像，并返回執(zhí)行步驟101，否則，結(jié)束本流程。
至此，實(shí)施例一中的圖像跟蹤方法流程結(jié)束。
上述步驟102和步驟104中所述的直方圖，一般情況下，都為顏色直方圖，而顏色標(biāo)準(zhǔn)一般包括紅綠藍(lán)(RGB)圖像標(biāo)準(zhǔn)，或YUV圖像標(biāo)準(zhǔn)等。計(jì)算顏色直方圖時，可以將整個顏色通道作為一個特征通道，計(jì)算該特征通道的直方圖，或者，為了描述目標(biāo)的顏色特征，也可以將其中每一個顏色通道作為一個特征通道，計(jì)算每個特征通道的直方圖。如若采用RGB圖像標(biāo)準(zhǔn)，則特征通道可以為紅(R)、綠(G)、藍(lán)(B)三個顏色通道；若采用YUV圖像標(biāo)準(zhǔn)，則特征通道可以為Y、U、V三個顏色通道。
因?yàn)橄袼氐牧炼壬A分布為0～255，總數(shù)為256，若以其中的一個特征通道為例，用I(i，j)表示(i，j)處像素點(diǎn)在該特征通道中的色階值，并用fk(i，j)，k∈(0，1，...，K-1)表示(i，j)處像素點(diǎn)所屬的組別信息，則(i，j)處像素點(diǎn)在該特征通道中所屬的直方圖組別計(jì)算可以為fk(i,j)=1,I(i,j)256/Kk0,]]>其中，為1表示屬于第k組，為0表示不屬于第k組。當(dāng)然，也可以采用區(qū)間計(jì)算法，即分別計(jì)算各組別的邊界值，根據(jù)組別的邊界值，判斷I(i，j)所屬的組別區(qū)間，從而得到I(i，j)所屬的組別。計(jì)算出所有fk(i，j)后，得到每個特征通道的每個組別中的像素點(diǎn)個數(shù)，根據(jù)直方圖組數(shù)和每個特征通道中的各組別的像素點(diǎn)個數(shù)，得到各特征通道的直方圖。則搜索區(qū)域的直方圖hwin包括每個顏色通道的直方圖，即hwin＝[hr，hg，hb]，或hwin＝[hy，hu，hv]，相應(yīng)地，預(yù)先計(jì)算的目標(biāo)的標(biāo)準(zhǔn)直方圖hstd為hstd＝[hr，hg，hb]，或hstd＝[hy，hu，hv]。其中，hr，hg，hb分別為R、G、B特征通道的直方圖；同理，hy，hu，hv分別為Y、U、V特征通道的直方圖。
由于顏色直方圖只是對顏色的一種描述，因此容易受到與目標(biāo)顏色相似的物體的干擾，使跟蹤不準(zhǔn)確，為此，可在采用顏色直方圖的基礎(chǔ)上，結(jié)合另外一種直方圖，即梯度方向直方圖。
梯度方向直方圖是指按照直方圖組數(shù)確定梯度方向的角度區(qū)間；計(jì)算每個像素點(diǎn)的梯度方向所屬的角度區(qū)間，得到該像素點(diǎn)所屬的直方圖組別。具體計(jì)算過程如下假設(shè)用I(i，j)表示(i，j)處像素點(diǎn)的灰度值，用Gx(i，j)表示x方向上的梯度值，Gy(i，j)表示y方向上的梯度值，Gdir(i，j)表示梯度方向，則有Gx(i，j)＝I(i+1，j)-I(i-1，j)，Gy(i，j)＝I(i，j+1)-I(i，j-1)，Gdir(i,j)=arctanGy(i,j)Gx(i,j).]]>因?yàn)?π2<arctanGy(i,j)Gx(i,j)<π2,]]>因此可將梯度方向在 范圍內(nèi)對直方圖分組，若直方圖組數(shù)為K，則將 分為K個角度區(qū)間。如可進(jìn)行如下區(qū)間劃分R0=[-π2,-(2K-1)π2K)∪[(2K-1)π2K,π2)Ri=[-π2+iπK-π2K,-π2+iπK+π2K),i=1,2......K-1]]>計(jì)算出每個像素點(diǎn)的Gdir(i，j)，根據(jù)Gdir(i，j)所處區(qū)間的范圍，得到該像素點(diǎn)所屬直方圖的組別。
實(shí)際應(yīng)用中，為了避免進(jìn)行反正切運(yùn)算，可以首先計(jì)算區(qū)間邊界上點(diǎn)的正切值bi，然后計(jì)算(i，j)處像素點(diǎn)的梯度比Gy(i，j)/Gx(i，j)所處的區(qū)間(bi-1，bi)，然后得到該像素點(diǎn)所屬的直方圖組別。若仍用fk(i，j)，k∈(0，1，...，K-1)表示(i，j)處像素點(diǎn)所屬的組別信息，則具體計(jì)算過程可以為fk(i,j)=1,bi-1<Gy(i,j)/Gx(i,j)<bj0.]]>之后，對每個梯度方向直方圖組別中的像素個數(shù)進(jìn)行統(tǒng)計(jì)，最后根據(jù)梯度方向直方圖組數(shù)和每個組別中的像素個數(shù)，得到搜索區(qū)域的梯度方向直方圖hdir。若計(jì)算顏色直方圖時采用的是對顏色的每個顏色通道都計(jì)算直方圖，則結(jié)合顏色直方圖和梯度方向直方圖后每個搜索區(qū)域的總直方圖hwin為hwin＝[hr，hg，hb，hdir]，(或hwin＝[hy，hu，hv，hdir])，相應(yīng)地，預(yù)先計(jì)算的目標(biāo)的標(biāo)準(zhǔn)直方圖hstd為hstd＝[hr，hg，hb，hdir]，(或hstd＝[hy，hu，hv，hdir])，即此時特征通道還包括梯度方向通道。
其中，梯度方向直方圖也可單獨(dú)使用，此時搜索區(qū)域的直方圖hwin為hwin＝hdir，相應(yīng)地，預(yù)先計(jì)算的目標(biāo)的標(biāo)準(zhǔn)直方圖hstd為hstd＝hdir。
具體進(jìn)行匹配時，可采用歐式距離作為直方圖匹配的標(biāo)準(zhǔn)，若用hstd表示目標(biāo)的標(biāo)準(zhǔn)直方圖，用M(hwin，hstd)表示hwin與hstd的匹配度，假設(shè)其中hwin、hstd＝[hr，hg，hb](或hwin、hstd＝[hy，hu，hv])，則M(hwin，hstd)的計(jì)算過程可以為M(hwin,hstd)=ΣdD(hwin.d,hstd.d),]]>其中，d∈D，D＝{r，g，b}(或D＝{y，u，v})；D(hwin.d,hstd.d)=Σk=0K-1(hwin.d(k)-hstd.d(k))2.]]>其中，K為直方圖的組數(shù)，k為直方圖的組別，D(hwin.d，hstd.d)為d特征通道中搜索窗口直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖之間的偏差大小，M(hwin，hstd)為hwin與hstd的綜合偏差。
較佳地，上述計(jì)算過程中，為了使計(jì)算更加準(zhǔn)確，可以在計(jì)算公式中添加權(quán)重，如D(hwin.d，hstd.d)可以為D(hwin.d,hstd.d)=Σk=0K-1w(d,k)(hwin.d(k)-hstd.d(k))2,]]>其中，w(d，k)為d特征通道中直方圖第k組的權(quán)重；M(hwin，hstd)也可以為M(hwin,hstd)=ΣdwdD(hwin.d,hstd.d),]]>其中，wd為d特征通道的權(quán)重。
其中，權(quán)重w(d，k)和wd可以由經(jīng)驗(yàn)值或?qū)嶋H需要得到。
最后，將得到的搜索窗口匹配度M(hwin，hstd)進(jìn)行記錄。
此外，步驟103中可進(jìn)一步包括將匹配成功的搜索窗口進(jìn)行存儲。
則本實(shí)施例中的方法可進(jìn)一步包括當(dāng)存儲的搜索窗口的個數(shù)達(dá)到預(yù)設(shè)條件時，利用這些搜索窗口的全局直方圖，計(jì)算每個特征通道中直方圖各組別的權(quán)重w(d，k)，d∈D，其中，若采用顏色直方圖，則特征通道D＝{r，g，b}(或D＝{y，u，v})；若采用顏色直方圖加梯度方向直方圖，則特征通道D＝{r，g，b，Gdir}(或D＝{y，u，v，Gdir})；若只采用梯度方向直方圖，則特征通道D＝Gdir。
假設(shè)所存儲的搜索窗口的個數(shù)為N0，所確定的直方圖的組數(shù)為K，則具體計(jì)算權(quán)重的過程如下1、計(jì)算所存儲的N個搜索窗口在每個特征通道中每個組別的全局直方圖hdkn，n∈(0，1，...，N0-1)，k∈(0，1，...，K-1)。
2、計(jì)算每個特征通道中的每個組別的全局直方圖的均差Mhdk、方差Varhdk。
若N個搜索窗口包括不同尺度的搜索窗口，則計(jì)算均差和方差之前，首先將各自每個組別的直方圖轉(zhuǎn)換為標(biāo)準(zhǔn)尺度每個組別的直方圖。然后再進(jìn)行均差及方差計(jì)算。
具體計(jì)算過程如下Mhdk=Σn=0N-1hdknN,]]>Varhdk=Σn=0N-1(hdkn-Mhdk)2N;]]>3、利用上述均差和方差，計(jì)算w(d，k)。
w(d,k)1=Mhdk2Varhdk+σ2,]]>其中，σ2為方差調(diào)整參數(shù)，用于避免Varhdk為0的情況，σ2的取值很小，如可以為10-5等。
為了使各組別的權(quán)重相加為1，需要對各組別的權(quán)重進(jìn)行歸一化，即W(d,K)=Σk=0K-1w(d,k)1,]]>w(d,k)=w(d,k)1W(d,K),]]>k∈(0，1，...，K-1)。
上述流程中，步驟102和步驟103也可以省略，則步驟101中若分類器跟蹤成功，則直接將置信度滿足跟蹤要求的搜索窗口中置信度最大的搜索窗口作為目標(biāo)的跟蹤位置，然后執(zhí)行步驟105。
上述對本發(fā)明實(shí)施例一中的圖像跟蹤方法進(jìn)行了詳細(xì)描述，下面再對本發(fā)明實(shí)施例一中圖像跟蹤系統(tǒng)進(jìn)行詳細(xì)描述。
圖2為本發(fā)明實(shí)施例一中圖像跟蹤系統(tǒng)的結(jié)構(gòu)示意圖。如圖2中的實(shí)線部分所示，該系統(tǒng)包括目標(biāo)分類器跟蹤單元和直方圖匹配跟蹤單元。
其中，目標(biāo)分類器跟蹤單元，用于利用分類器對整個跟蹤區(qū)域中目標(biāo)可能出現(xiàn)的每個搜索窗口進(jìn)行置信度描述，若不存在置信度滿足跟蹤要求的搜索窗口，則向直方圖匹配跟蹤單元發(fā)送跟蹤失敗的通知；若存在置信度滿足跟蹤要求的搜索窗口，則將所述置信度滿足跟蹤要求的搜索窗口輸出。
其中，目標(biāo)分類器跟蹤模塊將置信度滿足跟蹤要求的搜索窗口輸出時，可將所有置信度滿足跟蹤要求的搜索窗口輸出，也可以將部分置信度滿足跟蹤要求的搜索窗口輸出，如選取置信度較大的若干個置信度滿足跟蹤要求的搜索窗口，或選取置信度最大的一個置信度滿足跟蹤要求的搜索窗口輸出。
直方圖匹配跟蹤單元，用于根據(jù)來自目標(biāo)分類器跟蹤單元的跟蹤失敗的通知，計(jì)算每個搜索窗口的直方圖，將計(jì)算得到的每個搜索窗口的直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配，根據(jù)匹配結(jié)果得到目標(biāo)的跟蹤位置。
具體實(shí)現(xiàn)時，直方圖匹配跟蹤單元可有多種實(shí)現(xiàn)形式，可以是一個單獨(dú)的模塊，也可以是由幾個模塊構(gòu)成。下面僅以其中一種實(shí)現(xiàn)形式為例，對直方圖匹配跟蹤單元的具體實(shí)現(xiàn)進(jìn)行詳細(xì)描述，如圖2所示，直方圖匹配跟蹤單元可包括搜索窗口全局直方圖匹配模塊和跟蹤位置確定模塊。
其中，搜索窗口全局直方圖匹配模塊，用于從跟蹤區(qū)域中確定當(dāng)前的搜索窗口，并計(jì)算當(dāng)前搜索窗口的全局直方圖，將計(jì)算得到的當(dāng)前搜索窗口的全局直方圖與目標(biāo)的全局直方圖進(jìn)行匹配，將匹配結(jié)果提供給跟蹤位置確定模塊。
跟蹤位置確定模塊，用于根據(jù)搜索窗口全局直方圖匹配模塊提供的所有搜索窗口的匹配結(jié)果，將匹配最好的搜索窗口區(qū)域作為目標(biāo)的跟蹤位置。
該系統(tǒng)中，可將目標(biāo)分類器跟蹤單元輸出的置信度滿足跟蹤要求的搜索窗口中置信度最大的搜索窗口直接作為目標(biāo)的跟蹤位置，也可以如圖2中的虛線部分所示，進(jìn)一步包括直方圖匹配單元，用于接收目標(biāo)分類器跟蹤單元輸出的置信度滿足跟蹤要求的搜索窗口，并計(jì)算所述搜索窗口的直方圖，將計(jì)算的搜索窗口直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配，根據(jù)匹配結(jié)果，確定目標(biāo)的跟蹤位置。此時，若存在直方圖匹配結(jié)果滿足要求的搜索窗口，則直方圖匹配成功，將其中匹配最好的搜索窗口稱為匹配成功的搜索窗口，并將該匹配成功的搜索窗口作為目標(biāo)的跟蹤位置，若直方圖匹配失敗，則可結(jié)束，或進(jìn)一步地向直方圖匹配跟蹤單元發(fā)送跟蹤失敗的通知，直方圖匹配跟蹤單元根據(jù)該跟蹤失敗的通知，執(zhí)行所述計(jì)算每個搜索窗口的直方圖的操作。
進(jìn)一步地，如圖2中的虛線部分所示，本系統(tǒng)中還可包括直方圖權(quán)重更新單元。
若系統(tǒng)中不包括直方圖匹配單元，則目標(biāo)分類器跟蹤單元進(jìn)一步用于將置信度滿足跟蹤要求的搜索窗口中置信度較大的搜索窗口提供給直方圖權(quán)重更新單元；若系統(tǒng)中包括直方圖匹配單元，則直方圖匹配單元進(jìn)一步用于將直方圖匹配成功的搜索窗口提供給直方圖權(quán)重更新單元。
直方圖權(quán)重更新單元，用于根據(jù)存儲的預(yù)定個數(shù)的搜索窗口的全局直方圖，計(jì)算每個特征通道中直方圖各組別的權(quán)重，將計(jì)算的每個特征通道中各組別的權(quán)重提供給直方圖匹配跟蹤單元。直方圖匹配跟蹤單元進(jìn)一步用于根據(jù)直方圖權(quán)重更新單元提供的每個特征通道中各組別的權(quán)重，執(zhí)行所述對搜索窗口的直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配的操作。進(jìn)一步地，直方圖權(quán)重更新單元也可將所計(jì)算的每個特征通道中各組別的權(quán)重提供給直方圖匹配單元，直方圖匹配單元進(jìn)一步地，根據(jù)直方圖權(quán)重更新單元提供的每個特征通道中各組別的權(quán)重，執(zhí)行所述將搜索窗口直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配的操作。
其中，直方圖權(quán)重更新單元將計(jì)算的每個特征通道中各組別的權(quán)重提供給直方圖匹配跟蹤單元后，可由直方圖匹配跟蹤單元中的搜索窗口全局直方圖匹配模塊根據(jù)直方圖權(quán)重更新單元提供的每個特征通道中各組別的權(quán)重，執(zhí)行所述對搜索窗口的直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配的操作。
實(shí)施例二本實(shí)施例中的圖像跟蹤方法與實(shí)施例一中的圖像跟蹤方法大致相同，其區(qū)別在于第一點(diǎn)為了體現(xiàn)目標(biāo)的邊緣特征和空間位置特征，預(yù)先將目標(biāo)按照預(yù)設(shè)的塊數(shù)進(jìn)行分塊，并計(jì)算目標(biāo)的分塊直方圖。則目標(biāo)的標(biāo)準(zhǔn)直方圖中還包括分塊直方圖。
其中，實(shí)施例一中目標(biāo)的標(biāo)準(zhǔn)直方圖為目標(biāo)的全局直方圖，搜索窗口的直方圖也指的是搜索窗口的全局直方圖。本實(shí)施例中目標(biāo)的標(biāo)準(zhǔn)直方圖中不僅包括目標(biāo)的全局直方圖，還包括目標(biāo)的分塊直方圖。假設(shè)將目標(biāo)分為M×N塊，且直方圖包括顏色中每個顏色通道的直方圖和梯度方向直方圖，則目標(biāo)的標(biāo)準(zhǔn)直方圖構(gòu)成如圖3所示，其中b1，……，bK為直方圖中每個組別的直方圖部分。其中塊(m，n)的分塊直方圖可用hstmn表示。
第二點(diǎn)步驟104中的具體實(shí)現(xiàn)過程不同，參見圖4，圖4為本實(shí)施例中步驟104中的具體實(shí)現(xiàn)過程，包括步驟104.a，對所有搜索窗口進(jìn)行直方圖匹配，根據(jù)匹配結(jié)果，按照預(yù)設(shè)的條件，選取符合條件的多個搜索窗口。
本步驟中，對所有搜索窗口進(jìn)行直方圖匹配(即全局直方圖匹配)，根據(jù)匹配結(jié)果M(hwin，hstd)(即全局匹配度)，按照預(yù)設(shè)的條件，選取符合條件的M(hwin，hstd)值較小的多個搜索窗口。其中預(yù)設(shè)條件可以為選擇的搜索窗口個數(shù)N，則根據(jù)該預(yù)設(shè)條件選取N個M(hwin，hstd)值較小的搜索窗口；或者預(yù)設(shè)條件可以為M(hwin，hstd)值門限，則根據(jù)該預(yù)設(shè)條件選取M(hwin，hstd)值小于該門限的搜索窗口。
本步驟中可對選取的多個搜索窗口進(jìn)行編號，假設(shè)選取了N個搜索窗口，則可將N個搜索窗口依次編號為1，2，……，N。
步驟104.b，從選取的多個搜索窗口中確定當(dāng)前搜索窗口。
假設(shè)步驟104.a中所選取的搜索窗口為N個，則本步驟中，可確定N個中的一個作為當(dāng)前搜索窗口，若步驟104.a中對N個搜索窗口編了號，則本步驟中可按照編號次序，確定當(dāng)前搜索窗口。
步驟104.c，將當(dāng)前搜索窗口按照與目標(biāo)相同的分塊方法進(jìn)行分塊，得到多個子窗口。
本步驟中，假設(shè)目標(biāo)分為M×N塊，則也將當(dāng)前搜索窗口分為大小對應(yīng)的M×N塊。
步驟104.d，計(jì)算每個子窗口的直方圖，并將所計(jì)算的子窗口直方圖與目標(biāo)對應(yīng)塊的分塊直方圖進(jìn)行匹配，得到每個子窗口匹配結(jié)果。
本步驟中，子窗口匹配結(jié)果的具體計(jì)算過程可以為for m＝1→M{for n＝1→N{利用積分直方圖計(jì)算第(m，n)塊的子窗口直方圖；將所計(jì)算的第(m，n)塊子窗口直方圖與目標(biāo)的第(m，n)塊分塊直方圖進(jìn)行匹配，記錄匹配結(jié)果；}}上述計(jì)算過程表示，按照從上到下，從左到右的方向逐次選取當(dāng)前塊，并計(jì)算當(dāng)前塊的子窗口直方圖，將所計(jì)算的當(dāng)前塊的子窗口直方圖與目標(biāo)對應(yīng)塊的分塊直方圖進(jìn)行匹配，并記錄匹配結(jié)果(匹配度)，之后選取當(dāng)前塊的下一塊作為當(dāng)前塊，繼續(xù)上述過程，直到匹配完所有子窗口。
其中，計(jì)算第(m，n)塊的子窗口直方圖時，計(jì)算方法與計(jì)算未分塊的搜索窗口直方圖的方法相同，可應(yīng)用現(xiàn)有技術(shù)中的多種直方圖計(jì)算方法進(jìn)行計(jì)算，也可采用其它直方圖計(jì)算方法進(jìn)行計(jì)算。
將所計(jì)算的第(m，n)塊子窗口直方圖與目標(biāo)的第(m，n)塊分塊直方圖進(jìn)行匹配時，同樣可采用歐式距離作為直方圖匹配的標(biāo)準(zhǔn)，若用hmn表示第(m，n)塊的子窗口直方圖，用M(hmn，hstmn)表示hmn與hstmn的匹配度，則M(hmn,hstmn)=ΣdD(hmn.d,hstmn.d),]]>D(hmn.d,hstmn.d)=Σk=0K-1(hmn.d(k)-hstmn.d(k))2.]]>其中，若只采用顏色直方圖，則d∈D，D＝{r，g，b}(或D＝{y，u，v})；若采用顏色直方圖結(jié)合梯度方向直方圖，則d∈D，D＝{r，g，b，Gdir}(或D＝{y，u，v，Gdir})，或d∈D，D＝Gdir；若只采用梯度方向直方圖，則d∈D，D＝Gdir。其中，K為直方圖的組數(shù)，k為直方圖的組別，D(hmn.d，hstmn.d)為d特征通道中第(m，n)塊子窗口直方圖與目標(biāo)的第(m，n)塊分塊直方圖之間的偏差大小，M(hmn，hstmn)為第(m，n)塊子窗口直方圖與目標(biāo)的第(m，n)塊分塊直方圖的綜合偏差。
較佳地，上述計(jì)算過程中，為了使計(jì)算更加準(zhǔn)確，也可以在計(jì)算公式中添加權(quán)重，如D(hmn.d，hstmn.d)可以為D(hmn.d,hstmn.d)=Σk=0K-1w(d,k)(hmn.d(k)-hstmn.d(k))2,]]>其中，w(d，k)為d特征通道中直方圖第k組的權(quán)重；而M(hmn，hstmn)也可以為M(hmn,hstmn)=ΣdwdD(hmn.d,hstmn.d),]]>其中，wd為d特征通道的權(quán)重。
最后，將得到的分塊匹配度M(hmn，hstmn)進(jìn)行記錄。
步驟104.e，根據(jù)當(dāng)前搜索窗口匹配結(jié)果和子窗口匹配結(jié)果，計(jì)算當(dāng)前搜索窗口與目標(biāo)的綜合匹配結(jié)果。
其中，若用Mz表示當(dāng)前搜索窗口與目標(biāo)的綜合匹配結(jié)果，則綜合匹配結(jié)果Mz可以為Mz=w1M(hwin,hstd)+Σ1≤m≤M,1≤n≤NwmnM(hmn,hstmn),]]>其中，w1為搜索窗口全局匹配結(jié)果M(hwin，hstd)的權(quán)重，wmn為搜索窗口分塊匹配結(jié)果M(hmn，hstmn)的權(quán)重。權(quán)重w1和wmn可以根據(jù)經(jīng)驗(yàn)值設(shè)置，也可以根據(jù)實(shí)際需要設(shè)置。
此外，本步驟中，也可只根據(jù)當(dāng)前搜索窗口中的所有子窗口匹配結(jié)果，計(jì)算當(dāng)前搜索窗口與目標(biāo)的綜合匹配結(jié)果，即若用Mz表示當(dāng)前搜索窗口與目標(biāo)的綜合匹配結(jié)果，則綜合匹配結(jié)果Mz可以為Mz=Σ1≤m≤M,1≤n≤NwmnM(hmn,hstmn),]]>其中，wmn為搜索窗口分塊匹配結(jié)果M(hmn，hstmn)的權(quán)重。權(quán)重wmn可以根據(jù)經(jīng)驗(yàn)值設(shè)置，也可以根據(jù)實(shí)際需要設(shè)置。
步驟104.f，判斷是否所選取的搜索窗口都已分塊匹配完畢，如果是，則執(zhí)行步驟104.g；否則，返回執(zhí)行步驟104.b。
步驟104.g，根據(jù)綜合匹配結(jié)果，得到目標(biāo)的跟蹤位置。
本實(shí)施例中，步驟104.e中計(jì)算的匹配結(jié)果Mz為當(dāng)前搜索窗口與目標(biāo)的綜合匹配度，而Mz實(shí)際上得到的是二者之間的偏差大小，因此，Mz的值越小，表示當(dāng)前搜索窗口與目標(biāo)越匹配。根據(jù)步驟104.e中計(jì)算得到的所有搜索窗口的Mz，從中選取Mz值最小的搜索窗口區(qū)域作為目標(biāo)的跟蹤位置。
若需繼續(xù)跟蹤目標(biāo)，則提取下一幀圖像，返回執(zhí)行步驟101。
其中，若步驟103中還包括將匹配成功的搜索窗口進(jìn)行存儲。則本實(shí)施例中的方法可進(jìn)一步包括當(dāng)存儲的搜索窗口的個數(shù)達(dá)到預(yù)設(shè)條件時，除了可按照實(shí)施例一中所描述的方法，利用這些搜索窗口的全局直方圖，計(jì)算每個特征通道中直方圖各組別的權(quán)重w(d，k)，d∈D外，還可以利用所存儲的搜索窗口的分塊直方圖，計(jì)算步驟104.e中的全局匹配結(jié)果的權(quán)重w1和分塊匹配結(jié)果的權(quán)重wmn。
同樣，假設(shè)所存儲的搜索窗口的個數(shù)為N0，所確定的直方圖的組數(shù)為K，又假設(shè)每個搜索窗口被分為M×N塊，則具體計(jì)算權(quán)重的過程如下1、計(jì)算所存儲的N個搜索窗口在每個特征通道中每個組別的分塊直方圖hdkn(m，n)，1≤m≤M，1≤n≤N。
2、計(jì)算每個特征通道中的每個組別的分塊直方圖的均差Mhdk(m，n)、方差Varhdk(m，n)。
若N個搜索窗口包括不同尺度的搜索窗口，則計(jì)算均差和方差之前，首先將各自每個組別的直方圖轉(zhuǎn)換為標(biāo)準(zhǔn)尺度每個組別的直方圖。然后再進(jìn)行均差及方差計(jì)算。
具體計(jì)算過程如下Mhdk(m,n)=Σn=0N-1hdkn(m,n)N,]]>Varhdk(m,n)=Σn=0N-1(hdkn(m,n)-Mhdk(m,n))2N.]]>3、利用上述均差和方差，計(jì)算w1和wmn。
3.1計(jì)算w1
計(jì)算全局直方圖各個特征通道方差的加權(quán)和Var=Σd∈DwcΣk=0K-1Varhdk;]]>計(jì)算w1=1/Var+σ2,]]>其中，σ2為方差調(diào)整參數(shù)，用于避免Var為0的情況，同樣，σ2的取值很小，如可以為10-5等。
3.2計(jì)算wmn計(jì)算分塊直方圖各個特征通道方差的加權(quán)和Var(m,n)=Σd∈DwcΣk=0K-1Varhdk(m,n);]]>計(jì)算Wmn.1=1/Var(m,n)+σ2,]]>同樣，σ2為方差調(diào)整參數(shù)。
為了使各分塊的權(quán)重相加為1，需要對各分塊的權(quán)重進(jìn)行歸一化，即Wmn=Σk=0K-1wmn.1,]]>wmn=wmn.1Wmn,]]>k∈(0，1，...，K-1)，1≤m≤M，1≤n≤N。
上述對本發(fā)明實(shí)施例二中的圖像跟蹤方法進(jìn)行了詳細(xì)描述，下面再對本發(fā)明實(shí)施例二中圖像跟蹤系統(tǒng)進(jìn)行詳細(xì)描述。
本實(shí)施例中圖像跟蹤系統(tǒng)的結(jié)構(gòu)和連接關(guān)系與實(shí)施例一中的圖像跟蹤系統(tǒng)類似，功能也類似，區(qū)別僅在于直方圖匹配跟蹤單元中的跟蹤位置確定模塊的詳細(xì)實(shí)現(xiàn)過程與本實(shí)施例中步驟104中的描述一致。
此時，如圖5所示，圖5為本發(fā)明實(shí)施例二中圖像跟蹤系統(tǒng)的結(jié)構(gòu)示意圖。其中，跟蹤位置確定模塊中可包括搜索窗口選取子模塊、搜索窗口分塊直方圖匹配子模塊、搜索窗口綜合匹配計(jì)算子模塊和跟蹤位置確定子模塊。
其中，搜索窗口選取子模塊，用于根據(jù)搜索窗口全局直方圖匹配模塊提供的所有搜索窗口的匹配結(jié)果，從中選取滿足預(yù)設(shè)條件的多個搜索窗口，提供給所述搜索窗口分塊直方圖匹配子模塊。
搜索窗口分塊直方圖匹配子模塊，用于從搜索窗口選取模塊提供的搜索窗口中確定當(dāng)前的搜索窗口，對所確定的當(dāng)前搜索窗口按照與目標(biāo)對應(yīng)的分塊方式進(jìn)行分塊，得到子窗口，對每個子窗口，計(jì)算子窗口直方圖，將所計(jì)算的子窗口直方圖與目標(biāo)對應(yīng)塊的分塊直方圖進(jìn)行匹配，得到每個子窗口的分塊匹配度，將所得到的當(dāng)前搜索窗口的分塊匹配度提供給搜索窗口綜合匹配計(jì)算子模塊。
搜索窗口綜合匹配計(jì)算子模塊，用于根據(jù)所述當(dāng)前搜索窗口的所有子窗口的分塊匹配度，計(jì)算當(dāng)前搜索窗口的綜合匹配度，并將計(jì)算得到的當(dāng)前搜索窗口的綜合匹配度提供給跟蹤位置確定子模塊。
跟蹤位置確定子模塊，用于根據(jù)搜索窗口綜合匹配計(jì)算模塊提供的所有搜索窗口的綜合匹配度，將匹配最好的搜索窗口區(qū)域作為目標(biāo)的跟蹤位置。
若本實(shí)施例中的系統(tǒng)也進(jìn)一步包括直方圖權(quán)重更新單元。則直方圖權(quán)重更新單元除了可按照圖1所示系統(tǒng)中的描述執(zhí)行計(jì)算每個特征通道中直方圖各組別的權(quán)重的操作外，還可根據(jù)存儲的預(yù)定個數(shù)的搜索窗口的分塊直方圖，即子窗口直方圖計(jì)算搜索窗口全局匹配結(jié)果的權(quán)重和分塊匹配結(jié)果的權(quán)重，將計(jì)算的搜索窗口全局匹配結(jié)果的權(quán)重和分塊匹配結(jié)果的權(quán)重提供給直方圖匹配跟蹤單元，由直方圖匹配跟蹤單元根據(jù)直方圖權(quán)重更新單元提供的搜索窗口全局匹配結(jié)果的權(quán)重和分塊匹配結(jié)果的權(quán)重，執(zhí)行計(jì)算搜索窗口綜合匹配結(jié)果的操作。
具體實(shí)現(xiàn)時，直方圖權(quán)重更新單元可將所計(jì)算的全局匹配結(jié)果的權(quán)重和分塊匹配結(jié)果的權(quán)重提供給跟蹤位置確定模塊中的搜索窗口綜合匹配計(jì)算子模塊，由搜索窗口綜合匹配計(jì)算子模塊根據(jù)搜索窗口全局匹配結(jié)果的權(quán)重和分塊匹配結(jié)果的權(quán)重，執(zhí)行計(jì)算搜索窗口綜合匹配結(jié)果的操作。
其中，直方圖權(quán)重更新單元除了可將計(jì)算的每個特征通道中直方圖各組別的權(quán)重提供給搜索窗口全局直方圖匹配模塊外，還提供給搜索窗口分塊直方圖匹配子模塊，則搜索窗口分塊直方圖匹配子模塊根據(jù)直方圖權(quán)重更新單元提供的每個特征通道中各組別的權(quán)重，執(zhí)行所述將所計(jì)算的子窗口直方圖與目標(biāo)對應(yīng)塊的分塊直方圖進(jìn)行匹配的操作。
實(shí)施例三本實(shí)施例中的圖像跟蹤方法可與實(shí)施例一中的圖像跟蹤方法一致，也可與實(shí)施例二中的圖像跟蹤方法一致。其區(qū)別在于為了縮減直方圖的計(jì)算次數(shù)，提高運(yùn)算速度，以保證跟蹤的實(shí)時性，本實(shí)施例中，對實(shí)施例一和實(shí)施例二中步驟104中所述的直方圖(包括分塊直方圖和全局直方圖)采用圖6所示的方法進(jìn)行計(jì)算，圖6為本發(fā)明實(shí)施例三中直方圖計(jì)算方法的流程圖，該流程包括如下步驟步驟601，預(yù)先計(jì)算整個跟蹤區(qū)域的區(qū)域積分直方圖。
其中，計(jì)算整個跟蹤區(qū)域的區(qū)域積分直方圖時，可通過積分運(yùn)算，計(jì)算整個跟蹤區(qū)域內(nèi)以整個跟蹤區(qū)域預(yù)先設(shè)定的一角為起始點(diǎn)的所有區(qū)域的直方圖，得到區(qū)域積分直方圖。
具體可以為確定積分直方圖的組數(shù)K，即位數(shù)，或稱長度；然后計(jì)算整個跟蹤區(qū)域中每個像素點(diǎn)所屬直方圖組別k的組別信息fk(i，j)，k∈(0，1，...，K-1)，即計(jì)算每個像素點(diǎn)屬于直方圖的第幾位。為統(tǒng)一起見，本文中凡涉及起始點(diǎn)的地方，都按起始點(diǎn)為0點(diǎn)進(jìn)行處理；預(yù)先設(shè)定整個跟蹤區(qū)域的一角O作為起始點(diǎn)，統(tǒng)計(jì)整個跟蹤區(qū)域中以O(shè)作為起始點(diǎn)的所有區(qū)域Ci，j中屬于每個組別k的像素個數(shù)，將每個Ci，j中屬于每個組別k的像素個數(shù)統(tǒng)稱為每個Ci，j中屬于每個組別k的區(qū)域積分像素個數(shù)IIk(i，j)；根據(jù)直方圖組數(shù)和每個以O(shè)作為起始點(diǎn)的區(qū)域Ci，j中每個組別k的區(qū)域積分像素個數(shù)IIk(i，j)，得到每個區(qū)域Ci，j的直方圖，并將每個Ci，j的直方圖統(tǒng)稱為區(qū)域積分直方圖。其中，對于跟蹤區(qū)域(xs，ys，ws，hs)，Ci，j中i，j的取值為0≤i＜ws，0≤j＜hs，且IIk(i,j)=Σm<i,n<jfk(i,j).]]>具體實(shí)現(xiàn)時，為了快速統(tǒng)計(jì)每個Ci，j中每個直方圖組別中的像素個數(shù)，可以采用加法遞推運(yùn)算，根據(jù)每個像素點(diǎn)所屬的直方圖組別信息，在整個跟蹤區(qū)域起始點(diǎn)O所屬的一條邊的方向上，對每個組別中的像素點(diǎn)個數(shù)進(jìn)行加法遞推計(jì)算，得到每個組別在該方向上的方向積分像素個數(shù)，對得到的每個組別的方向積分像素個數(shù)，在整個跟蹤區(qū)域O所屬的另一條邊的方向上進(jìn)行加法遞推計(jì)算，得到每個Ci，j每個組別的區(qū)域積分像素個數(shù)。
其中，O可以為左上角，或右上角，或左下角，或右下角，O所屬的一條邊的方向可以是行方向，也可以是列方向，若是行方向，則O所屬的另一條邊的方向?yàn)榱蟹较?；若是列方向，則O所屬的另一條邊的方向?yàn)樾蟹较颉?br> 為方面描述，下文中均以O(shè)為左上角，O所屬的一條邊的方向?yàn)樾蟹较虻那闆r為例。
以顏色直方圖的情況為例，若以顏色通道中的一個特征通道為例，用I(i，j)表示(i，j)處像素點(diǎn)在該特征通道中的色階值，并用fk(i，j)，k∈(0，1，...，K-1)表示(i，j)處像素點(diǎn)所屬的組別信息，則(i，j)處像素點(diǎn)在該特征通道中所屬的直方圖組別計(jì)算可以為fk(i,j)=1,I(i,j)256/K=k0,]]>其中，為1表示屬于第k組，為0表示不屬于第k組。當(dāng)然，也可以采用區(qū)間計(jì)算法，即分別計(jì)算各組別的邊界值，根據(jù)組別的邊界值，判斷I(i，j)所屬的組別區(qū)間，從而得到I(i，j)所屬的組別。計(jì)算出所有fk(i，j)后，得到K個組別矩陣Fk，k∈(0，1，...，K-1)。
圖7給出了一組計(jì)算得到的每個像素點(diǎn)所屬直方圖組別的示意圖。如圖7(a)所示，圖7(a)為大小為7×7的跟蹤區(qū)域像素矩陣示意圖。為方便描述，圖7中以整個跟蹤區(qū)域大小為7×7的情況為例，并假設(shè)直方圖組數(shù)K＝8，起始點(diǎn)O的坐標(biāo)(xs，ys)為(0，0)，則在7×7的像素矩陣跟蹤區(qū)域中，每個像素點(diǎn)所屬直方圖組別的情況分別如圖7(b)中所示的8個組別矩陣Fk，k∈(0，1，...，7)，圖7(b)為圖7(a)所示像素矩陣中每個像素點(diǎn)所屬直方圖組別信息的矩陣圖。如圖7(b)所示，F(xiàn)0示出了像素點(diǎn)在直方圖中第0組的分布，……，F(xiàn)7示出了像素點(diǎn)在直方圖中第7組的分布，F(xiàn)k中的1表示屬于直方圖中的k組，0表示不屬于直方圖中的k組。如F0中(1，2)位置處的值為1，即f0(1，2)的值為1，而其它Fk，k∈(1，...，7)中相應(yīng)位置處的值都為0，即fk(i，j)，k∈(1，...，7)為0，表示圖7(a)中(1，2)位置處的像素點(diǎn)屬于直方圖的第0組，依次類推，圖7(b)中的組別矩陣Fk示出了每個像素點(diǎn)所屬直方圖的組別信息。
在得出了每個像素點(diǎn)所屬的直方圖組別信息后，下面對每個直方圖組別中的像素個數(shù)的統(tǒng)計(jì)進(jìn)行詳細(xì)描述。
若用RIk表示第k組的行積分像素個數(shù)矩陣，用RIk(i，j)表示第k組的行積分像素個數(shù)矩陣中從像素矩陣第x行起始點(diǎn)(i，0)到點(diǎn)(i，j)處的行積分像素個數(shù)，則RIk(i，j)的計(jì)算公式可以為Σ0≤j≤hs-1Σ0≤i≤ws-1RIk(i-1,j)+fk(i,j),]]>其中，RIk(0，j)＝fk(0，j)。
具體實(shí)現(xiàn)時，計(jì)算過程可以為for j＝0→hs-1{RIk(0，j)＝fk(0，j)for i＝1→ws-1RIk(i，j)＝RIk(i-1，j)+fk(i，j)}上述計(jì)算過程表示從組別矩陣Fk的第0行到第hs-1行，即j＝0→hs-1，對每一行都進(jìn)行加法遞推計(jì)算，其中加法遞推計(jì)算為將該行的第一個值作為該行積分像素個數(shù)的初始值，即RIk(0，j)＝fk(0，j)，將初始值與該行的第二個值相加得到第二個行積分像素個數(shù)值，將第二個行積分像素個數(shù)值與第三個值相加得到第三個行積分像素個數(shù)值，依次遞推，直到得到該行最后一個行積分像素個數(shù)值，即i＝1→ws-1，RIk(i，j)＝RIk(i-1，j)+fk(i，j)。
對于圖7(a)中所示的7×7的像素矩陣來說，hs＝7，ws＝7，則可得到如圖8所示的8個7×7的行積分像素個數(shù)矩陣RIk。
以計(jì)算第0組的行積分像素個數(shù)矩陣RI0為例，從第一行開始計(jì)算，賦初值，即RI0(0，0)＝f0(0，0)＝0，之后遞推計(jì)算，RI0(1，0)＝RI0(0，0)+f0(1，0)＝0+1＝1，RI0(2，0)＝RI0(1，0)+f0(2，0)＝1+0＝1，……，RI0(6，0)＝RI0(5，0)+f0(6，0)＝3+0＝3，然后開始計(jì)算第二行，過程與第一行相同，直到計(jì)算完第6行，第0組的行積分像素個數(shù)計(jì)算完畢。
對于其它組別的行積分像素個數(shù)按照與第0組的行積分像素個數(shù)相同的計(jì)算過程進(jìn)行計(jì)算，最后得到每個組別的行積分像素個數(shù)，即得到每個組別在行方向上的方向積分像素個數(shù)。
對得到的每個組別的行積分像素個數(shù)RIk(i，j)，在整個跟蹤區(qū)域起始點(diǎn)O所屬的另一條邊的方向上即列方向上進(jìn)行加法遞推計(jì)算，若用IIk表示第k組的區(qū)域積分像素個數(shù)矩陣，用IIk(i，j)表示第k組的區(qū)域積分像素個數(shù)矩陣中從像素矩陣起始點(diǎn)(0，0)到點(diǎn)(i，j)的區(qū)域Ci，j的像素個數(shù)，將IIk(i，j)稱為點(diǎn)(i，j)對應(yīng)的區(qū)域積分像素個數(shù)，則IIk(i，j)的計(jì)算公式可以為Σ0≤i≤ws-1Σ0≤j≤hs-1IIk(i,j-1)+RIk(i,j),]]>其中，IIk(i，0)＝RIk(i，0)。
具體實(shí)現(xiàn)時，計(jì)算過程可以為for i＝0→ws-1{IIk(i，0)＝RIk(i，0)for j＝1→hs-1IIk(i，j)＝IIk(i，j-1)+RIk(i，j)}上述計(jì)算過程表示從行積分像素個數(shù)RIk第0列到第ws-1列，即i＝0→ws-1，對每一列都進(jìn)行加法遞推計(jì)算，其中加法遞推計(jì)算為將該列的第一個值作為該列元素對應(yīng)的區(qū)域積分像素個數(shù)的初始值，即IIk(i，0)＝RIk(i，0)，將初始值與該列的第二個值相加得到第二個區(qū)域積分像素個數(shù)值，將第二個區(qū)域積分像素個數(shù)值與第三個值相加得到第三個區(qū)域積分像素個數(shù)值，依次遞推，直到得到該列元素對應(yīng)的最后一個區(qū)域積分像素個數(shù)值，即j＝1→hs-1，IIk(i，j)＝IIk(i，j-1)+RIk(i，j)。
其中，元素對應(yīng)的區(qū)域積分像素個數(shù)值為以起始點(diǎn)O與該元素作為對角線的矩形區(qū)域的區(qū)域積分像素個數(shù)值。其中，極端情況下，起始點(diǎn)與該元素位于同一行或同一列，則以起始點(diǎn)O與該元素為對角線的矩形區(qū)域?yàn)閕×1或1×j的區(qū)域。
對于圖7(a)中所示的7×7的像素矩陣來說，hs＝7，ws＝7，則可得到如圖9所示的8個7×7的區(qū)域積分像素個數(shù)矩陣IIk。
以計(jì)算第0組的區(qū)域積分像素個數(shù)矩陣II0為例，從第一列開始計(jì)算，首先賦初值，即II0(0，0)＝RI0(0，0)＝0，之后進(jìn)行遞推計(jì)算，II0(0，1)＝II0(0，0)+RI0(0，1)＝0+0＝0，II0(0，2)＝II0(0，1)+RI0(0，2)＝0+0＝0，……，II0(0，6)＝II0(0，5)+RI0(0，6)＝0+0＝0，然后開始計(jì)算第二列，過程同第一列相同，直到計(jì)算完第6列，第0組的區(qū)域積分像素個數(shù)計(jì)算完畢。
對于其它組別的區(qū)域積分像素個數(shù)按照與第0組的區(qū)域積分像素個數(shù)相同的計(jì)算過程進(jìn)行計(jì)算，最后得到每個組別的區(qū)域積分像素個數(shù)，即得到每個Ci，j中每個組別的區(qū)域積分像素個數(shù)。
圖10(a)為圖7(a)所示像素矩陣的一種區(qū)域劃分示意圖。其中，H點(diǎn)對應(yīng)的區(qū)域積分像素個數(shù)IIk(1，1)為圖中OAHG表示的區(qū)域I中的像素個數(shù)，C點(diǎn)對應(yīng)的區(qū)域積分像素個數(shù)IIk(5，1)為圖中OBCG表示的區(qū)域II中的像素個數(shù)，D點(diǎn)對應(yīng)的區(qū)域積分像素個數(shù)IIk(5，4)為圖中OBDF表示的區(qū)域IV中的像素個數(shù)，E點(diǎn)對應(yīng)的區(qū)域積分像素個數(shù)IIk(1，4)為圖中OAEF表示的區(qū)域III中的像素個數(shù)。其中，區(qū)域I可表示為C1，1，區(qū)域II可表示為C5，1，區(qū)域IV可表示為C5，4，區(qū)域III可表示為C1，4。
根據(jù)直方圖組數(shù)和每個區(qū)域Ci，j中各組別的像素個數(shù)，可得到每個區(qū)域Ci，j的直方圖，即區(qū)域積分直方圖hi，j。其中，若采用將顏色的每個顏色通道都作為特征通道計(jì)算直方圖，則每個區(qū)域Ci，j的直方圖hi，j包括每個顏色通道的直方圖，即hi，j＝[hr，hg，hb]i，j，或hi，j＝[hy，hu，hv]i，j。其中，hr，hg，hb分別為R、G、B特征通道的直方圖；同理，hy，hu，hv分別為Y、U、V特征通道的直方圖。
對于梯度方向直方圖，可以采用實(shí)施例一中描述的方法，得到每個像素點(diǎn)的Gdir(i，j)，進(jìn)而得到該像素點(diǎn)所屬直方圖的組別，然后對每個梯度方向直方圖組別中的像素個數(shù)進(jìn)行統(tǒng)計(jì)，其中統(tǒng)計(jì)方法與顏色直方圖的統(tǒng)計(jì)方法相同，此處不再贅述。
最后根據(jù)梯度方向直方圖組數(shù)和每個區(qū)域Ci，j中每個組別中的像素個數(shù)，得到每個區(qū)域Ci，j的梯度方向直方圖hdir。
若計(jì)算顏色直方圖時采用的是對顏色的每個顏色通道都計(jì)算直方圖，則結(jié)合顏色直方圖和梯度方向直方圖后每個區(qū)域Ci，j的總直方圖hi，j為hi，j＝[hr，hg，hb，hdir]i，j，或hi，j＝[hy，hu，hv，hdir]i，j，即此時特征通道還包括梯度方向通道。若只采用梯度方向直方圖，則有hi，j＝hdir。
步驟602，利用區(qū)域積分直方圖，計(jì)算所確定的當(dāng)前搜索區(qū)域的直方圖。
本步驟中，對于搜索窗口的全局直方圖，計(jì)算所確定的當(dāng)前搜索窗口的全局直方圖時，將該搜索窗口右下角對應(yīng)的區(qū)域積分直方圖與該搜索窗口左上角對應(yīng)的區(qū)域積分直方圖相加之后，減去該搜索窗口右上角對應(yīng)的區(qū)域積分直方圖和左下角對應(yīng)的區(qū)域積分直方圖，得到該搜索窗口的直方圖。如對于當(dāng)前搜索窗口為(x，y，wc，hc)時，則該搜索窗口為Cx+wc，y+hc+Cx，y-Cx+wc，y-Cx，y+hc，該搜索窗口的直方圖為hx+wc，y+hc+hx，y-hx+wc，y-hx，y+hc。
假設(shè)當(dāng)前搜索窗口為圖10(a)所示的HCDE表示的區(qū)域窗口，則計(jì)算區(qū)域窗口HCDE的直方圖時，需要計(jì)算該區(qū)域窗口中屬于直方圖各組別的像素個數(shù)，即可利用步驟601中計(jì)算得到的區(qū)域積分像素個數(shù)進(jìn)行加減運(yùn)算，具體為IIk(5，4)+IIk(1，1)-IIk(5，1)-IIk(1，4)。
如圖10(b)所示，HCDE表示的區(qū)域窗口中屬于直方圖第0組的像素個數(shù)為II0(5，4)+II0(1，1)-II0(5，1)-II0(1，4)＝9+1-5-2＝3；屬于直方圖第1組的像素個數(shù)為II1(5，4)+II1(1，1)-II1(5，1)-II1(1，4)＝8+2-4-4＝2；……；屬于直方圖第7組的像素個數(shù)為II7(5，4)+II7(1，1)-II7(5，1)-II7(1，4)＝4+0-0-0＝4。
根據(jù)直方圖組數(shù)和該搜索窗口中每個直方圖組別中的像素個數(shù)，得到該搜索窗口的直方圖hwin。其中，若采用將顏色的每個顏色通道都作為特征通道計(jì)算直方圖，則搜索窗口的直方圖hwin包括每個顏色通道的直方圖，即hwin＝[hr，hg，hb]，或hwin＝[hy，hu，hv]。其中，hr，hg，hb分別為R、G、B特征通道的直方圖；同理，hy，hu，hv分別為Y、U、V特征通道的直方圖。
對于搜索窗口的子窗口直方圖，計(jì)算所確定的當(dāng)前子窗口的直方圖時，計(jì)算方法與計(jì)算搜索窗口全局直方圖的方法相同，如假設(shè)第(m，n)塊的窗口區(qū)域?yàn)?mx，ny，wMN，hMN)時，則該子窗口為Cmx+wMN，ny+hMN+Cmx，ny-Cmx+wMN，ny-Cmx，ny+hMN，該子窗口的直方圖為hmx+wMN，ny+hMN+hmx，ny-hmx+wMN，ny-hmx，ny+hMN。
相應(yīng)地，本實(shí)施例中的系統(tǒng)可在實(shí)施例一中的系統(tǒng)或?qū)嵤├械南到y(tǒng)的基礎(chǔ)上，進(jìn)一步包括區(qū)域積分計(jì)算模塊。
參見圖11，圖11為本發(fā)明實(shí)施例三中一種圖像跟蹤系統(tǒng)的結(jié)構(gòu)示意圖。該系統(tǒng)在圖2所示系統(tǒng)的基礎(chǔ)上，添加了區(qū)域積分計(jì)算模塊，用于通過積分運(yùn)算，計(jì)算整個跟蹤區(qū)域內(nèi)以整個跟蹤區(qū)域預(yù)先設(shè)定的一角為起始點(diǎn)的所有區(qū)域的直方圖，得到區(qū)域積分直方圖，并將得到的區(qū)域積分直方圖提供給搜索窗口全局直方圖匹配模塊。
則搜索窗口全局直方圖匹配模塊，利用區(qū)域積分計(jì)算模塊提供的區(qū)域積分直方圖，執(zhí)行所述計(jì)算搜索窗口全局直方圖的操作。
參見圖12，圖12為本發(fā)明實(shí)施例三中又一種圖像跟蹤系統(tǒng)的結(jié)構(gòu)示意圖。該系統(tǒng)在圖5所示系統(tǒng)的基礎(chǔ)上，添加了區(qū)域積分計(jì)算模塊，用于通過積分運(yùn)算，計(jì)算整個跟蹤區(qū)域內(nèi)以整個跟蹤區(qū)域預(yù)先設(shè)定的一角為起始點(diǎn)的所有區(qū)域的直方圖，得到區(qū)域積分直方圖，并將得到的區(qū)域積分直方圖提供給搜索窗口全局直方圖匹配模塊和搜索窗口分塊直方圖匹配模塊。
則搜索窗口全局直方圖匹配模塊，利用區(qū)域積分計(jì)算模塊提供的區(qū)域積分直方圖，執(zhí)行所述計(jì)算當(dāng)前搜索窗口的全局直方圖的操作；搜索窗口分塊直方圖匹配模塊，利用區(qū)域積分計(jì)算模塊提供的區(qū)域積分直方圖，執(zhí)行所述計(jì)算子窗口直方圖的操作。
以上所述的具體實(shí)施例，對本發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳細(xì)說明，所應(yīng)理解的是，以上所述僅為本發(fā)明的較佳實(shí)施例而已，并非用于限定本發(fā)明的保護(hù)范圍，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.一種圖像跟蹤方法，其特征在于，該方法包括利用分類器對整個跟蹤區(qū)域中目標(biāo)可能出現(xiàn)的每個搜索窗口進(jìn)行置信度描述；若不存在置信度滿足跟蹤要求的搜索窗口，則計(jì)算每個搜索窗口的直方圖，將所計(jì)算的每個搜索窗口的直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配，得到每個搜索窗口的匹配結(jié)果，根據(jù)所述匹配結(jié)果確定目標(biāo)的跟蹤位置；若存在置信度滿足跟蹤要求的搜索窗口，則根據(jù)所述置信度滿足跟蹤要求的搜索窗口確定目標(biāo)的跟蹤位置。
2.如權(quán)利要求1所述的方法，其特征在于，若存在置信度滿足跟蹤要求的搜索窗口，則所述根據(jù)所述置信度滿足跟蹤要求的搜索窗口確定目標(biāo)的跟蹤位置為對所述置信度滿足要求的搜索窗口進(jìn)行直方圖匹配，若直方圖匹配成功，則將所述匹配成功的搜索窗口作為目標(biāo)的跟蹤位置。
3.如權(quán)利要求2所述的方法，其特征在于，該方法進(jìn)一步包括將直方圖匹配成功的搜索窗口進(jìn)行存儲，根據(jù)存儲的預(yù)定個數(shù)的搜索窗口的全局直方圖，計(jì)算每個特征通道中直方圖各組別的權(quán)重；則所述將搜索窗口的直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配為根據(jù)每個特征通道中各組別的權(quán)重，對搜索窗口的直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配。
4.如權(quán)利要求1所述的方法，其特征在于，所述目標(biāo)的標(biāo)準(zhǔn)直方圖包括目標(biāo)的全局直方圖；則所述將所計(jì)算的每個搜索窗口的直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配，得到匹配結(jié)果包括將所計(jì)算的每個搜索窗口的全局直方圖與目標(biāo)的全局直方圖進(jìn)行匹配，得到搜索窗口的全局匹配度，將所得到的搜索窗口的全局匹配度作為匹配結(jié)果。
5.如權(quán)利要求4所述的方法，其特征在于，所述目標(biāo)的標(biāo)準(zhǔn)直方圖還包括將目標(biāo)分塊后的分塊直方圖；則得到搜索窗口的全局匹配度之后，將該搜索窗口的全局匹配度作為匹配結(jié)果之前，進(jìn)一步包括根據(jù)搜索窗口的全局匹配度，得到多個全局匹配度滿足預(yù)設(shè)條件的搜索窗口；將所述多個搜索窗口分別按照與目標(biāo)對應(yīng)的分塊方式進(jìn)行分塊，得到每個搜索窗口的子窗口；利用區(qū)域積分直方圖，計(jì)算每個子窗口的直方圖，將得到的每個子窗口的直方圖與目標(biāo)對應(yīng)塊的分塊直方圖進(jìn)行匹配，得到每個子窗口的分塊匹配度；根據(jù)每個搜索窗口的全局匹配度和該搜索窗口中每個子窗口的分塊匹配度，得到每個搜索窗口的匹配結(jié)果。
6.如權(quán)利要求5所述的方法，其特征在于，該方法進(jìn)一步包括通過積分運(yùn)算，計(jì)算整個跟蹤區(qū)域內(nèi)以整個跟蹤區(qū)域預(yù)先設(shè)定的一角為起始點(diǎn)的所有區(qū)域的直方圖，得到區(qū)域積分直方圖；所述計(jì)算每個搜索窗口的全局直方圖具體為利用區(qū)域積分直方圖，計(jì)算每個搜索窗口的全局直方圖；所述計(jì)算每個子窗口的直方圖具體為利用區(qū)域積分直方圖，計(jì)算每個子窗口的直方圖。
7.如權(quán)利要求6所述的方法，其特征在于，所述利用區(qū)域積分直方圖，計(jì)算每個搜索窗口的全局直方圖為對每個搜索窗口，用該搜索窗口四個角對應(yīng)的區(qū)域積分直方圖進(jìn)行加減運(yùn)算，得到該搜索窗口的直方圖；所述利用區(qū)域積分直方圖，計(jì)算每個子窗口的直方圖為對每個子窗口，用該子窗口四個角對應(yīng)的區(qū)域積分直方圖進(jìn)行加減運(yùn)算，得到該子窗口的直方圖。
8.如權(quán)利要求6所述的方法，其特征在于，所述通過積分運(yùn)算，計(jì)算整個跟蹤區(qū)域內(nèi)以整個跟蹤區(qū)域預(yù)先設(shè)定的一角為起始點(diǎn)的所有區(qū)域的直方圖，得到區(qū)域積分直方圖包括確定直方圖組數(shù)；計(jì)算整個跟蹤區(qū)域中每個像素點(diǎn)所屬的直方圖組別；統(tǒng)計(jì)整個跟蹤區(qū)域中以預(yù)先設(shè)定的一角O作為起始點(diǎn)的所有區(qū)域Ci，j中屬于每個直方圖組別的區(qū)域積分像素個數(shù)；根據(jù)直方圖組數(shù)和每個Ci，j中每個直方圖組別的區(qū)域積分像素個數(shù)，得到每個區(qū)域積分直方圖。
9.如權(quán)利要求8所述的方法，其特征在于，所述統(tǒng)計(jì)整個跟蹤區(qū)域中所有Ci，j中屬于每個直方圖組別的區(qū)域積分像素個數(shù)具體為根據(jù)每個像素點(diǎn)所屬的直方圖組別信息，在整個跟蹤區(qū)域O所屬的一條邊的方向上，對每個組別中的像素點(diǎn)個數(shù)進(jìn)行加法遞推計(jì)算，得到每個組別在該方向上的方向積分像素個數(shù)；對得到的每個組別的所述方向積分像素個數(shù)，在整個跟蹤區(qū)域O所屬的另一條邊的方向上進(jìn)行加法遞推計(jì)算，得到每個Ci，j中每個組別的區(qū)域積分像素個數(shù)。
10.如權(quán)利要求1至9中任一項(xiàng)所述的方法，其特征在于，所述直方圖包括顏色直方圖，和/或，梯度方向直方圖。
11.如權(quán)利要求10所述的方法，其特征在于，當(dāng)直方圖包括梯度方向直方圖時，所述計(jì)算每個像素點(diǎn)所屬的直方圖組別包括按照直方圖組數(shù)確定梯度方向的角度區(qū)間；計(jì)算每個像素點(diǎn)的梯度方向所屬的角度區(qū)間，得到該像素點(diǎn)所屬的直方圖組別。
12.如權(quán)利要求11所述的方法，其特征在于，所述計(jì)算每個像素點(diǎn)的梯度方向所屬的角度區(qū)間包括計(jì)算角度區(qū)間的邊界點(diǎn)的正切值，得到正切值區(qū)間；計(jì)算每個像素點(diǎn)在坐標(biāo)軸的y方向的梯度值與x方向的梯度值的比值，根據(jù)該比值所處的正切值區(qū)間，得到每個像素點(diǎn)的梯度方向所屬的角度區(qū)間。
13.一種圖像跟蹤系統(tǒng)，其特征在于，該系統(tǒng)包括目標(biāo)分類器跟蹤單元，用于利用目標(biāo)分類器對整個跟蹤區(qū)域中目標(biāo)可能出現(xiàn)的每個搜索窗口進(jìn)行置信度描述，若不存在置信度滿足跟蹤要求的搜索窗口，則向直方圖匹配跟蹤單元發(fā)送跟蹤失敗的通知；若存在置信度滿足跟蹤要求的搜索窗口，則將所述置信度滿足跟蹤要求的搜索窗口輸出；直方圖匹配跟蹤單元，用于根據(jù)來自目標(biāo)分類器跟蹤單元的跟蹤失敗的通知，計(jì)算每個搜索窗口的直方圖，將計(jì)算得到的每個搜索窗口的直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配，根據(jù)匹配結(jié)果得到目標(biāo)的跟蹤位置。
14.如權(quán)利要求13所述的系統(tǒng)，其特征在于，該系統(tǒng)進(jìn)一步包括直方圖匹配單元，用于接收目標(biāo)分類器跟蹤單元輸出的滿足跟蹤要求的搜索窗口，并計(jì)算所述搜索窗口的直方圖，將計(jì)算的搜索窗口直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配，根據(jù)匹配結(jié)果，確定目標(biāo)的跟蹤位置。
15.如權(quán)利要求14所述的系統(tǒng)，其特征在于，該系統(tǒng)進(jìn)一步包括直方圖權(quán)重更新單元；則直方圖匹配單元進(jìn)一步用于將直方圖匹配成功的搜索窗口提供給直方圖權(quán)重更新單元；直方圖權(quán)重更新單元，用于根據(jù)存儲的預(yù)定個數(shù)的搜索窗口的全局直方圖，計(jì)算每個特征通道中直方圖各組別的權(quán)重，將計(jì)算的每個特征通道中各組別的權(quán)重提供給直方圖匹配跟蹤單元；直方圖匹配跟蹤單元進(jìn)一步用于根據(jù)直方圖權(quán)重更新單元提供的每個特征通道中各組別的權(quán)重，執(zhí)行所述對搜索窗口的直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配的操作。
16.如權(quán)利要求13所述的系統(tǒng)，其特征在于，該系統(tǒng)進(jìn)一步包括區(qū)域積分計(jì)算單元，用于通過積分運(yùn)算，計(jì)算整個跟蹤區(qū)域內(nèi)以整個跟蹤區(qū)域預(yù)先設(shè)定的一角為起始點(diǎn)的所有區(qū)域的直方圖，得到區(qū)域積分直方圖，并將得到的區(qū)域積分直方圖提供給所述直方圖匹配跟蹤單元；所述直方圖匹配跟蹤單元，利用所述區(qū)域積分直方圖，執(zhí)行所述計(jì)算每個搜索窗口的直方圖的操作。
17.如權(quán)利要求13至16中任一項(xiàng)所述的系統(tǒng)，其特征在于，所述直方圖匹配跟蹤單元包括搜索窗口全局直方圖匹配模塊，用于從跟蹤區(qū)域中確定當(dāng)前的搜索窗口，并計(jì)算當(dāng)前搜索窗口的全局直方圖，將計(jì)算得到的當(dāng)前搜索窗口的全局直方圖與目標(biāo)的全局直方圖進(jìn)行匹配，將匹配結(jié)果提供給跟蹤位置確定模塊；跟蹤位置確定模塊，用于根據(jù)搜索窗口全局直方圖匹配模塊提供的所有搜索窗口的匹配結(jié)果，將匹配最好的搜索窗口區(qū)域作為目標(biāo)的跟蹤位置。
18.如權(quán)利要求17所述的系統(tǒng)，其特征在于，所述跟蹤位置確定模塊包括搜索窗口選取子模塊，用于根據(jù)搜索窗口全局直方圖匹配模塊提供的所有搜索窗口的匹配結(jié)果，從中選取滿足預(yù)設(shè)條件的多個搜索窗口，提供給所述搜索窗口分塊直方圖匹配子模塊；搜索窗口分塊直方圖匹配子模塊，用于從搜索窗口選取子模塊提供的搜索窗口中確定當(dāng)前的搜索窗口，對所確定的當(dāng)前搜索窗口按照與目標(biāo)對應(yīng)的分塊方式進(jìn)行分塊，得到子窗口，對每個子窗口，計(jì)算子窗口直方圖，將所計(jì)算的子窗口直方圖與目標(biāo)對應(yīng)塊的分塊直方圖進(jìn)行匹配，得到每個子窗口的分塊匹配度，將所得到的當(dāng)前搜索窗口的分塊匹配度提供給搜索窗口綜合匹配計(jì)算子模塊；搜索窗口綜合匹配計(jì)算子模塊，用于根據(jù)所述當(dāng)前搜索窗口的所有子窗口的分塊匹配度，計(jì)算當(dāng)前搜索窗口的綜合匹配度，并將計(jì)算得到的當(dāng)前搜索窗口的綜合匹配度提供給跟蹤位置確定子模塊；跟蹤位置確定子模塊，用于根據(jù)搜索窗口綜合匹配計(jì)算模塊提供的所有搜索窗口的綜合匹配度，將匹配最好的搜索窗口區(qū)域作為目標(biāo)的跟蹤位置。
全文摘要
本發(fā)明公開了一種圖像跟蹤方法，包括利用分類器對整個跟蹤區(qū)域中目標(biāo)可能出現(xiàn)的每個搜索窗口進(jìn)行置信度描述；若不存在置信度滿足跟蹤要求的搜索窗口，則計(jì)算每個搜索窗口的直方圖，將所計(jì)算的每個搜索窗口的直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配，得到每個搜索窗口的匹配結(jié)果，根據(jù)所述匹配結(jié)果確定目標(biāo)的跟蹤位置；若存在置信度滿足跟蹤要求的搜索窗口，則從所述置信度滿足跟蹤要求的搜索窗口中確定目標(biāo)的跟蹤位置。此外，本發(fā)明還公開了一種圖像跟蹤系統(tǒng)。本發(fā)明所公開的方法及系統(tǒng)，通過采用目標(biāo)分類器與直方圖匹配相結(jié)合的方法，進(jìn)一步提高了跟蹤實(shí)時性。
文檔編號G06T7/20GK101038673SQ20071009897
公開日2007年9月19日 申請日期2007年4月30日 優(yōu)先權(quán)日2007年4月30日
發(fā)明者曾志, 王耀輝 申請人:北京中星微電子有限公司