專利名稱：一種圖像跟蹤方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像跟蹤技術(shù)，尤其涉及一種圖像跟蹤方法及系統(tǒng)。
背景技術(shù)：
目前的圖像跟蹤技術(shù)中，通常采用基于直方圖匹配的目標(biāo)跟蹤算法實(shí)現(xiàn)對(duì)目標(biāo)的跟蹤，即在新一幀圖像中目標(biāo)可能出現(xiàn)的區(qū)域搜索最匹配的對(duì)應(yīng)目標(biāo)，作為目標(biāo)的新位置。其中，考慮到每一幀圖像在拍攝過(guò)程中，由于目標(biāo)的遠(yuǎn)近移動(dòng)，而可能使目標(biāo)在每幀圖像中的尺寸大小不一樣，即目標(biāo)在每幀圖像中的尺度有可能不同，因此，在新一幀圖像中目標(biāo)可能出現(xiàn)的區(qū)域除了包括跟蹤區(qū)域中不同位置的區(qū)域外，還包括對(duì)相同位置進(jìn)行不同尺度縮放所形成的區(qū)域。
在基于直方圖匹配的目標(biāo)跟蹤算法中，有一種算法為Meanshift目標(biāo)跟蹤算法，該算法中采用迭代搜索的策略，能夠在較短的時(shí)間內(nèi)跟蹤到目標(biāo)，但由于迭代算法是基于匹配度梯度下降的原理，因此搜索過(guò)程中只能找到匹配度的局部最優(yōu)位置，而不能找到全局最優(yōu)位置，使得在有相近顏色的物體存在的情況下，容易出現(xiàn)目標(biāo)跟蹤失敗的情況，無(wú)法保證跟蹤效果。
此外，在基于直方圖匹配的目標(biāo)跟蹤算法中，還有一種算法為基于全局搜索的目標(biāo)跟蹤算法，該算法中采用窮舉搜索的策略，將目標(biāo)可能出現(xiàn)的每一個(gè)位置和尺度區(qū)域的目標(biāo)圖像都與待跟蹤目標(biāo)圖像進(jìn)行匹配，根據(jù)匹配結(jié)果得到目標(biāo)在下一幀圖像中的跟蹤位置。
可見(jiàn)，基于全局搜索的目標(biāo)跟蹤算法能夠保證跟蹤效果，但是該算法中，在對(duì)目標(biāo)可能出現(xiàn)的每個(gè)位置和尺度區(qū)域的目標(biāo)圖像與待跟蹤目標(biāo)圖像進(jìn)行匹配的過(guò)程中，需要計(jì)算每個(gè)區(qū)域，即每個(gè)搜索窗口的目標(biāo)圖像的直方圖，現(xiàn)有技術(shù)中，在計(jì)算搜索窗口的直方圖時(shí)，確定了直方圖的色階組數(shù)后，需要根據(jù)該搜索窗口中每一個(gè)像素點(diǎn)的亮度色階，逐次計(jì)算每個(gè)像素點(diǎn)所屬的直方圖組別，統(tǒng)計(jì)每個(gè)直方圖組別的像素點(diǎn)個(gè)數(shù)，得到該搜索窗口的直方圖。由于每搜索一個(gè)窗口區(qū)域，都要重復(fù)一次上述計(jì)算直方圖的過(guò)程，又因?yàn)樵诟F舉搜索中，有很多像素點(diǎn)的計(jì)算都是重復(fù)進(jìn)行的，因此計(jì)算量較大，如在100×100大小的搜索窗口中搜索20×20的目標(biāo)時(shí)，若考慮有三種尺度變化的話，則至少約需計(jì)算3×80×80×20×20＝7680000次，可見(jiàn)計(jì)算量較大，因此現(xiàn)有技術(shù)中，基于全局搜索的目標(biāo)跟蹤算法的實(shí)時(shí)跟蹤性較差。

發(fā)明內(nèi)容
有鑒于此，本發(fā)明一方面提供一種圖像跟蹤方法；另一方面提供一種圖像跟蹤系統(tǒng)，能夠保證跟蹤效果，并提高跟蹤速度。
本發(fā)明所提供的圖像跟蹤方法，包括通過(guò)積分運(yùn)算，計(jì)算整個(gè)跟蹤區(qū)域內(nèi)以整個(gè)跟蹤區(qū)域預(yù)先設(shè)定的一角為起始點(diǎn)的所有區(qū)域的直方圖，得到區(qū)域積分直方圖；利用區(qū)域積分直方圖，計(jì)算整個(gè)跟蹤區(qū)域中目標(biāo)可能出現(xiàn)的每個(gè)搜索窗口的直方圖，將計(jì)算得到的每個(gè)搜索窗口的直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配，得到匹配結(jié)果，根據(jù)匹配結(jié)果確定目標(biāo)的跟蹤位置。
其中，所述積分直方圖包括顏色積分直方圖，和/或，梯度方向積分直方圖。
上述方案中，所述利用區(qū)域積分直方圖，計(jì)算目標(biāo)可能出現(xiàn)的每個(gè)搜索窗口的直方圖為對(duì)目標(biāo)可能出現(xiàn)的每個(gè)搜索窗口，用該搜索窗口四個(gè)角對(duì)應(yīng)的區(qū)域積分直方圖進(jìn)行加減運(yùn)算，得到該搜索窗口的直方圖。
其中，若預(yù)先設(shè)定的一角為左上角，則所述用搜索窗口四個(gè)角對(duì)應(yīng)的區(qū)域積分直方圖進(jìn)行加減運(yùn)算具體為將該搜索窗口右下角對(duì)應(yīng)的區(qū)域積分直方圖與該搜索窗口左上角對(duì)應(yīng)的區(qū)域積分直方圖相加之后，減去該搜索窗口右上角對(duì)應(yīng)的區(qū)域積分直方圖和左下角對(duì)應(yīng)的區(qū)域積分直方圖，得到該搜索窗口的直方圖。
上述方案中，所述通過(guò)計(jì)算得到區(qū)域積分直方圖包括確定直方圖組數(shù)；計(jì)算整個(gè)跟蹤區(qū)域中每個(gè)像素點(diǎn)所屬的直方圖組別；統(tǒng)計(jì)整個(gè)跟蹤區(qū)域中以預(yù)先設(shè)定的一角O作為起始點(diǎn)的所有區(qū)域Ci，j中屬于每個(gè)直方圖組別的區(qū)域積分像素個(gè)數(shù)；根據(jù)直方圖組數(shù)和每個(gè)Ci，j中每個(gè)直方圖組別的區(qū)域積分像素個(gè)數(shù)，得到每個(gè)區(qū)域積分直方圖。
其中，所述統(tǒng)計(jì)整個(gè)跟蹤區(qū)域中所有Ci，j中屬于每個(gè)直方圖組別的區(qū)域積分像素個(gè)數(shù)具體為根據(jù)每個(gè)像素點(diǎn)所屬的直方圖組別信息，在整個(gè)跟蹤區(qū)域O所屬的一條邊的方向上，對(duì)每個(gè)組別中的像素點(diǎn)個(gè)數(shù)進(jìn)行加法遞推計(jì)算，得到每個(gè)組別在該方向上的方向積分像素個(gè)數(shù)；對(duì)得到的每個(gè)組別的所述方向積分像素個(gè)數(shù)，在整個(gè)跟蹤區(qū)域O所屬的另一條邊的方向上進(jìn)行加法遞推計(jì)算，得到每個(gè)Ci，j中每個(gè)組別的區(qū)域積分像素個(gè)數(shù)。
上述方案中，當(dāng)積分直方圖包括梯度方向積分直方圖時(shí)，所述計(jì)算每個(gè)像素點(diǎn)所屬的直方圖組別包括按照直方圖組數(shù)確定梯度方向的角度區(qū)間；計(jì)算每個(gè)像素點(diǎn)的梯度方向所屬的角度區(qū)間，得到該像素點(diǎn)所屬的直方圖組別。
其中，所述計(jì)算每個(gè)像素點(diǎn)的梯度方向所屬的角度區(qū)間包括計(jì)算角度區(qū)間的邊界點(diǎn)的正切值，得到正切值區(qū)間；計(jì)算每個(gè)像素點(diǎn)在坐標(biāo)軸的y方向的梯度值與x方向的梯度值的比值，根據(jù)該比值所處的正切值區(qū)間，得到每個(gè)像素點(diǎn)的梯度方向所屬的角度區(qū)間。
上述方案中，所述目標(biāo)的標(biāo)準(zhǔn)直方圖包括目標(biāo)的全局直方圖；則所述將所計(jì)算的每個(gè)搜索窗口的直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配，得到匹配結(jié)果包括將所計(jì)算的每個(gè)搜索窗口的全局直方圖與目標(biāo)的全局直方圖進(jìn)行匹配，得到搜索窗口的全局匹配度，將所得到的搜索窗口的全局匹配度作為匹配結(jié)果。
較佳地，所述目標(biāo)的標(biāo)準(zhǔn)直方圖還包括將目標(biāo)分塊后的分塊直方圖；則得到搜索窗口的全局匹配度之后，將該搜索窗口的全局匹配度作為匹配結(jié)果之前，進(jìn)一步包括根據(jù)搜索窗口的全局匹配度，得到多個(gè)全局匹配度滿足預(yù)設(shè)條件的搜索窗口；將所述多個(gè)搜索窗口分別按照與目標(biāo)對(duì)應(yīng)的分塊方式進(jìn)行分塊，得到每個(gè)搜索窗口的子窗口；利用區(qū)域積分直方圖，計(jì)算每個(gè)子窗口的直方圖，將得到的每個(gè)子窗口的直方圖與目標(biāo)對(duì)應(yīng)塊的分塊直方圖進(jìn)行匹配，得到每個(gè)子窗口的分塊匹配度；根據(jù)每個(gè)搜索窗口的全局匹配度和該搜索窗口中每個(gè)子窗口的分塊匹配度，得到每個(gè)搜索窗口的匹配結(jié)果。
較佳地，計(jì)算整個(gè)跟蹤區(qū)域的積分直方圖之前，進(jìn)一步包括利用分類器對(duì)整個(gè)跟蹤區(qū)域中目標(biāo)可能出現(xiàn)的每個(gè)搜索窗口進(jìn)行置信度描述，若沒(méi)有置信度滿足跟蹤要求的搜索窗口，則執(zhí)行所述計(jì)算整個(gè)跟蹤區(qū)域的積分直方圖的操作。
較佳地，該方法進(jìn)一步包括若存在置信度滿足跟蹤要求的搜索窗口，則對(duì)置信度滿足跟蹤要求的搜索窗口進(jìn)行直方圖匹配，若直方圖匹配失敗，則執(zhí)行所述計(jì)算整個(gè)跟蹤區(qū)域的積分直方圖的操作；若直方圖匹配成功，則將匹配成功的搜索窗口作為目標(biāo)的跟蹤位置。
較佳地，該方法進(jìn)一步包括將匹配成功的搜索窗口進(jìn)行存儲(chǔ)，根據(jù)存儲(chǔ)的預(yù)定個(gè)數(shù)的搜索窗口的直方圖，計(jì)算每個(gè)特征通道中直方圖各組別的權(quán)重；則所述將搜索窗口的直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配為根據(jù)每個(gè)特征通道中各組別的權(quán)重，對(duì)搜索窗口的直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配。
本發(fā)明所提供的圖像跟蹤系統(tǒng)，包括跟蹤區(qū)域設(shè)置單元、區(qū)域積分計(jì)算單元和直方圖匹配跟蹤單元，其中，跟蹤區(qū)域設(shè)置單元，用于在當(dāng)前幀圖像中設(shè)置目標(biāo)的跟蹤區(qū)域，將所設(shè)置的跟蹤區(qū)域通知給區(qū)域積分計(jì)算單元和直方圖匹配跟蹤單元；區(qū)域積分計(jì)算單元，用于通過(guò)積分運(yùn)算，計(jì)算整個(gè)跟蹤區(qū)域內(nèi)以整個(gè)跟蹤區(qū)域預(yù)先設(shè)定的一角為起始點(diǎn)的所有區(qū)域的直方圖，得到區(qū)域積分直方圖，并將得到的區(qū)域積分直方圖提供給直方圖匹配跟蹤單元；直方圖匹配跟蹤單元，用于利用區(qū)域積分計(jì)算單元提供的區(qū)域積分直方圖，計(jì)算整個(gè)跟蹤區(qū)域中目標(biāo)可能出現(xiàn)的每個(gè)搜索窗口的直方圖，將計(jì)算得到的每個(gè)搜索窗口的直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配，根據(jù)匹配結(jié)果得到目標(biāo)的跟蹤位置。
較佳地，該系統(tǒng)進(jìn)一步包括目標(biāo)分類器跟蹤單元，用于利用分類器對(duì)整個(gè)跟蹤區(qū)域中目標(biāo)可能出現(xiàn)的每個(gè)搜索窗口進(jìn)行置信度描述，若沒(méi)有置信度滿足跟蹤要求的搜索窗口，則向所述區(qū)域積分計(jì)算單元發(fā)送跟蹤失敗的通知；所述區(qū)域積分計(jì)算單元，根據(jù)來(lái)自目標(biāo)分類器跟蹤單元的跟蹤失敗的通知，執(zhí)行所述區(qū)域積分直方圖計(jì)算的操作。
較佳地，該系統(tǒng)進(jìn)一步包括直方圖匹配單元；則目標(biāo)分類器跟蹤單元進(jìn)一步用于若存在置信度滿足跟蹤要求的搜索窗口，則將所述置信度滿足跟蹤要求的搜索窗口提供給直方圖匹配單元；直方圖匹配單元，用于計(jì)算目標(biāo)分類器跟蹤單元提供的置信度滿足跟蹤要求的搜索窗口的直方圖，將計(jì)算的搜索窗口直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配，根據(jù)匹配結(jié)果，確定目標(biāo)的跟蹤位置。
較佳地，該系統(tǒng)進(jìn)一步包括直方圖權(quán)重更新單元；則直方圖匹配單元進(jìn)一步用于將匹配成功的搜索窗口提供給直方圖權(quán)重更新單元；直方圖權(quán)重更新單元，用于根據(jù)存儲(chǔ)的預(yù)定個(gè)數(shù)的搜索窗口的直方圖，計(jì)算每個(gè)特征通道中直方圖各組別的權(quán)重，將計(jì)算的每個(gè)特征通道中各組別的權(quán)重提供給直方圖匹配跟蹤單元；直方圖匹配跟蹤單元進(jìn)一步用于根據(jù)直方圖權(quán)重更新單元提供的每個(gè)特征通道中各組別的權(quán)重，執(zhí)行所述對(duì)搜索窗口的直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配的操作。
上述方案中，所述直方圖匹配跟蹤單元包括搜索窗口確定模塊、直方圖計(jì)算模塊、直方圖匹配模塊和跟蹤位置確定模塊，其中，搜索窗口確定模塊，用于從跟蹤區(qū)域設(shè)置單元提供的跟蹤區(qū)域中確定當(dāng)前的搜索窗口，并將所確定的當(dāng)前搜索窗口通知給直方圖計(jì)算模塊；直方圖計(jì)算模塊，用于利用區(qū)域積分計(jì)算單元提供的區(qū)域積分直方圖計(jì)算當(dāng)前搜索窗口的直方圖，將計(jì)算得到的當(dāng)前搜索窗口的直方圖提供給直方圖匹配模塊；通知搜索窗口確定模塊提供下一個(gè)當(dāng)前搜索窗口；直方圖匹配模塊，用于將直方圖計(jì)算模塊提供的當(dāng)前搜索窗口的直方圖與預(yù)先計(jì)算的目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配，將匹配結(jié)果提供給跟蹤位置確定模塊；跟蹤位置確定模塊，用于根據(jù)直方圖匹配模塊提供的目標(biāo)可能出現(xiàn)的所有搜索窗口的匹配結(jié)果，將匹配最好的搜索窗口區(qū)域作為目標(biāo)的跟蹤位置。
其中，所述跟蹤位置確定模塊包括搜索窗口選取子模塊、搜索窗口確定子模塊、塊直方圖計(jì)算匹配子模塊、搜索窗口綜合匹配計(jì)算子模塊和跟蹤位置確定子模塊，其中，搜索窗口選取子模塊，用于根據(jù)直方圖匹配模塊提供的所有搜索窗口的匹配結(jié)果，從中選取滿足預(yù)設(shè)條件的多個(gè)搜索窗口，提供給搜索窗口確定子模塊；搜索窗口確定子模塊，用于從搜索窗口選取子模塊提供的搜索窗口中確定當(dāng)前的搜索窗口，并將所確定的當(dāng)前搜索窗口通知給塊直方圖計(jì)算匹配子模塊；塊直方圖計(jì)算匹配子模塊，用于將搜索窗口確定子模塊提供的當(dāng)前搜索窗口按照與目標(biāo)對(duì)應(yīng)的分塊方法進(jìn)行分塊，得到子窗口；對(duì)每個(gè)的子窗口，利用積分直方圖計(jì)算子窗口直方圖，將所計(jì)算的子窗口直方圖與目標(biāo)對(duì)應(yīng)塊的分塊直方圖進(jìn)行匹配，得到每個(gè)子窗口的分塊匹配度，將所得到的分塊匹配度提供給搜索窗口綜合匹配計(jì)算子模塊；通知搜索窗口確定子模塊提供下一個(gè)當(dāng)前搜索窗口；搜索窗口綜合匹配計(jì)算子模塊，用于根據(jù)塊直方圖計(jì)算匹配子模塊提供的當(dāng)前搜索窗口的所有子窗口的分塊匹配度，計(jì)算當(dāng)前搜索窗口的綜合匹配度，并將計(jì)算得到的當(dāng)前搜索窗口的綜合匹配度提供給跟蹤位置確定子模塊；跟蹤位置確定子模塊，用于根據(jù)搜索窗口綜合匹配計(jì)算子模塊提供的所有搜索窗口的綜合匹配度，將匹配最好的搜索窗口區(qū)域作為目標(biāo)的跟蹤位置。
從上述方法及系統(tǒng)方案可以看出，本發(fā)明中首先計(jì)算整個(gè)跟蹤區(qū)域的區(qū)域積分直方圖，然后利用區(qū)域積分直方圖，通過(guò)加減運(yùn)算，逐次計(jì)算目標(biāo)可能出現(xiàn)的每個(gè)區(qū)域，即搜索窗口的直方圖。即本發(fā)明中對(duì)每個(gè)像素點(diǎn)所屬的直方圖組別只在計(jì)算積分直方圖時(shí)計(jì)算一次，之后對(duì)目標(biāo)可能出現(xiàn)的每個(gè)搜索窗口的直方圖的計(jì)算只需根據(jù)區(qū)域積分直方圖的結(jié)果，進(jìn)行三次加減運(yùn)算，如用搜索窗口右下角對(duì)應(yīng)的區(qū)域積分直方圖與搜索窗口左上角對(duì)應(yīng)的區(qū)域積分直方圖相加之后，減去搜索窗口右上角對(duì)應(yīng)的區(qū)域積分直方圖和左下角對(duì)應(yīng)的區(qū)域積分直方圖，得到搜索窗口的直方圖，在對(duì)大量窗口進(jìn)行匹配的情況下，該算法大大降低了運(yùn)算量，如仍以在100×100大小的搜索窗口中搜索20×20的目標(biāo)為例，若同樣考慮有三種尺度變化的話，則只約需計(jì)算3×80×80×3+100×100×2＝77600，可見(jiàn)大大縮減了計(jì)算次數(shù)，提高了運(yùn)算速度，保證了跟蹤的實(shí)時(shí)性；又因?yàn)楸景l(fā)明中是將計(jì)算的目標(biāo)可能出現(xiàn)的每個(gè)搜索窗口的直方圖與目標(biāo)的直方圖進(jìn)行匹配，根據(jù)匹配結(jié)果得到目標(biāo)的預(yù)測(cè)位置，因此保證了跟蹤效果。
此外，本發(fā)明中在進(jìn)行直方圖匹配時(shí)，除了包括顏色直方圖，還包括梯度方向直方圖，從而在跟蹤區(qū)域內(nèi)存在與目標(biāo)顏色相似的物體時(shí)，不會(huì)受到該物體的干擾，進(jìn)一步保證了跟蹤效果。
另外，本發(fā)明中在進(jìn)行直方圖匹配時(shí)，通過(guò)采用分塊直方圖匹配，從而避免了由于在統(tǒng)計(jì)過(guò)程中丟失各像素的空間位置信息而造成跟蹤失敗的情況，進(jìn)一步保證了跟蹤效果。
最后，本發(fā)明中在進(jìn)行直方圖匹配時(shí)，進(jìn)一步采用與目標(biāo)分類器相結(jié)合的方法，從而由目標(biāo)分類器實(shí)現(xiàn)粗略跟蹤，進(jìn)一步提高了跟蹤實(shí)時(shí)性，之后由直方圖匹配實(shí)現(xiàn)精細(xì)跟蹤，保證了跟蹤效果。


圖1為本發(fā)明實(shí)施例一中圖像跟蹤方法的流程圖；圖2(a)為大小為7×7的跟蹤區(qū)域像素矩陣示意圖；圖2(b)為圖2(a)所示像素矩陣中每個(gè)像素點(diǎn)所屬直方圖組別信息的矩陣圖；圖3為每個(gè)直方圖組別的行積分像素個(gè)數(shù)矩陣圖；圖4為每個(gè)直方圖組別的區(qū)域積分像素個(gè)數(shù)矩陣圖；圖5(a)為圖2(a)所示像素矩陣的一種區(qū)域窗口劃分示意圖；圖5(b)為在圖4所示區(qū)域積分像素個(gè)數(shù)矩陣中計(jì)算搜索窗口像素個(gè)數(shù)的示意圖；圖6(a)為本發(fā)明實(shí)施例一中圖像跟蹤系統(tǒng)的結(jié)構(gòu)示意圖；圖6(b)為圖6(a)所示系統(tǒng)中直方圖匹配跟蹤單元的一種內(nèi)部結(jié)構(gòu)示意圖；圖7為本發(fā)明實(shí)施例三中目標(biāo)的標(biāo)準(zhǔn)直方圖構(gòu)成示意圖；圖8為本發(fā)明實(shí)施例三中圖像跟蹤方法步驟107中具體實(shí)現(xiàn)的流程圖；圖9為本發(fā)明實(shí)施例三中圖像跟蹤系統(tǒng)中跟蹤位置確定模塊的內(nèi)部結(jié)構(gòu)示意圖；圖10為本發(fā)明實(shí)施例四中圖像跟蹤方法的流程圖；圖11為本發(fā)明實(shí)施例四中圖像跟蹤系統(tǒng)的結(jié)構(gòu)示意圖；圖12為本發(fā)明實(shí)施例四中圖像跟蹤系統(tǒng)的又一個(gè)結(jié)構(gòu)示意圖。
具體實(shí)施例方式
本發(fā)明的基本思想是計(jì)算整個(gè)跟蹤區(qū)域的區(qū)域積分直方圖；利用區(qū)域積分直方圖，通過(guò)加減運(yùn)算，計(jì)算目標(biāo)可能出現(xiàn)的每個(gè)搜索窗口的直方圖，將所計(jì)算的直方圖與目標(biāo)的直方圖進(jìn)行匹配，根據(jù)匹配結(jié)果得到目標(biāo)的跟蹤位置。
為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，下面結(jié)合實(shí)施例和附圖，對(duì)本發(fā)明進(jìn)一步詳細(xì)說(shuō)明。
實(shí)施例一參見(jiàn)圖1，圖1為本發(fā)明實(shí)施例一中圖像跟蹤方法的流程圖。如圖1所示，該流程包括如下步驟步驟101，在當(dāng)前幀圖像中設(shè)置跟蹤區(qū)域。
本步驟中，跟蹤區(qū)域的設(shè)置方法可以有很多種。其中一種可以為先通過(guò)位置預(yù)測(cè)得到目標(biāo)的預(yù)測(cè)位置，然后在目標(biāo)的預(yù)測(cè)位置基礎(chǔ)上，根據(jù)目標(biāo)的最大運(yùn)動(dòng)速度來(lái)設(shè)置目標(biāo)的整個(gè)跟蹤區(qū)域。
例如可采用如下的位置預(yù)測(cè)方法，得到目標(biāo)的預(yù)測(cè)位置若跟蹤到目標(biāo)在時(shí)刻t的位置為(xt，yt)，在時(shí)刻t-Δt的位置為(xt-1，yt-1)，則可以簡(jiǎn)單的估計(jì)當(dāng)前目標(biāo)的速度為vx＝(xt-xt-1)/Δt，vy＝(yt-yt-1)/Δt。
考慮到目標(biāo)的不規(guī)則運(yùn)動(dòng)或者跟蹤過(guò)程中的偏差，為了避免上述估計(jì)不夠穩(wěn)定，可采用濾波器通過(guò)多幀圖像來(lái)平滑速度向量，并得到如下的速度向量
vx(t)=k×(xt-xt-1)/Δt+Σn=1k-1(k-n)×vx(t-n)Σn=1kn,]]>vy(t)=k×(yt-yt-1)/Δt+Σn=1k-1(k-n)×vy(t-n)Σn=1kn,]]>其中，k為進(jìn)行平滑所需的總圖像幀數(shù)。
根據(jù)目標(biāo)的速度向量估計(jì)，可以預(yù)測(cè)目標(biāo)在下一時(shí)刻的位置為x^t+1=xt+vx(t),]]>y^t+1=yt+vy(t).]]>其中，在對(duì)不只一個(gè)像素點(diǎn)的目標(biāo)的位置進(jìn)行預(yù)測(cè)時(shí)，(xt，yt)和 都為目標(biāo)的位置中心點(diǎn)，因此，得到目標(biāo)在下一時(shí)刻的預(yù)測(cè)位置中心點(diǎn) 之后，根據(jù)該中心點(diǎn)確定目標(biāo)在下一時(shí)刻的預(yù)測(cè)位置(xp，yp，wp，hp)，其中，(xp，yp)為目標(biāo)在下一時(shí)刻位置的左上角點(diǎn)的坐標(biāo)，(wp，hp)為目標(biāo)在下一時(shí)刻位置的寬度和高度。
得到上述預(yù)測(cè)位置之后，可按照如下方法，根據(jù)目標(biāo)的最大運(yùn)動(dòng)速度來(lái)設(shè)置目標(biāo)的整個(gè)跟蹤區(qū)域設(shè)最大預(yù)測(cè)誤差Δmax＝(Δxmax，Δymax)，則目標(biāo)可能出現(xiàn)的矩形區(qū)域?yàn)?xs，ys，ws，hs)，其中，xs＝xp-Δxmax，ys＝y(tǒng)p-Δymax，ws＝wp+2Δxmax，hs＝hp+2Δymax。
將矩形區(qū)域(xs，ys，ws，hs)設(shè)置為整個(gè)跟蹤區(qū)域。
步驟102，通過(guò)積分運(yùn)算，計(jì)算整個(gè)跟蹤區(qū)域內(nèi)以整個(gè)跟蹤區(qū)域預(yù)先設(shè)定的一角為起始點(diǎn)的所有區(qū)域的直方圖，得到區(qū)域積分直方圖。
本步驟中，計(jì)算區(qū)域積分直方圖時(shí)，具體可以為確定積分直方圖的組數(shù)K，即位數(shù)，或稱長(zhǎng)度；然后計(jì)算整個(gè)跟蹤區(qū)域中每個(gè)像素點(diǎn)所屬直方圖組別k的組別信息fk(i，j)，k∈(0，1，...，K-1)，即計(jì)算每個(gè)像素點(diǎn)屬于直方圖的第幾位。為統(tǒng)一起見(jiàn)，本文中凡涉及起始點(diǎn)的地方，都按起始點(diǎn)為0點(diǎn)進(jìn)行處理；預(yù)先設(shè)定整個(gè)跟蹤區(qū)域的一角O作為起始點(diǎn)，統(tǒng)計(jì)整個(gè)跟蹤區(qū)域中以O(shè)作為起始點(diǎn)的所有區(qū)域Ci，j中屬于每個(gè)組別k的像素個(gè)數(shù)，將每個(gè)Ci，j中屬于每個(gè)組別k的像素個(gè)數(shù)統(tǒng)稱為每個(gè)Ci，j中屬于每個(gè)組別k的區(qū)域積分像素個(gè)數(shù)IIk(i，j)；根據(jù)直方圖組數(shù)和每個(gè)以O(shè)作為起始點(diǎn)的區(qū)域Ci，j中每個(gè)組別k的區(qū)域積分像素個(gè)數(shù)IIk(i，j)，得到每個(gè)區(qū)域Ci，j的直方圖，并將每個(gè)Ci，j的直方圖統(tǒng)稱為區(qū)域積分直方圖。其中，對(duì)于步驟101中所設(shè)置的跟蹤區(qū)域，Ci，j中i，j的取值為0≤i＜ws，0≤j＜hs，且IIk(i,j)=Σm<i,n<jfk(i,j).]]>具體實(shí)現(xiàn)時(shí)，為了快速統(tǒng)計(jì)每個(gè)Ci，j中每個(gè)直方圖組別中的像素個(gè)數(shù)，可以采用加法遞推運(yùn)算，根據(jù)每個(gè)像素點(diǎn)所屬的直方圖組別信息，在整個(gè)跟蹤區(qū)域起始點(diǎn)O所屬的一條邊的方向上，對(duì)每個(gè)組別中的像素點(diǎn)個(gè)數(shù)進(jìn)行加法遞推計(jì)算，得到每個(gè)組別在該方向上的方向積分像素個(gè)數(shù)，對(duì)得到的每個(gè)組別的方向積分像素個(gè)數(shù)，在整個(gè)跟蹤區(qū)域O所屬的另一條邊的方向上進(jìn)行加法遞推計(jì)算，得到每個(gè)Ci，j中每個(gè)組別的區(qū)域積分像素個(gè)數(shù)。
其中，O可以為左上角，或右上角，或左下角，或右下角，O所屬的一條邊的方向可以是行方向，也可以是列方向，若是行方向，則O所屬的另一條邊的方向?yàn)榱蟹较?；若是列方向，則O所屬的另一條邊的方向?yàn)樾蟹较颉?br> 為方面描述，下文中均以O(shè)為左上角，O所屬的一條邊的方向?yàn)樾蟹较虻那闆r為例。
一般情況下，直方圖都為顏色直方圖，因此本實(shí)施例中也采用顏色直方圖，下面對(duì)上述區(qū)域積分直方圖的計(jì)算過(guò)程進(jìn)行詳細(xì)描述。
顏色標(biāo)準(zhǔn)一般包括紅綠藍(lán)(RGB)圖像標(biāo)準(zhǔn)，或YUV圖像標(biāo)準(zhǔn)等。計(jì)算顏色直方圖時(shí)，可以將整個(gè)顏色作為一個(gè)特征通道，計(jì)算該特征通道的直方圖，或者，為了描述目標(biāo)的顏色特征，也可以將其中每一個(gè)顏色通道作為一個(gè)特征通道，計(jì)算每個(gè)特征通道的直方圖。如若采用RGB圖像標(biāo)準(zhǔn)，則特征通道可以為紅(R)、綠(G)、藍(lán)(B)三個(gè)顏色通道；若采用YUV圖像標(biāo)準(zhǔn)，則特征通道可以為Y、U、V三個(gè)顏色通道。
因?yàn)橄袼氐牧炼壬A分布為0～255，總數(shù)為256，若以其中的一個(gè)特征通道為例，用I(i，j)表示(i，j)處像素點(diǎn)在該特征通道中的色階值，并用fk(i，j)，k∈(0，1，...，K-1)表示(i，j)處像素點(diǎn)所屬的組別信息，則(i，j)處像素點(diǎn)在該特征通道中所屬的直方圖組別計(jì)算可以為fk(i,j)=1,I(i,j)256/K=k0,]]>其中，為1表示屬于第k組，為0表示不屬于第k組。當(dāng)然，也可以采用區(qū)間計(jì)算法，即分別計(jì)算各組別的邊界值，根據(jù)組別的邊界值，判斷I(i，j)所屬的組別區(qū)間，從而得到I(i，j)所屬的組別。計(jì)算出所有fk(i，j)后，得到K個(gè)組別矩陣Fk，k∈(0，1，…，K-1)。
參見(jiàn)圖2，圖2給出了一組計(jì)算得到的每個(gè)像素點(diǎn)所屬直方圖組別的示意圖。如圖2(a)所示，圖2(a)為大小為7×7的跟蹤區(qū)域像素矩陣示意圖。為方便描述，圖2中以整個(gè)跟蹤區(qū)域大小為7×7的情況為例，并假設(shè)直方圖組數(shù)K＝8，起始點(diǎn)O的坐標(biāo)(xs，ys)為(0，0)，則在7×7的像素矩陣跟蹤區(qū)域中，每個(gè)像素點(diǎn)所屬直方圖組別的情況分別如圖2(b)中所示的8個(gè)組別矩陣Fk，k∈(0，1，...，7)，圖2(b)為圖2(a)所示像素矩陣中每個(gè)像素點(diǎn)所屬直方圖組別信息的矩陣圖。如圖2(b)所示，F(xiàn)0示出了像素點(diǎn)在直方圖中第0組的分布，……，F(xiàn)7示出了像素點(diǎn)在直方圖中第7組的分布，F(xiàn)k中的1表示屬于直方圖中的k組，0表示不屬于直方圖中的k組。如F0中(1，2)位置處的值為1，即f0(1，2)的值為1，而其它Fk，k∈(1，...，7)中相應(yīng)位置處的值都為0，即fk(i，j)，k∈(1，...，7)為0，表示圖2(a)中(1，2)位置處的像素點(diǎn)屬于直方圖的第0組，依次類推，圖2(b)中的組別矩陣Fk示出了每個(gè)像素點(diǎn)所屬直方圖的組別信息。
在得出了每個(gè)像素點(diǎn)所屬的直方圖組別信息后，下面對(duì)每個(gè)直方圖組別中的像素個(gè)數(shù)的統(tǒng)計(jì)進(jìn)行詳細(xì)描述。
若用RIk表示第k組的行積分像素個(gè)數(shù)矩陣，用RIk(i，j)表示第k組的行積分像素個(gè)數(shù)矩陣中從像素矩陣第x行起始點(diǎn)(i，0)到點(diǎn)(i，j)處的行積分像素個(gè)數(shù)，則RIk(i，j)的計(jì)算公式可以為Σ0≤j≤hs-1Σ0≤i≤ws-1RIk(i-1,j)+fk(i,j),]]>其中，RIk(0，j)＝fk(0，j)。
具體實(shí)現(xiàn)時(shí)，計(jì)算過(guò)程可以為for j＝0→hs-1{RIk(0，j)＝fk(0，j)for i＝1→ws-1RIk(i，j)＝RIk(i-1，j)+fk(i，j)}上述計(jì)算過(guò)程表示從組別矩陣Fk的第0行到第hs-1行，即j＝0→hs-1，對(duì)每一行都進(jìn)行加法遞推計(jì)算，其中加法遞推計(jì)算為將該行的第一個(gè)值作為該行積分像素個(gè)數(shù)的初始值，即RIk(0，j)＝fk(0，j)，將初始值與該行的第二個(gè)值相加得到第二個(gè)行積分像素個(gè)數(shù)值，將第二個(gè)行積分像素個(gè)數(shù)值與第三個(gè)值相加得到第三個(gè)行積分像素個(gè)數(shù)值，依次遞推，直到得到該行最后一個(gè)行積分像素個(gè)數(shù)值，即i＝1→ws-1，RIk(i，j)＝RIk(i-1，j)+fk(i，j)。
對(duì)于圖2(a)中所示的7×7的像素矩陣來(lái)說(shuō)，hs＝7，ws＝7，則可得到如圖3所示的8個(gè)7×7的行積分像素個(gè)數(shù)矩陣RIk。
以計(jì)算第0組的行積分像素個(gè)數(shù)矩陣RI0為例，從第一行開(kāi)始計(jì)算，賦初值，即RI0(0，0)＝f0(0，0)＝0，之后遞推計(jì)算，RI0(1，0)＝RI0(0，0)+f0(1，0)＝0+1＝1，RI0(2，0)＝RI0(1，0)+f0(2，0)＝1+0＝1，……，RI0(6，0)＝RI0(5，0)+f0(6，0)＝3+0＝3，然后開(kāi)始計(jì)算第二行，過(guò)程與第一行相同，直到計(jì)算完第6行，第0組的行積分像素個(gè)數(shù)計(jì)算完畢。
對(duì)于其它組別的行積分像素個(gè)數(shù)按照與第0組的行積分像素個(gè)數(shù)相同的計(jì)算過(guò)程進(jìn)行計(jì)算，最后得到每個(gè)組別的行積分像素個(gè)數(shù)，即得到每個(gè)組別在行方向上的方向積分像素個(gè)數(shù)。
對(duì)得到的每個(gè)組別的行積分像素個(gè)數(shù)RIk(i，j)，在整個(gè)跟蹤區(qū)域起始點(diǎn)O所屬的另一條邊的方向上即列方向上進(jìn)行加法遞推計(jì)算，若用IIk表示第k組的區(qū)域積分像素個(gè)數(shù)矩陣，用IIk(i，j)表示第k組的區(qū)域積分像素個(gè)數(shù)矩陣中從像素矩陣起始點(diǎn)(0，0)到點(diǎn)(i，j)的區(qū)域Ci，j的像素個(gè)數(shù)，將IIk(i，j)稱為點(diǎn)(i，j)對(duì)應(yīng)的區(qū)域積分像素個(gè)數(shù)，則IIk(i，j)的計(jì)算公式可以為Σ0≤i≤ws-1Σ0≤j≤hs-1IIk(i,j-1)+RIk(i,j),]]>其中，IIk(i，0)＝RIk(i，0)。
具體實(shí)現(xiàn)時(shí)，計(jì)算過(guò)程可以為for i＝0→ws-1{IIk(i，0)＝RIk(i，0)for j＝1→hs-1IIk(i，j)＝IIk(i，j-1)+RIk(i，j)}上述計(jì)算過(guò)程表示從行積分像素個(gè)數(shù)RIk第0列到第ws-1列，即i＝0→ws-1，對(duì)每一列都進(jìn)行加法遞推計(jì)算，其中加法遞推計(jì)算為將該列的第一個(gè)值作為該列元素對(duì)應(yīng)的區(qū)域積分像素個(gè)數(shù)的初始值，即IIk(i，0)＝RIk(i，0)，將初始值與該列的第二個(gè)值相加得到第二個(gè)區(qū)域積分像素個(gè)數(shù)值，將第二個(gè)區(qū)域積分像素個(gè)數(shù)值與第三個(gè)值相加得到第三個(gè)區(qū)域積分像素個(gè)數(shù)值，依次遞推，直到得到該列元素對(duì)應(yīng)的最后一個(gè)區(qū)域積分像素個(gè)數(shù)值，即j＝1→hs-1，IIk(i，j)＝IIk(i，j-1)+RIk(i，j)。
其中，元素對(duì)應(yīng)的區(qū)域積分像素個(gè)數(shù)值為以起始點(diǎn)O與該元素作為對(duì)角線的矩形區(qū)域的區(qū)域積分像素個(gè)數(shù)值。其中，極端情況下，起始點(diǎn)與該元素位于同一行或同一列，則以起始點(diǎn)O與該元素為對(duì)角線的矩形區(qū)域?yàn)閕×1或1×j的區(qū)域。
對(duì)于圖2(a)中所示的7×7的像素矩陣來(lái)說(shuō)，hs＝7，ws＝7，則可得到如圖4所示的8個(gè)7×7的區(qū)域積分像素個(gè)數(shù)矩陣IIk。
以計(jì)算第0組的區(qū)域積分像素個(gè)數(shù)矩陣II0為例，從第一列開(kāi)始計(jì)算，首先賦初值，即II0(0，0)＝RI0(0，0)＝0，之后進(jìn)行遞推計(jì)算，II0(0，1)＝II0(0，0)+RI0(0，1)＝0+0＝0，II0(0，2)＝II0(0，1)+RI0(0，2)＝0+0＝0，……，II0(0，6)＝II0(0，5)+RI0(0，6)＝0+0＝0，然后開(kāi)始計(jì)算第二列，過(guò)程同第一列相同，直到計(jì)算完第6列，第0組的區(qū)域積分像素個(gè)數(shù)計(jì)算完畢。
對(duì)于其它組別的區(qū)域積分像素個(gè)數(shù)按照與第0組的區(qū)域積分像素個(gè)數(shù)相同的計(jì)算過(guò)程進(jìn)行計(jì)算，最后得到每個(gè)組別的區(qū)域積分像素個(gè)數(shù)，即得到每個(gè)Ci，j中每個(gè)組別的區(qū)域積分像素個(gè)數(shù)。
參見(jiàn)圖5(a)，圖5(a)為圖2(a)所示像素矩陣的一種區(qū)域劃分示意圖。其中，H點(diǎn)對(duì)應(yīng)的區(qū)域積分像素個(gè)數(shù)IIk(1，1)為圖中OAHG表示的區(qū)域I中的像素個(gè)數(shù)，C點(diǎn)對(duì)應(yīng)的區(qū)域積分像素個(gè)數(shù)IIk(5，1)為圖中OBCG表示的區(qū)域II中的像素個(gè)數(shù)，D點(diǎn)對(duì)應(yīng)的區(qū)域積分像素個(gè)數(shù)IIk(5，4)為圖中OBDF表示的區(qū)域IV中的像素個(gè)數(shù)，E點(diǎn)對(duì)應(yīng)的區(qū)域積分像素個(gè)數(shù)IIk(1，4)為圖中OAEF表示的區(qū)域III中的像素個(gè)數(shù)。其中，區(qū)域I可表示為C1，1，區(qū)域II可表示為C5，1，區(qū)域IV可表示為C5，4，區(qū)域III可表示為C1，4。
根據(jù)直方圖組數(shù)和每個(gè)區(qū)域Ci，j中各組別的像素個(gè)數(shù)，可得到每個(gè)區(qū)域Ci，j的直方圖，即區(qū)域積分直方圖hi，j。其中，若采用將顏色的每個(gè)顏色通道都作為特征通道計(jì)算直方圖，則每個(gè)區(qū)域Ci，j的直方圖hi，j包括每個(gè)顏色通道的直方圖，即hi，j＝[hr，hg，hb]i，j，或hi，j＝[hy，hu，hy]i，j。其中，hr，hg，hb分別為R、G、B特征通道的直方圖；同理，hy，hu，hv分別為Y、U、V特征通道的直方圖。
步驟103，在整個(gè)跟蹤區(qū)域中確定當(dāng)前搜索窗口。
本實(shí)施例中，可采用窮盡搜索法，在整個(gè)跟蹤區(qū)域中逐次搜索目標(biāo)可能出現(xiàn)的區(qū)域，即搜索窗口。其中，目標(biāo)可能出現(xiàn)的搜索窗口還包括可能尺度下的區(qū)域窗口，假設(shè)目標(biāo)區(qū)域?yàn)閣×h，可能的尺度c為0.9倍、1.0倍、1.1倍等，則目標(biāo)可能出現(xiàn)的搜索窗口包括0.9w×0.9h、w×h、1.1w×1.1h等大小的區(qū)域窗口。
本步驟中，在確定當(dāng)前搜索窗口時(shí)，可在每個(gè)尺度下，按照一定的方向，如由左向右，由上向下的方向，或由上向下，由左向右的方向等依次確定當(dāng)前搜索窗口。
具體實(shí)現(xiàn)過(guò)程可以為在每個(gè)可能的尺度c下，計(jì)算尺度c所對(duì)應(yīng)目標(biāo)區(qū)域的寬度wc＝c×w和高度hc＝c×h，之后按照一定的方向確定每個(gè)可能的搜索窗口左上角位置(x，y)，得到當(dāng)前搜索窗口(x，y，wc，hc)。其中c∈C，C為所有可能尺度的集合，如C＝{0.8，0.9，1.0，1.1，1.2}等。
步驟104，利用區(qū)域積分直方圖，計(jì)算當(dāng)前搜索窗口的直方圖。
本步驟中，計(jì)算當(dāng)前搜索窗口的直方圖時(shí)，將該搜索窗口右下角對(duì)應(yīng)的區(qū)域積分直方圖與該搜索窗口左上角對(duì)應(yīng)的區(qū)域積分直方圖相加之后，減去該搜索窗口右上角對(duì)應(yīng)的區(qū)域積分直方圖和左下角對(duì)應(yīng)的區(qū)域積分直方圖，得到該搜索窗口的直方圖。如對(duì)于當(dāng)前搜索窗口為(x，y，wc，hc)時(shí)，則該搜索窗口為Cx+wc，y+hc+Cx，y-Cx+wc，y-Cx，y+hc，該搜索窗口的直方圖為hx+wc，y+hc+hx，y-hx+wc，y-hx，y+hc。
參見(jiàn)圖5，假設(shè)當(dāng)前搜索窗口為圖5(a)所示的HCDE表示的區(qū)域窗口，則計(jì)算區(qū)域窗口HCDE的直方圖時(shí)，需要計(jì)算該區(qū)域窗口中屬于直方圖各組別的像素個(gè)數(shù)，即可利用步驟102中計(jì)算得到的區(qū)域積分像素個(gè)數(shù)進(jìn)行加減運(yùn)算，具體為IIk(5，4)+IIk(1，1)-IIk(5，1)-IIk(1，4)。
如圖5(b)所示，HCDE表示的區(qū)域窗口中屬于直方圖第0組的像素個(gè)數(shù)為II0(5，4)+II0(1，1)-II0(5，1)-II0(1，4)＝9+1-5-2＝3；屬于直方圖第1組的像素個(gè)數(shù)為II1(5，4)+II1(1，1)-II1(5，1)-II1(1，4)＝8+2-4-4＝2；……；屬于直方圖第7組的像素個(gè)數(shù)為II7(5，4)+II7(1，1)-II7(5，1)-II7(1，4)＝4+0-0-0＝4。
根據(jù)直方圖組數(shù)和該搜索窗口中每個(gè)直方圖組別中的像素個(gè)數(shù)，得到該搜索窗口的直方圖hwin。其中，若采用將顏色的每個(gè)顏色通道都作為特征通道計(jì)算直方圖，則搜索窗口的直方圖hwin包括每個(gè)顏色通道的直方圖，即hwin＝[hr，hg，hb]，或hwin＝[hy，hu，hy]。其中，hr，hg，hb分別為R、G、B特征通道的直方圖；同理，hy，hu，hv分別為Y、U、V特征通道的直方圖。
步驟105，將計(jì)算得到的當(dāng)前搜索窗口的直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配，記錄匹配結(jié)果。
本步驟中，將計(jì)算得到的當(dāng)前搜索窗口的直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配之前，首先將不同尺度搜索窗口的直方圖轉(zhuǎn)換為標(biāo)準(zhǔn)尺度搜索窗口的直方圖，以便能夠與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配。具體轉(zhuǎn)換過(guò)程為將不同尺度搜索窗口直方圖中各組別像素點(diǎn)個(gè)數(shù)除以該尺度值，得到標(biāo)準(zhǔn)尺度直方圖各組別的像素點(diǎn)個(gè)數(shù)，從而得到標(biāo)準(zhǔn)尺度搜索窗口的直方圖。如步驟103中，當(dāng)尺度值c為0.9時(shí)，則此時(shí)轉(zhuǎn)換為標(biāo)準(zhǔn)尺度時(shí)，只需將各組別中像素點(diǎn)個(gè)數(shù)除以0.9，從而得到標(biāo)準(zhǔn)尺度直方圖各組別的像素點(diǎn)個(gè)數(shù)。
具體實(shí)現(xiàn)時(shí)，也可將不同尺度搜索窗口的直方圖和目標(biāo)的標(biāo)準(zhǔn)直方圖都進(jìn)行歸一化，其中進(jìn)行歸一化的過(guò)程可以為將直方圖中的所有像素點(diǎn)作為基數(shù)，將直方圖各組別中的像素點(diǎn)作為除數(shù)去除基數(shù)，得到歸一化后的直方圖。
具體進(jìn)行匹配時(shí)，可采用歐式距離作為直方圖匹配的標(biāo)準(zhǔn)，若用hstd表示目標(biāo)的標(biāo)準(zhǔn)直方圖，用M(hwin，hstd)表示hwin與hstd的匹配度，假設(shè)其中hwin、hstd＝[hr，hg，hb](或hwin、hstd＝[hy，hu，hv)，則M(hwin，hstd)的計(jì)算過(guò)程可以為M(hwin,hstd)=ΣdD(hwin.d,hstd.d),]]>其中，d∈D，D＝{r，g，b}(或D＝{y，u，v})；D(hwin.d,hstd.d)=Σk=0K-1(hwin.d(k)-hstd.d(k))2.]]>其中，K為直方圖的組數(shù)，k為直方圖的組別，D(hwin.d，hstd.d)為d特征通道中搜索窗口直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖之間的偏差大小，M(hwin，hstd)為hwin與hstd的綜合偏差。
較佳地，上述計(jì)算過(guò)程中，為了使計(jì)算更加準(zhǔn)確，可以在計(jì)算公式中添加權(quán)重，如D(hwin.d，hstd.d)可以為D(hwin.d,hstd.d)=Σk=0K-1w(d,k)(hwin.d(k)-hstd.d(k))2,]]>其中，w(d，k)為d特征通道中直方圖第k組的權(quán)重；M(hwin，hstd)也可以為M(hwin,hstd)=ΣdwdD(hwin.d,hstd.d),]]>其中，wd為d特征通道的權(quán)重。
其中，權(quán)重w(d，k)和wd可以由經(jīng)驗(yàn)值或?qū)嶋H需要得到。
最后，將得到的搜索窗口匹配度M(hwin，hstd)進(jìn)行記錄。
步驟106，判斷是否整個(gè)跟蹤區(qū)域中目標(biāo)可能出現(xiàn)的所有搜索窗口都已匹配完畢，如果是，則執(zhí)行步驟107；否則，返回執(zhí)行步驟103。
步驟107，根據(jù)記錄的匹配結(jié)果，得到目標(biāo)的跟蹤位置。
本實(shí)施例中，步驟105中記錄的匹配結(jié)果為hwin與hstd之間的匹配度M(hwin，hstd)，而M(hwin，hstd)實(shí)際上得到的是hwin與hstd之間的偏差大小，因此，M(hwin，hstd)的值越小，表示hwin，與hstd越匹配。根據(jù)步驟105中記錄下來(lái)的整個(gè)跟蹤區(qū)域中目標(biāo)可能出現(xiàn)的所有搜索窗口的M(hwin，hstd)，從中選取M(hwin，hstd)值最小的搜索窗口區(qū)域作為目標(biāo)的跟蹤位置。
若需繼續(xù)跟蹤目標(biāo)，則提取下一幀圖像，返回執(zhí)行步驟101。
上述對(duì)本發(fā)明實(shí)施例一中的圖像跟蹤方法進(jìn)行了詳細(xì)描述，下面再對(duì)本發(fā)明實(shí)施例一中圖像跟蹤系統(tǒng)進(jìn)行詳細(xì)描述。
參見(jiàn)圖6(a)，圖6(a)為本發(fā)明實(shí)施例一中圖像跟蹤系統(tǒng)的結(jié)構(gòu)示意圖。如圖6(a)所示，該系統(tǒng)包括跟蹤區(qū)域設(shè)置單元610、區(qū)域積分計(jì)算單元620和直方圖匹配跟蹤單元630。
其中，跟蹤區(qū)域設(shè)置單元610，用于在當(dāng)前幀圖像中設(shè)置目標(biāo)的跟蹤區(qū)域，將所設(shè)置的跟蹤區(qū)域通知給區(qū)域積分計(jì)算單元620和直方圖匹配跟蹤單元630。
區(qū)域積分計(jì)算單元620，用于通過(guò)積分運(yùn)算，計(jì)算整個(gè)跟蹤區(qū)域內(nèi)以整個(gè)跟蹤區(qū)域預(yù)先設(shè)定的一角為起始點(diǎn)的所有區(qū)域的直方圖，得到區(qū)域積分直方圖，并將得到的區(qū)域積分直方圖提供給直方圖匹配跟蹤單元630。
直方圖匹配跟蹤單元630，用于利用區(qū)域積分計(jì)算單元610提供的區(qū)域積分直方圖，計(jì)算整個(gè)跟蹤區(qū)域中目標(biāo)可能出現(xiàn)的每個(gè)搜索窗口的直方圖，將計(jì)算得到的每個(gè)搜索窗口的直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配，根據(jù)匹配結(jié)果得到目標(biāo)的跟蹤位置。
具體實(shí)現(xiàn)時(shí)，直方圖匹配跟蹤單元630可有多種實(shí)現(xiàn)形式，可以是一個(gè)單獨(dú)的模塊，也可以是由幾個(gè)模塊構(gòu)成。下面僅以其中一種實(shí)現(xiàn)形式為例，對(duì)直方圖匹配跟蹤單元630的具體實(shí)現(xiàn)進(jìn)行詳細(xì)描述，參見(jiàn)圖6(b)，圖6(b)為圖6(a)所示系統(tǒng)中直方圖匹配跟蹤單元的一種內(nèi)部結(jié)構(gòu)示意圖。如圖6(b)所示，直方圖匹配跟蹤單元630可包括搜索窗口確定模塊631、直方圖計(jì)算模塊632、直方圖匹配模塊633和跟蹤位置確定模塊634。
其中，搜索窗口確定模塊631，用于從跟蹤區(qū)域設(shè)置單元610提供的跟蹤區(qū)域中確定當(dāng)前的搜索窗口，并將所確定的當(dāng)前搜索窗口通知給直方圖計(jì)算模塊632。
直方圖計(jì)算模塊632，用于利用區(qū)域積分計(jì)算單元620提供的區(qū)域積分直方圖計(jì)算當(dāng)前搜索窗口的直方圖，將計(jì)算得到的當(dāng)前搜索窗口的直方圖提供給直方圖匹配模塊633，同時(shí)通知搜索窗口確定模塊631提供下一個(gè)當(dāng)前搜索窗口。
直方圖匹配模塊633，用于將直方圖計(jì)算模塊622提供的當(dāng)前搜索窗口的直方圖與預(yù)先計(jì)算的目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配，將匹配結(jié)果提供給跟蹤位置確定模塊634。
跟蹤位置確定模塊634，用于根據(jù)直方圖匹配模塊633提供的目標(biāo)可能出現(xiàn)的所有搜索窗口的匹配結(jié)果，將匹配最好的搜索窗口區(qū)域作為目標(biāo)的跟蹤位置。
其中，圖6所示系統(tǒng)中每個(gè)功能單元和模塊的詳細(xì)實(shí)現(xiàn)過(guò)程可以與圖1所示方法流程中的描述一致。
實(shí)施例二本實(shí)施例中的圖像跟蹤方法與實(shí)施例一中的圖像跟蹤方法大致相同，其區(qū)別在于在圖1所示方法流程的步驟102中，實(shí)施例一采用的是顏色直方圖，但這種情況下，當(dāng)在跟蹤區(qū)域內(nèi)存在與目標(biāo)顏色相似的物體時(shí)，由于顏色直方圖只是對(duì)顏色的一種描述，因此容易受到與目標(biāo)顏色相似的物體的干擾，使跟蹤不準(zhǔn)確，為此，本實(shí)施例的步驟102中，在采用顏色直方圖的基礎(chǔ)上，又添加了一種直方圖，即梯度方向直方圖。
梯度方向直方圖是指按照直方圖組數(shù)確定梯度方向的角度區(qū)間；計(jì)算每個(gè)像素點(diǎn)的梯度方向所屬的角度區(qū)間，得到該像素點(diǎn)所屬的直方圖組別。
具體計(jì)算過(guò)程如下假設(shè)用I(i，j)表示(i，j)處像素點(diǎn)的灰度值，用Gx(i，j)表示x方向上的梯度值，Gy(i，j)表示y方向上的梯度值，Gdir(i，j)表示梯度方向，則有Gx(i，j)＝I(i+1，j)-I(i-1，j)，Gy(i，j)＝I(i，j+1)-I(i，j-1)，Gdir(i,j)=arctanGy(i,j)Gx(i,j).]]>因?yàn)?π2<arctanGy(i,j)Gx(i,j)<π2,]]>因此可將梯度方向在 范圍內(nèi)對(duì)直方圖分組，若直方圖組數(shù)為K，則將 分為K個(gè)角度區(qū)間。如可進(jìn)行如下區(qū)間劃分R0=[-π2,-(2K-1)π2K)∪[(2K-1)π2K,π2)Ri=[-π2+iπK-π2K,-π2+iπK+π2K),i=1,2......,K-1]]>計(jì)算出每個(gè)像素點(diǎn)的Gdir(i，j)，根據(jù)Gdir(i，j)所處區(qū)間的范圍，得到該像素點(diǎn)所屬直方圖的組別。
實(shí)際應(yīng)用中，為了避免進(jìn)行反正切運(yùn)算，可以首先計(jì)算區(qū)間邊界上點(diǎn)的正切值bi，然后計(jì)算(i，j)處像素點(diǎn)的梯度比Gy(i，j)/Gx(i，j)所處的區(qū)間(bi-1，bi)，然后得到該像素點(diǎn)所屬的直方圖組別。若仍用fk(i，j)，k∈(0，1，...，K-1)表示(i，j)處像素點(diǎn)所屬的組別信息，則具體計(jì)算過(guò)程可以為fk(i,j)=1,bi-1<Gy(i,j)/Gx(i,j)<bi0.]]>之后對(duì)每個(gè)梯度方向直方圖組別中的像素個(gè)數(shù)的統(tǒng)計(jì)與顏色直方圖的統(tǒng)計(jì)方法相同，此處不再贅述。
最后根據(jù)梯度方向直方圖組數(shù)和每個(gè)區(qū)域Ci，j中每個(gè)組別中的像素個(gè)數(shù)，得到每個(gè)區(qū)域Ci，j的梯度方向直方圖hdir。若計(jì)算顏色直方圖時(shí)采用的是對(duì)顏色的每個(gè)顏色通道都計(jì)算直方圖，則每個(gè)區(qū)域Ci，j的總直方圖hi，j為hi，j＝[hr，hg，hb，hdir]i，j，或hi，j＝[hy，hu，hv，hdir]i，j，即此時(shí)特征通道還包括梯度方向通道。
相應(yīng)地，在步驟104中，計(jì)算得到的搜索窗口直方圖hwin為hwin＝[hr，hg，hb，hdir]，(或hwin＝[hy，hu，hv，hdir])，同樣預(yù)先計(jì)算的目標(biāo)的標(biāo)準(zhǔn)直方圖hstd為hstd＝[hr，hg，hb，hdir]，(或hstd＝[hy，hu，hv，hdir])。在步驟105中，D＝{r，g，b，Gdir}(或D＝{y，u，v，Gdir})。
本實(shí)施例中圖像跟蹤系統(tǒng)的結(jié)構(gòu)和連接關(guān)系與實(shí)施例一中的圖像跟蹤系統(tǒng)相同，功能也類似，區(qū)別僅在于每個(gè)功能單元和模塊的詳細(xì)實(shí)現(xiàn)過(guò)程與本實(shí)施例中的圖像跟蹤方法中的描述一致。
上述實(shí)施例二中所描述的梯度方向直方圖也可單獨(dú)使用，即圖1所示步驟102中只采用梯度方向直方圖，則此時(shí)hi，j＝hdir，相應(yīng)地，步驟104中，hwin＝hdir，hstd＝hdir，步驟105中，D＝Gdir。
實(shí)施例三本實(shí)施例中的圖像跟蹤方法可采用實(shí)施例一中的步驟101至步驟106，也可采用實(shí)施例二中的步驟101至步驟106。本實(shí)施例與實(shí)施例一或?qū)嵤├膮^(qū)別在于第一點(diǎn)為了體現(xiàn)目標(biāo)的邊緣特征和空間位置特征，預(yù)先將目標(biāo)按照預(yù)設(shè)的塊數(shù)進(jìn)行分塊，并計(jì)算目標(biāo)的分塊直方圖。則目標(biāo)的標(biāo)準(zhǔn)直方圖中還包括分塊直方圖。
其中，實(shí)施例一、實(shí)施例二中目標(biāo)的標(biāo)準(zhǔn)直方圖為目標(biāo)的全局直方圖，本實(shí)施例中目標(biāo)的標(biāo)準(zhǔn)直方圖中不僅包括目標(biāo)的全局直方圖，還包括目標(biāo)的分塊直方圖。假設(shè)將目標(biāo)分為M×N塊，且直方圖包括顏色中每個(gè)顏色通道的直方圖和梯度方向直方圖，則目標(biāo)的標(biāo)準(zhǔn)直方圖構(gòu)成如圖7所示，其中b1，……，bK為直方圖中每個(gè)組別的直方圖部分。其中塊(m，n)的分塊直方圖可用hstmn表示。
第二點(diǎn)步驟107中的具體實(shí)現(xiàn)過(guò)程不同，參見(jiàn)圖8，圖8為本實(shí)施例中步驟107中的具體實(shí)現(xiàn)過(guò)程，包括步驟107.a，根據(jù)記錄的匹配結(jié)果，按照預(yù)設(shè)的條件，選取符合條件的多個(gè)搜索窗口。
本步驟中，根據(jù)步驟105中記錄的匹配結(jié)果M(hwin，hstd)，按照預(yù)設(shè)的條件，選取符合條件的M(hwin，hstd)值較小的多個(gè)搜索窗口。其中預(yù)設(shè)條件可以為選擇的搜索窗口個(gè)數(shù)N，則根據(jù)該預(yù)設(shè)條件選取N個(gè)M(hwin，hstd)值較小的搜索窗口；或者預(yù)設(shè)條件可以為M(hwin，hstd)值門限，則根據(jù)該預(yù)設(shè)條件選取M(hwin，hstd)值小于該門限的搜索窗口。
本步驟中可對(duì)選取的多個(gè)搜索窗口進(jìn)行編號(hào)，假設(shè)選取了N個(gè)搜索窗口，則可將N個(gè)搜索窗口依次編號(hào)為1，2，……，N。
步驟107.b，從選取的多個(gè)搜索窗口中確定當(dāng)前搜索窗口。
假設(shè)步驟107.a中所選取的搜索窗口為N個(gè)，則本步驟中，可確定N個(gè)中的一個(gè)作為當(dāng)前搜索窗口，若步驟107.a中對(duì)N個(gè)搜索窗口編了號(hào)，則本步驟中可按照編號(hào)次序，確定當(dāng)前搜索窗口。
步驟107.c，將當(dāng)前搜索窗口按照與目標(biāo)相同的分塊方法進(jìn)行分塊，得到多個(gè)子窗口。
本步驟中，假設(shè)目標(biāo)分為M×N塊，則也將當(dāng)前搜索窗口分為大小對(duì)應(yīng)的M×N塊。
步驟107.d，利用積分直方圖計(jì)算每個(gè)子窗口的直方圖，并將所計(jì)算的子窗口直方圖與目標(biāo)對(duì)應(yīng)塊的分塊直方圖進(jìn)行匹配，得到每個(gè)子窗口匹配結(jié)果。
本步驟中，為了與實(shí)施例一、實(shí)施例二中所計(jì)算的搜索窗口的直方圖進(jìn)行區(qū)分，可將實(shí)施例一、實(shí)施例二中所計(jì)算的搜索窗口的直方圖稱為搜索窗口的全局直方圖，將搜索窗口的全局直方圖與目標(biāo)的全局直方圖的匹配結(jié)果(匹配度)，稱為搜索窗口的全局匹配結(jié)果(匹配度)。
子窗口匹配結(jié)果的具體計(jì)算過(guò)程可以為for m＝1→M{for n＝1→N{利用積分直方圖計(jì)算第(m，n)塊的子窗口直方圖；將所計(jì)算的第(m，n)塊子窗口直方圖與目標(biāo)的第(m，n)塊分塊直方圖進(jìn)行匹配，記錄匹配結(jié)果；}}上述計(jì)算過(guò)程表示，按照從上到下，從左到右的方向逐次選取當(dāng)前塊，并計(jì)算當(dāng)前塊的子窗口直方圖，將所計(jì)算的當(dāng)前塊的子窗口直方圖與目標(biāo)對(duì)應(yīng)塊的分塊直方圖進(jìn)行匹配，并記錄匹配結(jié)果(匹配度)，之后選取當(dāng)前塊的下一塊作為當(dāng)前塊，繼續(xù)上述過(guò)程，直到匹配完所有子窗口。
其中，利用積分直方圖計(jì)算第(m，n)塊的子窗口直方圖時(shí)，計(jì)算方法與計(jì)算未分塊的搜索窗口直方圖的方法相同，如假設(shè)第(m，n)塊的窗口區(qū)域?yàn)?mx，ny，wMN，hMN)時(shí)，則該子窗口為Cmx+wMN，ny+hMN+Cmx，ny-Cmx+wMN，ny-Cmx，ny+hMN，該子窗口的直方圖為hmx+wMN，ny+hMN+hmx，ny-hmx+wMN，ny-hmx，ny+hMN。
將所計(jì)算的第(m，n)塊子窗口直方圖與目標(biāo)的第(m，n)塊分塊直方圖進(jìn)行匹配時(shí)，同樣可采用歐式距離作為直方圖匹配的標(biāo)準(zhǔn)，若用hmn表示第(m，n)塊的子窗口直方圖，用M(hmn，hstmn)表示hmn與hstmn的匹配度，則M(hmn,hstmn)=ΣdD(hmn.d,hstmn.d),]]>D(dmn.d,hstmn.d)=Σk=0K-1(hmn.d(k)-hstmn.d(k))2.]]>其中，若采用實(shí)施例二中的步驟101至步驟106，則d∈D，D＝{r，g，b，Gdir}(或D＝{y，u，v，Gdir})，或d∈D，D＝Gdir；若采用實(shí)施例一中的步驟101至步驟106，則d∈D，D＝{r，g，b}(或D＝{y，u，v})。其中，K為直方圖的組數(shù)，k為直方圖的組別，D(hmn.d，hstmn.d)為d特征通道中第(m，n)塊子窗口直方圖與目標(biāo)的第(m，n)塊分塊直方圖之間的偏差大小，M(hmn，hstmn)為第(m，n)塊子窗口直方圖與目標(biāo)的第(m，n)塊分塊直方圖的綜合偏差。
較佳地，上述計(jì)算過(guò)程中，為了使計(jì)算更加準(zhǔn)確，也可以在計(jì)算公式中添加權(quán)重，如D(hmn.d，hstmn.d)可以為D(hmn.d,hstmn.d)=Σk=0K-1w(d,k)(hmn.d(k)-hstmn.d(k))2,]]>其中，w(d，k)為d特征通道中直方圖第k組的權(quán)重；而M(hmn，hstmn)也可以為M(hmn,hstmn)=ΣdwdD(hmn.d,hstmn.d),]]>其中，wd為d特征通道的權(quán)重。
最后，將得到的分塊匹配度M(hmn，hstmn)進(jìn)行記錄。
步驟107.e，根據(jù)當(dāng)前搜索窗口匹配結(jié)果和子窗口匹配結(jié)果，計(jì)算當(dāng)前搜索窗口與目標(biāo)的綜合匹配結(jié)果。
其中，若用Mz表示當(dāng)前搜索窗口與目標(biāo)的綜合匹配結(jié)果，則綜合匹配結(jié)果Mz可以為Mz=w1M(hwin,hstd)+Σ1≤m≤M,1≤n≤NwmnM(hmn,hstmn),]]>其中，w1為搜索窗口全局匹配結(jié)果M(hwin，hstd)的權(quán)重，wmn為搜索窗口分塊匹配結(jié)果M(hmn，hstmn)的權(quán)重。權(quán)重w1和wmn可以根據(jù)經(jīng)驗(yàn)值設(shè)置，也可以根據(jù)實(shí)際需要設(shè)置。
此外，本步驟中，也可只根據(jù)當(dāng)前搜索窗口中的所有子窗口匹配結(jié)果，計(jì)算當(dāng)前搜索窗口與目標(biāo)的綜合匹配結(jié)果，即若用Mz表示當(dāng)前搜索窗口與目標(biāo)的綜合匹配結(jié)果，則綜合匹配結(jié)果Mz可以為Mz=Σ1≤m≤M,1≤n≤NwmnM(hmn,hstmn),]]>其中，wmn為搜索窗口分塊匹配結(jié)果M(hmn，hstmn)的權(quán)重。權(quán)重wmn可以根據(jù)經(jīng)驗(yàn)值設(shè)置，也可以根據(jù)實(shí)際需要設(shè)置。
步驟107.f，判斷是否所選取的搜索窗口都已分塊匹配完畢，如果是，則執(zhí)行步驟107.g；否則，返回執(zhí)行步驟107.b。
步驟107.g，根據(jù)綜合匹配結(jié)果，得到目標(biāo)的跟蹤位置。
本步驟中，根據(jù)綜合匹配結(jié)果Mz，從中選取Mz值最小的搜索窗口區(qū)域作為目標(biāo)的跟蹤位置。
若需繼續(xù)跟蹤目標(biāo)，則提取下一幀圖像，返回執(zhí)行步驟101。
本實(shí)施例中圖像跟蹤系統(tǒng)的結(jié)構(gòu)和連接關(guān)系與實(shí)施例一或?qū)嵤├械膱D像跟蹤系統(tǒng)類似，功能也類似，區(qū)別僅在于直方圖匹配跟蹤單元630中的跟蹤位置確定模塊634的詳細(xì)實(shí)現(xiàn)過(guò)程與本實(shí)施例中步驟107中的描述一致。
此時(shí)，如圖9所示，跟蹤位置確定模塊634中可包括搜索窗口選取子模塊、搜索窗口確定子模塊、塊直方圖計(jì)算匹配子模塊、搜索窗口綜合匹配計(jì)算子模塊和跟蹤位置確定子模塊。
其中，搜索窗口選取子模塊，用于根據(jù)直方圖匹配模塊633提供的搜索窗口匹配結(jié)果，按照預(yù)設(shè)條件，從中選取符合條件的多個(gè)搜索窗口，提供給搜索窗口確定子模塊。
搜索窗口確定子模塊，用于從搜索窗口選取子模塊提供的搜索窗口中確定當(dāng)前的搜索窗口，并將所確定的當(dāng)前搜索窗口通知給塊直方圖計(jì)算匹配子模塊，將當(dāng)前搜索窗口的全局匹配度提供給搜索窗口綜合匹配計(jì)算子模塊。
塊直方圖計(jì)算匹配子模塊，用于將搜索窗口確定子模塊提供的當(dāng)前搜索窗口按照與目標(biāo)對(duì)應(yīng)的分塊方法進(jìn)行分塊，得到子窗口；對(duì)每個(gè)的子窗口，利用積分直方圖計(jì)算子窗口直方圖，將所計(jì)算的子窗口直方圖與目標(biāo)對(duì)應(yīng)塊的分塊直方圖進(jìn)行匹配，得到每個(gè)子窗口的分塊匹配度，將所得到的分塊匹配度提供給搜索窗口綜合匹配計(jì)算子模塊。所有子窗口匹配完成后，通知搜索窗口確定子模塊提供下一個(gè)當(dāng)前搜索窗口。
搜索窗口綜合匹配計(jì)算子模塊，用于根據(jù)搜索窗口確定子模塊提供的當(dāng)前搜索窗口的全局匹配度和塊直方圖計(jì)算匹配子模塊提供的當(dāng)前搜索窗口的所有子窗口的分塊匹配度，計(jì)算當(dāng)前搜索窗口與目標(biāo)的綜合匹配度，并將計(jì)算得到的當(dāng)前搜索窗口的綜合匹配度提供給跟蹤位置確定子模塊。
其中，搜索窗口綜合匹配計(jì)算子模塊可只根據(jù)塊直方圖計(jì)算匹配子模塊提供的當(dāng)前搜索窗口中的所有子窗口的分塊匹配度，計(jì)算當(dāng)前搜索窗口與目標(biāo)的綜合匹配結(jié)果。此時(shí)，搜索窗口確定子模塊可無(wú)需向搜索窗口綜合匹配計(jì)算子模塊提供當(dāng)前搜索窗口的全局匹配度。
跟蹤位置確定子模塊，用于根據(jù)搜索窗口綜合匹配計(jì)算子模塊提供的所有搜索窗口的綜合匹配度，將匹配最好的搜索窗口區(qū)域作為目標(biāo)的跟蹤位置。
實(shí)施例四本實(shí)施例中，在實(shí)施例一、實(shí)施例二或?qū)嵤├幕A(chǔ)上，結(jié)合目標(biāo)分類器進(jìn)行目標(biāo)的位置跟蹤。由目標(biāo)分類器對(duì)目標(biāo)進(jìn)行粗略跟蹤，以進(jìn)一步提高跟蹤實(shí)時(shí)性，降低運(yùn)算量，之后由直方圖匹配對(duì)目標(biāo)進(jìn)行精細(xì)跟蹤，以保證跟蹤效果。
參見(jiàn)圖10，圖10為本發(fā)明實(shí)施例四中圖像跟蹤方法的流程圖。如圖10所示，該流程包括如下步驟步驟1001，在當(dāng)前幀圖像中設(shè)置跟蹤區(qū)域。
本實(shí)施例中，設(shè)置跟蹤區(qū)域的方法可以和實(shí)施例一中步驟101中的描述一致。
步驟1002，利用分類器對(duì)整個(gè)跟蹤區(qū)域中目標(biāo)可能出現(xiàn)的每個(gè)搜索窗口進(jìn)行置信度描述，若存在置信度滿足跟蹤要求的搜索窗口，則執(zhí)行步驟1003；若不存在置信度滿足跟蹤要求的搜索窗口，則執(zhí)行步驟1005。
其中，假設(shè)目標(biāo)的大小為wp×hp，則每個(gè)可能的尺度c下，尺度c所對(duì)應(yīng)搜索窗口的寬度為wc＝c×wp，高度為hc＝c×hp，其中c∈C，C為所有可能尺度的集合，如C＝{0.8，0.9，1.0，1.1，1.2}等。
又假設(shè)目標(biāo)分類器的標(biāo)準(zhǔn)窗口大小為wstd×hstd，則進(jìn)行目標(biāo)分類器跟蹤時(shí)，首先需要將跟蹤區(qū)域中目標(biāo)可能出現(xiàn)的每個(gè)搜索窗口放縮到目標(biāo)分類器的標(biāo)準(zhǔn)窗口大小，判斷該搜索窗口是否可能為目標(biāo)，對(duì)可能為目標(biāo)的搜索窗口進(jìn)行存儲(chǔ)，然后對(duì)所存儲(chǔ)的搜索窗口利用目標(biāo)分類器進(jìn)行置信度描述，若置信度大于預(yù)先設(shè)置的閾值，則存在置信度滿足要求的搜索窗口，并可選出置信度最大的窗口，此時(shí)跟蹤成功；若沒(méi)有可能目標(biāo)存在，若置信度小于預(yù)設(shè)的閾值，則不存在置信度滿足要求的搜索窗口，此時(shí)跟蹤失敗。
步驟1003，對(duì)置信度滿足跟蹤要求的搜索窗口進(jìn)行直方圖匹配，若直方圖匹配成功，則執(zhí)行步驟1004；否則，進(jìn)一步地，可執(zhí)行步驟1005。
本步驟中，可以是對(duì)所有置信度滿足跟蹤要求的搜索窗口進(jìn)行直方圖匹配，也可以是對(duì)部分置信度滿足跟蹤要求的搜索窗口進(jìn)行直方圖匹配，如選取置信度較大的若干個(gè)置信度滿足跟蹤要求的搜索窗口進(jìn)行直方圖匹配，或選取置信度最大的一個(gè)置信度滿足跟蹤要求的搜索窗口進(jìn)行直方圖匹配。
其中，對(duì)置信度滿足要求的搜索窗口進(jìn)行直方圖匹配時(shí)，可采用分塊直方圖匹配，也可采用全局直方圖匹配，還可采用全局直方圖與分塊直方圖結(jié)合的方法進(jìn)行匹配。例如采用全局直方圖匹配時(shí)，可以為確定直方圖組數(shù)后，對(duì)置信度滿足跟蹤要求的搜索窗口，計(jì)算該搜索窗口中像素點(diǎn)所屬的直方圖組別，統(tǒng)計(jì)每個(gè)組別中的像素個(gè)數(shù)，根據(jù)直方圖組數(shù)和每個(gè)組別中的像素個(gè)數(shù)，得到該搜索窗口的直方圖，將計(jì)算得到的搜索窗口直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配，若存在直方圖匹配結(jié)果滿足要求的搜索窗口，則直方圖匹配成功，將其中匹配最好的搜索窗口稱為匹配成功的搜索窗口，否則，匹配失敗。
其中，搜索窗口直方圖和目標(biāo)的標(biāo)準(zhǔn)直方圖可以是顏色直方圖，也可以是顏色直方圖加梯度方向直方圖，還可以是梯度方向直方圖。具體采用哪種直方圖，根據(jù)實(shí)際情況而定。
步驟1004，將匹配成功的搜索窗口作為目標(biāo)的跟蹤位置，之后執(zhí)行步驟1006。
步驟1005，進(jìn)行積分直方圖計(jì)算和直方圖匹配跟蹤計(jì)算，得到目標(biāo)的跟蹤位置。
本步驟中的具體實(shí)現(xiàn)過(guò)程可以與實(shí)施例一中的步驟101至步驟107相同，也可以與實(shí)施例二中的步驟101至步驟107相同，還可以與實(shí)施例三中的步驟101至步驟107相同。
步驟1006，判斷是否需要繼續(xù)跟蹤目標(biāo)，如果是，則提取下一幀圖像，并返回執(zhí)行步驟1001，否則，結(jié)束本流程。
至此，實(shí)施例四中的圖像跟蹤方法流程結(jié)束。
上述流程中，步驟1003和步驟1004也可以省略，則步驟1002中若分類器跟蹤成功，則直接將置信度滿足跟蹤要求的搜索窗口中置信度最高的搜索窗口作為目標(biāo)的跟蹤位置，然后執(zhí)行步驟1006。
上述對(duì)本發(fā)明實(shí)施例四中的圖像跟蹤方法進(jìn)行了詳細(xì)描述，下面再對(duì)本發(fā)明實(shí)施例四中圖像跟蹤系統(tǒng)進(jìn)行詳細(xì)描述。
參見(jiàn)圖11，圖11為本發(fā)明實(shí)施例四中圖像跟蹤系統(tǒng)的結(jié)構(gòu)示意圖。如圖11所示，該系統(tǒng)在圖6(a)所示系統(tǒng)的基礎(chǔ)上，添加了目標(biāo)分類器跟蹤單元1101和直方圖匹配單元1102。
此時(shí)，跟蹤區(qū)域設(shè)置單元610，進(jìn)一步用于將所設(shè)置的跟蹤區(qū)域通知給目標(biāo)分類器跟蹤單元1101。
目標(biāo)分類器跟蹤單元1101，用于利用分類器對(duì)整個(gè)跟蹤區(qū)域中目標(biāo)可能出現(xiàn)的每個(gè)搜索窗口進(jìn)行置信度描述，若存在置信度滿足跟蹤要求的搜索窗口，則跟蹤成功，將該置信度滿足跟蹤要求的搜索窗口提供給直方圖匹配單元1102；若不存在置信度滿足跟蹤要求的搜索窗口，則跟蹤失敗，向區(qū)域積分計(jì)算單元620發(fā)送跟蹤失敗的通知。
其中，目標(biāo)分類器跟蹤模塊將置信度滿足跟蹤要求的搜索窗口提供給直方圖匹配模塊時(shí)，可將所有置信度滿足跟蹤要求的搜索窗口提供給直方圖匹配模塊，也可以將部分置信度滿足跟蹤要求的搜索窗口提供給直方圖匹配模塊，如選取置信度較大的若干個(gè)置信度滿足跟蹤要求的搜索窗口，或選取置信度最大的一個(gè)置信度滿足跟蹤要求的搜索窗口提供給直方圖匹配模塊。
直方圖匹配單元1102，用于計(jì)算目標(biāo)分類器跟蹤單元1101提供的置信度滿足跟蹤要求的搜索窗口的直方圖，將計(jì)算的搜索窗口直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配，根據(jù)匹配結(jié)果，確定目標(biāo)的跟蹤位置。
區(qū)域積分計(jì)算單元620進(jìn)一步用于根據(jù)來(lái)自目標(biāo)分類器跟蹤單元的跟蹤失敗的通知，執(zhí)行所述區(qū)域積分直方圖計(jì)算的操作。
其中，該系統(tǒng)中也可以無(wú)需直方圖匹配單元1102，則目標(biāo)分類器跟蹤單元1101在跟蹤成功時(shí)，直接將置信度滿足跟蹤要求的搜索窗口中置信度最大的搜索窗口作為目標(biāo)的跟蹤位置。
上述實(shí)施例四中，圖10所示方法流程的步驟1004中，可進(jìn)一步包括將匹配成功的搜索窗口進(jìn)行存儲(chǔ)。
則本實(shí)施例中的方法可進(jìn)一步包括當(dāng)存儲(chǔ)的搜索窗口的個(gè)數(shù)達(dá)到預(yù)設(shè)條件時(shí)，利用這些搜索窗口的全局直方圖，計(jì)算每個(gè)特征通道中直方圖各組別的權(quán)重w(d，k)，d∈D，其中，若采用顏色直方圖，則特征通道D＝{r，g，b}(或D＝{y，u，v})；若采用顏色直方圖加梯度方向直方圖，則特征通道D＝{r，g，b，Gdir}(或D＝{y，u，v，Gdir})；若只采用梯度方向直方圖，則特征通道D＝Gdir。
假設(shè)所存儲(chǔ)的搜索窗口的個(gè)數(shù)為N0，所確定的直方圖的組數(shù)為K，則具體計(jì)算權(quán)重的過(guò)程如下1、計(jì)算所存儲(chǔ)的N個(gè)搜索窗口在每個(gè)特征通道中每個(gè)組別的全局直方圖hdkn，n∈(0，1，…，N0-1)，k∈(0，1，...，K-1)。
2、計(jì)算每個(gè)特征通道中的每個(gè)組別的全局直方圖的均差Mhdk、方差Varhdk。
若N個(gè)搜索窗口包括不同尺度的搜索窗口，則計(jì)算均差和方差之前，首先將各自每個(gè)組別的直方圖轉(zhuǎn)換為標(biāo)準(zhǔn)尺度每個(gè)組別的直方圖。然后再進(jìn)行均差及方差計(jì)算。
具體計(jì)算過(guò)程如下Mhdk=Σn=0N-1hdknN,]]>Varhdk=Σn=0N-1(hdkn-Mhdk)2N;]]>3、利用上述均差和方差，計(jì)算w(d，k)。
w(d,k)1=Mhdk2Varhdk+σ2,]]>其中，σ2為方差調(diào)整參數(shù)，用于避免Varhdk為0的情況，σ2的取值很小，如可以為10-5等。
為了使各組別的權(quán)重相加為1，需要對(duì)各組別的權(quán)重進(jìn)行歸一化，即W(d,K)=Σk=0K-1w(d,k)1,]]>w(d,k)=w(d,k)1W(d,K),]]>k∈(0，1，…，K-1)。
進(jìn)一步地，若步驟1005與實(shí)施例三中的步驟101至步驟107相同，則還可以利用所存儲(chǔ)的搜索窗口的分塊直方圖，計(jì)算圖8所示流程步驟107.e中的全局匹配結(jié)果的權(quán)重w1和分塊匹配結(jié)果的權(quán)重wmn。
同樣，假設(shè)所存儲(chǔ)的搜索窗口的個(gè)數(shù)為N0，所確定的直方圖的組數(shù)為K，又假設(shè)每個(gè)搜索窗口被分為M×N塊，則具體計(jì)算權(quán)重的過(guò)程如下1、計(jì)算所存儲(chǔ)的N個(gè)搜索窗口在每個(gè)特征通道中每個(gè)組別的分塊直方圖hdkn(m，n)，1≤m≤M，1≤n≤N。
2、計(jì)算每個(gè)特征通道中的每個(gè)組別的分塊直方圖的均差Mhdk(m，n)、方差Varhdk(m，n)。
若N個(gè)搜索窗口包括不同尺度的搜索窗口，則計(jì)算均差和方差之前，首先將各自每個(gè)組別的直方圖轉(zhuǎn)換為標(biāo)準(zhǔn)尺度每個(gè)組別的直方圖。然后再進(jìn)行均差及方差計(jì)算。
具體計(jì)算過(guò)程如下Mhdk(m,n)=Σn=0N-1hdkn(m,n)N,]]>Varhdk(m,n)=Σn=0N-1(hdkn(m,n)-Mhdk(m,n))2N.]]>3、利用上述均差和方差，計(jì)算w1和wmn。
3.1計(jì)算w1計(jì)算全局直方圖各個(gè)特征通道方差的加權(quán)和Var=Σd∈DwcΣk=0K-1Varhdk;]]>計(jì)算w1=1/Var+σ2,]]>其中，σ2為方差調(diào)整參數(shù)，用于避免Var為0的情況，同樣，σ2的取值很小，如可以為10-5等。
3.2計(jì)算wmn計(jì)算分塊直方圖各個(gè)特征通道方差的加權(quán)和Var(m,n)=Σd∈DwcΣk=0K-1Varhdk(m,n);]]>計(jì)算wmn.1=1/Var(m,n)+σ2,]]>同樣，σ2為方差調(diào)整參數(shù)。
為了使各分塊的權(quán)重相加為1，需要對(duì)各分塊的權(quán)重進(jìn)行歸一化，即Wmn=Σk=0K-1wmn.1,]]>wmn=wmn.1Wmn,]]>k∈(0，1，…，K-1)，1≤m≤M，1≤n≤N。
相應(yīng)地，圖11所示系統(tǒng)中，還可進(jìn)一步包括直方圖權(quán)重更新單元1103，如圖12所示，圖12為本發(fā)明實(shí)施例四中圖像跟蹤系統(tǒng)的又一個(gè)結(jié)構(gòu)示意圖。如圖12所示，直方圖匹配單元1102進(jìn)一步用于將匹配成功的搜索窗口提供給直方圖權(quán)重更新單元1103，直方圖權(quán)重更新單元1103用于根據(jù)存儲(chǔ)的預(yù)定個(gè)數(shù)的搜索窗口的直方圖，計(jì)算每個(gè)特征通道中直方圖各組別的權(quán)重，將計(jì)算的每個(gè)特征通道中各組別的權(quán)重提供給直方圖匹配跟蹤單元630，直方圖匹配跟蹤單元630進(jìn)一步用于根據(jù)直方圖權(quán)重更新單元1103提供的每個(gè)特征通道中各組別的權(quán)重，執(zhí)行對(duì)搜索窗口的直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配的操作。
具體實(shí)現(xiàn)時(shí)，直方圖權(quán)重更新單元1103可將計(jì)算的每個(gè)特征通道中各組別的權(quán)重提供給直方圖匹配跟蹤單元630中的直方圖匹配模塊633，由直方圖匹配模塊633根據(jù)每個(gè)特征通道中各組別的權(quán)重，執(zhí)行對(duì)搜索窗口的直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配的操作。
此外，進(jìn)一步地，直方圖權(quán)重更新單元1103還用于根據(jù)存儲(chǔ)的預(yù)定個(gè)數(shù)的搜索窗口的分塊直方圖，計(jì)算搜索窗口全局匹配結(jié)果的權(quán)重和分塊匹配結(jié)果的權(quán)重，將計(jì)算的搜索窗口全局匹配結(jié)果的權(quán)重和分塊匹配結(jié)果的權(quán)重提供給直方圖匹配跟蹤單元630，由直方圖匹配跟蹤單元630根據(jù)直方圖權(quán)重更新單元1103提供的搜索窗口全局匹配結(jié)果的權(quán)重和分塊匹配結(jié)果的權(quán)重，執(zhí)行計(jì)算搜索窗口綜合匹配結(jié)果的操作。
具體實(shí)現(xiàn)時(shí)，直方圖權(quán)重更新單元1103可將所計(jì)算的全局匹配結(jié)果的權(quán)重和分塊匹配結(jié)果的權(quán)重提供給跟蹤位置確定模塊634中的搜索窗口綜合匹配計(jì)算子模塊，由搜索窗口綜合匹配計(jì)算子模塊根據(jù)搜索窗口全局匹配結(jié)果的權(quán)重和分塊匹配結(jié)果的權(quán)重，執(zhí)行計(jì)算搜索窗口綜合匹配結(jié)果的操作。
以上所述的具體實(shí)施例，對(duì)本發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳細(xì)說(shuō)明，所應(yīng)理解的是，以上所述僅為本發(fā)明的具體實(shí)施例而已，并不用于限定本發(fā)明的保護(hù)范圍，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.一種圖像跟蹤方法，其特征在于，該方法包括通過(guò)積分運(yùn)算，計(jì)算整個(gè)跟蹤區(qū)域內(nèi)以整個(gè)跟蹤區(qū)域預(yù)先設(shè)定的一角為起始點(diǎn)的所有區(qū)域的直方圖，得到區(qū)域積分直方圖；利用區(qū)域積分直方圖，計(jì)算整個(gè)跟蹤區(qū)域中目標(biāo)可能出現(xiàn)的每個(gè)搜索窗口的直方圖，將計(jì)算得到的每個(gè)搜索窗口的直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配，得到匹配結(jié)果，根據(jù)匹配結(jié)果確定目標(biāo)的跟蹤位置。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述積分直方圖包括顏色積分直方圖，和/或，梯度方向積分直方圖。
3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述利用區(qū)域積分直方圖，計(jì)算目標(biāo)可能出現(xiàn)的每個(gè)搜索窗口的直方圖為對(duì)目標(biāo)可能出現(xiàn)的每個(gè)搜索窗口，用該搜索窗口四個(gè)角對(duì)應(yīng)的區(qū)域積分直方圖進(jìn)行加減運(yùn)算，得到該搜索窗口的直方圖。
4.如權(quán)利要求3所述的方法，其特征在于，若預(yù)先設(shè)定的一角為左上角，則所述用搜索窗口四個(gè)角對(duì)應(yīng)的區(qū)域積分直方圖進(jìn)行加減運(yùn)算具體為將該搜索窗口右下角對(duì)應(yīng)的區(qū)域積分直方圖與該搜索窗口左上角對(duì)應(yīng)的區(qū)域積分直方圖相加之后，減去該搜索窗口右上角對(duì)應(yīng)的區(qū)域積分直方圖和左下角對(duì)應(yīng)的區(qū)域積分直方圖，得到該搜索窗口的直方圖。
5.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述通過(guò)計(jì)算得到區(qū)域積分直方圖包括確定直方圖組數(shù)；計(jì)算整個(gè)跟蹤區(qū)域中每個(gè)像素點(diǎn)所屬的直方圖組別；統(tǒng)計(jì)整個(gè)跟蹤區(qū)域中以預(yù)先設(shè)定的一角O作為起始點(diǎn)的所有區(qū)域Ci，j中屬于每個(gè)直方圖組別的區(qū)域積分像素個(gè)數(shù)；根據(jù)直方圖組數(shù)和每個(gè)Ci，j中每個(gè)直方圖組別的區(qū)域積分像素個(gè)數(shù)，得到每個(gè)區(qū)域積分直方圖。
6.如權(quán)利要求5所述的方法，其特征在于，所述統(tǒng)計(jì)整個(gè)跟蹤區(qū)域中所有Ci，j中屬于每個(gè)直方圖組別的區(qū)域積分像素個(gè)數(shù)具體為根據(jù)每個(gè)像素點(diǎn)所屬的直方圖組別信息，在整個(gè)跟蹤區(qū)域O所屬的一條邊的方向上，對(duì)每個(gè)組別中的像素點(diǎn)個(gè)數(shù)進(jìn)行加法遞推計(jì)算，得到每個(gè)組別在該方向上的方向積分像素個(gè)數(shù)；對(duì)得到的每個(gè)組別的所述方向積分像素個(gè)數(shù)，在整個(gè)跟蹤區(qū)域O所屬的另一條邊的方向上進(jìn)行加法遞推計(jì)算，得到每個(gè)Ci，j中每個(gè)組別的區(qū)域積分像素個(gè)數(shù)。
7.根據(jù)權(quán)利要求5所述的方法，其特征在于，當(dāng)積分直方圖包括梯度方向積分直方圖時(shí)，所述計(jì)算每個(gè)像素點(diǎn)所屬的直方圖組別包括按照直方圖組數(shù)確定梯度方向的角度區(qū)間；計(jì)算每個(gè)像素點(diǎn)的梯度方向所屬的角度區(qū)間，得到該像素點(diǎn)所屬的直方圖組別。
8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述計(jì)算每個(gè)像素點(diǎn)的梯度方向所屬的角度區(qū)間包括計(jì)算角度區(qū)間的邊界點(diǎn)的正切值，得到正切值區(qū)間；計(jì)算每個(gè)像素點(diǎn)在坐標(biāo)軸的y方向的梯度值與x方向的梯度值的比值，根據(jù)該比值所處的正切值區(qū)間，得到每個(gè)像素點(diǎn)的梯度方向所屬的角度區(qū)間。
9.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述目標(biāo)的標(biāo)準(zhǔn)直方圖包括目標(biāo)的全局直方圖；則所述將所計(jì)算的每個(gè)搜索窗口的直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配，得到匹配結(jié)果包括將所計(jì)算的每個(gè)搜索窗口的全局直方圖與目標(biāo)的全局直方圖進(jìn)行匹配，得到搜索窗口的全局匹配度，將所得到的搜索窗口的全局匹配度作為匹配結(jié)果。
10.根據(jù)權(quán)利要求9所述的方法，其特征在于，所述目標(biāo)的標(biāo)準(zhǔn)直方圖還包括將目標(biāo)分塊后的分塊直方圖；則得到搜索窗口的全局匹配度之后，將該搜索窗口的全局匹配度作為匹配結(jié)果之前，進(jìn)一步包括根據(jù)搜索窗口的全局匹配度，得到多個(gè)全局匹配度滿足預(yù)設(shè)條件的搜索窗口；將所述多個(gè)搜索窗口分別按照與目標(biāo)對(duì)應(yīng)的分塊方式進(jìn)行分塊，得到每個(gè)搜索窗口的子窗口；利用區(qū)域積分直方圖，計(jì)算每個(gè)子窗口的直方圖，將得到的每個(gè)子窗口的直方圖與目標(biāo)對(duì)應(yīng)塊的分塊直方圖進(jìn)行匹配，得到每個(gè)子窗口的分塊匹配度；根據(jù)每個(gè)搜索窗口的全局匹配度和該搜索窗口中每個(gè)子窗口的分塊匹配度，得到每個(gè)搜索窗口的匹配結(jié)果。
11.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，計(jì)算整個(gè)跟蹤區(qū)域的積分直方圖之前，進(jìn)一步包括利用分類器對(duì)整個(gè)跟蹤區(qū)域中目標(biāo)可能出現(xiàn)的每個(gè)搜索窗口進(jìn)行置信度描述，若不存在置信度滿足跟蹤要求的搜索窗口，則執(zhí)行所述計(jì)算整個(gè)跟蹤區(qū)域的積分直方圖的操作。
12.根據(jù)權(quán)利要求11所述的方法，其特征在于，該方法進(jìn)一步包括若存在置信度滿足跟蹤要求的搜索窗口，則對(duì)置信度滿足跟蹤要求的搜索窗口進(jìn)行直方圖匹配，若直方圖匹配失敗，則執(zhí)行所述計(jì)算整個(gè)跟蹤區(qū)域的積分直方圖的操作；若直方圖匹配成功，則將匹配成功的搜索窗口作為目標(biāo)的跟蹤位置。
13.根據(jù)權(quán)利要求12所述的方法，其特征在于，該方法進(jìn)一步包括將匹配成功的搜索窗口進(jìn)行存儲(chǔ)，根據(jù)存儲(chǔ)的預(yù)定個(gè)數(shù)的搜索窗口的直方圖，計(jì)算每個(gè)特征通道中直方圖各組別的權(quán)重；則所述將搜索窗口的直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配為根據(jù)每個(gè)特征通道中各組別的權(quán)重，對(duì)搜索窗口的直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配。
14.一種圖像跟蹤系統(tǒng)，其特征在于，該系統(tǒng)包括跟蹤區(qū)域設(shè)置單元、區(qū)域積分計(jì)算單元和直方圖匹配跟蹤單元，其中，跟蹤區(qū)域設(shè)置單元，用于在當(dāng)前幀圖像中設(shè)置目標(biāo)的跟蹤區(qū)域，將所設(shè)置的跟蹤區(qū)域通知給區(qū)域積分計(jì)算單元和直方圖匹配跟蹤單元；區(qū)域積分計(jì)算單元，用于通過(guò)積分運(yùn)算，計(jì)算整個(gè)跟蹤區(qū)域內(nèi)以整個(gè)跟蹤區(qū)域預(yù)先設(shè)定的一角為起始點(diǎn)的所有區(qū)域的直方圖，得到區(qū)域積分直方圖，并將得到的區(qū)域積分直方圖提供給直方圖匹配跟蹤單元；直方圖匹配跟蹤單元，用于利用區(qū)域積分計(jì)算單元提供的區(qū)域積分直方圖，計(jì)算整個(gè)跟蹤區(qū)域中目標(biāo)可能出現(xiàn)的每個(gè)搜索窗口的直方圖，將計(jì)算得到的每個(gè)搜索窗口的直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配，根據(jù)匹配結(jié)果得到目標(biāo)的跟蹤位置。
15.根據(jù)權(quán)利要求14所述的系統(tǒng)，其特征在于，該系統(tǒng)進(jìn)一步包括目標(biāo)分類器跟蹤單元，用于利用分類器對(duì)整個(gè)跟蹤區(qū)域中目標(biāo)可能出現(xiàn)的每個(gè)搜索窗口進(jìn)行置信度描述，若不存在置信度滿足跟蹤要求的搜索窗口，則向所述區(qū)域積分計(jì)算單元發(fā)送跟蹤失敗的通知；所述區(qū)域積分計(jì)算單元，根據(jù)來(lái)自目標(biāo)分類器跟蹤單元的跟蹤失敗的通知，執(zhí)行所述區(qū)域積分直方圖計(jì)算的操作。
16.根據(jù)權(quán)利要求15所述的系統(tǒng)，其特征在于，該系統(tǒng)進(jìn)一步包括直方圖匹配單元；則目標(biāo)分類器跟蹤單元進(jìn)一步用于若存在置信度滿足跟蹤要求的搜索窗口，則將所述置信度滿足跟蹤要求的搜索窗口提供給直方圖匹配單元；直方圖匹配單元，用于計(jì)算目標(biāo)分類器跟蹤單元提供的置信度滿足跟蹤要求的搜索窗口的直方圖，將計(jì)算的搜索窗口直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配，根據(jù)匹配結(jié)果，確定目標(biāo)的跟蹤位置。
17.根據(jù)權(quán)利要求16所述的系統(tǒng)，其特征在于，該系統(tǒng)進(jìn)一步包括直方圖權(quán)重更新單元；則直方圖匹配單元進(jìn)一步用于將直方圖匹配成功的搜索窗口提供給直方圖權(quán)重更新單元；直方圖權(quán)重更新單元，用于根據(jù)存儲(chǔ)的預(yù)定個(gè)數(shù)的搜索窗口的直方圖，計(jì)算每個(gè)特征通道中直方圖各組別的權(quán)重，將計(jì)算的每個(gè)特征通道中各組別的權(quán)重提供給直方圖匹配跟蹤單元；直方圖匹配跟蹤單元進(jìn)一步用于根據(jù)直方圖權(quán)重更新單元提供的每個(gè)特征通道中各組別的權(quán)重，執(zhí)行所述對(duì)搜索窗口的直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配的操作。
18.根據(jù)權(quán)利要求14至17中任一項(xiàng)所述的系統(tǒng)，其特征在于，所述直方圖匹配跟蹤單元包括搜索窗口確定模塊、直方圖計(jì)算模塊、直方圖匹配模塊和跟蹤位置確定模塊，其中，搜索窗口確定模塊，用于從跟蹤區(qū)域設(shè)置單元提供的跟蹤區(qū)域中確定當(dāng)前的搜索窗口，并將所確定的當(dāng)前搜索窗口通知給直方圖計(jì)算模塊；直方圖計(jì)算模塊，用于利用區(qū)域積分計(jì)算單元提供的區(qū)域積分直方圖計(jì)算當(dāng)前搜索窗口的直方圖，將計(jì)算得到的當(dāng)前搜索窗口的直方圖提供給直方圖匹配模塊；通知搜索窗口確定模塊提供下一個(gè)當(dāng)前搜索窗口；直方圖匹配模塊，用于將直方圖計(jì)算模塊提供的當(dāng)前搜索窗口的直方圖與預(yù)先計(jì)算的目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配，將匹配結(jié)果提供給跟蹤位置確定模塊；跟蹤位置確定模塊，用于根據(jù)直方圖匹配模塊提供的目標(biāo)可能出現(xiàn)的所有搜索窗口的匹配結(jié)果，將匹配最好的搜索窗口區(qū)域作為目標(biāo)的跟蹤位置。
19.如權(quán)利要求18所述的系統(tǒng)，其特征在于，所述跟蹤位置確定模塊包括搜索窗口選取子模塊、搜索窗口確定子模塊、塊直方圖計(jì)算匹配子模塊、搜索窗口綜合匹配計(jì)算子模塊和跟蹤位置確定子模塊，其中，搜索窗口選取子模塊，用于根據(jù)直方圖匹配模塊提供的所有搜索窗口的匹配結(jié)果，從中選取滿足預(yù)設(shè)條件的多個(gè)搜索窗口，提供給搜索窗口確定子模塊；搜索窗口確定子模塊，用于從搜索窗口選取子模塊提供的搜索窗口中確定當(dāng)前的搜索窗口，并將所確定的當(dāng)前搜索窗口通知給塊直方圖計(jì)算匹配子模塊；塊直方圖計(jì)算匹配子模塊，用于將搜索窗口確定子模塊提供的當(dāng)前搜索窗口按照與目標(biāo)對(duì)應(yīng)的分塊方法進(jìn)行分塊，得到子窗口；對(duì)每個(gè)子窗口，利用積分直方圖計(jì)算子窗口直方圖，將所計(jì)算的子窗口直方圖與目標(biāo)對(duì)應(yīng)塊的分塊直方圖進(jìn)行匹配，得到每個(gè)子窗口的分塊匹配度，將所得到的分塊匹配度提供給搜索窗口綜合匹配計(jì)算子模塊；通知搜索窗口確定子模塊提供下一個(gè)當(dāng)前搜索窗口；搜索窗口綜合匹配計(jì)算子模塊，用于根據(jù)塊直方圖計(jì)算匹配子模塊提供的當(dāng)前搜索窗口的所有子窗口的分塊匹配度，計(jì)算當(dāng)前搜索窗口的綜合匹配度，并將計(jì)算得到的當(dāng)前搜索窗口的綜合匹配度提供給跟蹤位置確定子模塊；跟蹤位置確定子模塊，用于根據(jù)搜索窗口綜合匹配計(jì)算子模塊提供的所有搜索窗口的綜合匹配度，將匹配最好的搜索窗口區(qū)域作為目標(biāo)的跟蹤位置。
全文摘要
本發(fā)明公開(kāi)了一種圖像跟蹤方法，包括通過(guò)積分運(yùn)算，計(jì)算整個(gè)跟蹤區(qū)域內(nèi)以整個(gè)跟蹤區(qū)域預(yù)先設(shè)定的一角為起始點(diǎn)的所有區(qū)域的直方圖，得到區(qū)域積分直方圖；利用區(qū)域積分直方圖，計(jì)算整個(gè)跟蹤區(qū)域中目標(biāo)可能出現(xiàn)的每個(gè)搜索窗口的直方圖，將計(jì)算得到的每個(gè)搜索窗口的直方圖與目標(biāo)的標(biāo)準(zhǔn)直方圖進(jìn)行匹配，得到匹配結(jié)果，根據(jù)匹配結(jié)果確定目標(biāo)的跟蹤位置。此外，本發(fā)明還公開(kāi)了一種圖像跟蹤系統(tǒng)。本發(fā)明所提供的圖像跟蹤方法及系統(tǒng)能夠保證跟蹤效果，并提高跟蹤速度。
文檔編號(hào)G06T7/20GK101038672SQ200710098970
公開(kāi)日2007年9月19日 申請(qǐng)日期2007年4月30日 優(yōu)先權(quán)日2007年4月30日
發(fā)明者曾志, 王耀輝 申請(qǐng)人:北京中星微電子有限公司