一種基于高速圖像傳感器的視覺追蹤系統(tǒng)及方法
【專利摘要】本發(fā)明公開了一種基于高速圖像傳感器的視覺追蹤系統(tǒng)及方法，該系統(tǒng)包括光學(xué)鏡頭、圖像采集及視覺處理片上系統(tǒng)、高速旋轉(zhuǎn)平臺和電源管理模塊，其中，光學(xué)鏡頭用于對追蹤目標(biāo)進行成像；圖像采集及視覺處理片上系統(tǒng)用于實現(xiàn)圖像采集和視覺分析；高速旋轉(zhuǎn)平臺用于安裝光學(xué)鏡頭和圖像采集及視覺處理片上系統(tǒng)；電源管理模塊用于為系統(tǒng)中各部分提供合適穩(wěn)定的電源，保證系統(tǒng)正常工作。本發(fā)明通過圖像采集及視覺處理片上系統(tǒng)對目標(biāo)進行采集和分析，并根據(jù)目標(biāo)位置驅(qū)動旋轉(zhuǎn)平臺運動，保證目標(biāo)在系統(tǒng)視野中心并獲得其位置、速度等信息。該系統(tǒng)集成度高、精度高、速度快、成本低，可完成傳統(tǒng)追蹤系統(tǒng)無法完成的高速目標(biāo)追蹤任務(wù)。
【專利說明】 一種基于高速圖像傳感器的視覺追蹤系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及可編程視覺芯片及安全監(jiān)控【技術(shù)領(lǐng)域】，尤其涉及一種基于高速圖像傳感器的視覺追蹤系統(tǒng)及方法，具有高速度、高集成、低功耗、低成本的優(yōu)勢，可應(yīng)用于安全監(jiān)控和工農(nóng)業(yè)生產(chǎn)自動檢測中。
【背景技術(shù)】
[0002]隨著計算機系統(tǒng)的應(yīng)用和機器視覺的發(fā)展，通過攝像頭及相應(yīng)的圖像處理網(wǎng)絡(luò)的監(jiān)控和追蹤系統(tǒng)被越來越多的行業(yè)所采用。目前帶有自動追蹤功能的監(jiān)控系統(tǒng)主要有兩類:一種是基于PC的監(jiān)控追蹤系統(tǒng)，通過將圖像傳輸?shù)絇C上利用相應(yīng)軟件進行處理、識別和追蹤，但限于傳輸瓶頸，其處理速度較慢且成本較高；另一類是基于嵌入式系統(tǒng)的追蹤系統(tǒng)，其主要采用CPU或DSP對圖像進行處理，但傳輸瓶頸依然存在(一般不超過50幀/秒)，并由于處理能力有限，應(yīng)用復(fù)雜度也受限。

【發(fā)明內(nèi)容】

[0003](一 )要解決的技術(shù)問題
[0004]針對以上問題，本發(fā)明提供了一種高集成度、高性能、低成本、低功耗的基于高速圖像傳感器的視覺追蹤系統(tǒng)及方法，以實現(xiàn)在不同環(huán)境下運動目標(biāo)的追蹤，可應(yīng)用于工農(nóng)業(yè)生產(chǎn)和安全監(jiān)控等領(lǐng)域中。
[0005]( 二 )技術(shù)方案
[0006]為達到上述目的，本發(fā)明提供了一種基于高速圖像傳感器的視覺追蹤系統(tǒng)，該系統(tǒng)包括:光學(xué)鏡頭，用于對追蹤目標(biāo)進行成像；圖像采集及視覺處理片上系統(tǒng)，用于實現(xiàn)圖像采集和視覺分析；高速旋轉(zhuǎn)平臺，用于安裝光學(xué)鏡頭和圖像采集及視覺處理片上系統(tǒng)；電源管理模塊，用于為系統(tǒng)中各部分提供合適穩(wěn)定的電源，保證系統(tǒng)正常工作。
[0007]上述方案中，該光學(xué)鏡頭為可調(diào)焦鏡頭，能夠根據(jù)環(huán)境及追蹤目標(biāo)需求而自動調(diào)節(jié)，以達到最好的成像效果。
[0008]上述方案中，該圖像采集及視覺處理片上系統(tǒng)是將圖像采集和視覺處理集成在同一芯片上，包括圖像采集子模塊、視覺處理子模塊和執(zhí)行器控制子模塊，其中:該圖像采集子模塊為二維像素陣列，用于對高速采集的圖像進行初步去噪和模數(shù)轉(zhuǎn)換，然后傳輸至視覺處理子模塊；該視覺處理子模塊，用于根據(jù)實際的應(yīng)用算法，對來自圖像采集子模塊的圖像進行低、中、高級處理，獲取目標(biāo)的位置和速度信息；該執(zhí)行器控制子模塊，用于根據(jù)得到的目標(biāo)的位置、速度信息，計算高速旋轉(zhuǎn)平臺所需的運動方向和角度，進而生成相應(yīng)的控制伺服電機運轉(zhuǎn)方向和角度的脈沖。
[0009]上述方案中，該視覺處理子模塊包括像素處理器、局部處理器和全局處理器，其中，像素處理器為二維像素陣列，每一單元對應(yīng)一個或多個像素，用于對圖像進行像素級并行處理；局部處理器用于將一定范圍內(nèi)的圖像進行特征提?。蝗痔幚砥饔糜趯φ麄€圖像提取特征并進行判決。[0010]上述方案中，該視覺處理子模塊的高級處理部分和執(zhí)行器控制子模塊共用多核精簡指令處理器，在保證系統(tǒng)性能的前提下提升硬件利用率。
[0011]上述方案中，該高速旋轉(zhuǎn)平臺為三自由度(X，y, Z)旋轉(zhuǎn)平臺，由X，y, Z伺服電機及其相應(yīng)的傳動裝置組成，在接收到執(zhí)行器控制子模塊的控制脈沖后精確運動到指定角度，并將運動角度傳回執(zhí)行器控制子模塊。
[0012]上述方案中，該視覺追蹤系統(tǒng)通過USB、以太網(wǎng)口接口與上位機或網(wǎng)絡(luò)相連接，下載追蹤算法并將追蹤的結(jié)果、位置、速度信息進行發(fā)布。
[0013]為達到上述目的，本發(fā)明還提供了一種基于高速圖像傳感器的視覺追蹤方法，該方法對于圖像采集及視覺處理片上系統(tǒng)獲得的每一幀圖像，執(zhí)行以下步驟:步驟a:對其進行圖像預(yù)處理以減小噪聲，突出特征點；步驟b:計算并更新背景；步驟c:將當(dāng)前圖像與背景相減取模以獲得運動差值；步驟d:對差值圖進行閾值分割，獲得運動目標(biāo)的大致坐標(biāo)；步驟e:提取獲得坐標(biāo)周圍一定范圍內(nèi)的顏色直方圖；步驟f:將獲取的直方圖與目標(biāo)直方圖進行相似性比對；步驟g:對比對結(jié)果進行判決并獲取目標(biāo)具體位置，更新目標(biāo)直方圖；若沒有匹配目標(biāo)，即目標(biāo)丟失，則依據(jù)之前獲得的目標(biāo)位置信息進行目標(biāo)搜索；步驟h:根據(jù)目標(biāo)位置控制高速旋轉(zhuǎn)平臺運動到相應(yīng)位置并對光學(xué)鏡頭進行適當(dāng)調(diào)焦；步驟1:流程返回步驟a，繼續(xù)追蹤目標(biāo)。
[0014](三)有益效果
[0015]從本發(fā)明的技術(shù)方案可以看出，本發(fā)明有以下有益效果:
[0016]1、本發(fā)明提供的基于高速圖像傳感器的視覺追蹤系統(tǒng)及方法，采用的圖像采集及視覺處理片上系統(tǒng)集成了圖像采集和處理兩大功能，圖像信息在片內(nèi)傳輸處理，消除了傳統(tǒng)圖像傳輸瓶頸；視覺處理部分采用低中高分級處理，并采取不同程度的并行處理，極大地提高了處理效率和精度，進而可以實現(xiàn)高速運動物體(1000幀/秒以上)的快速追蹤。
[0017]2、本發(fā)明提供的基于高速圖像傳感器的視覺追蹤系統(tǒng)及方法，采用片上系統(tǒng)進行圖像采集和處理，提高系統(tǒng)集成度，降低了應(yīng)用成本。
[0018]3、本發(fā)明提供的基于高速圖像傳感器的視覺追蹤系統(tǒng)及方法，采用高速旋轉(zhuǎn)平臺，可實現(xiàn)360°全景搜索追蹤，速度和效率遠(yuǎn)高于傳統(tǒng)的計算機追蹤系統(tǒng)和嵌入式系統(tǒng)。
【專利附圖】

【附圖說明】
[0019]圖1為本發(fā)明提供的基于高速圖像傳感器的視覺追蹤系統(tǒng)的結(jié)構(gòu)示意圖；
[0020]圖2為圖1中圖像采集及視覺處理片上系統(tǒng)的結(jié)構(gòu)示意圖；
[0021]圖3為本發(fā)明提供的基于高速圖像傳感器的視覺追蹤方法的流程圖。
【具體實施方式】
[0022]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚明白，以下結(jié)合具體實施例，并參照附圖，對本發(fā)明進一步詳細(xì)說明。
[0023]如圖1所示，圖1為本發(fā)明提供的基于高速圖像傳感器的視覺追蹤系統(tǒng)的結(jié)構(gòu)示意圖，該系統(tǒng)包括光學(xué)鏡頭、圖像采集及視覺處理片上系統(tǒng)、高速旋轉(zhuǎn)平臺和電源管理模塊，其中，光學(xué)鏡頭用于對追蹤目標(biāo)進行成像；圖像采集及視覺處理片上系統(tǒng)用于實現(xiàn)圖像采集和視覺分析；高速旋轉(zhuǎn)平臺用于安裝光學(xué)鏡頭和圖像采集及視覺處理片上系統(tǒng)；電源管理模塊用于為系統(tǒng)中各部分提供合適穩(wěn)定的電源，保證系統(tǒng)正常工作。
[0024]其中，光學(xué)鏡頭為可調(diào)焦鏡頭，能夠根據(jù)環(huán)境及追蹤目標(biāo)需求而自動調(diào)節(jié)，以達到最好的成像效果。
[0025]如圖2所示，圖像采集及視覺處理片上系統(tǒng)是將圖像采集和視覺處理集成在同一芯片上，包括圖像采集子模塊、視覺處理子模塊和執(zhí)行器控制子模塊，是追蹤系統(tǒng)的處理和控制核心。其中:該圖像采集子模塊為二維像素陣列，用于對高速采集的圖像進行初步去噪和模數(shù)轉(zhuǎn)換，然后傳輸至視覺處理子模塊；該視覺處理子模塊，用于根據(jù)實際的應(yīng)用算法，對來自圖像采集子模塊的圖像進行低、中、高級處理，獲取目標(biāo)的位置和速度信息；該執(zhí)行器控制子模塊依托著多核精簡指令級處理器，用于根據(jù)得到的目標(biāo)的位置、速度等信息，計算高速旋轉(zhuǎn)平臺所需的運動方向和角度，進而生成相應(yīng)的控制伺服電機運轉(zhuǎn)方向和角度的脈沖。
[0026]視覺處理子模塊包括像素處理器、局部處理器和全局處理器，分別對應(yīng)于圖像處理中的低中高級處理；其中，像素處理器為二維像素陣列，每一單元對應(yīng)一個或多個像素，用于對圖像進行像素級并行處理；局部處理器，用于將一定范圍內(nèi)的圖像進行特征提??；全局處理器為多核精簡指令處理器，計算能力強，用于對整個圖像提取特征并進行判決。該視覺處理子模塊的高級處理部分和執(zhí)行器控制子模塊共用多核精簡指令處理器，在保證系統(tǒng)性能的前提下提升硬件利用率。
[0027]高速旋轉(zhuǎn)平臺為三自由度(x，y，z)旋轉(zhuǎn)平臺，光學(xué)鏡頭和圖像采集及視覺處理片上系統(tǒng)安裝在該平臺上；高速旋轉(zhuǎn)平臺由X，Y, z伺服電機及其相應(yīng)的傳動裝置組成，在接收到執(zhí)行器控制子模塊的控制脈沖后精確運動到指定角度，并將運動角度傳回執(zhí)行器控制子模塊。高速旋轉(zhuǎn)平臺由基座、X轉(zhuǎn)臺、y轉(zhuǎn)臺和Z轉(zhuǎn)臺組成,可實現(xiàn)xyz方向的旋轉(zhuǎn)?；糜谛D(zhuǎn)平臺的固定和安裝，上面有打有相應(yīng)的安裝孔轉(zhuǎn)臺安裝在基座上，由z臺面、減速器、驅(qū)動器和伺服電機組成，在接收到執(zhí)行器控制模塊的控制脈沖后，伺服電機帶動減速器轉(zhuǎn)動，從而驅(qū)動z臺面繞z軸旋轉(zhuǎn)；y轉(zhuǎn)臺安裝在z臺面上，由I臺面、減速器、驅(qū)動器和伺服電機組成，在接收到執(zhí)行器控制模塊的控制脈沖后，伺服電機帶動減速器轉(zhuǎn)動，從而驅(qū)動I臺面繞I軸旋轉(zhuǎn)轉(zhuǎn)臺安裝在I臺面上，由X臺面、減速器、驅(qū)動器和伺服電機組成，在接收到執(zhí)行器控制模塊的控制脈沖后，伺服電機帶動減速器轉(zhuǎn)動，從而驅(qū)動X臺面繞X軸旋轉(zhuǎn)，進而帶動光學(xué)鏡頭完成調(diào)焦動作。
[0028]如圖1所示，本發(fā)明提供的視覺追蹤系統(tǒng)中所需各種電源類型復(fù)雜，電源管理模塊4為系統(tǒng)中各部分提供合適穩(wěn)定的電源，保證系統(tǒng)正常工作。本發(fā)明提供的視覺追蹤系統(tǒng)通過USB、以太網(wǎng)口接口與上位機或網(wǎng)絡(luò)相連接，下載追蹤算法并將追蹤的結(jié)果、位置、速度信息進行發(fā)布。
[0029]基于圖1和圖2示出的基于高速圖像傳感器的視覺追蹤系統(tǒng)，本發(fā)明還提供了一種基于高速圖像傳感器的視覺追蹤方法，如圖3所示，該方法對于圖像采集及視覺處理片上系統(tǒng)獲得的每一幀圖像，執(zhí)行以下步驟:
[0030]步驟a:對其進行圖像預(yù)處理以減小噪聲，突出特征點；
[0031]步驟b:計算并更新背景；
[0032]步驟c:將當(dāng)前圖像與背景相減取模以獲得運動差值；
[0033]步驟d:對差值圖進行閾值分割，獲得運動目標(biāo)的大致坐標(biāo)；[0034]步驟e:提取獲得坐標(biāo)周圍一定范圍內(nèi)的顏色直方圖；
[0035]步驟f:將獲取的直方圖與目標(biāo)直方圖進行相似性比對；
[0036]步驟g:對比對結(jié)果進行判決并獲取目標(biāo)具體位置，更新目標(biāo)直方圖；若沒有匹配目標(biāo)，即目標(biāo)丟失，則依據(jù)之前獲得的目標(biāo)位置信息進行目標(biāo)搜索；
[0037]步驟h:根據(jù)目標(biāo)位置控制高速旋轉(zhuǎn)平臺運動到相應(yīng)位置并對光學(xué)鏡頭進行適當(dāng)調(diào)焦；
[0038]步驟1:流程返回步驟a，繼續(xù)追蹤目標(biāo)。
[0039]采用本發(fā)明還提供的這種基于高速圖像傳感器的視覺追蹤方法，追蹤目標(biāo)出現(xiàn)在視野中，圖像采集及視覺處理片上系統(tǒng)2高速采集圖像并對圖像進行分析處理，獲取所需的目標(biāo)坐標(biāo)，然后依據(jù)目標(biāo)的位置、速度等信息控制高速旋轉(zhuǎn)平臺3精確運動到指定角度并自動調(diào)節(jié)光學(xué)鏡頭I焦距，從而保證追蹤目標(biāo)一直處于視野中央；具體方法流程如下:
[0040](a)獲取一幀圖像，對其進行圖像預(yù)處理以減小噪聲，突出特征點；圖像預(yù)處理主要包括高斯濾波、形態(tài)學(xué)濾波和圖像增強，這樣可以有效地抑制背景噪聲點并突出邊緣等圖像特征。
[0041](b)計算并更新背景；背景更新按照公式1.1完成，
[0042]Bi=CtF^(1-Ct)BH1.1
[0043]其中Bi為當(dāng)前幀背景，Bh為上一幀背景，F(xiàn)i為當(dāng)前幀圖像，α為[0，I]的學(xué)習(xí)速率。
[0044](C)將當(dāng)前圖像與背景相減以獲得運動差值；剪除的背景應(yīng)為為上一幀背景(Bh)
[0045](d)對差值圖進行閾值分割，獲得運動目標(biāo)的大致坐標(biāo)。
[0046](e)提取獲得坐標(biāo)周圍一定范圍內(nèi)的顏色直方圖；所取直方圖的大小取決于追蹤目標(biāo)的大小，要保證完全覆蓋目標(biāo)同時又不能過大以免過度降低系統(tǒng)性能。
[0047](f)將獲取的直方圖與目標(biāo)直方圖進行相似性比對；對比可采用巴式系數(shù)進行度量，如公式1.2所示:
【權(quán)利要求】
1.一種基于高速圖像傳感器的視覺追蹤系統(tǒng)，其特征在于，該系統(tǒng)包括: 光學(xué)鏡頭，用于對追蹤目標(biāo)進行成像； 圖像采集及視覺處理片上系統(tǒng)，用于實現(xiàn)圖像采集和視覺分析； 高速旋轉(zhuǎn)平臺，用于安裝光學(xué)鏡頭和圖像采集及視覺處理片上系統(tǒng)； 電源管理模塊，用于為系統(tǒng)中各部分提供合適穩(wěn)定的電源，保證系統(tǒng)正常工作。
2.根據(jù)權(quán)利要求1所述的基于高速圖像傳感器的視覺追蹤系統(tǒng)，其特征在于，該光學(xué)鏡頭為可調(diào)焦鏡頭，能夠根據(jù)環(huán)境及追蹤目標(biāo)需求而自動調(diào)節(jié)，以達到最好的成像效果。
3.根據(jù)權(quán)利要求1所述的基于高速圖像傳感器的視覺追蹤系統(tǒng)，其特征在于，該圖像采集及視覺處理片上系統(tǒng)是將圖像采集和視覺處理集成在同一芯片上，包括圖像采集子模塊、視覺處理子模塊和執(zhí)行器控制子模塊，其中: 該圖像采集子模塊為二維像素陣列，用于對高速采集的圖像進行初步去噪和模數(shù)轉(zhuǎn)換，然后傳輸至視覺處理子模塊； 該視覺處理子模塊，用于根據(jù)實際的應(yīng)用算法，對來自圖像采集子模塊的圖像進行低、中、高級處理，獲取目標(biāo)的位置和速度信息； 該執(zhí)行器控制子模塊，用于根據(jù)得到的目標(biāo)的位置、速度信息，計算高速旋轉(zhuǎn)平臺所需的運動方向和角度，進而生成相應(yīng)的控制伺服電機運轉(zhuǎn)方向和角度的脈沖。
4.根據(jù)權(quán)利要求3所述的基于高速圖像傳感器的視覺追蹤系統(tǒng)，其特征在于，該視覺處理子模塊包括像素處理器、局部處理器和全局處理器，其中，像素處理器為二維像素陣列，每一單元對應(yīng)一個或多個像素，用于對圖像進行像素級并行處理；局部處理器用于將一定范圍內(nèi)的圖像進行特征提??；全局處理器用于對整個圖像提取特征并進行判決。
5.根據(jù)權(quán)利要求3所述的基于高速圖像傳感器的視覺追蹤系統(tǒng)，其特征在于，該視覺處理子模塊的高級處理部分和執(zhí)行器控制子模塊共用多核精簡指令處理器，在保證系統(tǒng)性能的前提下提升硬件利用率。
6.根據(jù)權(quán)利要求1所述的基于高速圖像傳感器的視覺追蹤系統(tǒng)，其特征在于，該高速旋轉(zhuǎn)平臺為三自由度(X，y, z)旋轉(zhuǎn)平臺，由X，y, z伺服電機及其相應(yīng)的傳動裝置組成,在接收到執(zhí)行器控制子模塊的控制脈沖后精確運動到指定角度，并將運動角度傳回執(zhí)行器控制子模塊。
7.根據(jù)權(quán)利要求1所述的基于高速圖像傳感器的視覺追蹤系統(tǒng)，其特征在于，該視覺追蹤系統(tǒng)通過USB、以太網(wǎng)口接口與上位機或網(wǎng)絡(luò)相連接，下載追蹤算法并將追蹤的結(jié)果、位置、速度信息進行發(fā)布。
8.一種基于高速圖像傳感器的視覺追蹤方法，應(yīng)用于權(quán)利要求1至7中任一項所述的視覺追蹤系統(tǒng)，其特征在于，該方法對于圖像采集及視覺處理片上系統(tǒng)獲得的每一幀圖像，執(zhí)行以下步驟: 步驟a:對其進行圖像預(yù)處理以減小噪聲，突出特征點； 步驟b:計算并更新背景； 步驟c:將當(dāng)前圖像與背景相減取模以獲得運動差值； 步驟d:對差值圖進行閾值分割，獲得運動目標(biāo)的大致坐標(biāo)； 步驟e:提取獲得坐標(biāo)周圍一定范圍內(nèi)的顏色直方圖； 步驟f:將獲取的直方圖與目標(biāo)直方圖進行相似性比對；步驟g:對比對結(jié)果進行判決并獲取目標(biāo)具體位置，更新目標(biāo)直方圖；若沒有匹配目標(biāo)，即目標(biāo)丟失，則依據(jù)之前獲得的目標(biāo)位置信息進行目標(biāo)搜索； 步驟h:根據(jù)目標(biāo)位置控制高速旋轉(zhuǎn)平臺運動到相應(yīng)位置并對光學(xué)鏡頭進行適當(dāng)調(diào)焦； 步驟1:流程 返回步驟a，繼續(xù)追蹤目標(biāo)。
【文檔編號】G05D3/12GK103544714SQ201310498716
【公開日】2014年1月29日 申請日期:2013年10月22日 優(yōu)先權(quán)日:2013年10月22日
【發(fā)明者】楊永興, 吳南健, 石匆, 楊杰 申請人:中國科學(xué)院半導(dǎo)體研究所