專(zhuān)利名稱(chēng)：嵌入式全向球視覺(jué)目標(biāo)檢測(cè)和移動(dòng)監(jiān)控系統(tǒng)及方法
嵌入式全向球視覺(jué)目標(biāo)檢測(cè)和移動(dòng)監(jiān)控系統(tǒng)及方法
技術(shù)領(lǐng)域1
本發(fā)明屬于嵌入式圖像處理技術(shù)領(lǐng)域，特別涉及一種嵌入式全向球視覺(jué)的移動(dòng)檢測(cè)系 統(tǒng)及方法。
背景技術(shù)：
當(dāng)前的全景圖像采集普遍采用以下兩種技術(shù)(1)單一鏡頭多次采樣拼接；(2)曲面 鏡頭或鏡面反射式鏡頭圖像采集。前者圖像拼接方法原始數(shù)據(jù)量大，算法復(fù)雜， 一般只能 做靜態(tài)圖像拼接，無(wú)法完成實(shí)時(shí)成像。而采用非常規(guī)鏡頭方法只能采集到一個(gè)半球面圖像， 無(wú)法做到真正的全球域"無(wú)死角"的實(shí)時(shí)采集。以后出現(xiàn)的全球域攝像系統(tǒng)大多采用超過(guò) 四五個(gè)鏡頭的多頭攝像機(jī)拼合的形式如加拿大Point Grey Research Inc.的六鏡頭組合的 Ladybug全景視頻采集系統(tǒng)等，但也不能完全覆蓋整個(gè)球域場(chǎng)景。近期，日本巖手大學(xué)研 制出一種雙魚(yú)眼鏡頭對(duì)接的全景視覺(jué)系統(tǒng)SpherEye，將雙魚(yú)眼圖像通過(guò)折射鏡片映射到同 一塊圖像傳感器上，實(shí)現(xiàn)了對(duì)全向視覺(jué)圖像的采集，用于汽車(chē)自動(dòng)導(dǎo)航領(lǐng)域，然而其僅具 備全向視覺(jué)圖像的采集功能并未集成配套的圖像處理裝置和相關(guān)的處理軟件，也未涉及更 多地應(yīng)用開(kāi)發(fā)。同時(shí)，單一傳感器采集兩幅魚(yú)眼圖像不可避免的影響到圖像的質(zhì)量和圖像 的分辨率，削弱了全景監(jiān)測(cè)的效果。
而且傳統(tǒng)視覺(jué)系統(tǒng)由于視場(chǎng)角的限制，必須配備一套隨動(dòng)機(jī)械云臺(tái)裝置，來(lái)采集多幅 圖像和鎖定目標(biāo)，這樣不僅增加了整個(gè)系統(tǒng)的體積，導(dǎo)致性能下降，同時(shí)也會(huì)帶來(lái)更多不 穩(wěn)定參數(shù)導(dǎo)致誤差增多。而且隨動(dòng)系統(tǒng)在目標(biāo)跟蹤時(shí)存在滯后、靈活性差，且目標(biāo)容易丟 失。另外，由于視角的限制，很多視場(chǎng)信息被丟棄，無(wú)法做到真正的全球域視野。
嵌入式系統(tǒng)以其特有的靈活性、準(zhǔn)確性、穩(wěn)定性、可重復(fù)性、體積小、功耗小，尤其 是可編程性和易于實(shí)現(xiàn)自適應(yīng)處理等特點(diǎn)，已經(jīng)在數(shù)據(jù)、語(yǔ)音、視像信號(hào)等高速數(shù)學(xué)運(yùn)算 和實(shí)時(shí)處理方面得到廣泛的應(yīng)用，嵌入式系統(tǒng)將在未來(lái)圖像和語(yǔ)音處理領(lǐng)域中起著主導(dǎo)的 作用。以FPGA+DSP為基本框架構(gòu)建智能相機(jī)已是目前較為成熟的技術(shù)。但大多數(shù)嵌入 式系統(tǒng)都采用單芯片或者主從式芯片結(jié)構(gòu)，對(duì)于運(yùn)算量大的數(shù)字圖像處理，或者視頻跟蹤 處理往往只能實(shí)現(xiàn)單路或串行遠(yuǎn)算，但當(dāng)需要多種算法并行運(yùn)算的復(fù)雜情況時(shí)，(如多目 標(biāo)跟蹤)則會(huì)有極大局限性。而對(duì)全向球視覺(jué)的大場(chǎng)景圖像的采集與處理，特別是涉及多 目標(biāo)多任務(wù)的場(chǎng)合構(gòu)建多DSP的實(shí)時(shí)系統(tǒng)則是必需的解決方案。
全向球視覺(jué)具有全球域視野圖像，配合以目標(biāo)檢測(cè)功能，非常適合于監(jiān)控領(lǐng)域，但絕 大多數(shù)應(yīng)用都是固定相機(jī)，配合全景鏡頭進(jìn)行定點(diǎn)監(jiān)控，而對(duì)于移動(dòng)檢測(cè)領(lǐng)域則很少涉及。 主要由于移動(dòng)監(jiān)控系統(tǒng)不僅要保證對(duì)動(dòng)態(tài)的目標(biāo)進(jìn)行實(shí)時(shí)監(jiān)測(cè)，同時(shí)還要滿足自身移動(dòng)定 位導(dǎo)航，這需要多種識(shí)別跟蹤算法并行運(yùn)算，對(duì)于系統(tǒng)硬件的并行處理功能要求較高。

發(fā)明內(nèi)容本發(fā)明目的是克服現(xiàn)有技術(shù)存在的上述不足，提供一種基于多DSP的嵌入式全向球 域超大視場(chǎng)角的圖像成像系統(tǒng)，并以此為基礎(chǔ)建立一整套多目標(biāo)檢測(cè)和移動(dòng)監(jiān)控系統(tǒng)及其 處理方法。
該方法可同時(shí)采集整個(gè)全球域視覺(jué)圖像，而不需要安裝機(jī)械隨動(dòng)平臺(tái)系統(tǒng)，基于多 DSP的硬件架構(gòu)，進(jìn)行多種圖像跟蹤監(jiān)測(cè)算法的并行運(yùn)算，協(xié)同處理的嵌入式系統(tǒng)硬件架 構(gòu)將有效地保障視覺(jué)系統(tǒng)對(duì)包含大量信息的全球域圖像序列進(jìn)行多種高級(jí)處理的實(shí)時(shí)性 與可靠性。對(duì)靜態(tài)航標(biāo)識(shí)別跟蹤和對(duì)動(dòng)態(tài)目標(biāo)實(shí)時(shí)監(jiān)測(cè)并行進(jìn)行，配合相應(yīng)的導(dǎo)航算法， 可以完成自引導(dǎo)車(chē)移動(dòng)監(jiān)控，敏感目標(biāo)捕獲，現(xiàn)場(chǎng)巡查，環(huán)境監(jiān)測(cè)等任務(wù)。本系統(tǒng)及方法 具有一體化、小型化、高效可靠等特點(diǎn)，適合于對(duì)體積要求嚴(yán)格，需要高實(shí)時(shí)性處理速度 的車(chē)載移動(dòng)以及智能監(jiān)控領(lǐng)域。同時(shí)，本發(fā)明也適合于需要多種圖像算法并行處理的高端 應(yīng)用領(lǐng)域。
本發(fā)明提供的嵌入式全向球視覺(jué)目標(biāo)檢測(cè)和移動(dòng)監(jiān)控系統(tǒng)，包括(見(jiàn)附圖l): 全向球視覺(jué)圖像成像系統(tǒng)包括背靠固定的兩個(gè)魚(yú)眼式全景鏡頭，分別與兩個(gè)魚(yú)眼
式全景鏡頭連接的兩個(gè)可編程面陣CMOS圖像采集芯片，兩個(gè)CMOS圖像采集芯片通過(guò) FPGA控制器連接SRAM存儲(chǔ)芯片；該成像系統(tǒng)用于一次獲取整個(gè)全球域的圖像信息，并 通過(guò)FPGA將采集到的圖像數(shù)據(jù)存儲(chǔ)到SRAM芯片中；所述的兩個(gè)魚(yú)眼式全景鏡頭朝向 相反安裝，背靠固定，通過(guò)全向球視覺(jué)系統(tǒng)的一次拍攝，可分別獲得左右半球域的視覺(jué)圖 像。無(wú)需單一鏡頭多次拍攝，將顯著降低兩幅魚(yú)眼圖像邊緣的差異；同時(shí)，鏡頭相對(duì)固定， 減少鏡頭標(biāo)定時(shí)由于位移可能產(chǎn)生的誤差。
一個(gè)主控DSP (TMS320VC5502):與SRAM存儲(chǔ)芯片連接，負(fù)責(zé)兩路圖像處理DSP 的數(shù)據(jù)分配調(diào)度與合成，以及用于進(jìn)行信息綜合和導(dǎo)航策略選擇，并將制導(dǎo)控制信號(hào)通過(guò) 以太網(wǎng)通訊接口或者串口輸出；
兩路DSP并行圖像處理器包括分別通過(guò)各自對(duì)應(yīng)的FIFO芯片與主控DSP連接的 兩個(gè)高性能圖像處理DSP (TMS320DM642)，兩個(gè)圖像處理DSP同時(shí)分別與SRAM存儲(chǔ) 芯片連接；用于對(duì)不同目標(biāo)的圖像數(shù)據(jù)并行進(jìn)行不同的處理過(guò)程，并由主控DSP負(fù)責(zé)兩路 圖像處理DSP的數(shù)據(jù)分配調(diào)度與合成。其中靜態(tài)航標(biāo)識(shí)別與跟蹤由第一路圖像處理DSP承 擔(dān)，算法采用基于概率預(yù)測(cè)的粒子濾波跟蹤算法；第二路圖像處理DSP主要負(fù)責(zé)對(duì)全向球 視覺(jué)圖像進(jìn)行實(shí)時(shí)監(jiān)測(cè)，算法采用光流法對(duì)機(jī)動(dòng)目標(biāo)進(jìn)行實(shí)時(shí)檢測(cè)。兩種不同的圖像處理 算法并行執(zhí)行，并通過(guò)主控DSP相互通訊并實(shí)施綜合導(dǎo)航，滿足移動(dòng)監(jiān)測(cè)制導(dǎo)的特殊需求。
所述的兩個(gè)圖像處理DSP分別與存放各自DSP程序的FLASH芯片連接，系統(tǒng)上電后， 用于自動(dòng)將相應(yīng)程序引導(dǎo)入DSP中運(yùn)行。
本發(fā)明提供的嵌入式全向球視覺(jué)目標(biāo)檢測(cè)和移動(dòng)監(jiān)控方法包括以下步驟 第一、由兩個(gè)魚(yú)眼式全景鏡頭同時(shí)分別對(duì)監(jiān)控區(qū)域進(jìn)行圖像拍攝； 第二、由兩路CMOS圖像采集芯片分別采集兩路魚(yú)眼式全景鏡頭的圖像，并將所采 集的左右半球圖像放入SRAM存儲(chǔ)芯片中進(jìn)行暫存，此時(shí)，就能夠?qū)@取的全球域圖像輸出用于觀察；
第三、用兩路圖像處理DSP分別對(duì)靜態(tài)航標(biāo)進(jìn)行跟蹤和對(duì)動(dòng)態(tài)目標(biāo)進(jìn)行檢測(cè)； 第四、由主控DSP對(duì)上步跟蹤和檢測(cè)的結(jié)果進(jìn)行信息綜合和導(dǎo)航策略選擇，并將制 導(dǎo)控制信號(hào)通過(guò)以太網(wǎng)通訊接口或者串口發(fā)送到被控端。
以上第三步所述的對(duì)靜態(tài)航標(biāo)的跟蹤方法采用粒子濾波跟蹤算法；航標(biāo)為雙色序列式 航標(biāo)，放置在車(chē)體頂部；粒子濾波是一種統(tǒng)計(jì)濾波方法，它依據(jù)大數(shù)定理采用蒙特卡羅方 法來(lái)求解貝葉斯估計(jì)中的積分運(yùn)算，并利用重要抽樣在動(dòng)態(tài)狀態(tài)空間上得到一組不斷更新 的粒子，來(lái)逼近待估計(jì)狀態(tài)的后驗(yàn)概率密度，其中，這些粒子與一組權(quán)值一一對(duì)應(yīng)；假設(shè)
在一維空間中觀測(cè)值的序列表示為^ = (21，22"'"^)}，觀測(cè)值的概率密度為p(zlx)， x也 為一維量；通過(guò)貝葉斯公式我們可以得到后驗(yàn)概率公式
I Z,) ^(Zf I X》g M^p(X, I義2) 其中，P(Z(ix()稱(chēng)為似然性，表征系統(tǒng)狀態(tài)由X"轉(zhuǎn)移到Xt后和觀測(cè)值的相似程度；
^"'z"-i)為上一步系統(tǒng)狀態(tài)轉(zhuǎn)移過(guò)程所得，稱(chēng)為先驗(yàn)概率；^"'z'^)稱(chēng)為證據(jù)，通常
為歸一化常數(shù)。
粒子濾波器對(duì)目標(biāo)的跟蹤提供了一個(gè)魯棒性很強(qiáng)的框架，他既不受限于線性系統(tǒng)也不 要求噪聲是高斯的。
粒子濾波跟蹤包括粒子集初始化、移動(dòng)粒子、計(jì)算粒子權(quán)值、權(quán)值標(biāo)準(zhǔn)化、重采樣、
預(yù)測(cè)目標(biāo)當(dāng)前位置五個(gè)步驟。
第三步所述的對(duì)動(dòng)態(tài)目標(biāo)的實(shí)時(shí)檢測(cè)采用光流法，空間中的運(yùn)動(dòng)場(chǎng)轉(zhuǎn)移到圖像上就表 示為光流場(chǎng)，光流場(chǎng)反映了圖像上每一點(diǎn)灰度的變化趨勢(shì)，它可以求得稠密處所對(duì)應(yīng)物體
的運(yùn)動(dòng)信息；由光流場(chǎng)可以計(jì)算場(chǎng)景中物體的運(yùn)動(dòng)和結(jié)構(gòu)；
記在時(shí)刻t時(shí)，圖像上的點(diǎn)(x,y)處的灰度值為P(x，y,t)，它是場(chǎng)景中時(shí)刻t時(shí)某物體上 某一點(diǎn)(X， Y， Z)在圖像上的像，在時(shí)刻t+厶t時(shí)，這一點(diǎn)運(yùn)動(dòng)到(X十AX， Y十AY， Z 十AZ)，其在圖像上的像變?yōu)?x十Ax， y+Ay)，于是時(shí)刻t十At時(shí)圖像上點(diǎn)(x+Ax, y+ Ay)處的灰度值可記為P(x+Ax, y+Ay, t+At)，假定它與P(x, y, t)相等，經(jīng)過(guò)變換可以推 導(dǎo)出光流場(chǎng)的基本計(jì)算公式
3尸
其中:
VP是圖像灰度值的梯度，U是光流場(chǎng)；
在對(duì)機(jī)動(dòng)目標(biāo)檢測(cè)時(shí)，我們首先將采集到的原始圖像轉(zhuǎn)化為低分辨率的金字塔圖像，金字塔序列計(jì)算公式為
(' ，_/)= J J w(附,")A(2z + m，2y + ")
=-2 =-2
然后對(duì)金字塔圖像中所有的像素區(qū)域進(jìn)行一次光流平均計(jì)算，同時(shí)根據(jù)靜態(tài)航標(biāo)At 時(shí)刻中的相對(duì)位移作為閾值，進(jìn)行光流量與之判斷，將光流量大于闞值的區(qū)域設(shè)定為機(jī)動(dòng) 目標(biāo)，反之，設(shè)定為背景，分割光流場(chǎng)中的背景和機(jī)動(dòng)目標(biāo)，即可初步檢測(cè)出圖像中的機(jī) 動(dòng)目標(biāo)區(qū)域，最后對(duì)監(jiān)測(cè)區(qū)域進(jìn)行逆金字塔計(jì)算，就可以檢測(cè)到準(zhǔn)確的機(jī)動(dòng)目標(biāo)。
第四步所述的進(jìn)行信息綜合和導(dǎo)航策略選擇是指移動(dòng)車(chē)體導(dǎo)航。主控DSP可以根據(jù) 接收到的兩個(gè)跟蹤器發(fā)送的信息，實(shí)現(xiàn)航跡導(dǎo)航和追蹤導(dǎo)航的自動(dòng)切換。
當(dāng)自主導(dǎo)航過(guò)程中無(wú)機(jī)動(dòng)目標(biāo)出現(xiàn)時(shí)，主控DSP接收靜態(tài)航標(biāo)跟蹤器發(fā)送的全景圖 像中左右雙色航標(biāo)的位置信息，通過(guò)坐標(biāo)變換推導(dǎo)出車(chē)體在環(huán)境空間的坐標(biāo)位姿，以此進(jìn)
行定位并進(jìn)行相應(yīng)的信息綜合和導(dǎo)航策略選擇。移動(dòng)車(chē)體位姿推導(dǎo)的具體過(guò)程如下如圖
8所示，以航標(biāo)A，航標(biāo)B為X軸，建立世界坐標(biāo)系。航標(biāo)的世界坐標(biāo)系分別為 (X1，Y1)， (X2，Y2)，圖像坐標(biāo)為(X1' ，Yl')和(X2' ，Y2')。車(chē)體的世界坐標(biāo)系設(shè)為 (X0,Y0)。魚(yú)眼鏡頭中心設(shè)為(XO' ，Y0')。本魚(yú)眼鏡頭嚴(yán)格滿足等距投影定理，即投影 距離與目標(biāo)仰角滿足G-itw,，，其中ri為圖像中目標(biāo)與鏡頭中心的投影距離，k為鏡頭投
影系數(shù)，wi為該目標(biāo)與鏡頭在實(shí)際空間中的仰角。同時(shí)航標(biāo)在車(chē)體正前方投影的空間角
= arctan
度等于航標(biāo)的映射角度，即《=01，《=02,并且可由公式
義;乂
/ = 1，2
求
出。航標(biāo)高度H1，H2，航標(biāo)間距L，全向球視覺(jué)鏡頭高度H0為己知參數(shù)，配合航標(biāo)仰角0 1， 9 2，和魚(yú)眼鏡頭投影系數(shù)k，可以推導(dǎo)出車(chē)體在世界坐標(biāo)系下的空間坐標(biāo)
、、
%0—i/0)sing tan 。一 tang
再計(jì)算出車(chē)體位置和航標(biāo)中心線的偏差A(yù)r,根據(jù)公式
=S戸d + ^ * Ar S戸說(shuō)=S戸d —《* Ar
計(jì)算出車(chē)體左右輪速度，實(shí)現(xiàn)航標(biāo)導(dǎo)航。
當(dāng)自主導(dǎo)航過(guò)程中檢測(cè)到機(jī)動(dòng)目標(biāo)時(shí)，由機(jī)動(dòng)目標(biāo)跟蹤器向主控DSP發(fā)出始能信號(hào)， 主控DSP自動(dòng)切換到追蹤導(dǎo)航策略。追蹤導(dǎo)航策略利用機(jī)動(dòng)目標(biāo)跟蹤器經(jīng)連通域分析計(jì) 算出的機(jī)動(dòng)目標(biāo)在圖像中的位置，求出該位置與圖像中心線的偏差A(yù)r'，根據(jù)公式
iS5pee必=^ eed — (A" x Ar')
S戸說(shuō)=+ (《x Ar') 計(jì)算出車(chē)體左右輪速度，實(shí)現(xiàn)尋跡導(dǎo)航。本發(fā)明的優(yōu)點(diǎn)和積極效果
參基于雙魚(yú)眼式全景鏡頭建立的全向球視覺(jué)圖像采集系統(tǒng)?？梢淮涡酝讲杉麄€(gè) 全球域的圖像而無(wú)須攝像機(jī)的回轉(zhuǎn)和掃描能將周?chē)h(huán)境內(nèi)上、下、左、右、前、后的全部 景物"一眼看遍"，真正做到無(wú)死角。
本發(fā)明依托于嵌入式DSP平臺(tái)，將雙魚(yú)眼鏡頭采集裝置和嵌入式處理器進(jìn)行一體 化設(shè)計(jì)，構(gòu)成一套完整的、軟硬件結(jié)合的、實(shí)時(shí)性強(qiáng)、集成度高、穩(wěn)固性好的圖像處理硬 件構(gòu)架平臺(tái)。
參本發(fā)明配備多路DSP并行圖像處理器。多路DSP的并行硬件設(shè)計(jì)方案有利于軟件 模塊化與功能擴(kuò)展，滿足不同算法模塊的并行執(zhí)行。保證了數(shù)據(jù)處理的高效性和系統(tǒng)實(shí)時(shí) 性，同時(shí)也具有通用性，尤其是需要并行處理兩種以上高級(jí)圖像處理算法，可以滿足應(yīng)用 對(duì)實(shí)時(shí)性和并行處理能力的高端需求。
本發(fā)明設(shè)計(jì)的多目標(biāo)檢測(cè)和車(chē)體導(dǎo)航算法。非常適合于移動(dòng)監(jiān)控、動(dòng)態(tài)探測(cè)和伺 服制導(dǎo)等領(lǐng)域應(yīng)用。


圖l是嵌入式全向球視覺(jué)目標(biāo)檢測(cè)和移動(dòng)監(jiān)控方法的流程框圖;
圖2是嵌入式全向球視覺(jué)目標(biāo)檢測(cè)和移動(dòng)監(jiān)控系統(tǒng)的硬件架構(gòu);
圖3是全向球視覺(jué)圖像輸出顯示；
圖4是系統(tǒng)總線原理圖5是存放初始圖像的SRAM電路原理圖6是存放DSP程序的FLASH電路原理圖7是串口通訊接口電路原理圖8是全向球視覺(jué)車(chē)體定位示意圖。
具體實(shí)施方式
實(shí)施例l、嵌入式全向球視覺(jué)目標(biāo)檢測(cè)和移動(dòng)監(jiān)控系統(tǒng)
如圖2所示，嵌入式全向球視覺(jué)目標(biāo)檢測(cè)和移動(dòng)監(jiān)控系統(tǒng)的硬件構(gòu)架，主要包括 全向球視覺(jué)圖像成像系統(tǒng)
包括兩個(gè)FE185C046HA-1魚(yú)眼鏡頭，具有185°超大廣角，兩個(gè)魚(yú)眼鏡頭彼此背向 水平、光軸軸心重合，可以覆蓋360° X36(T全球域視野；圖像采集芯片采用兩塊 MT9T001型CMOS芯片，各自獨(dú)立，分別與兩個(gè)魚(yú)眼式全景鏡頭連接，并通過(guò)FPGA控 制器連接SRAM存儲(chǔ)芯片；兩塊MT9T001型CMOS芯片同時(shí)受Cyclone IIC35型FPGA 控制，用于采集兩路魚(yú)眼鏡頭的圖像(圖5);
多路DSP并行圖像處理器包括一個(gè)主控DSP (TMS320VC5502):與SRAM存儲(chǔ)芯片連接，負(fù)責(zé)兩路圖像處理DSP 的數(shù)據(jù)分配調(diào)度與合成，以及用于進(jìn)行信息綜合和導(dǎo)航策略選擇，并將制導(dǎo)控制信號(hào)通過(guò) 以太網(wǎng)通訊接口或者串口輸出；
兩路DSP并行圖像處理器包括分別通過(guò)各自對(duì)應(yīng)的FIFO芯片與主控DSP連接的 兩個(gè)圖像處理DSP (TMS320DM642),兩個(gè)圖像處理DSP同時(shí)分別與SRAM存儲(chǔ)芯片連 接；用于對(duì)不同目標(biāo)的圖像數(shù)據(jù)并行進(jìn)行不同的處理過(guò)程，并由主控DSP負(fù)責(zé)兩路圖像處 理DSP的數(shù)據(jù)分配調(diào)度與合成。
FPGA利用與主控DSP (TMS320VC5502)的外部中斷口相連的10 口 DSP—INT4請(qǐng) 求中斷操作(如圖4所示)，主控DSP響應(yīng)外部中斷，并在中斷服務(wù)程序中通知兩個(gè)圖像 處理DSP (TMS320DM642)通過(guò)數(shù)據(jù)總線ED
、地址總線EA
以及相應(yīng)的控制 總線，從SRAM中讀取全向球視覺(jué)圖像，兩個(gè)圖像處理DSP通過(guò)FIFO芯片(采用CYPRESS 公司的FIFO芯片CY7C419)實(shí)現(xiàn)與主控DSP間的數(shù)據(jù)通信；所述的多路DSP并行圖像 處理器中的兩個(gè)圖像處理DSP分別與存放各自DSP程序的FLASH芯片連接(采用4MB的 FLASH芯片AM29LV033C，圖6),系統(tǒng)上電后，用于自動(dòng)將相應(yīng)程序引導(dǎo)入DSP中運(yùn)行； 串口和網(wǎng)絡(luò)通訊接口芯片分別采用TL16C752B和LXT971A負(fù)責(zé)制導(dǎo)控制信號(hào)的輸出(圖7)。
實(shí)施例2、嵌入式全向球視覺(jué)目標(biāo)檢測(cè)和移動(dòng)監(jiān)控方法
下面用實(shí)用案例具體說(shuō)明本發(fā)明的實(shí)驗(yàn)步驟與實(shí)用效果。
本實(shí)例以基于雙色航標(biāo)導(dǎo)航為基礎(chǔ)，主要完成一個(gè)全球域視覺(jué)采集，靜態(tài)雙色航標(biāo)跟 蹤和動(dòng)態(tài)目標(biāo)檢測(cè)并行處理，車(chē)體移動(dòng)導(dǎo)航的自引導(dǎo)車(chē)的移動(dòng)監(jiān)控實(shí)例。
步驟一全向球視覺(jué)圖像采集
第一、在自引導(dǎo)車(chē)頂部放置如實(shí)施例1中所述的全向球視覺(jué)監(jiān)控系統(tǒng)。由兩個(gè)魚(yú)眼式 全景鏡頭同時(shí)分別對(duì)監(jiān)控區(qū)域進(jìn)行圖像拍攝；
第二、由兩路CMOS圖像采集芯片分別采集兩路魚(yú)眼式全景鏡頭的圖像，所采集的 圖像為兩幅分辨率為720X576的左右半球圖像(圖3所示)。FPGA控制圖像數(shù)據(jù)，并將 所采集的左右半球圖像放入SRAM存儲(chǔ)芯片中進(jìn)行暫存，供后續(xù)程序應(yīng)用。此時(shí)，就能夠 將獲取的全球域圖像輸出用于觀察；
第三、用兩路圖像處理DSP分別對(duì)靜態(tài)航標(biāo)進(jìn)行跟蹤和對(duì)動(dòng)態(tài)目標(biāo)進(jìn)行檢測(cè)；
1、靜態(tài)航標(biāo)識(shí)別跟蹤導(dǎo)航航標(biāo)我們采用色斑狀的雙色航標(biāo)，分別為藍(lán)色和黃色，
分別將藍(lán)色Y、 Cb、 Cr閾值限定范圍為80<Y<120、 130<Cb<160 、 100<Cr<125， 黃色Y、 Cb、 Cr閾值限定范圍為^<Y<130、 70<Cb<100 、 130<Cr<160。圖像處理 DSP利用設(shè)置的顏色閾值對(duì)全屏范圍內(nèi)的每一像素點(diǎn)進(jìn)行分類(lèi)判定，分別統(tǒng)計(jì)屬于藍(lán)色和 黃色范圍內(nèi)的像素坐標(biāo)，并對(duì)屬于各自范圍內(nèi)的像素坐標(biāo)利用求平均值的方式，獲得藍(lán)色 和黃色目標(biāo)的中心位置分別為右鏡頭采集圖像中(385， 148)和左鏡頭采集圖像中(393， 147)(圖3中十字標(biāo)記處)，作為粒子濾波跟蹤的初始位置。接下來(lái)進(jìn)行粒子濾波跟蹤粒子濾波跟蹤包括粒子集初始化、移動(dòng)粒子、計(jì)算粒子 權(quán)值、權(quán)值標(biāo)準(zhǔn)化、重采樣、預(yù)測(cè)目標(biāo)當(dāng)前位置五個(gè)步驟。
第3.1步，粒子集初始化，在第一幀圖像中分別計(jì)算以藍(lán)色和黃色目標(biāo)中心位置30 X30范圍內(nèi)圖像的顏色直方圖，作為目標(biāo)直方圖。然后分別在兩個(gè)目標(biāo)的中心15X15范 圍內(nèi)隨機(jī)產(chǎn)生150個(gè)30X30的方框，即粒子，并統(tǒng)計(jì)每一個(gè)粒子的顏色直方圖。
第3.2步，移動(dòng)粒子。當(dāng)下一幀圖像到來(lái)時(shí)，根據(jù)上一幀中每個(gè)粒子的位置(x，y)， 隨機(jī)移動(dòng)到新的位置(x + RangeXrandom, y +RangeXrandom), Range為移動(dòng)范圍，本實(shí) 施例中取15， random為-1 1的隨機(jī)數(shù)。
第3.3步，計(jì)算粒子權(quán)值。利用p(z I jc) = 2exp
2>
:)
計(jì)算每個(gè)粒子的權(quán)值，
、 cowwf * 20 z
式中x為多值目標(biāo)顏色直方圖，Zm為對(duì)應(yīng)粒子的顏色直方圖，count為粒子個(gè)數(shù)；
第3.4步，權(quán)值標(biāo)準(zhǔn)化。在計(jì)算完所有粒子權(quán)值后，將每個(gè)粒子的權(quán)值與所有粒子的 權(quán)值和相除，進(jìn)行權(quán)值標(biāo)準(zhǔn)化，使得每個(gè)粒子權(quán)值的取值范圍變?yōu)? 1之間；
第3.5步，粒子重采樣。如果粒子的權(quán)值小于閾值a (a=所有粒子平均權(quán)值X K， K 值越大參與粒子重采樣的粒子越多，此值根據(jù)跟蹤所需精度進(jìn)行調(diào)節(jié)，本實(shí)施例中1<:=0.2)， 則表示該粒子代表目標(biāo)位置的概率很低，需要重新采樣以保證盡可能多的粒子能夠參與下 一步的目標(biāo)預(yù)測(cè)。參照第3.2步的方法，將這些粒子隨機(jī)移動(dòng)一個(gè)位置產(chǎn)生新的粒子，并 計(jì)算權(quán)值；
第3.6步，預(yù)測(cè)目標(biāo)當(dāng)前位置。設(shè)定閾值P (P=所有粒子平均權(quán)值X K'， K'值越小 參與預(yù)測(cè)的粒子越多，此值根據(jù)跟蹤所需精度進(jìn)行調(diào)節(jié)，本實(shí)施例中K^0.8)分別統(tǒng)計(jì)兩 個(gè)目標(biāo)中權(quán)值大于P的粒子，這些粒子權(quán)值的平均值即為兩個(gè)目標(biāo)的預(yù)測(cè)位置。最后將兩 個(gè)目標(biāo)的圖像坐標(biāo)信息作為參數(shù)，傳輸?shù)街骺谼SP中，供其應(yīng)用。
2、機(jī)動(dòng)目標(biāo)實(shí)時(shí)檢測(cè)在一路圖像處理DSP跟蹤靜態(tài)航標(biāo)的同時(shí)，另一路圖像處理 DSP通過(guò)光流法實(shí)現(xiàn)對(duì)機(jī)動(dòng)目標(biāo)的實(shí)時(shí)監(jiān)測(cè)，由于移動(dòng)監(jiān)控時(shí)，機(jī)體存在移動(dòng)性，所以需 要一種改進(jìn)的光流法去除背景的光流干擾。設(shè)時(shí)刻t時(shí)中，圖像上的任意一點(diǎn)(x,y)處的灰 度值為P(x,y,t)，它是場(chǎng)景中時(shí)刻t時(shí)某物體上某一點(diǎn)(X， Y， Z)在圖像上的像。在時(shí)刻t十 At時(shí)，這一點(diǎn)運(yùn)動(dòng)到(X十AX， Y十AY， Z十AZ)，其在圖像上的像變?yōu)?x十Ax， y+ △y)，于是時(shí)刻t十厶t時(shí)圖像上點(diǎn)(x+Ax， y+Ay)處的灰度值可記為P(x+Ax, y+Ay, t+A t)，假定它與P(x，y，t)相等，經(jīng)過(guò)變換可以推導(dǎo)出光流場(chǎng)的基本計(jì)算公式
、； &
其中
VP是圖像灰度值的梯度，u是光流場(chǎng)。為較少計(jì)算量，
我們?cè)O(shè)定將每隔6X8像素的區(qū)域，對(duì)圖像中所有的像素區(qū)域進(jìn)行一次光流平均計(jì)算，同時(shí)根據(jù)靜態(tài)航標(biāo)At時(shí)刻中的相對(duì)位移作為閾值，進(jìn)行光流量與之判斷，將光流量大于閾值 的區(qū)域設(shè)定為機(jī)動(dòng)目標(biāo)，反之，設(shè)定為背景，分割光流場(chǎng)中的背景和機(jī)動(dòng)目標(biāo)。
在本實(shí)例中，設(shè)At為2秒，當(dāng)車(chē)體速度保持在0.2111/3的速度行進(jìn)中，計(jì)算出靜態(tài)航
標(biāo)的光流向量為"=
'1(T
3_15
，同時(shí)計(jì)算圖像中各個(gè)區(qū)域的光流向量"=
，并將各
點(diǎn)的光流向量于航標(biāo)的光流向量進(jìn)行對(duì)比A", =|"。-",| + |v。-v,| ，當(dāng)AUi小于設(shè)定閾值時(shí)，
認(rèn)為此區(qū)域?yàn)闄C(jī)動(dòng)目標(biāo)點(diǎn)，最后將所有的機(jī)動(dòng)目標(biāo)點(diǎn)連通域統(tǒng)計(jì)后，檢測(cè)出機(jī)動(dòng)目標(biāo)。并 將其實(shí)時(shí)監(jiān)控的目標(biāo)信息，傳送到主控DSP中，再通過(guò)網(wǎng)絡(luò)通訊發(fā)送到外部設(shè)備中，提 供移動(dòng)監(jiān)控功能。
第四、車(chē)體制導(dǎo)策略設(shè)定和導(dǎo)航控制輸出
在主控DSP中進(jìn)行車(chē)體制導(dǎo)策略設(shè)定，首先主控DSP接收一路圖像處理DSP所跟蹤 的靜態(tài)航標(biāo)信息，如圖8所示，以航標(biāo)A，航標(biāo)B為X軸，建立世界坐標(biāo)系。航標(biāo)的世界 坐標(biāo)系分別為(X1,Y1), (X2,Y2)，圖像坐標(biāo)為(X1' ,Y1')和(X2' ，Y2')。車(chē)體的世界 坐標(biāo)系設(shè)為(X0，Y0)。魚(yú)眼鏡頭中心設(shè)為(XO' ，Y0')。本魚(yú)眼鏡頭嚴(yán)格滿足等距投影定 理，即投影距離與目標(biāo)仰角滿足^=/^,.，同時(shí)航標(biāo)在車(chē)體正前方投影的空間角度等于航標(biāo)
0; = arctan
.《—^0 乂
/ = 1,2
求出。航標(biāo)高度
的映射角度，即《=0"《=02，并且可由公式
H1，H2，航標(biāo)間距L，全向球視覺(jué)鏡頭高度HO為已知參數(shù)，配合航標(biāo)仰角0 1， 92，可以 推導(dǎo)出車(chē)體在世界坐標(biāo)系下的空間坐標(biāo)
義0—/f。)sin0!tan
、、 山
y = A -仏 。_ tan0,
本實(shí)例中兩個(gè)航標(biāo)的坐標(biāo)為右鏡頭圖像中(385， 148)和左鏡頭圖像中(393， 147)， 兩航標(biāo)高度265cm，間距325cm，本實(shí)例采用的魚(yú)眼鏡頭中心為(382， 277)，鏡頭高度為 83cm，投影系數(shù)k為3.2。經(jīng)過(guò)計(jì)算，車(chē)體的空間坐標(biāo)為(153,4)。并根據(jù)導(dǎo)航策略，控 制車(chē)體移動(dòng)。在本實(shí)例中，車(chē)體制導(dǎo)方法設(shè)定為沿兩個(gè)航標(biāo)中心線移動(dòng)，車(chē)體位置和中心 線的偏差r為10.5，根據(jù)公式
=S戸d +尺* Ar S戸f/及=S戸c/ —尺* Ar
設(shè)定車(chē)體左右輪速度，Speed為左、右輪默認(rèn)速度、為0.2米每秒，K等于0.007 (K 值需根據(jù)不同的移動(dòng)載體求出)。按照公式進(jìn)行計(jì)算，結(jié)果為左輪速度0.326米每秒，右 輪速度0.126米每秒。
權(quán)利要求
1、嵌入式全向球視覺(jué)目標(biāo)檢測(cè)和移動(dòng)監(jiān)控系統(tǒng)，其特征在于該系統(tǒng)包括全向球視覺(jué)圖像成像系統(tǒng)包括背靠固定的兩個(gè)魚(yú)眼式全景鏡頭，分別與兩個(gè)魚(yú)眼式全景鏡頭連接的兩個(gè)可編程面陣CMOS圖像采集芯片，兩個(gè)CMOS圖像采集芯片通過(guò)FPGA控制器連接SRAM存儲(chǔ)芯片；該成像系統(tǒng)用于一次獲取整個(gè)全球域的圖像信息，并通過(guò)FPGA將采集到的圖像數(shù)據(jù)存儲(chǔ)到SRAM芯片中；一個(gè)主控DSP與SRAM存儲(chǔ)芯片連接，負(fù)責(zé)兩路圖像處理DSP的數(shù)據(jù)分配調(diào)度與合成，以及用于進(jìn)行信息綜合和導(dǎo)航策略選擇，并將制導(dǎo)控制信號(hào)通過(guò)以太網(wǎng)通訊接口或者串口輸出；兩路DSP并行圖像處理器包括分別通過(guò)各自對(duì)應(yīng)的FIFO芯片與主控DSP連接的兩個(gè)圖像處理DSP，兩個(gè)圖像處理DSP同時(shí)分別與SRAM存儲(chǔ)芯片連接；用于對(duì)不同目標(biāo)的圖像數(shù)據(jù)并行進(jìn)行不同的處理過(guò)程，并由主控DSP負(fù)責(zé)兩路圖像處理DSP的數(shù)據(jù)分配調(diào)度與合成。
2、 根據(jù)權(quán)利要求l所述的嵌入式全向球視覺(jué)目標(biāo)檢測(cè)和移動(dòng)監(jiān)控系統(tǒng)，其特征在于 所述的兩個(gè)圖像處理DSP分別與存放各自DSP程序的FLASH芯片連接，系統(tǒng)上電后，用 于自動(dòng)將相應(yīng)程序引導(dǎo)入DSP中運(yùn)行。
3、 一種嵌入式全向球視覺(jué)目標(biāo)檢測(cè)和移動(dòng)監(jiān)控方法，其特征在于該方法包括以下步驟第一、由兩個(gè)魚(yú)眼式全景鏡頭同時(shí)分別對(duì)監(jiān)控區(qū)域進(jìn)行圖像拍攝；第二、由兩路CMOS圖像采集芯片分別采集兩路魚(yú)眼式全景鏡頭的圖像，并將所采集的左右半球圖像放入SRAM存儲(chǔ)芯片中進(jìn)行暫存，此時(shí)，就能夠?qū)@取的全球域圖像輸出用于觀察；第三、用兩路圖像處理DSP分別對(duì)靜態(tài)航標(biāo)進(jìn)行跟蹤和對(duì)動(dòng)態(tài)目標(biāo)進(jìn)行檢測(cè)，兩路圖 像處理流程并行進(jìn)行，并在處理中可以實(shí)時(shí)交換信息；第四、由主控DSP對(duì)上步跟蹤和檢測(cè)的結(jié)果進(jìn)行信息綜合和導(dǎo)航策略選擇，并將制 導(dǎo)控制信號(hào)通過(guò)以太網(wǎng)通訊接口或者串口發(fā)送到被控端。
4、 根據(jù)權(quán)利要求3所述的方法，其特征在于第四步所述的進(jìn)行信息綜合和導(dǎo)航策略 選擇是指移動(dòng)車(chē)體導(dǎo)航，即主控DSP可以根據(jù)接收到的兩路DSP并行圖像處理器發(fā)送的 信息，實(shí)現(xiàn)航跡導(dǎo)航和追蹤導(dǎo)航的自動(dòng)切換；當(dāng)自主導(dǎo)航過(guò)程中無(wú)機(jī)動(dòng)目標(biāo)出現(xiàn)時(shí)，主控DSP接收靜態(tài)航標(biāo)跟蹤在全景圖像中左 右雙色航標(biāo)的位置信息，通過(guò)坐標(biāo)變換推導(dǎo)出車(chē)體在環(huán)境空間的坐標(biāo)位姿，以此進(jìn)行定位 并進(jìn)行相應(yīng)的信息綜合和導(dǎo)航策略選擇，位姿推導(dǎo)公式為<formula>formula see original document page 2</formula>其中，(X0，Y0)為車(chē)體空間坐標(biāo)，r為全景圖像中航標(biāo)與魚(yú)眼中心的投影距離，HI為航 標(biāo)高度，HO為全向球視覺(jué)鏡頭高度，0 1， 9 2為計(jì)算的航標(biāo)仰角，k為魚(yú)眼鏡頭投影系數(shù)，再計(jì)算出車(chē)體位置和航標(biāo)中心線的偏差A(yù)/",根據(jù)公式<formula>formula see original document page 3</formula>計(jì)算出車(chē)體左右輪速度，實(shí)現(xiàn)航標(biāo)導(dǎo)航；當(dāng)自主導(dǎo)航過(guò)程中檢測(cè)到機(jī)動(dòng)目標(biāo)時(shí)，由機(jī)動(dòng)目標(biāo)跟蹤器向主控DSP發(fā)出始能信號(hào)，主控DSP自動(dòng)切換到追蹤導(dǎo)航策略，追蹤導(dǎo)航策略利用機(jī)動(dòng)目標(biāo)跟蹤器經(jīng)連通域分析計(jì)算出的機(jī)動(dòng)目標(biāo)在圖像中的位置，求出該位置與圖像中心線的偏差A(yù)r'，根據(jù)公式<formula>formula see original document page 3</formula>計(jì)算出車(chē)體左右輪速度，實(shí)現(xiàn)尋跡導(dǎo)航。
全文摘要
嵌入式全向球視覺(jué)目標(biāo)檢測(cè)和移動(dòng)監(jiān)控系統(tǒng)及方法。全向球視覺(jué)是指具有全球域視野的視覺(jué)系統(tǒng)，可一次性采集整個(gè)全球域的全部場(chǎng)景而無(wú)須攝像機(jī)的回轉(zhuǎn)和掃描。本系統(tǒng)包括全向球視覺(jué)圖像成像系統(tǒng)(包括兩個(gè)魚(yú)眼式全景鏡頭、兩個(gè)CMOS圖像采集芯片、FPGA控制器和SRAM存儲(chǔ)芯片)，以及多路DSP并行圖像處理器(包括一個(gè)主控DSP和兩路DSP并行圖像處理器)。成像系統(tǒng)通過(guò)兩個(gè)魚(yú)眼式全景鏡頭配合雙CMOS芯片采集全向球視覺(jué)圖像，主控DSP負(fù)責(zé)數(shù)據(jù)的調(diào)度和通訊，雙路并行DSP相互獨(dú)立，可并行處理靜態(tài)航標(biāo)的識(shí)別跟蹤和動(dòng)態(tài)目標(biāo)的實(shí)時(shí)監(jiān)測(cè)。本發(fā)明集成度高、體積小、處理速度快，尤其適用于安全監(jiān)控、移動(dòng)車(chē)體導(dǎo)航等軍用或民用領(lǐng)域。
文檔編號(hào)G05B19/048GK101561270SQ20091006903
公開(kāi)日2009年10月21日 申請(qǐng)日期2009年5月27日 優(yōu)先權(quán)日2009年5月27日
發(fā)明者付華柱, 馮為嘉, 劉慶杰, 曹作良, 李雁斌 申請(qǐng)人:天津理工大學(xué)