專利名稱：集成化通用目標(biāo)視頻圖像采集識別跟蹤器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于識別圖形的裝置，具體地說是一種集成化通用目標(biāo)視頻圖像采集識 別跟蹤器。
背景技術(shù)：
目標(biāo)識別跟蹤技術(shù)主要包括目標(biāo)搜索、識別與實時跟蹤。采集識別跟蹤器的主要功能是 將探測器采集到的模擬圖像轉(zhuǎn)換為數(shù)字圖像信號，對圖像中的目標(biāo)進(jìn)行自動搜索、識別并跟 蹤，然后輸出檢測結(jié)果并顯示。它在民用工業(yè)和醫(yī)療行業(yè)，尤其是軍事部門等都得到廣泛重 視?，F(xiàn)有的一些目標(biāo)識別跟蹤裝置和技術(shù)主要是針對一些特定應(yīng)用領(lǐng)域中的特定目標(biāo)背景情 況下進(jìn)行的，其通用性不強，集成化程度不高。■

發(fā)明內(nèi)容
本發(fā)明的目的就是提供一種能完成圖像探測信號的采集、圖像處理與目標(biāo)識別、控制伺 服系統(tǒng)的控制信號輸出、目標(biāo)識別合成視頻信號輸出等功能的集成化通用目標(biāo)視頻圖像采集 識別跟蹤器。
本發(fā)明是這樣實現(xiàn)的 一種集成化通用目標(biāo)視頻圖像采集識別跟蹤器，該裝置包括有 由信號調(diào)理與A/D變換電路、圖像輸入存儲器、同步分離電路和視頻采集控制模塊組成 視頻圖像數(shù)字化采集電路；所述視頻采集控制模塊根據(jù)所述同步分離電路送來的輸入視頻信
號的行場信號，控制所述信號調(diào)理與A/D變換電路中的A/D變換器將模擬視頻輸入信號轉(zhuǎn)換
為數(shù)字圖像流，所述圖像輸入存儲器采用乒乓式存儲結(jié)構(gòu)存儲數(shù)字圖像信息；
由數(shù)字信號處理器、程序存儲器、數(shù)據(jù)與參數(shù)存儲器、邏輯控制電路、時序發(fā)生電路與
復(fù)位電路組成嵌入式核心處理系統(tǒng)；所述數(shù)字信號處理器根據(jù)程序設(shè)定或人工干預(yù)設(shè)定的目
標(biāo)，對所輸入的數(shù)字圖像中的目標(biāo)進(jìn)行自動搜索和識別；
伺服系統(tǒng)，根據(jù)所述嵌入式核心處理系統(tǒng)的控制指令控制信號輸出，對所識別的目標(biāo)進(jìn) 行跟蹤；
由標(biāo)志疊加控制模塊、視頻疊加電路、跟蹤結(jié)果輸出及外部數(shù)據(jù)輸入模塊與監(jiān)視器組成 圖像檢測結(jié)果輸出顯示電路；所述標(biāo)志疊加控制模塊根據(jù)所述同步分離電路送來的行場同步 信號，結(jié)合計數(shù)器定時，確定視頻象素點的位置，控制所述視頻疊加電路，將相應(yīng)的象素點和標(biāo)志疊加到視頻輸入信號上，疊加后的視頻信號送所述監(jiān)視器顯示，以實時地觀測到合成 目標(biāo)視頻輸出信號；
由二次供電電源及其監(jiān)測電路組成外圍輔助電路；二次供電電源用于為系統(tǒng)提供三套低 壓電源；監(jiān)測電路用于進(jìn)行低壓電源的實時監(jiān)測，保證系統(tǒng)正常啟動和運行。
本發(fā)明中的所述邏輯控制電路、時序發(fā)生電路、復(fù)位電路、標(biāo)志疊加控制模塊、視頻疊 加電路與跟蹤結(jié)果輸出及外部數(shù)據(jù)輸入模塊共同集成在一片F(xiàn)PGA芯片中，由此提高了系統(tǒng) 的集成化，同時也減少了系統(tǒng)中的芯片數(shù)量。
視頻圖像數(shù)字化采集電路的功能，是將輸入的模擬視頻信號轉(zhuǎn)換為數(shù)字圖像流，送往數(shù) 字信號處理器DSP。這部分電路主要包括信號調(diào)理與A/D變換電路、圖像輸入存儲器、同步 分離電路以及視頻采集控制模塊。信號調(diào)理與A/D變換電路包括信號調(diào)理電路和A/D變換器。 信號調(diào)理電路主要是一個前置放大器，它可對輸入的視頻信號進(jìn)行適當(dāng)放大，使視頻信號的 動態(tài)范圍與A/D變換器的滿量程相匹配，從而減少因A/D變換器本身的噪聲所導(dǎo)致的信號數(shù) 據(jù)有效位數(shù)的損失。
視頻采集控制模塊根據(jù)同步分離電路送來的輸入視頻信號的行場信號，控制A/D變換器 的工作狀態(tài)，并提供A/D芯片的主時鐘來完成A/D變換器對模擬視頻信號的轉(zhuǎn)換。與此同時， 視頻采集控制模塊產(chǎn)生圖像輸入存儲器的地址以及讀寫、片選等邏輯控制信號，將采集的數(shù) 字圖像灰度值寫入相應(yīng)位置的存儲空間。
嵌入式核心處理系統(tǒng)的設(shè)計是本發(fā)明視頻圖像采集識別跟蹤器設(shè)計的關(guān)鍵，要求不僅具 有較強的數(shù)據(jù)吞吐能力，而且還應(yīng)具有速度快、精度高、可靠性好、功能強等特點。根據(jù)這 些要求，本發(fā)明選取工業(yè)級的TMS320C6418數(shù)據(jù)處理芯片作為嵌入式核心處理系統(tǒng)中的數(shù) 字信號處理器DSP。
嵌入式核心處理系統(tǒng)能實現(xiàn)高指令級并行處理效率，可實現(xiàn)數(shù)據(jù)的快速處理。靈活的尋 址方式和通信機(jī)制，能滿足高速大容量的程序擴(kuò)展和數(shù)據(jù)存儲。數(shù)據(jù)與參數(shù)存儲器選用高速 大容量的SDRAM芯片(MT48LC4M32)，用于存儲中間處理結(jié)果和圖像數(shù)據(jù)。根據(jù)程序及 所需存儲的參數(shù)的大小，選用相應(yīng)型號的FLASH MEMORY芯片作為程序存儲器，存放嵌入 式核心處理系統(tǒng)的工作程序。在系統(tǒng)上電或系統(tǒng)復(fù)位后，根據(jù)數(shù)字信號處理器DSP的復(fù)位引 導(dǎo)程序，將程序存儲器中的執(zhí)行程序自動引導(dǎo)至數(shù)字信號處理器DSP的內(nèi)部存儲器中。
時序發(fā)生電路的功能是產(chǎn)生系統(tǒng)所需的各種時鐘，包括DSP處理器時鐘、A/D轉(zhuǎn)換主 時鐘等。時序發(fā)生電路中的時序發(fā)生器采用FPGA技術(shù)實現(xiàn)，所有時鐘信號都從一個晶體振蕩器產(chǎn)生的振蕩時鐘信號分頻得到，這樣就避免了不同時鐘信號之間由于差頻而引起的相互 干擾，從而使系統(tǒng)能更好地同步工作。
邏輯控制電路的功能是產(chǎn)生系統(tǒng)中各芯片的讀/寫信號、輸出使能以及片選等邏輯控制信 號，并對數(shù)字信號處理器DSP的地址線和讀寫控制線進(jìn)行譯碼，以產(chǎn)生各存儲區(qū)所需的各種 控制信號?？紤]到數(shù)字信號處理器DSP的讀寫速度和電路板的體積，邏輯控制電路也在FPGA 芯片上實現(xiàn)，這樣還可減少系統(tǒng)中的芯片設(shè)置數(shù)量。
復(fù)位電路完成系統(tǒng)的上電復(fù)位、手動復(fù)位以及看門狗復(fù)位等復(fù)位信號的邏輯組合和信號 調(diào)理，產(chǎn)生統(tǒng)一復(fù)位信號，以保證整個系統(tǒng)的各部分的可靠復(fù)位啟動。其中的看門狗復(fù)位電 路的設(shè)置，主要是為了預(yù)防程序跑飛或者系統(tǒng)死機(jī)。
本發(fā)明視頻圖像采集識別跟蹤器的監(jiān)視器所輸入的視頻信號不只是原始輸入的探測器送 來的視頻信號，而是疊加了本發(fā)明視頻圖像采集識別跟蹤器處理圖像后得到的帶有各種參數(shù)
標(biāo)志的視頻信號。標(biāo)志疊加的所有邏輯操作均由標(biāo)志疊加控制模塊來完成標(biāo)志疊加控制模
塊利用內(nèi)部RAM擴(kuò)展一部分存儲單元到數(shù)字信號處理器DSP的外部存儲器接口，這樣就可 以接收到數(shù)字信號處理器DSP處理圖像后的各種參數(shù)，從而確定各種參數(shù)在疊加后的視頻圖 像中的位置或者具體數(shù)據(jù)，并將其傳送給標(biāo)志疊加控制模塊；FPGA芯片中的標(biāo)志疊加控制 模塊根據(jù)同步分離電路送來的行場同步信號，結(jié)合內(nèi)部定義的計數(shù)器定時，以確定相應(yīng)的視 頻象素點的位置，控制視頻疊加電路將相應(yīng)的象素點和標(biāo)志疊加到探測器輸送的原始視頻信 號上，疊加完成后的視頻信號送往監(jiān)視器進(jìn)行顯示，從而可以實時地觀測到本發(fā)明視頻圖像 采集識別跟蹤器的各種運行狀態(tài)。
本發(fā)明視頻圖像采集識別跟蹤器在檢測和跟蹤目標(biāo)的過程中，可以輸出本幀圖像是否檢
測到目標(biāo)、目標(biāo)在視場中的位置、目標(biāo)的大小、目標(biāo)強度(信噪比)以及跟蹤器處理本幀圖
像的時間(信息延時)等信息，這些信息不僅僅是通過標(biāo)志疊加及顯示電路疊加顯示在監(jiān)視
器上以供觀察，還可以送往伺服或者控制計算機(jī)，進(jìn)行后續(xù)伺服動作或者進(jìn)行控制決策。所
以本發(fā)明視頻圖像采集識別跟蹤器必須擴(kuò)展與伺服或者控制計算機(jī)的接口電路，這就是跟蹤
結(jié)果的輸出部分。另外，在一些復(fù)雜背景的情況下，本發(fā)明視頻圖像采集識別跟蹤器全自動
地進(jìn)行目標(biāo)識別可能會有較大困難，這時候就需要人工在回路進(jìn)行干預(yù)和指示，也就是需要
從系統(tǒng)外部輸入部分參數(shù)，輔助本發(fā)明視頻圖像采集識別跟蹤器完成目標(biāo)識別，并使本發(fā)明
視頻圖像采集識別跟蹤器進(jìn)入全自動目標(biāo)跟蹤狀態(tài)，為此在FPGA芯片上擴(kuò)展了跟蹤結(jié)果輸
出及外部數(shù)據(jù)輸入模塊。
本發(fā)明視頻圖像采集識別跟蹤器還包括有二次供電電源及其監(jiān)測電路等外圍輔助電路。設(shè)置二次供電電源，是因為數(shù)字信號處理器DSP和FPGA芯片需要使用+1.2V、 +2.5V、 十3.3V等三套低壓電源，其中+1.2V和+2.5V兩套低壓電源必須先于+3.3V低壓電源提供，所 以本發(fā)明視頻圖像采集識別跟蹤器需要配備自己的二次供電電源，以保證系統(tǒng)的正常工作。 電源監(jiān)測電路的作用是保證給數(shù)字信號處理器供電的電源電壓在未達(dá)到要求的電平時，不會 出現(xiàn)不受控制的狀態(tài)，從而保證系統(tǒng)的正常啟動和運轉(zhuǎn)。
本發(fā)明的優(yōu)點在于(1)通過采用嵌入式核心處理系統(tǒng)以及大容量的FPGA芯片，將目 標(biāo)視頻圖像的采集、識別、跟蹤等各項功能集成于核心處理系統(tǒng)，將核心處理系統(tǒng)的時序邏 輯控制電路、圖像采集控制電路、標(biāo)志疊加控制電路、檢測結(jié)果輸出電路以及外部數(shù)據(jù)輸入 電路等各模塊都集成于一片F(xiàn)PGA芯片中，從而實現(xiàn)圖像目標(biāo)識別跟蹤器的集成化設(shè)計，減 小系統(tǒng)體積；(2)靈活的輸入/輸出模塊設(shè)計，能滿足不同目標(biāo)背景下的圖像跟蹤，根據(jù)不 同目標(biāo)背景情況，跟蹤器既可以在無人對回路進(jìn)行干預(yù)下的自動識別跟蹤，也可通過外部數(shù) 據(jù)輸入接口輸入數(shù)據(jù)，進(jìn)行人在回路干預(yù)下的目標(biāo)識別跟蹤，從而實現(xiàn)跟蹤器的通用化，而 且便于編程進(jìn)行升級換代；(3)高速數(shù)字信號處理器、支持高速工作的FPGA器件以及兵乓 式存儲結(jié)構(gòu)的圖像輸入存儲器的使用，提高了圖像處理速度，從而可以實現(xiàn)圖像目標(biāo)的實時 跟蹤。
本發(fā)明的主要特點是集成化程度高、通用性強、圖像處理速度快和目標(biāo)跟蹤實時性強， 適用于民用工業(yè)、醫(yī)療行業(yè)和軍事部門等多種行業(yè)和部門。


圖l是本發(fā)明的硬件結(jié)構(gòu)框圖。
圖2是本發(fā)明中的圖像輸入存儲器的乒乓式存儲結(jié)構(gòu)示意圖。
具體實施例方式
如圖1所示，本發(fā)明視頻圖像采集識別跟蹤器包括有視頻圖像數(shù)字化采集電路、嵌入式 核心處理系統(tǒng)、伺服系統(tǒng)、圖像檢測結(jié)果輸出顯示電路和外圍輔助電路等。
視頻圖像數(shù)字化釆集電路包括有信號調(diào)理與A/D變換電路14、圖像輸入存儲器2、同步 分離電路13和視頻采集控制模塊9等。信號調(diào)理與A/D變換電路14包括有信號調(diào)理電路和 A/D變換器。視頻采集控制模塊9根據(jù)同步分離電路13送來的輸入視頻信號的行場信號，控 制信號調(diào)理與A/D變換電路14中的A/D變換器將模擬視頻輸入信號轉(zhuǎn)換為數(shù)字圖像流，圖 像輸入存儲器2采用乒乓式存儲結(jié)構(gòu)存儲數(shù)字圖像信息。嵌入式核心處理系統(tǒng)包括有數(shù)字信號處理器6、程序存儲器4、數(shù)據(jù)與參數(shù)存儲器3、RS232 接口5、邏輯控制電路16、時序發(fā)生電路15和復(fù)位電路7等。數(shù)字信號處理器6根據(jù)程序設(shè) 定或人工干預(yù)設(shè)定的目標(biāo)，對所輸入的數(shù)字圖像中的目標(biāo)進(jìn)行自動搜索和識別。
伺服系統(tǒng)為常規(guī)結(jié)構(gòu)，根據(jù)嵌入式核心處理系統(tǒng)的控制指令控制信號輸出，對所識別的 目標(biāo)進(jìn)行跟蹤。
圖像檢測結(jié)果輸出顯示電路包括有標(biāo)志疊加控制模塊10、視頻疊加電路12、跟蹤結(jié)果輸 出及外部數(shù)據(jù)輸入模塊8和監(jiān)視器11等。標(biāo)志疊加控制模塊10根據(jù)同步分離電路13送來的 行場同步信號，結(jié)合計數(shù)器定時，確定視頻象素點的位置，控制視頻疊加電路12,將相應(yīng)的 象素點和標(biāo)志疊加到視頻輸入信號上；疊加后的視頻信號送監(jiān)視器ll顯示，以實時地觀測到 合成目標(biāo)視頻信號的輸出。
外圍輔助電路包括有二次供電電源及其監(jiān)測電路1等。二次供電電源為系統(tǒng)提供數(shù)字信 號處理器DSP和FPGA芯片所需要使用+1.2V、十2.5V、 +3.3V等三套低壓電源，其中+1.2V 和+2.5V兩套低壓電源必須先于+3.3V低壓電源提供。監(jiān)測電路進(jìn)行低壓電源的實時監(jiān)測，以 保證系統(tǒng)的正常啟動和運行。
如圖1所示，本發(fā)明視頻圖像采集識別跟蹤器中的邏輯控制電路16、時序發(fā)生電路15、 復(fù)位電路7、標(biāo)志疊加控制模塊10、視頻疊加電路12與跟蹤結(jié)果輸出及外部數(shù)據(jù)輸入模塊8 等共同集成在一片F(xiàn)PGA芯片中。
考慮到圖像輸入存儲器2是一個擴(kuò)展在數(shù)字信號處理器6之外的異步存儲器，操作速度 不高，如果數(shù)字信號處理器DSP處理時直接從片外的異步存儲器操作，將影響數(shù)字信號處理 器的處理速度，因此應(yīng)將采集的數(shù)字圖像及時搬移到速度較快的數(shù)據(jù)與參數(shù)存貯器中。本發(fā) 明在圖像輸入存儲器中存滿視頻圖像的一行之后，即由FPGA芯片向數(shù)字信號處理器DSP申 請EDMA，將數(shù)據(jù)迅速搬移到速度較快的數(shù)據(jù)與參數(shù)存貯器SDRAM中。為使數(shù)字信號處理 器DSP讀入的圖像前、后幀之間不會出現(xiàn)重疊現(xiàn)象，存儲圖像的圖像輸入存儲器可采用乒乓 式存儲結(jié)構(gòu)。其具體方式如圖2所示，即在時序控制與握手信號(FPGA)的配合下，DSP 數(shù)據(jù)搬移(EDMA)部分在向0井圖像暫存區(qū)搬移數(shù)據(jù)時，說明視頻圖像數(shù)字化采集電路正 在對輸入視頻信號的偶數(shù)場信號進(jìn)行數(shù)字化，而前面的奇數(shù)場信號已經(jīng)完成數(shù)字化采集并已 搬移到1 #圖像暫存區(qū)，數(shù)字信號處理器DSP可以將其快速搬入片內(nèi)存儲器中進(jìn)行圖像處理。
本發(fā)明視頻圖像采集識別跟蹤器與外部系統(tǒng)采用RS232串行接口通信方式進(jìn)行通信。由 于數(shù)字信號處理器DSP本身沒有專用的RS232串口，因此為了實現(xiàn)RS232串口功能，采用 一條數(shù)據(jù)寬度為16Bit的異步數(shù)據(jù)總線。本發(fā)明視頻圖像采集識別跟蹤器的跟蹤結(jié)果輸出以及外部數(shù)據(jù)輸入等均經(jīng)由此數(shù)據(jù)總線來完成。系統(tǒng)輸出的跟蹤結(jié)果以及輸入系統(tǒng)的外部數(shù)據(jù) 可以映射在不同的地址空間。本發(fā)明視頻圖像采集識別跟蹤器可以利用FPGA芯片的內(nèi)部 RAM制作一個具有一定深度的16Bit雙端口存儲器，以實現(xiàn)上述數(shù)據(jù)的存儲。該雙端口存儲 器的一端接數(shù)字信號處理器DSP，用于數(shù)字信號處理器DSP輸出跟蹤結(jié)果及讀取外部數(shù)據(jù)； 另一端接外部接口，實現(xiàn)與外部伺服或者控制轉(zhuǎn)臺計算機(jī)的聯(lián)系。
權(quán)利要求
1、一種集成化通用目標(biāo)視頻圖像采集識別跟蹤器，其特征在于該裝置包括有由信號調(diào)理與A/D變換電路(14)、圖像輸入存儲器(2)、同步分離電路(13)和視頻采集控制模塊(9)組成視頻圖像數(shù)字化采集電路；所述視頻采集控制模塊(9)根據(jù)所述同步分離電路(13)送來的輸入視頻信號的行場信號，控制所述信號調(diào)理與A/D變換電路(14)中的A/D變換器將模擬視頻輸入信號轉(zhuǎn)換為數(shù)字圖像流，所述圖像輸入存儲器(2)采用乒乓式存儲結(jié)構(gòu)存儲數(shù)字圖像信息；由數(shù)字信號處理器(6)、程序存儲器(4)、數(shù)據(jù)與參數(shù)存儲器(3)、邏輯控制電路(16)、時序發(fā)生電路(15)與復(fù)位電路(7)組成嵌入式核心處理系統(tǒng)；所述數(shù)字信號處理器(6)根據(jù)程序設(shè)定或人工干預(yù)設(shè)定的目標(biāo)，對所輸入的數(shù)字圖像中的目標(biāo)進(jìn)行自動搜索和識別；伺服系統(tǒng)，根據(jù)所述嵌入式核心處理系統(tǒng)的控制指令控制信號輸出，對所識別的目標(biāo)進(jìn)行跟蹤；由標(biāo)志疊加控制模塊(10)、視頻疊加電路(12)、跟蹤結(jié)果輸出及外部數(shù)據(jù)輸入模塊(8)與監(jiān)視器(11)組成圖像檢測結(jié)果輸出顯示電路；所述標(biāo)志疊加控制模塊(10)根據(jù)所述同步分離電路(13)送來的行場同步信號，結(jié)合計數(shù)器定時，確定視頻象素點的位置，控制所述視頻疊加電路(12)，將相應(yīng)的象素點和標(biāo)志疊加到視頻輸入信號上，疊加后的視頻信號送所述監(jiān)視器(11)顯示，以實時地觀測到合成目標(biāo)視頻輸出信號；由二次供電電源及其監(jiān)測電路(1)組成外圍輔助電路；二次供電電源用于為系統(tǒng)提供三套低壓電源；監(jiān)測電路用于進(jìn)行低壓電源的實時監(jiān)測，保證系統(tǒng)正常啟動和運行。
2、 根據(jù)權(quán)利要求1所述的集成化通用目標(biāo)視頻圖像采集識別跟蹤器，其特征在于所述邏 輯控制電路(16)、時序發(fā)生電路(15)、復(fù)位電路(7)、標(biāo)志疊加控制模塊(10)、視頻 疊加電路(12)與跟蹤結(jié)果輸出及外部數(shù)據(jù)輸入模塊(8)共同集成在一片F(xiàn)PGA芯片中。
全文摘要
本發(fā)明涉及一種集成化通用目標(biāo)視頻圖像采集識別跟蹤器。該裝置包括有由信號調(diào)理與A/D變換電路、圖像輸入存儲器、同步分離電路和視頻采集控制模塊組成的視頻圖像數(shù)字化采集電路；由數(shù)字信號處理器、程序存儲器、數(shù)據(jù)與參數(shù)存儲器、邏輯控制電路、時序發(fā)生電路與復(fù)位電路組成的嵌入式核心處理系統(tǒng)；對識別的目標(biāo)進(jìn)行跟蹤的伺服系統(tǒng)；由標(biāo)志疊加控制模塊、視頻疊加電路、跟蹤結(jié)果輸出及外部數(shù)據(jù)輸入模塊與監(jiān)視器組成的圖像檢測結(jié)果輸出顯示電路；以及由二次供電電源及其監(jiān)測電路組成的外圍輔助電路。本發(fā)明集成化程度高，通用性強，圖像處理速度快，目標(biāo)跟蹤實時性強，適用于民用工業(yè)、醫(yī)療行業(yè)和軍事部門等多種行業(yè)和部門。
文檔編號G06T7/20GK101593346SQ200910074599
公開日2009年12月2日 申請日期2009年7月6日 優(yōu)先權(quán)日2009年7月6日
發(fā)明者侯章亞, 卓家靖, 勇 張, 駿 張, 范大鵬, 陳志斌 申請人:中國人民解放軍總裝備部軍械技術(shù)研究所