低功耗便攜式實(shí)時(shí)圖像目標(biāo)檢測(cè)與跟蹤系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001 ]本發(fā)明屬于圖像目標(biāo)檢測(cè)與跟蹤技術(shù)領(lǐng)域，設(shè)及一種低功耗便攜式實(shí)時(shí)圖像目標(biāo) 檢測(cè)與跟蹤系統(tǒng)及方法。
【背景技術(shù)】
[0002] 圖像目標(biāo)檢測(cè)與跟蹤是計(jì)算機(jī)視覺(jué)技術(shù)的重要組成部分，主要通過(guò)提取目標(biāo)物體 的顏色、輪廓、紋理、運(yùn)動(dòng)參數(shù)等特征，實(shí)現(xiàn)對(duì)其識(shí)別、匹配或定位。輔助光源用于對(duì)目標(biāo)的 特征的區(qū)域進(jìn)行可見(jiàn)光或紅外光照射，W獲取較清晰的目標(biāo)圖像;攝像機(jī)實(shí)現(xiàn)對(duì)目標(biāo)圖像 的采集；圖像采集傳輸電路用于讀取、傳輸攝像機(jī)所采集的圖像數(shù)據(jù)；圖像處理設(shè)備包含計(jì) 算機(jī)、嵌入式系統(tǒng)等多種可選形式，主要用于部署和運(yùn)行圖像增強(qiáng)、目標(biāo)跟蹤等算法。
[0003] 圖像處理設(shè)備是圖像目標(biāo)檢測(cè)與跟蹤系統(tǒng)的核屯、部件，其通過(guò)Camera Link、 LVDS、USB、IE邸1394等總線接口，控制圖像數(shù)據(jù)的采集傳輸，然后通過(guò)內(nèi)建的固件、軟件或 專用硬件模塊，處理圖像數(shù)據(jù)，完成圖像增強(qiáng)、目標(biāo)檢測(cè)、目標(biāo)跟蹤等任務(wù)。由于目標(biāo)特征提 取/建模、樣本匹配/分類、跟蹤參數(shù)計(jì)算/更新等過(guò)程通常具有較高的計(jì)算復(fù)雜度，為在保 障跟蹤實(shí)時(shí)性的前提下，盡可能提供更寬的算法改進(jìn)空間，實(shí)時(shí)性和數(shù)據(jù)處理速率是圖像 處理設(shè)備的主要設(shè)計(jì)或選型指標(biāo)。
[0004] 目前，大部分圖像目標(biāo)檢測(cè)與跟蹤系統(tǒng)主要依托圖形工作站或高性能計(jì)算機(jī)構(gòu) 建，采用Microsoft Visual studio和OpenCV進(jìn)行算法軟件設(shè)計(jì)，并W50ms/帖作為界定系 統(tǒng)是否具備實(shí)時(shí)性的速率闊值。作為通用處理器，圖形工作站或高性能計(jì)算機(jī)CPU的乘法能 力普遍有限，研究人員通常采用CPU-PCIe-GPU的通用計(jì)算機(jī)系統(tǒng)框架，WGPU輔助CPU的異 構(gòu)運(yùn)算模式，實(shí)現(xiàn)對(duì)圖像目標(biāo)檢測(cè)和跟蹤算法的加速運(yùn)行。如2014年，法國(guó)地質(zhì)礦物部 J.Gance等設(shè)計(jì)了基于表面DSM的移動(dòng)目標(biāo)跟蹤系統(tǒng)，對(duì)山體滑坡進(jìn)行自動(dòng)檢測(cè)預(yù)警，采用 千兆W太網(wǎng)采集圖像數(shù)據(jù)，其中屯、計(jì)算機(jī)為配備Intel Xeon E5-1607處理器的圖形工作 站。2015年，±耳其中東科技大學(xué)Ilker等采用通用計(jì)算機(jī)的CPU-PCIe-GPU異構(gòu)運(yùn)算框架， 實(shí)現(xiàn)了高運(yùn)算量、長(zhǎng)時(shí)跟蹤的化D算法，在對(duì)1920X1080分辨率圖像進(jìn)行處理時(shí)，可實(shí)現(xiàn)相 對(duì)于純軟件方案10.8倍的加速。采用圖形工作站或高性能計(jì)算機(jī)作為圖像處理設(shè)備，可有 效保障圖像目標(biāo)檢測(cè)與跟蹤系統(tǒng)的實(shí)時(shí)性需求，具有設(shè)計(jì)簡(jiǎn)便、軟硬件可擴(kuò)展性強(qiáng)的優(yōu)勢(shì)。 然而，該類解決方案系統(tǒng)建設(shè)成本和體積功耗較高，僅適用于可進(jìn)行有線連接的室內(nèi)應(yīng)用 場(chǎng)景。此外，占據(jù)市場(chǎng)主體的NVIDIA系列GPU程序兼容性較差，限制了CPU-PCIe-GPU異構(gòu)運(yùn) 算框架下程序的可移植性。
[0005] 自20世紀(jì)90年代W來(lái)，各類嵌入式處理器件的計(jì)算性能和集成規(guī)模迅速上升，并 在圖像處理和計(jì)算機(jī)視覺(jué)領(lǐng)域得到了廣泛的應(yīng)用。如表1所示，針對(duì)小型移動(dòng)平臺(tái)的圖像目 標(biāo)檢測(cè)與跟蹤應(yīng)用需求，主流的嵌入式圖像處理設(shè)備解決方案，主要包括采用DSP、FPGA、 ARM(Advanced RISC Machines)等單個(gè)嵌入式處理器件，W及DSP-FPGA、ARM-DSP、SoC等異 構(gòu)嵌入式處理系統(tǒng)。
[0006] DSP是一類面向?qū)崟r(shí)控制或信號(hào)處理的專用處理器，相對(duì)于通用處理器，其配備有 專用乘法器或乘加單元，能夠充分滿足圖像處理的應(yīng)用需求。基于DSP的圖像目標(biāo)檢測(cè)與跟 蹤系統(tǒng)通常采用C語(yǔ)言開(kāi)發(fā)，借助內(nèi)置的硬件乘法器實(shí)現(xiàn)高速圖像處理，具有實(shí)時(shí)性、開(kāi)發(fā) 靈活性和程序可維護(hù)性較好等優(yōu)勢(shì)。然而，高性能DSP的功耗較高，性價(jià)比有限，軟件可移植 性差，不支持通用操作系統(tǒng)和多任務(wù)并行操作。目前，業(yè)內(nèi)基于DSP的圖像目標(biāo)檢測(cè)與跟蹤 系統(tǒng)，主要面向?qū)棥⒈O(jiān)控設(shè)備等單一功能平臺(tái)。
[0007] FPGA借助基于RAM(Random Access Memory)的查找表技術(shù)，可實(shí)現(xiàn)對(duì)特定功能數(shù) 字電路的可編程部署。由于其獨(dú)特的電路并行性，在處理像素?cái)?shù)量龐大的圖像數(shù)據(jù)時(shí)，具有 很強(qiáng)的先天優(yōu)勢(shì)。然而，F(xiàn)PGA開(kāi)發(fā)的技術(shù)口檻較高，且其并行加速模式只適用于上下文數(shù)據(jù) 無(wú)關(guān)聯(lián)、流程較簡(jiǎn)單的密集運(yùn)算環(huán)節(jié)，因此難W采用其實(shí)現(xiàn)復(fù)雜精巧的高魯棒性圖像目標(biāo) 檢測(cè)與跟蹤算法。目前，業(yè)內(nèi)基于FPGA的圖像目標(biāo)檢測(cè)與跟蹤系統(tǒng)，主要基于流程簡(jiǎn)單的早 期算法，檢測(cè)和跟蹤的魯棒性、準(zhǔn)確性較差。
[000引 ARM作為一類低功耗、通用處理器，可搭載Linux、WinCE等嵌入式操作系統(tǒng)，在開(kāi)發(fā) 靈活性、程序可維護(hù)性、軟件可移植性、多任務(wù)并行操作等方面具有顯著優(yōu)勢(shì)。然而，其浮點(diǎn) 運(yùn)算和乘法運(yùn)算能力較差，無(wú)法充分保障圖像目標(biāo)檢測(cè)與跟蹤系統(tǒng)的實(shí)時(shí)性。目前，業(yè)內(nèi)基 于ARM的圖像目標(biāo)檢測(cè)與跟蹤系統(tǒng)，主要基于顏色、紋理等計(jì)算量較低的簡(jiǎn)單算法，檢測(cè)和 跟蹤的魯棒性、準(zhǔn)確性較差。
[0009]由于DSP、FPGA、ARM等嵌入式處理器件各有優(yōu)缺點(diǎn)，為充分滿足圖像目標(biāo)檢測(cè)與跟 蹤系統(tǒng)在實(shí)時(shí)性、準(zhǔn)確性、功耗、可擴(kuò)展性等方面的需求，并平衡開(kāi)發(fā)難度、成本、可靠性、可 擴(kuò)展性等因素。近年來(lái)，業(yè)內(nèi)陸續(xù)出現(xiàn)了基于DSP-FPGA、ARM-DSP、SoC等異構(gòu)嵌入式處理系 統(tǒng)的圖像目標(biāo)檢測(cè)與跟蹤系統(tǒng)。異構(gòu)處理系統(tǒng)內(nèi)包含兩種或多種不同類型處理器件，通過(guò) 分解任務(wù)，根據(jù)子任務(wù)特點(diǎn)，調(diào)用特定處理器件進(jìn)行處理，W融合多種處理器件的優(yōu)勢(shì)。但 是，DSP-FPGA和ARM-DSP異構(gòu)處理系統(tǒng)采用片外總線進(jìn)行兩個(gè)處理器件之間的數(shù)據(jù)交互，其 通信速率較低、穩(wěn)定性較差，整體的工程實(shí)用價(jià)值較低。SoC可在單片集成電路忍片上集成 兩種或多種不同類型處理器件，并借助片內(nèi)總線實(shí)現(xiàn)處理器件之間的交互和調(diào)配，相對(duì)于 DSP-FPGA和ARM-DSP系統(tǒng)，其在體積功耗、穩(wěn)定性、通信速率等方面具有突出優(yōu)勢(shì)。然而，現(xiàn) 有的絕大多數(shù)SoC處理器采用雙核屯、結(jié)構(gòu)，即處理器件之間沒(méi)有主從之分，需在程序中協(xié)調(diào) 處理器件之間的任務(wù)分配、保證其并行工作，才可發(fā)揮SoC最大的處理效能，系統(tǒng)配置和程 序設(shè)計(jì)難度較高。
[0010] 2011年，Xilinx公司推出了支持全可編程技術(shù)幻nq-7000SoC。包括WARM Codex- A9通用處理器為中屯、的PS (Process ing System )子系統(tǒng)和W FPGA為中屯、的PL (Programmable Logic)子系統(tǒng)。相對(duì)于已有的SoC產(chǎn)品，其W可直接運(yùn)行操作系統(tǒng)的PS子系 統(tǒng)為主端，實(shí)現(xiàn)對(duì)化的配置、編程、重構(gòu)；W化子系統(tǒng)為ARM處理器的可編程外設(shè)，可用于構(gòu) 建運(yùn)算加速模塊、圖像協(xié)處理器或數(shù)據(jù)/控制接口。尤為重要的是，PS子系統(tǒng)和化子系統(tǒng)之 間可通過(guò)AXKAdvanced eXtens化le Intedace)總線，經(jīng)AXI-GP、AXI-HP、AXI-ACP等接口 實(shí)現(xiàn)400-800MB/S的高速數(shù)據(jù)禪合。幻叫-7000SOC的主從式結(jié)構(gòu)避免了雙核屯、結(jié)構(gòu)SoC的任 務(wù)調(diào)度和協(xié)調(diào)難題，其片內(nèi)高速AXI總線接口確保了系統(tǒng)的穩(wěn)定性、高效性，其基于通用嵌 入式處理器和標(biāo)準(zhǔn)操作系統(tǒng)的PS子系統(tǒng)確保了系統(tǒng)的通用性和可開(kāi)發(fā)性，其基于FPGA的化 子系統(tǒng)可提供對(duì)密集運(yùn)算環(huán)節(jié)的并行加速。同時(shí)，借助Xilinx Vivado HLS化igh Level Synthesis)工具，可采用C/C++語(yǔ)言，在化子系統(tǒng)內(nèi)，實(shí)現(xiàn)對(duì)圖形協(xié)處理器或圖像算法加速 IP核的FPGA快速設(shè)計(jì)部署，降低了系統(tǒng)的技術(shù)開(kāi)發(fā)口檻。
[0011] 鑒于巧nq-7000SoC在圖像處理應(yīng)用領(lǐng)域所具備的通用性、穩(wěn)定性、實(shí)時(shí)性、可開(kāi)發(fā) 性等優(yōu)勢(shì)，自推出W來(lái)，已迅速在圖像目標(biāo)識(shí)別等領(lǐng)域取得了應(yīng)用。2014年，南京理工大學(xué) 王淑玲等采用巧nq-7000SoC設(shè)計(jì)實(shí)現(xiàn)了實(shí)時(shí)人臉檢測(cè)系統(tǒng)，但其僅使用了 PS子系統(tǒng)，系統(tǒng) 采用的算法較簡(jiǎn)單，實(shí)時(shí)性較差。2014年，珠海廣播電視大學(xué)楊曉安等采用巧nq-7000SoC設(shè) 計(jì)實(shí)現(xiàn)了高速圖像采集與實(shí)時(shí)處理系統(tǒng)，但其僅使用化子系統(tǒng)實(shí)現(xiàn)了數(shù)據(jù)采集接口，而未 設(shè)及圖像運(yùn)算與處理。2014年，江南大學(xué)王芝斌等采用巧nq-7000SoC設(shè)計(jì)實(shí)現(xiàn)了稠密光流 法，其使用了軟硬件協(xié)同處理的技術(shù)，