專利名稱：曲面光學(xué)結(jié)構(gòu)的多電荷耦合器件組自適應(yīng)成像儀及方法
技術(shù)領(lǐng)域：
本發(fā)明的曲面光學(xué)結(jié)構(gòu)的多電荷耦合器件組自適應(yīng)成像儀及方法，屬于圖像信息 獲取和處理領(lǐng)域。
背景技術(shù)：
在視頻場(chǎng)景監(jiān)視、工業(yè)生產(chǎn)監(jiān)控等應(yīng)用中，通常不僅需要圖像傳感器具有較高的 空間分辨率，還需要圖像傳感器能夠在夜晚或光線較暗的情況下獲取到高質(zhì)量的圖像信 息。普通的圖像傳感器都依賴于外界光照條件，而夜晚或其他特殊天氣狀況下自然光源亮 度的降低勢(shì)必影響到成像效果。雖然通常在夜間采用外加人造光源作為圖像傳感器的輔助 光源，但是這種光源的亮度范圍有限，而且光源的安放位置也會(huì)直接影響到傳感器的成像 效果，導(dǎo)致圖像光照不均勻等特點(diǎn)，為后續(xù)處理增加了難度。因此如何使得成像儀能夠具有 隨亮度自適應(yīng)的調(diào)節(jié)成像機(jī)制成為在不同亮度條件下獲得高質(zhì)量圖像的關(guān)鍵所在。目前在硬件上針對(duì)低照度環(huán)境下成像的圖像傳感器層出不窮，這類傳感器基本上 是通過(guò)改進(jìn)CCD元件的靈敏度來(lái)提高成像效果。國(guó)內(nèi)的低照度圖像傳感器成像儀的發(fā)展主 要分三個(gè)階段彩色/黑自切換式的，低速快門式的和超感度式的。這三種相機(jī)雖然在一定 程度上解決了低光照條件下的成像問(wèn)題，但是存在兩大缺點(diǎn)一個(gè)缺點(diǎn)是造價(jià)昂貴，性能較 好的低照度相機(jī)通常采用紅外鏡頭感應(yīng)暗光下的目標(biāo)物，但這將大大增加相機(jī)的造價(jià)，另 外一個(gè)缺點(diǎn)是功能較為固定，缺乏靈活性，即這類圖像傳感器的低照度指標(biāo)是受到CCD性 能限定的，不具有隨照度自適應(yīng)調(diào)節(jié)的能力。采用紅外鏡頭低照度圖像傳感器在正常光照 條件下由于自然光中的紅外成份而影響圖像的清晰度；因此低照度成像儀在應(yīng)用范圍上都 存在一定局限性。在軟件上，針對(duì)提高低照度圖像對(duì)比度的算法主要有傳統(tǒng)的全局增強(qiáng)算法和局部 增強(qiáng)方法。全局增強(qiáng)算法主要有直方圖均衡化和對(duì)比度增強(qiáng)算法等。直方圖均衡方法是間 接增加對(duì)比度的方法，該方法簡(jiǎn)單，效果明顯，但是存在增強(qiáng)后圖像出現(xiàn)細(xì)節(jié)消失等缺點(diǎn)。 對(duì)比度增強(qiáng)方法是直接拉伸像素之間的距離從而加大對(duì)比度，對(duì)于圖像不同的區(qū)域，局部 細(xì)節(jié)不能自適應(yīng)增強(qiáng)的功能。同時(shí)在處理過(guò)程中不分噪聲與細(xì)節(jié)信息，在增強(qiáng)圖像灰度級(jí) 差異的同時(shí)使得噪聲也得到增強(qiáng)。除此以外全局增強(qiáng)算法不適合夜晚光照不均勻和對(duì)比度 變換幅度較大的情況。局部梯度域模型的方法是一種局部提高對(duì)比度的方法，這類方法有 效的壓縮了光照不均圖像的動(dòng)態(tài)范圍同時(shí)增加了暗處的對(duì)比度，但是對(duì)亮度較高的細(xì)節(jié)部 分增強(qiáng)效果不明顯，同時(shí)這類方法較全局算法計(jì)算量較大，計(jì)算復(fù)雜度高。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對(duì)傳統(tǒng)低照度成像儀的光照條件局限性、造價(jià)高昂難以推廣 等缺點(diǎn)，模仿復(fù)眼隨外界環(huán)境光照亮度改變而調(diào)節(jié)神經(jīng)融合方式的過(guò)程，以神經(jīng)重疊型復(fù) 眼的彈藥筒融合機(jī)理為基礎(chǔ)，采用仿復(fù)眼曲面結(jié)構(gòu)的多電荷耦合器件組配合DSP+FPGA芯 片構(gòu)建了一種造價(jià)低廉、可全天監(jiān)測(cè)的自適應(yīng)調(diào)節(jié)式的晝夜連續(xù)監(jiān)視成像儀及方法。
2、一種曲面光學(xué)結(jié)構(gòu)的多電荷耦合器件組自適應(yīng)成像儀，其特征在于包括3個(gè)相同的(XD攝像頭，3個(gè)用于亮度分量和兩個(gè)色差分量分離的第一類DSP 數(shù)字信號(hào)處理芯片、1個(gè)用于完成多幀圖像融合的第二類DSP數(shù)字信號(hào)處理芯片、3個(gè)用于 模數(shù)轉(zhuǎn)換和制式轉(zhuǎn)換的可編程視頻信號(hào)處理芯片、3個(gè)電可擦存儲(chǔ)芯片；上述3個(gè)(XD緊密連接在一起，依附在一個(gè)半徑為r的曲面上，相鄰兩個(gè)小眼光軸 之間的夾角為9 art sin(D/r)構(gòu)成仿復(fù)眼的曲面結(jié)構(gòu)，其中r為復(fù)眼的眼半徑，D為小 眼直徑；上述3個(gè)(XD攝像頭分別通過(guò)USB接口連接到上述3個(gè)可編程視頻信號(hào)處理芯片 的模擬信號(hào)輸入端進(jìn)行預(yù)處理；可編程視頻信號(hào)處理芯片的狀態(tài)信息輸出入到復(fù)雜可編程 邏輯電路(CLPC)中作為控制信號(hào)，而數(shù)據(jù)信號(hào)則經(jīng)過(guò)上述3個(gè)電可擦存儲(chǔ)芯片分別輸入到 上述3個(gè)第一類DSP數(shù)字信號(hào)處理芯中，3個(gè)第一類DSP數(shù)字信號(hào)處理芯片的控制信號(hào)輸入 到1個(gè)第二類DSP數(shù)字信號(hào)處理芯片做為片選信號(hào)和使能信號(hào)。2、利用權(quán)利要求1所述曲面光學(xué)結(jié)構(gòu)的多電荷耦合器件組自適應(yīng)成像儀實(shí)現(xiàn)的 自適應(yīng)成像方法，其特征在于包括以下步驟(1)、利用三個(gè)C⑶攝像頭模擬復(fù)眼中的小眼分別獨(dú)立成像，獲得三幅小眼圖像；(2)、利用可編程視頻信號(hào)處理芯片分別對(duì)三副小眼圖像經(jīng)過(guò)進(jìn)行模數(shù)轉(zhuǎn)換和制 式的轉(zhuǎn)換；(3)、分別利用三個(gè)第一類DSP數(shù)字信號(hào)處理芯片對(duì)三幅小眼圖像進(jìn)行亮度分量 和兩個(gè)色差分量的分離；(4)、根據(jù)視覺(jué)處理中只對(duì)亮度分量處理的特點(diǎn)，提取三副小眼圖像的Y分量，連 同分離后未做任何處理的色差分量，共同輸入到第二類DSP數(shù)字信號(hào)處理芯片上進(jìn)行受生 物復(fù)眼彈藥筒啟發(fā)的多幀圖像融合處理，具體融合算法如下步驟1 設(shè)11、12和13分別代表三副小眼圖像，提取三幅小眼圖像的亮度分量；以 任意一副小眼圖像II作為參考圖像，將12和13配準(zhǔn)到到參考圖像II上；步驟2 計(jì)算彈藥筒內(nèi)感受器的的平均值，即針對(duì)空間中同一個(gè)位置上多個(gè)C⑶采 樣值的平均；同時(shí)計(jì)算圍繞空間中一個(gè)點(diǎn)的局部領(lǐng)域內(nèi)像素的均值；步驟3 根據(jù)彈藥筒內(nèi)感受器均值和彈藥筒均值的比較，選擇合適的融合機(jī)制，當(dāng) 一個(gè)彈藥筒周圍的亮度均值高于彈藥筒內(nèi)部光感受器的平均值時(shí)，那么說(shuō)明外界的亮度較 低，需要將三個(gè)光感受器獲得的信息通過(guò)感受器細(xì)胞壁進(jìn)行疊加加強(qiáng)，提高對(duì)光亮度的敏 感性；反之說(shuō)明該外界光照亮度較高，那么需要將彈藥筒所在領(lǐng)域的對(duì)比度提高獲得增強(qiáng) 的圖像；假設(shè)(XD1獲得的小眼圖像L作為參考圖像；Ik(l)表示第k幅圖像按照列向量形 式排列后第1個(gè)像素的亮度；F_n(l)，Lfflean(l)分別是第1個(gè)彈藥筒內(nèi)光感受器亮度的平均 和參考圖像Ii上以第1個(gè)彈藥筒為中心的3X3個(gè)彈藥筒的平均亮度；由于只有三只小眼， 因此每個(gè)彈藥筒內(nèi)的光感受器的個(gè)數(shù)為3 公式中的當(dāng)Fm_⑴>時(shí)說(shuō)明外界的光照強(qiáng)度較高，采用第一種融合方 式，否則采用第二種融合方式；在融合之前將圖像按列向量的形式排列；
(1)、分流增強(qiáng)是在正常光照條件下對(duì)相同場(chǎng)景位置上差異信息的融合處理； 第1個(gè)彈藥筒的第k個(gè)光感受器接受的刺激為Ik(l)，k個(gè)感受器中刺激最強(qiáng)烈的是 ，刺激最弱的是/_(/) = m/n(/,(/))，平均亮度= mean(Ik(l))；由于是較強(qiáng)的光 照條件所以F_n(l) > Lfflean(l)，因此第1個(gè)彈藥筒的細(xì)胞外空間Vecs(l)將收到較強(qiáng)光感受 器的輸入，而減去流向較弱刺激的光感受器的電流；第1個(gè)彈藥筒細(xì)胞外空間感應(yīng)產(chǎn)生的 電壓 Vecs(l)
(2)其中ai，是參數(shù)，為以第1個(gè)彈藥筒為中心的參考圖像上的3X3個(gè)彈藥筒 的亮度均值；這里采用指數(shù)函數(shù)為了說(shuō)明亮度較高時(shí)釋放的遞質(zhì)成指數(shù)增加，而當(dāng)感受器 刺激較小時(shí)，釋放的遞質(zhì)就會(huì)接近于0，甚至?xí)心嫦螂娏鳟a(chǎn)生；(2)、疊加環(huán)路是光照強(qiáng)度不高的情況下，當(dāng)感受器接收到的亮度信息的平均值低 于相鄰彈藥筒的均值時(shí)，說(shuō)明外界亮度較低即Fm_(l) < L_n(l)，則開啟疊加環(huán)路融合模 式；這里采用與相鄰彈藥筒的電壓L_n(l)與第1個(gè)彈藥筒內(nèi)部接受到得亮度值Ik(l)的差 的絕對(duì)值來(lái)提高感受器的亮度，因此細(xì)胞外空間的電壓1。3(1)為
(3)初始時(shí)每個(gè)彈藥筒接的電壓為L(zhǎng)_n(l)，通過(guò)公式(1)計(jì)算得到，隨著外部刺激的 增加，接收器會(huì)按照刺激的大小產(chǎn)生響應(yīng)從而影響；公式⑵和(3)中的ai，a2系數(shù) 不同，一個(gè)是在平均亮度的基礎(chǔ)上提高圖像的對(duì)比度，另外一個(gè)是在背景原有亮度的基礎(chǔ) 上增加亮度的；系數(shù)&1，&2都是電導(dǎo)系數(shù)，取值范圍在(0，1]之間，其中是相鄰感受器(像 素)之間的電導(dǎo)系數(shù)，而a2是彈藥筒和感受器之間的電導(dǎo)系數(shù)，因?yàn)閺椝幫驳莫?dú)立結(jié)構(gòu)，其 內(nèi)部的電流流動(dòng)頻繁，而外部在沒(méi)有較大刺激出現(xiàn)時(shí)，基本沒(méi)有電流的流動(dòng)過(guò)程。因此按照 彈藥筒的結(jié)構(gòu)可以估計(jì) > a2這里選擇 =0. 5 ;a2 = 0. 25 ；步驟4 最后在彈藥筒內(nèi)部細(xì)胞外電壓的作用下得到一個(gè)彈藥筒融合的輸出值； 一個(gè)彈藥筒的細(xì)胞外空間電壓入。3(1)的會(huì)受到周圍彈藥筒細(xì)胞外空間的影響，因此 彈藥筒外空間電壓強(qiáng)度表示為
(4)該公式中等號(hào)后的第一項(xiàng)\。3(1)表示彈藥筒內(nèi)感受器的固有電壓，第二項(xiàng) Lm_(i)-L_n(r )表示第1個(gè)彈藥筒與第r個(gè)彈藥筒之間亮度的差異，即相鄰小眼圖像 之間的對(duì)應(yīng)像素的差異，該差異的大小影響了彈藥筒外空間電壓的大??；系數(shù)c是細(xì)胞外 電壓和彈藥筒的傳導(dǎo)系數(shù)，也是一種電導(dǎo)系數(shù)，取值范圍在(0，1]之間，1'代表了除第1個(gè) 彈藥筒外的其他彈藥筒，彈藥筒之間的距離決定了彈藥筒之間的影響強(qiáng)度，距離較近的彈 藥筒的影響效果明顯隨著距離的增加，相互之間的影響將降低；這里選擇距離彈藥筒1為1 個(gè)像素距離以內(nèi)的彈藥筒；但是c導(dǎo)通的是相鄰的彈藥筒，因?yàn)樵谕ǔ顟B(tài)下彈藥筒與彈 藥筒之間是分離的，并沒(méi)有突觸連接，而是同時(shí)細(xì)胞間質(zhì)的離子流動(dòng)來(lái)傳導(dǎo)的，因此所以電 導(dǎo)系數(shù)較小，c = 0. 1 ；根據(jù)彈藥筒外空間電壓Zl計(jì)算第1個(gè)彈藥筒在融合了多幅小眼圖像 后的結(jié)果為r (1):I' (1) = qXZi+I^l)(5)
其中I' (1)是第1個(gè)彈藥筒融合了三個(gè)感受器之后得到了最后的輸出結(jié)果， IJ1)為當(dāng)前參考小眼圖^上第1像素值；q是彈藥筒和二階神經(jīng)元的突觸連接權(quán)重；這 樣的通過(guò)突觸的連接產(chǎn)生電流流動(dòng)要比擴(kuò)散機(jī)制快速的多，因此傳導(dǎo)系數(shù)要大，這里選擇q =10;神經(jīng)融合處理結(jié)束后將I'與顏色信息一起通過(guò)YUV反變換獲得彩色輸出的圖像。彈藥筒模型是根據(jù)Moya在1998年的提出的一種人工神經(jīng)網(wǎng)絡(luò)方法。參考文獻(xiàn)[l]Haines K. G. , Moya J. A. , Caudell T. P. Modeling Nonsynaptic Communication BetweenNeurons in the Lamina Ganglionari s of Musca Domesticate], 1999 [2]Moya J. A. A comprehensive model of the neuro-ommatidial layer m Musca[D]. University otNew Mexico,1998.[3]Haines K. G. ,Pearlmutter B.A. ,Moya J. A.,等 Visualizing Communication BetweenNeurons in the Lamina Ganglionaris of Musca domestica[C]. 2000 該神經(jīng)網(wǎng)絡(luò)是一種描述單個(gè)彈藥筒內(nèi)部及其周圍彈藥筒連接的前饋網(wǎng)絡(luò)。描述了 從視網(wǎng)膜的光接收單元到高階神經(jīng)元LMC細(xì)胞之間的信息傳導(dǎo)方式。該神經(jīng)網(wǎng)絡(luò)包括三個(gè) 處理同一個(gè)彈藥筒內(nèi)部六個(gè)光感受器之間的耦合；彈藥筒與彈藥筒之間細(xì)胞膠質(zhì)的離子 擴(kuò)散和彈藥筒與二階神經(jīng)LMC細(xì)胞的連接。感受器接收外界的亮度刺激，刺激的差異導(dǎo)致 了一個(gè)彈藥筒內(nèi)部六個(gè)感受器之間產(chǎn)生電流的流動(dòng)。彈藥筒內(nèi)部的空間存在著可以傳導(dǎo)電 流的帶電離子，光感受器的電勢(shì)會(huì)通過(guò)這樣的傳遞介質(zhì)進(jìn)行電流的擴(kuò)散。彈藥筒與二階神 經(jīng)元的連接是一種突觸連接，可以將外界刺激傳遞到大腦的高階神經(jīng)元去處理。該神經(jīng)網(wǎng) 絡(luò)可以看做是一種多輸入單輸出的融合網(wǎng)絡(luò)；多個(gè)小眼圖像的同時(shí)輸入獲得了二階神經(jīng)細(xì) 胞LMC細(xì)胞的輸入，該融合過(guò)程可以將高頻信息提取，去除冗余信息。下面的三個(gè)公式該神經(jīng)網(wǎng)絡(luò)的描述 | 二 iPkj ~2k)E~Yu (zJc ~zj)L(7 )^r=-aLjF-Y,Gi{p~z">(8)該模型中的々，8，(，0，￡，？和6都是系數(shù)。它們分別是A = 0. 7 ;B = 1. 0 ;C = 1. 0 ;D = 0. 25 ;E = 0. 1 ;F = 3. 0 ;G = 10. 0 ;L = 30. 0。原理說(shuō)明目前基于昆蟲復(fù)眼結(jié)構(gòu)的成像裝置和設(shè)備多是模仿其生物結(jié)構(gòu)特點(diǎn)，以便獲得全 景圖像。而復(fù)眼的神經(jīng)處理機(jī)制，也只在目標(biāo)運(yùn)動(dòng)檢測(cè)中得到廣泛的應(yīng)用。關(guān)于采用復(fù)眼 自適應(yīng)成像機(jī)理實(shí)現(xiàn)在不同光照條件下獲取高質(zhì)量圖像的成像裝置，未見(jiàn)報(bào)道。事實(shí)上，復(fù)眼的多孔徑的特征對(duì)應(yīng)了一整套不同于單孔徑眼的神經(jīng)調(diào)節(jié)機(jī)制和融 合機(jī)制，在光照條件改變時(shí)可以自適應(yīng)的調(diào)節(jié)內(nèi)部神經(jīng)元的信息融合方式，使得昆蟲在不 同的光照條件獲得清晰可靠的場(chǎng)景信息。復(fù)眼的這種視覺(jué)特性可以用復(fù)眼薄板層彈藥筒內(nèi) 多多個(gè)小眼圖像進(jìn)行融合的機(jī)理來(lái)解釋。每個(gè)彈藥筒收集的是來(lái)自不同小眼的光感受器信 息，它們對(duì)應(yīng)了外界場(chǎng)景中一個(gè)點(diǎn)的多次采樣值。光感受器之間通過(guò)電耦合關(guān)系聯(lián)系在一起，耦合方式隨著光照強(qiáng)度的改變而改變。當(dāng)光照條件較優(yōu)時(shí)，光感受器之間的耦合作用是 一種對(duì)比度拉伸的過(guò)程，接收到較強(qiáng)刺激從而產(chǎn)生較大電流的感受器將電流分流到較弱刺 激的光感受器細(xì)胞，同時(shí)向細(xì)胞外空間釋放化學(xué)遞質(zhì)，打破外空間離子濃度的平衡去極化。 而細(xì)胞外空間會(huì)對(duì)軸突電壓低于外空間固有電壓的感受器產(chǎn)生逆流。這樣實(shí)現(xiàn)了在最優(yōu)光 照條件下，對(duì)外場(chǎng)景刺激的均衡化和對(duì)比度提升的效果。當(dāng)光照比較暗時(shí)，光感受器之間的 電流就是一種疊加融合的方式。細(xì)胞外空間的固有電壓較低，不足以高到產(chǎn)生逆向電流，多 個(gè)光感受器的電流通過(guò)耦合疊加來(lái)提高感受器對(duì)外空間輸出電流的強(qiáng)度。細(xì)胞外空間作為 一種中間介質(zhì)，通過(guò)非突觸連接傳遞了外界的刺激信息到更高一級(jí)的神經(jīng)細(xì)胞上，在傳遞 過(guò)程中自適應(yīng)的根據(jù)圖像背景的亮度來(lái)調(diào)節(jié)圖像的對(duì)比度和亮度的敏感性?？梢?jiàn)復(fù)眼在融合小眼圖像時(shí)具有提高圖像質(zhì)量的處理機(jī)制，主要的特點(diǎn)歸納為 1.采用局部處理機(jī)制，無(wú)需計(jì)算，通過(guò)局部的背景亮度反饋到光感受器來(lái)控制對(duì)比度。光 感受器之間的電流分流和細(xì)胞外空間電壓的融合自動(dòng)的提高的圖像的對(duì)比度，自適應(yīng)的根 據(jù)局部亮度改變光感受器的電流融合方式。2.彈藥筒內(nèi)的電流變化的范圍遠(yuǎn)遠(yuǎn)高于亮度 變化范圍，較大的動(dòng)態(tài)范圍可以更精確的反映圖像信息。3.由于光感受器具有較低的敏感 性，所以不受飽和或者噪聲的影響，使得在對(duì)比度的提高上具有較強(qiáng)的抗干擾能力。本發(fā)明的具有以下優(yōu)點(diǎn)曲面多電荷耦合器件組自適應(yīng)成像儀模仿復(fù)眼在晝夜交 替情況下隨光照條件的改變調(diào)整神經(jīng)傳導(dǎo)方式從而獲得自適應(yīng)成像效果的原理，采用多個(gè) 普通的電荷耦合器件(CCD)和相應(yīng)的輔助電路及神經(jīng)處理算法構(gòu)建一種仿生自適應(yīng)調(diào)節(jié) 式成像儀?？梢愿鶕?jù)不同的光照條件，自適應(yīng)的切換到不同的圖像融合算法上獲取準(zhǔn)確、清 晰的圖像信息，突破了傳統(tǒng)低照度相機(jī)在白天成像效果較差的局限性，它不僅可以在正常 光照條件下獲取高對(duì)比度的圖像，還可以在較弱光照條件下獲取高亮度敏感性的圖像，實(shí) 現(xiàn)了晝夜交替監(jiān)控。該成像儀的融合算法簡(jiǎn)單易行，計(jì)算量小，可以滿足實(shí)時(shí)性要求。
四

附圖1:(XD攝像頭的排列方式；
附圖2本發(fā)明電路的邏輯連接圖
附圖3本發(fā)明的流程附圖4分流增強(qiáng)模塊流程；
附圖5疊加環(huán)路模塊流程；
附圖6:E2PR0M與DSP連接五具體實(shí)施例方式本發(fā)明設(shè)計(jì)了曲面型光學(xué)結(jié)構(gòu)的多電荷耦合器件組自適應(yīng)成像儀。主要的硬件 設(shè)備有3個(gè)普通的彩色(XD攝像頭，具有強(qiáng)大快速運(yùn)算能力的兩款DSP數(shù)字信號(hào)處理芯 片TMS320DM642和TMS320VC5510、可編程視頻信號(hào)處理器SAA7111A和電可擦存儲(chǔ)芯片 E2PR0Mo(XD的型號(hào)為3209A，該款攝像頭具有兩種制式PAL制和NTSC，分辨率分別是 500X582、510X429兩種。本發(fā)明中采用PAL制式，鏡頭的尺寸為38mmX38mm。獲得的小 眼圖像的分辨率為500X582。如附圖1所示將3個(gè)(XD緊密的捆綁在一起，依附在一個(gè)半徑為r的曲面上模擬昆蟲復(fù)眼中的3只小眼，每相鄰兩個(gè)小眼光軸之間的夾角為θ ^art sin(D/r)。構(gòu)成仿復(fù)眼的曲面結(jié)構(gòu)。如圖3所示，ο點(diǎn)是復(fù)眼的中心點(diǎn)，r為復(fù)眼的眼半徑， D為小眼直徑38mm。
DSP芯片型號(hào)中一種是TMS320DM642，是TI公司C6000系列中一款針對(duì)多媒體處 理領(lǐng)域應(yīng)用的32為DSP芯片，其核心是C6416型高性能數(shù)字信號(hào)處理器，具有極強(qiáng)的處理 性能，高度的靈活性和可編程性，同時(shí)外圍集成了 三個(gè)可配置的視頻接口，可以和視頻輸 入，輸出或傳輸流輸入無(wú)縫連接，VCXO內(nèi)插控制端口(VIC)，I2C總線模塊等非常完整的音 頻、視頻和網(wǎng)絡(luò)通信等設(shè)備及接口，特別適用于基于數(shù)字視頻/圖像處理的高速DSP應(yīng)用領(lǐng) 域。另外一種是TMS320VC5510，該芯片是2000年推出的一款性價(jià)比極高的16位定點(diǎn)數(shù)字 信號(hào)處理器，采用先進(jìn)的修正哈佛結(jié)構(gòu)，片內(nèi)有8條總線、CPU、在片存儲(chǔ)器和在片外圍電路 等硬件，加上高度專業(yè)的指令系統(tǒng)，使其具有功耗小、高度并行等優(yōu)點(diǎn)。另外還有視頻信號(hào)處理器SAA7111A，該芯片完成視頻制式的轉(zhuǎn)換，提供YUV格式 的彩色圖像。配合DSP芯片使用的還有先進(jìn)先出存儲(chǔ)器(FIFO) IDT72V2113，其最高工作頻 率為133MHz ；容量為512KB。復(fù)雜可編程邏輯器件(CPLD) LC4128V為存儲(chǔ)器和DSP芯片提 供邏輯控制信號(hào)。AT28C256型號(hào)的E2PR0M是32kX 8位的電可擦除存儲(chǔ)器。硬件的連接方法如附圖2所示，該曲面結(jié)構(gòu)同時(shí)獲得三個(gè)小眼圖像，每個(gè)CXD彩色 攝像頭通過(guò)USB接口將模擬信號(hào)輸入到視頻信號(hào)轉(zhuǎn)換芯片SAA7111A上完成信號(hào)的數(shù)模轉(zhuǎn) 換，信號(hào)的放大和抗混疊等預(yù)處理。SAA7111A輸出狀態(tài)信息和數(shù)據(jù)信息，狀態(tài)信息輸出傳送 到復(fù)雜可編程邏輯電路(CLPC)LC4128V上作為控制信號(hào)；數(shù)據(jù)信息則通過(guò)先進(jìn)先出存儲(chǔ)芯 片(FIFO) IDT72V2113進(jìn)行緩沖之后在CPLC控制信號(hào)下輸入到DSP芯片TMS320VC5510上。三個(gè)TMS320VC5510芯片分別完成三路數(shù)字彩色圖像信號(hào)的色度信息與亮度信息 的分離處理。根據(jù)視覺(jué)處理中只對(duì)亮度分量處理的特點(diǎn)，三個(gè)DSP芯片TMS320VC5510上將 Y分量分別提取出來(lái)，輸入到下一級(jí)TMS320CM642型DSP芯片上進(jìn)行融合處理，而色差分量 輸入后不做任何處理。TMS320VC5510芯片與下一級(jí)DSP芯片TMS320DM642是主從式的連接關(guān)系，三個(gè) TMS320VC5510是從片，TMS320DM642作為主片。主片采用中斷方式對(duì)三個(gè)從片的輸出數(shù)據(jù) 進(jìn)行讀取。每個(gè)TMS320VC5510從片都向主片輸入數(shù)據(jù)信息和狀態(tài)信息。寬箭頭代表的是 數(shù)據(jù)信息，細(xì)箭頭代表輸出的狀態(tài)信息。狀態(tài)信息是從片DSP向主片發(fā)出的中斷信號(hào)，中斷 主芯片運(yùn)行的程序轉(zhuǎn)向讀取從芯片輸出的數(shù)據(jù)。主片TMS320DM642上完成神經(jīng)融合處理并 將彩色信息與融合處理后的亮度信息一起通過(guò)YUV反變換獲得彩色輸出圖像。圖3是本專利的流程圖。主要有三大模塊采集模塊，預(yù)處理模塊，融合模塊。采集模塊是通過(guò)三個(gè)CXD分別配合視頻信號(hào)轉(zhuǎn)換芯片實(shí)現(xiàn)的。3個(gè)相同物理參 數(shù)的CCD攝像頭，按照仿復(fù)眼結(jié)構(gòu)的曲面排列安置。每個(gè)CCD攝像頭獲取的圖像是一幅小 眼圖像，小眼圖像中的每個(gè)像素是小眼中的一個(gè)光感受器，這里選擇的CXD的分辨率均為 500X582。預(yù)處理模塊是通過(guò)三片DSP芯片分別對(duì)各自獲得的數(shù)字圖像的亮度信息和色差 信息進(jìn)行分離。將分離的亮度信息和色度信息分別通過(guò)數(shù)據(jù)線傳輸?shù)较乱患?jí)的主DSP芯 片。該模塊還在CPLC的控制下，保證同一時(shí)刻拍攝的三幅小眼圖像的同步傳入。融合模塊是本專利的核心部分，在主片上TMS320DM642芯實(shí)現(xiàn)，該主芯片還連接了兩片E2PR0M存儲(chǔ)芯片AT28C256，用來(lái)存儲(chǔ)數(shù)據(jù)和程序。該模塊接收來(lái)自三個(gè)DSP芯片處 理后的亮度信息和色度信息，只對(duì)亮度信息進(jìn)行配準(zhǔn)，找到將要進(jìn)入同一個(gè)彈藥筒的三個(gè) 小眼中對(duì)應(yīng)像素位置上的三個(gè)樣值。每個(gè)彈藥筒對(duì)應(yīng)融合圖像上的一個(gè)像素。由于在設(shè)計(jì) 過(guò)程中已知圖像之間的夾角，可以通過(guò)仿射變換直接配準(zhǔn)三幅圖像。選擇任意一副為參考 圖像，其他兩幅配準(zhǔn)到該參考圖像上。仿射變換的公式 其中A矩陣中的元素表示旋轉(zhuǎn)和縮放因子，b向量表示平移因子。這里選擇I1作 為參考圖像，采用兩個(gè)矩陣A1, A2描述12，I3相對(duì)于I1的旋轉(zhuǎn)因子。彈藥筒結(jié)構(gòu)不需要在全 局上判斷光照條件，而是通過(guò)局部的分析來(lái)決定采用何種融合方式。第一種融合方式是分 流增強(qiáng)，另一種融合方式是疊加環(huán)路。當(dāng)外界光照亮度較高時(shí)，三個(gè)光感受器之間的電流不平衡，兩兩相鄰感受器之間 會(huì)產(chǎn)生耦合現(xiàn)象，刺激較大的感受器將分流一部分到刺激較小的感受器，同時(shí)各個(gè)接受刺 激的感受器相對(duì)細(xì)胞外空間的電壓較高，在軸突部位產(chǎn)生化學(xué)遞質(zhì)的釋放實(shí)現(xiàn)去極化。如 果某個(gè)感受器接受的刺激非常小，產(chǎn)生的電壓遠(yuǎn)遠(yuǎn)小于細(xì)胞外空間的固有電壓，那么就會(huì) 產(chǎn)生逆向電流。因此在刺激中存在突變亮度時(shí)，差異信息在多個(gè)光感受器之間流動(dòng)，分擔(dān)了 單一感受器接受過(guò)分強(qiáng)烈刺激產(chǎn)生的較大電流的現(xiàn)象。同時(shí)這樣的分流使得圖像的對(duì)比度 自動(dòng)的提高。附圖4所示，每個(gè)光感受器節(jié)點(diǎn)都向相鄰的兩個(gè)感受器分出一定的電流，三個(gè) 外界刺激之間的差對(duì)應(yīng)了光感受的輸出，從而產(chǎn)生了細(xì)胞外空間的感應(yīng)電流。這樣的耦合 機(jī)制也就是對(duì)突變亮度的一種抑制表現(xiàn)。相反當(dāng)外界亮度較低，彈藥筒內(nèi)部的感受器接受到的亮度因?yàn)橥饨缌炼容^低二導(dǎo) 致差異較小時(shí)，感受器之間進(jìn)行疊加以增加對(duì)光的敏感性。如附圖5所示，信息在三個(gè)節(jié)點(diǎn) 之間環(huán)流加強(qiáng)，細(xì)胞外空間的感應(yīng)電流是外界刺激與外空間平均電壓強(qiáng)度的差產(chǎn)生的。硬件連接圖如圖6所示，圖7中顯示了存儲(chǔ)芯片E2PR0M與DSP芯片的連接方式， 該DSP芯片中存放了主片運(yùn)行的程序和數(shù)據(jù)。DSP芯片的CEn端與E2PR0M的使能段壓端 通過(guò)一個(gè)非門連接，低電平有效。輸出使能端AOE端與面端通過(guò)一個(gè)非門相連，低電平有 效。DSP的寫使能端ATO與存儲(chǔ)芯片的TO端通過(guò)一個(gè)非門相連。地址是由EAXX輸出到存 儲(chǔ)芯片的A[15. . . 0]端上的，數(shù)據(jù)端ED[15. . . 0]與存儲(chǔ)芯片的輸入輸出端口相連。本發(fā)明仿照復(fù)眼隨光照條件的改變而自適應(yīng)的調(diào)節(jié)融合方式的機(jī)制，借助普通成 像設(shè)備與多DSP芯片組以及若干存儲(chǔ)芯片和邏輯控制芯片的輔助實(shí)現(xiàn)了多電荷耦合器件 組自適應(yīng)成像儀，實(shí)現(xiàn)全天候高質(zhì)量圖像的獲取。采用三個(gè)固定在一拱面上的普通CXD攝 像頭獲取同一場(chǎng)景的三幅存在重疊的圖像。這些重疊圖像在芯片TMS320DM642上進(jìn)行融合 分析，根據(jù)當(dāng)前圖像信息給出光照條件判別公式，最后選擇適當(dāng)?shù)娜诤戏绞将@得最后的輸 出ο本發(fā)明的優(yōu)點(diǎn)該發(fā)明設(shè)計(jì)避免了傳統(tǒng)低照度成像儀高造價(jià)和復(fù)雜性的缺點(diǎn)，充 分利用生物視覺(jué)簡(jiǎn)單快速的分析原理同時(shí)配合靈活的神經(jīng)傳導(dǎo)機(jī)制，依靠DSP和FPGA芯片 組合來(lái)快速，靈巧的代替PC機(jī)實(shí)現(xiàn)了仿生神經(jīng)融合處理，自適應(yīng)的獲取場(chǎng)景圖像，由于算 法簡(jiǎn)單易行，滿足實(shí)時(shí)性要求，且具有易于推廣等優(yōu)點(diǎn)。
權(quán)利要求
一種曲面光學(xué)結(jié)構(gòu)的多電荷耦合器件組自適應(yīng)成像儀，其特征在于包括3個(gè)相同的CCD攝像頭，3個(gè)用于亮度分量和兩個(gè)色差分量分離的第一類DSP數(shù)字信號(hào)處理芯片、1個(gè)用于完成多幀圖像融合的第二類DSP數(shù)字信號(hào)處理芯片、3個(gè)用于模數(shù)轉(zhuǎn)換和制式轉(zhuǎn)換的可編程視頻信號(hào)處理芯片、3個(gè)電可擦存儲(chǔ)芯片；上述3個(gè)CCD緊密連接在一起，依附在一個(gè)半徑為r的曲面上，相鄰兩個(gè)小眼光軸之間的夾角為θ≈art sin(D/r)構(gòu)成仿復(fù)眼的曲面結(jié)構(gòu)，其中r為復(fù)眼的眼半徑，D為小眼直徑；上述3個(gè)CCD攝像頭分別通過(guò)USB接口連接到上述3個(gè)可編程視頻信號(hào)處理芯片的模擬信號(hào)輸入端進(jìn)行預(yù)處理；可編程視頻信號(hào)處理芯片的狀態(tài)信息輸出入到復(fù)雜可編程邏輯電路(CLPC)中作為控制信號(hào)，而數(shù)據(jù)信號(hào)則經(jīng)過(guò)上述3個(gè)電可擦存儲(chǔ)芯片分別輸入到上述3個(gè)第一類DSP數(shù)字信號(hào)處理芯中，3個(gè)第一類DSP數(shù)字信號(hào)處理芯片的控制信號(hào)輸入到1個(gè)第二類DSP數(shù)字信號(hào)處理芯片做為片選信號(hào)和使能信號(hào)。
2.利用權(quán)利要求1所述曲面光學(xué)結(jié)構(gòu)的多電荷耦合器件組自適應(yīng)成像儀實(shí)現(xiàn)的自適 應(yīng)成像方法，其特征在于包括以下步驟(1)、利用三個(gè)(XD攝像頭模擬復(fù)眼中的小眼分別獨(dú)立成像，獲得三幅小眼圖像；(2)、利用可編程視頻信號(hào)處理芯片分別對(duì)三副小眼圖像經(jīng)過(guò)進(jìn)行模數(shù)轉(zhuǎn)換和制式的 轉(zhuǎn)換；(3)、分別利用三個(gè)第一類DSP數(shù)字信號(hào)處理芯片對(duì)三幅小眼圖像進(jìn)行亮度分量和兩 個(gè)色差分量的分離；(4)、根據(jù)視覺(jué)處理中只對(duì)亮度分量處理的特點(diǎn)，提取三副小眼圖像的Y分量，連同分 離后未做任何處理的色差分量，共同輸入到第二類DSP數(shù)字信號(hào)處理芯片上進(jìn)行受生物復(fù) 眼彈藥筒啟發(fā)的多幀圖像融合處理，具體融合算法如下步驟1 設(shè)11、12和13分別代表三副小眼圖像，提取三幅小眼圖像的亮度分量；以任意 一副小眼圖像II作為參考圖像，將12和13配準(zhǔn)到到參考圖像II上；步驟2 計(jì)算彈藥筒內(nèi)感受器的的平均值，即針對(duì)空間中同一個(gè)位置上多個(gè)(XD采樣值 的平均；同時(shí)計(jì)算圍繞空間中一個(gè)點(diǎn)的局部領(lǐng)域內(nèi)像素的均值；步驟3 根據(jù)彈藥筒內(nèi)感受器均值和彈藥筒均值的比較，選擇合適的融合機(jī)制，當(dāng)一個(gè) 彈藥筒周圍的亮度均值高于彈藥筒內(nèi)部光感受器的平均值時(shí)，那么說(shuō)明外界的亮度較低， 需要將三個(gè)光感受器獲得的信息通過(guò)感受器細(xì)胞壁進(jìn)行疊加加強(qiáng)，提高對(duì)光亮度的敏感 性；反之說(shuō)明該外界光照亮度較高，那么需要將彈藥筒所在領(lǐng)域的對(duì)比度提高獲得增強(qiáng)的 圖像；假設(shè)CCD1獲得的小眼圖像L作為參考圖像；Ik(l)表示第k幅圖像按照列向量形式排 列后第1個(gè)像素的亮度；，L_n(l)分別是第1個(gè)彈藥筒內(nèi)光感受器亮度的平均和參 考圖像L上以第1個(gè)彈藥筒為中心的3X3個(gè)彈藥筒的平均亮度；由于只有三只小眼，因此 每個(gè)彈藥筒內(nèi)的光感受器的個(gè)數(shù)為3 公式中的當(dāng)>Lm_(l)時(shí)說(shuō)明外界的光照強(qiáng)度較高，采用第一種融合方式，否 則采用第二種融合方式；在融合之前將圖像按列向量的形式排列；(1)、分流增強(qiáng)是在正常光照條件下對(duì)相同場(chǎng)景位置上差異信息的融合處理；第1個(gè)彈 藥筒的第k個(gè)光感受器接受的刺激為Ik(l)，k個(gè)感受器中刺激最強(qiáng)烈的是LW = miax(/t(/))， 刺激最弱的是/胃,(0 =中(/州)，平均亮度、_(0 = "^皿(/力))；由于是較強(qiáng)的光照條件所 以F_n(l) > Lfflean(l)，因此第1個(gè)彈藥筒的細(xì)胞外空間V_(l)將收到較強(qiáng)光感受器的輸 入，而減去流向較弱刺激的光感受器的電流；第1個(gè)彈藥筒細(xì)胞外空間感應(yīng)產(chǎn)生的電壓為 其中^，是參數(shù)，Lm_⑴為以第1個(gè)彈藥筒為中心的參考圖像上的3X3個(gè)彈藥筒的亮 度均值；這里采用指數(shù)函數(shù)為了說(shuō)明亮度較高時(shí)釋放的遞質(zhì)成指數(shù)增加，而當(dāng)感受器刺激 較小時(shí)，釋放的遞質(zhì)就會(huì)接近于0，甚至?xí)心嫦螂娏鳟a(chǎn)生；(2)、疊加環(huán)路是光照強(qiáng)度不高的情況下，當(dāng)感受器接收到的亮度信息的平均值低于相 鄰彈藥筒的均值時(shí)，說(shuō)明外界亮度較低即Fm_(l) < L_n(l)，則開啟疊加環(huán)路融合模式；這 里采用與相鄰彈藥筒的電壓L_n(l)與第1個(gè)彈藥筒內(nèi)部接受到得亮度值Ik(l)的差的絕 對(duì)值來(lái)提高感受器的亮度，因此細(xì)胞外空間的電壓\。3(1)為 初始時(shí)每個(gè)彈藥筒接的電壓為L(zhǎng)_n(l)，通過(guò)公式(1)計(jì)算得到，隨著外部刺激的增加， 接收器會(huì)按照刺激的大小產(chǎn)生響應(yīng)從而影響；公式⑵和⑶中的ai，a2系數(shù)不同， 一個(gè)是在平均亮度的基礎(chǔ)上提高圖像的對(duì)比度，另外一個(gè)是在背景原有亮度的基礎(chǔ)上增加 亮度的；系數(shù)&1，a2都是電導(dǎo)系數(shù)，取值范圍在(0，1]之間，其中是相鄰感受器(像素) 之間的電導(dǎo)系數(shù)，而a2是彈藥筒和感受器之間的電導(dǎo)系數(shù)，因?yàn)閺椝幫驳莫?dú)立結(jié)構(gòu)，其內(nèi)部 的電流流動(dòng)頻繁，而外部在沒(méi)有較大刺激出現(xiàn)時(shí)，基本沒(méi)有電流的流動(dòng)過(guò)程。因此按照彈藥 筒的結(jié)構(gòu)可以估計(jì)> a2這里選擇 =0. 5 ;a2 = 0. 25 ；步驟4 最后在彈藥筒內(nèi)部細(xì)胞外電壓的作用下得到一個(gè)彈藥筒融合的輸出值；一個(gè) 彈藥筒的細(xì)胞外空間電壓的會(huì)受到周圍彈藥筒細(xì)胞外空間的影響，因此彈藥 筒外空間電壓強(qiáng)度表示為 該公式中等號(hào)后的第一項(xiàng)表示彈藥筒內(nèi)感受器的固有電壓，第二項(xiàng) Lm_(i)-L_n(r )表示第1個(gè)彈藥筒與第r個(gè)彈藥筒之間亮度的差異，即相鄰小眼圖像 之間的對(duì)應(yīng)像素的差異，該差異的大小影響了彈藥筒外空間電壓的大小；系數(shù)c是細(xì)胞外 電壓和彈藥筒的傳導(dǎo)系數(shù)，也是一種電導(dǎo)系數(shù)，取值范圍在(0，1]之間，1'代表了除第1個(gè) 彈藥筒外的其他彈藥筒，彈藥筒之間的距離決定了彈藥筒之間的影響強(qiáng)度，距離較近的彈 藥筒的影響效果明顯隨著距離的增加，相互之間的影響將降低；這里選擇距離彈藥筒1為1 個(gè)像素距離以內(nèi)的彈藥筒；但是c導(dǎo)通的是相鄰的彈藥筒，因?yàn)樵谕ǔ顟B(tài)下彈藥筒與彈 藥筒之間是分離的，并沒(méi)有突觸連接，而是同時(shí)細(xì)胞間質(zhì)的離子流動(dòng)來(lái)傳導(dǎo)的，因此所以電 導(dǎo)系數(shù)較小，C = 0.1;根據(jù)彈藥筒外空間電壓21計(jì)算第1個(gè)彈藥筒在融合了多幅小眼圖像后的結(jié)果為 I' (1)I' (1) = qXz^I^l) (5)其中I' (1)是第1個(gè)彈藥筒融合了三個(gè)感受器之后得到了最后的輸出結(jié)果，IJ1)為 當(dāng)前參考小眼圖^上第1像素值；q是彈藥筒和二階神經(jīng)元的突觸連接權(quán)重；這樣的通過(guò) 突觸的連接產(chǎn)生電流流動(dòng)要比擴(kuò)散機(jī)制快速的多，因此傳導(dǎo)系數(shù)要大，這里選擇q= 10 ；神 經(jīng)融合處理結(jié)束后將I'與顏色信息一起通過(guò)YUV反變換獲得彩色輸出的圖像。
全文摘要
本發(fā)明的曲面光學(xué)結(jié)構(gòu)的多電荷耦合器件組自適應(yīng)成像儀及方法，屬于圖像信息獲取和處理領(lǐng)域。它模仿復(fù)眼在晝夜交替情況下隨光照條件的改變調(diào)整神經(jīng)傳導(dǎo)方式，從而獲得自適應(yīng)成像效果的原理，采用多個(gè)普通的電荷耦合器件(CCD)和相應(yīng)的輔助電路及神經(jīng)處理算法構(gòu)建一種仿生自適應(yīng)調(diào)節(jié)式成像儀。該成像儀具有隨光照條件改變自動(dòng)調(diào)節(jié)融合模式的成像功能，它不僅可以在正常光照條件下獲取高對(duì)比度的圖像，還可以在較弱光照條件下獲取高亮度敏感性的圖像。本發(fā)明實(shí)現(xiàn)了在晝夜交替情況下高清晰度的監(jiān)視監(jiān)控，屬于圖像信息獲取和處理領(lǐng)域。
文檔編號(hào)H04N9/09GK101867828SQ20091026416
公開日2010年10月20日 申請(qǐng)日期2009年12月31日 優(yōu)先權(quán)日2009年12月31日
發(fā)明者徐夢(mèng)溪, 黃陳蓉 申請(qǐng)人:南京工程學(xué)院