專利名稱：無人機(jī)遙感平臺中的cmos成像與信息處理系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種無人機(jī)遙感平臺中的CMOS成像與信息處理系統(tǒng)。
背景技術(shù)：
無人機(jī)可以應(yīng)用于長時間空中晝夜飛行和危險性飛行作業(yè)，如災(zāi)情監(jiān)視、氣象探測、環(huán)境監(jiān)測、地質(zhì)勘探、邊境控制以及軍事應(yīng)用等，具有廣闊的市場需求。由于無人機(jī)在各個部門和領(lǐng)域中的應(yīng)用廣泛，無人機(jī)潛在需求巨大，而數(shù)字城市、空間信息技術(shù)應(yīng)用等必將使用低成本、高靈活性、較高分辨率探測圖像的技術(shù)與設(shè)備，該項(xiàng)目的研究與開發(fā)正是滿足了這種需求，不僅可以提高無人機(jī)監(jiān)測和導(dǎo)航能力，而且能產(chǎn)生良好的社會效益與經(jīng)濟(jì)效益。
成像與信息處理系統(tǒng)是空間遙感平臺中獲取遙感圖像和處理空間信息的關(guān)鍵部件之一，但現(xiàn)有的數(shù)字成像系統(tǒng)多采用CCD作為圖像傳感器，由于CCD是一種特殊的微電子技術(shù)，其制作需要特殊的制造工藝，不能與其外圍電路集成，導(dǎo)致集成度低，體積與重量相對較大，且信號讀取速度慢，功耗高，產(chǎn)品價格相對昂貴。
遙感系統(tǒng)成像時應(yīng)盡量減小因載體平臺的姿態(tài)變化和震動所受的影響，目前一般都是采用陀螺傳感器和伺服控制系統(tǒng)構(gòu)成的穩(wěn)定平臺來進(jìn)行穩(wěn)像的，由于伺服系統(tǒng)固有的體積大、造價高、消耗功率大等缺點(diǎn)，在很多場合往往難于滿足軍事和民用設(shè)備的進(jìn)一步要求。
無人機(jī)遙感數(shù)據(jù)的獲取后可采用實(shí)時下傳和存入存儲器兩種方式進(jìn)行處理。無線通訊受帶寬所限，傳輸速率有限，對于高分辨率的遙感影像，由于數(shù)據(jù)量大，實(shí)時傳輸技術(shù)難度大，成本高；而采用存儲器存儲的方式一般采用專用的存儲介質(zhì)，成本高，體積大，使用不方便。

發(fā)明內(nèi)容
針對上述現(xiàn)有無人機(jī)成像與信息處理系統(tǒng)所存在的問題和不足，本發(fā)明的目的是提供一種低功耗、低成本并可進(jìn)一步提高視頻影像顯示效果的無人機(jī)遙感平臺中的CMOS成像與信息處理系統(tǒng)。
本發(fā)明是這樣實(shí)現(xiàn)的一種無人機(jī)遙感平臺中的CMOS成像與信息處理系統(tǒng)，包括CMOS成像模塊、數(shù)據(jù)存儲模塊與圖像信息處理模塊，CMOS成像模塊獲取圖像數(shù)據(jù)并對其處理，然后將該處理后的圖像數(shù)據(jù)存儲于數(shù)據(jù)存儲模塊并輸入至圖像信息處理模塊進(jìn)行校正，CMOS成像模塊包括CMOS圖像傳感器、微控制器、圖像處理專用芯片、存儲器和邏輯門電路，其中，微控制器用于CMOS圖像傳感器與圖像處理專用芯片的初始化、狀態(tài)設(shè)定，并負(fù)責(zé)快門檢測、電源控制和數(shù)據(jù)傳輸控制；CMOS圖像傳感器用于自動曝光、自動增益的部分信號處理，并將獲取圖像傳輸至圖像處理專用芯片；圖像處理專用芯片獲取CMOS圖像傳感器所傳送的圖像信號后將數(shù)據(jù)壓縮，暫存于存儲器。
進(jìn)一步地，所述存儲模塊由USB HOST芯片與雙口RAM組成，通過一個IDE插座與成像模塊連接，其外在表現(xiàn)為一個雙口RAM；并由成像模塊的微控制器通過地址總線訪問，可將所生成的圖像文件通過其USB接口傳送入USB移動外設(shè)中存儲。
進(jìn)一步地，所述信息處理模塊采用電子穩(wěn)像技術(shù)，并結(jié)合遙感數(shù)字圖像處理技術(shù)和信息融合技術(shù)，對獲取的圖像信息和其它空間傳感器獲取的非圖像信息進(jìn)行空間信息融合和處理。
進(jìn)一步地，所述存儲器為移動硬盤或U盤。
進(jìn)一步地，所述存儲器還可以是閃存卡。
本發(fā)明實(shí)現(xiàn)了低功耗、低成本CMOS數(shù)字成像系統(tǒng)，并采用了電子穩(wěn)像技術(shù)，可結(jié)合機(jī)械穩(wěn)像平臺進(jìn)一步提高視頻影像顯示效果，獨(dú)特設(shè)計(jì)的存儲方式具有體積小，使用方便，成本低的特點(diǎn)，可將成像系統(tǒng)所采集的數(shù)據(jù)存儲入大容量移動存儲器中，減輕無線數(shù)據(jù)通訊的壓力。
本發(fā)明的具體有益效果為(1)采用CMOS傳感器，系統(tǒng)整合性高，性能穩(wěn)定且價格低廉；(2)多模塊設(shè)計(jì)，可根據(jù)需要選擇何種存儲方式，是否采用信息處理模塊，使用方便靈活；(3)功能用途廣，本發(fā)明改進(jìn)后可應(yīng)用于數(shù)碼成像產(chǎn)品和ITS(智能交通系統(tǒng))中車輛的實(shí)時監(jiān)控、交通監(jiān)控等，具有良好的后繼開發(fā)與應(yīng)用潛力。


下面結(jié)合附圖，對本發(fā)明作出詳細(xì)描述。
圖1是本發(fā)明使用狀態(tài)示意圖；圖2是本發(fā)明使用結(jié)構(gòu)示意圖；圖3是本發(fā)明的成像模塊結(jié)構(gòu)示意圖；圖4是本發(fā)明數(shù)據(jù)存儲模塊結(jié)構(gòu)示意圖；圖5是本發(fā)明硬件核心部分接口示意圖；
圖6是本發(fā)明圖像獲取與存儲的流程圖；圖7是本發(fā)明圖像信息處理模塊對圖像數(shù)據(jù)處理的流程圖。
具體實(shí)施例方式
如圖1所示，在無人機(jī)中嵌入本發(fā)明后，即可直接用于遙感圖像的獲取，對遙感圖像進(jìn)行壓縮處理后，存儲于本發(fā)明的存儲模塊。當(dāng)然，本發(fā)明應(yīng)用時結(jié)合GPS、衛(wèi)星通訊、航天遙感等，實(shí)現(xiàn)無人機(jī)監(jiān)控、探測和導(dǎo)航，能更好地應(yīng)用于災(zāi)情監(jiān)視、氣象檢測環(huán)境監(jiān)測、地質(zhì)勘探、邊境控制以及軍事應(yīng)用等。
如圖2所示，本發(fā)明的應(yīng)用系統(tǒng)包括控制模塊、CMOS成像模塊、數(shù)據(jù)存儲模塊、圖像信息處理模塊和地面控制站，控制模塊通過無線信號數(shù)據(jù)接口接收由地面控制中心傳來的控制指令，實(shí)現(xiàn)對系統(tǒng)的相關(guān)模塊進(jìn)行控制，包括控制CMOS成像模塊的啟動以及成像時刻、曝光時延、增益控制等，設(shè)置圖像壓縮芯片的參數(shù)，并將獲取的遙感影像數(shù)據(jù)通過數(shù)據(jù)接口輸入固態(tài)存儲器中存儲。為更好地利用本發(fā)明，可另外增加無線數(shù)據(jù)傳輸接口，將影像數(shù)據(jù)下傳至地面控制站進(jìn)行監(jiān)測和信息處理，以對接收到的影像進(jìn)行評估，若未達(dá)到要求，則作出相應(yīng)的調(diào)整命令，通過無線信號數(shù)據(jù)接口傳輸?shù)较到y(tǒng)的控制模塊?？刂颇K是整個系統(tǒng)的核心，控制程序?qū)懭胛⒖刂破髦?，協(xié)調(diào)各個模塊之間的工作。
如圖3所示，本發(fā)明的成像模塊由微控制器、圖像傳感器、圖像處理器、存儲器SDRAM組成，另外，可根據(jù)需要，在微控制器上增加閃存卡，以適應(yīng)存儲的要求。本發(fā)明的成像模塊中，微控制器作為核心元件，協(xié)調(diào)各器件之間的工作。系統(tǒng)上電后，通過微控制器對圖像傳感器和圖像處理器進(jìn)行初始化，根據(jù)任務(wù)需要(如飛行時間、圖像分辨率、系統(tǒng)總體積重量要求等)，由用戶設(shè)定存儲方式，即選用閃存卡存儲(GB級容量，體積小重量輕)或USB移動外設(shè)存儲(百GB級容量)，并設(shè)定圖像采集幀速率、圖像分辨率等參數(shù)?？刂婆_通過無線信號發(fā)出指令(包括姿態(tài)控制、路線設(shè)定、參數(shù)設(shè)置、工作模式控制等)，若成像模塊接收并兼測到了開始采集圖像的指令，則向CMOS圖像傳感器發(fā)出指令，觸發(fā)電子快門，采集圖像，然后由圖像處理芯片進(jìn)行編碼壓縮處理，生成圖像文件，根據(jù)用戶所選擇的模式存儲入相應(yīng)的存儲器中。
如圖4所示，本發(fā)明的存儲模塊的核心技術(shù)是嵌入式系統(tǒng)中USB主設(shè)備的實(shí)現(xiàn)，目前提供USB主控芯片的廠商有很多，如Cypress、Philips等，也有相應(yīng)的功能模塊，如Broadmaking的BM5100。在雙口RAM中設(shè)置讀寫標(biāo)志位，由USB主控芯片對該標(biāo)志位進(jìn)行掃描，需要對USB移動外設(shè)進(jìn)行讀寫操作時，成像模塊的微控制器對標(biāo)志位進(jìn)行設(shè)置。當(dāng)進(jìn)行寫操作時，微控制器將文件數(shù)據(jù)寫入雙口RAM中，并將讀寫標(biāo)志位置為寫狀態(tài)，然后由USB主控芯片將雙口RAM中的數(shù)據(jù)寫入移動外設(shè)中；當(dāng)進(jìn)行讀操作時，由USB主控芯片將數(shù)據(jù)從移動外設(shè)讀出并寫入雙口RAM中，然后向微控制器發(fā)出中斷，通知微控制器讀出數(shù)據(jù)。
如圖5所示，為本發(fā)明的硬件核心部分接口示意圖。其中YUV為CMOS輸出給圖像處理器的視頻信號，CMOS的內(nèi)部寄存器通過I2C總線由單片機(jī)設(shè)置。另外CMOS還為圖像處理器提供像素時鐘PCLK、水平同步HS和垂直同步VS信號。信號觸發(fā)電路發(fā)出數(shù)據(jù)采集信號給單片機(jī)，使CMOS成像單元完成一幀圖像的獲取。圖像處理器與微控制器通過地址/數(shù)據(jù)(DATA/ADD)總線連接，并通過片選(CS)、中斷(INT)和讀/寫(RD/WR)等信號控制。微控制器與存儲模塊的連接如前所述，同樣是通過地址/數(shù)據(jù)總線連接，考慮到地址/數(shù)據(jù)總線的資源所限，本發(fā)明使用邏輯門電路擴(kuò)充芯片的總線資源，并將圖像處理器和存儲模塊隔離，分別控制。
如圖6所示，為本發(fā)明圖像獲取與存儲程序流程圖。單片機(jī)在完成初始化工作后，進(jìn)入數(shù)據(jù)采集狀態(tài)檢測的循環(huán)中，若接收到開始數(shù)據(jù)采集的指令，則觸發(fā)電子快門，開始采集圖像，并將圖像傳送入圖像處理器件進(jìn)行壓縮處理，然后創(chuàng)建圖像文件，根據(jù)用戶所設(shè)置的存儲模式將所采集的圖像存入相應(yīng)的存儲器中，最后檢測系統(tǒng)是否被設(shè)置為掛起狀態(tài)(減小功耗)，如處于掛起狀態(tài)，等待系統(tǒng)重新激活，否則重新進(jìn)入數(shù)據(jù)采集指令接受檢測的狀態(tài)。
如圖7所示，為本發(fā)明信息處理模塊的工作流程圖。成像模塊所采集的數(shù)據(jù)由地面控制站接收后，由信息處理模塊進(jìn)行處理，具體為，本模塊為運(yùn)行在PC機(jī)或服務(wù)器端的軟件系統(tǒng)，獲取的圖像首先經(jīng)過亮度調(diào)整，避免各幀圖像間的亮度差異過大，再進(jìn)行鏡頭畸變的校正。經(jīng)過校正的圖像經(jīng)過電子穩(wěn)像算法處理后，得到穩(wěn)定連續(xù)的圖像，作為圖像拼接的數(shù)據(jù)輸入。首先設(shè)定基準(zhǔn)圖像，調(diào)整匹配配準(zhǔn)點(diǎn)的位置，然后進(jìn)行圖像的自動拼接，對拼接效果進(jìn)行目測評估，如果效果理想，則輸出完整的全景圖像，否則重新選擇基準(zhǔn)圖像與基準(zhǔn)點(diǎn)，再次進(jìn)行拼接。在自動拼接的過程中，如發(fā)現(xiàn)存在偽匹配點(diǎn)，則人工修正匹配點(diǎn)，進(jìn)行手工拼接，最后輸出全景圖像。
權(quán)利要求
1.一種無人機(jī)遙感平臺中的CMOS成像與信息處理系統(tǒng)，包括CMOS成像模塊、數(shù)據(jù)存儲模塊與圖像信息處理模塊，CMOS成像模塊獲取圖像數(shù)據(jù)并對其處理，然后將該處理后的圖像數(shù)據(jù)存儲于數(shù)據(jù)存儲模塊并輸入至圖像信息處理模塊進(jìn)行校正，其特征在于，所述CMOS成像模塊包括CMOS圖像傳感器、微控制器、圖像處理專用芯片、存儲器和邏輯門電路，其中，微控制器用于CMOS圖像傳感器與圖像處理專用芯片的初始化、狀態(tài)設(shè)定，并負(fù)責(zé)快門檢測、電源控制和數(shù)據(jù)傳輸控制；CMOS圖像傳感器用于自動曝光、自動增益的部分信號處理，并將獲取圖像傳輸至圖像處理專用芯片；圖像處理專用芯片獲取CMOS圖像傳感器所傳送的圖像信號后將數(shù)據(jù)壓縮，暫存于存儲器。
2.如權(quán)利要求1所述的無人機(jī)遙感平臺中的CMOS成像與信息處理系統(tǒng)，其特征在于，所述存儲模塊由USB HOST芯片與雙口RAM組成，通過一個IDE插座與成像模塊連接，其外在表現(xiàn)為一個雙口RAM；并由成像模塊的微控制器通過地址總線訪問，可將所生成的圖像文件通過其USB接口傳送入USB移動外設(shè)中存儲。
3.如權(quán)利要求1所述的無人機(jī)遙感平臺中的CMOS成像與信息處理系統(tǒng)，其特征在于，所述對圖像數(shù)據(jù)校正即信息處理模塊采用電子穩(wěn)像技術(shù)，并結(jié)合遙感數(shù)字圖像處理技術(shù)和信息融合技術(shù)，對獲取的圖像信息和其它空間傳感器獲取的非圖像信息進(jìn)行空間信息融合和處理。
4.如權(quán)利要求1至3中任一權(quán)利要求所述的無人機(jī)遙感平臺中的CMOS成像與信息處理系統(tǒng)，其特征在于，所述存儲器為移動硬盤或U盤。
5.如權(quán)利要求1至3中任一權(quán)利要求所述的無人機(jī)遙感平臺中的CMOS成像與信息處理系統(tǒng)，其特征在于，所述存儲器還可以是閃存卡。
全文摘要
本發(fā)明公開了一種無人機(jī)遙感平臺中的CMOS成像與信息處理系統(tǒng)，包括CMOS成像模塊、數(shù)據(jù)存儲模塊與圖像信息處理模塊，CMOS成像模塊獲取圖像數(shù)據(jù)并對其處理，將該處理后的圖像數(shù)據(jù)存儲于數(shù)據(jù)存儲模塊并輸入至圖像信息處理模塊進(jìn)行校正，CMOS成像模塊包括CMOS圖像傳感器、微控制器、圖像處理專用芯片、存儲器和邏輯門電路，微控制器用于CMOS圖像傳感器與圖像處理專用芯片的初始化、狀態(tài)設(shè)定，并負(fù)責(zé)快門檢測、電源控制和數(shù)據(jù)傳輸控制；CMOS圖像傳感器用于自動曝光、自動增益的部分信號處理，并將獲取圖像傳輸至圖像處理專用芯片；圖像處理專用芯片獲取CMOS圖像傳感器所傳送的圖像信號后將數(shù)據(jù)壓縮，暫存于存儲器。
文檔編號H01L27/146GK1780359SQ200410009819
公開日2006年5月31日 申請日期2004年11月18日 優(yōu)先權(quán)日2004年11月18日
發(fā)明者晏磊, 趙紅穎, 呂書強(qiáng), 王順義, 張罡 申請人:北京大學(xué)