本發(fā)明涉及智能眼鏡技術(shù)領(lǐng)域，尤其涉及一種基于視頻透視的智能眼鏡系統(tǒng)及其透視方法。

背景技術(shù)：

增強(qiáng)現(xiàn)實(shí)(augmentedreality,簡稱ar)是一種實(shí)時(shí)攝影機(jī)影像的位置及角度并加上相應(yīng)圖像的技術(shù)，基于ar技術(shù)的智能眼鏡通過在近眼屏幕上把數(shù)字內(nèi)容疊加在現(xiàn)實(shí)世界并進(jìn)行互動(dòng)。ar智能眼鏡不僅展現(xiàn)了真實(shí)世界的信息，而且將虛擬的信息同時(shí)顯示出來，兩種信息相互補(bǔ)充、疊加。ar技術(shù)不僅在與虛擬現(xiàn)實(shí)(virtualreality,簡稱vr)技術(shù)相類似的應(yīng)用領(lǐng)域具有廣泛的應(yīng)用，諸如飛行器的研制與開發(fā)、數(shù)據(jù)模型的可視化、虛擬訓(xùn)練、娛樂與藝術(shù)等領(lǐng)域，而且由于其具有能夠?qū)φ鎸?shí)環(huán)境進(jìn)行增強(qiáng)顯示輸出的特性，在醫(yī)療研究與解剖訓(xùn)練、精密儀器制造和維修、軍用飛機(jī)導(dǎo)航、工程設(shè)計(jì)和遠(yuǎn)程機(jī)器人控制等領(lǐng)域，具有比vr技術(shù)更加明顯的優(yōu)勢。在視覺化的增強(qiáng)現(xiàn)實(shí)中，用戶利用頭盔顯示器，把真實(shí)世界與電腦圖形多重合成在一起，便可以看到真實(shí)的世界圍繞著它。隨著隨身電子產(chǎn)品運(yùn)算能力的提升，預(yù)期增強(qiáng)現(xiàn)實(shí)的用途將會(huì)越來越廣。

目前ar智能眼鏡有兩種類型：光學(xué)透視型和視頻透視型。光學(xué)透視型智能眼鏡通過分光棱鏡實(shí)現(xiàn)半透明顯示效果，使佩戴者在看到現(xiàn)實(shí)世界的同時(shí)可以同時(shí)看到數(shù)字畫面。視頻透視型眼鏡通過視頻合成技術(shù)，將相機(jī)采集到的現(xiàn)實(shí)畫面和計(jì)算機(jī)生成的數(shù)字畫面融合在一起，它能實(shí)現(xiàn)比光學(xué)透視更大的視角范圍?；谝曨l透視的智能眼鏡系統(tǒng)通過放置在眼鏡前的 雙目攝像頭捕捉現(xiàn)實(shí)畫面，眼鏡需要在高清屏幕中無延時(shí)，無畸變地實(shí)時(shí)呈現(xiàn)。在進(jìn)行虛擬畫面疊加之前，首先要保證佩戴者通過眼鏡感知到景物的位置、大小以及延時(shí)等信息與裸眼直接感知的外界景物信息基本一致?；诖?，本發(fā)明提出一種基于視頻透視的智能眼鏡系統(tǒng)，從而最大幅度地減小視頻畫面的延時(shí)，提高用戶的觀看體驗(yàn)度。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提供了一種基于視頻透視的智能眼鏡系統(tǒng)及其透視方法，旨在解決現(xiàn)有ar智能眼鏡存在的視頻畫面延時(shí)的技術(shù)問題。

為了解決以上提出的問題，本發(fā)明采用的技術(shù)方案為：一種基于視頻透視的智能眼鏡系統(tǒng)，包括智能眼鏡和數(shù)據(jù)處理裝置，所述智能眼鏡與數(shù)據(jù)處理裝置連接，所述智能眼鏡包括攝像模塊、圖像預(yù)處理模塊、圖像融合模塊和顯示模塊；所述攝像模塊用于采集視頻圖像，并將采集到的視頻圖像傳輸至圖像預(yù)處理模塊；所述圖像預(yù)處理模塊用于對(duì)視頻圖像進(jìn)行預(yù)處理后，將低清視頻圖像和高清視頻圖像分別傳輸至數(shù)據(jù)處理裝置及圖像融合模塊；所述數(shù)據(jù)處理裝置用于通過算法生成虛擬數(shù)字圖像，并將虛擬數(shù)字圖像傳輸至圖像融合模塊；所述圖像融合模塊用于將虛擬數(shù)字圖像與高清視頻圖像進(jìn)行融合后輸出至顯示模塊進(jìn)行顯示。

本發(fā)明實(shí)施例采取的技術(shù)方案還包括：還包括姿態(tài)傳感模塊，所述姿態(tài)傳感模塊設(shè)于智能眼鏡上，并與數(shù)據(jù)處理裝置連接，用于采集智能眼鏡佩戴者的姿態(tài)信息，并將姿態(tài)信息傳輸至數(shù)據(jù)處理裝置。

本發(fā)明實(shí)施例采取的技術(shù)方案還包括：還包括光學(xué)器件，所述光學(xué)器件設(shè)于顯示模塊靠近人眼的一側(cè)，用于幫助人眼對(duì)顯示模塊的顯示圖像進(jìn)行對(duì)焦。

本發(fā)明實(shí)施例采取的技術(shù)方案還包括：所述攝像模塊為雙目攝像頭，所述雙目攝像頭分別設(shè)置于智能眼鏡的左右鏡片上，所述雙目攝像頭的前 端還安裝有廣角鏡頭。

本發(fā)明實(shí)施例采取的技術(shù)方案還包括：所述圖像預(yù)處理模塊包括預(yù)處理單元、畸變矯正單元、立體校正單元、深度計(jì)算單元和圖像拼接單元；

所述預(yù)處理單元用于對(duì)攝像模塊傳輸?shù)囊曨l圖像進(jìn)行處理加工，并通過加工結(jié)果得到攝像模塊的配置參數(shù)；

所述畸變矯正單元用于通過配置參數(shù)對(duì)攝像模塊畸變進(jìn)行修復(fù)；

所述立體校正單元用于通過配置參數(shù)將雙目攝像頭的畫面拉回一個(gè)平面，并使雙目攝像頭同行對(duì)齊；

所述深度計(jì)算單元用于使用局部匹配算法計(jì)算最優(yōu)雙目匹配結(jié)果，并通過視差計(jì)算出深度視頻圖像；

所述圖像拼接單元用于將未經(jīng)縮放的高清視頻圖像進(jìn)行拼接后輸出到圖像融合模塊，并將經(jīng)過縮放的低清視頻圖像、深度視頻圖像和輔助圖像進(jìn)行拼接后輸出到數(shù)據(jù)處理裝置。

本發(fā)明實(shí)施例采取的技術(shù)方案還包括：所述數(shù)據(jù)處理裝置包括圖像拆分單元、場景分析單元、地圖構(gòu)建單元、地圖更新單元、姿態(tài)分析單元、模型渲染單元和圖像疊加單元；

所述圖像拆分單元用于將拼接好的視頻圖像進(jìn)行拆分；

所述場景分析單元用于對(duì)觀測場景進(jìn)行分析；

所述地圖構(gòu)建單元用于構(gòu)造地圖，實(shí)現(xiàn)自主定位；

所述地圖更新單元用于儲(chǔ)存位置環(huán)境的地圖信息，并在構(gòu)造的地圖上建造增量式地圖；

所述姿態(tài)分析單元用于通過視覺算法與姿態(tài)傳感模塊融合，分析佩戴者的視角姿態(tài)；

所述模型渲染單元用于通過視角姿態(tài)渲染數(shù)字模型；

所述圖像疊加單元用于將視角姿態(tài)及渲染的數(shù)字模型疊加到視頻圖像上，生成帶位姿信息的虛擬數(shù)字圖像，并將虛擬數(shù)字圖像輸出至圖像融合模塊。

本發(fā)明實(shí)施例采取的技術(shù)方案還包括：所述圖像融合模塊還包括擴(kuò)展單元、同步單元和融合單元；

所述擴(kuò)展單元用于通過差值計(jì)算將虛擬數(shù)字圖像進(jìn)行擴(kuò)展，使虛擬數(shù)字圖像與高清視頻圖像的分辨率和幀率一致；

所述同步單元用于通過高清視頻圖像的同步信號(hào)使虛擬數(shù)字圖像與高清視頻圖像的兩路視頻每幀對(duì)齊，并分析出融合時(shí)將要被虛擬數(shù)字圖像覆蓋的高清視頻圖像部分；

所述融合單元用于根據(jù)同步單元的分析結(jié)果將虛擬數(shù)字圖像疊加到高清視頻圖像的對(duì)應(yīng)幀中，使虛擬數(shù)字圖像和高清視頻圖像進(jìn)行融合，并將融合后的視頻圖像輸出至顯示模塊進(jìn)行顯示。

本發(fā)明實(shí)施例采取的另一技術(shù)方案為：一種基于視頻透視的智能眼鏡透視方法，包括以下步驟：

步驟100：通過攝像模塊采集視頻圖像，并將采集到的視頻圖像傳輸至圖像預(yù)處理模塊；

步驟200：通過圖像預(yù)處理模塊對(duì)視頻圖像進(jìn)行預(yù)處理，并將低清視頻圖像和高清視頻圖像分別傳輸至數(shù)據(jù)處理裝置及圖像融合模塊；

步驟300：數(shù)據(jù)處理裝置通過算法生成虛擬數(shù)字圖像，并將虛擬數(shù)字圖像傳輸至圖像融合模塊；

步驟400：通過圖像融合模塊將虛擬數(shù)字圖像與高清視頻圖像進(jìn)行融合 后輸出至顯示模塊進(jìn)行顯示。

本發(fā)明實(shí)施例采取的技術(shù)方案還包括：在步驟200中，所述圖像預(yù)處理模塊對(duì)視頻圖像進(jìn)行預(yù)處理的處理方式具體為：對(duì)攝像模塊傳輸?shù)囊曨l圖像進(jìn)行處理加工，并通過加工結(jié)果得到攝像模塊的配置參數(shù)；通過配置參數(shù)對(duì)攝像模塊畸變進(jìn)行修復(fù)，并將雙目攝像頭的畫面拉回一個(gè)平面，使雙目攝像頭同行對(duì)齊；使用局部匹配算法計(jì)算與最優(yōu)雙目匹配結(jié)果，通過視差計(jì)算出深度視頻圖像；將未經(jīng)縮放的高清視頻圖像進(jìn)行拼接后直接輸出到圖像融合模塊中，并將經(jīng)過縮放的低清視頻圖像、深度視頻圖像和輔助圖像進(jìn)行拼接后輸出到數(shù)據(jù)處理裝置中。

本發(fā)明實(shí)施例采取的技術(shù)方案還包括：所述步驟300還包括：通過姿態(tài)傳感模塊獲取佩戴者的姿態(tài)信息，并將姿態(tài)信息傳輸至數(shù)據(jù)處理裝置；所述數(shù)據(jù)處理裝置生成虛擬數(shù)字圖像的方式包括：將拼接好的視頻圖像進(jìn)行拆分；對(duì)觀測場景進(jìn)行分析；構(gòu)造地圖，實(shí)現(xiàn)自主定位；儲(chǔ)存位置環(huán)境的地圖信息，在既有地圖上建造增量式地圖；通過視覺算法與姿態(tài)傳感模塊融合，分析佩戴者的視角姿態(tài)；通過視角姿態(tài)渲染數(shù)字模型；將視角姿態(tài)及渲染的數(shù)字模型疊加到視頻圖像上，生成帶位姿信息的虛擬數(shù)字圖像。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果在于：本發(fā)明實(shí)施例的基于視頻透視的智能眼鏡系統(tǒng)及其透視方法通過將高清視頻圖像直接從圖像預(yù)處理模塊發(fā)送到圖像融合模塊中，并將低分辨率低幀率的低清視頻圖像輸出至數(shù)據(jù)處理裝置進(jìn)行增強(qiáng)現(xiàn)實(shí)處理，有輕微延時(shí)的虛擬數(shù)字圖像再通過圖像融合模塊融合到高清視頻圖像中，從而減少數(shù)據(jù)處理裝置增強(qiáng)現(xiàn)實(shí)算法的計(jì)算量，在最大幅度地減小視頻畫面延時(shí)的同時(shí)提高成像質(zhì)量，使視頻透視的眩暈感大大降低，提高佩戴者的舒適感。

附圖說明

圖1為本發(fā)明實(shí)施例的基于視頻透視的智能眼鏡系統(tǒng)的結(jié)構(gòu)示意圖；

圖2是本發(fā)明實(shí)施例的基于視頻透視的智能眼鏡系統(tǒng)的電路圖；

圖3是本發(fā)明實(shí)施例的圖像預(yù)處理模塊圖像處理示意圖；

圖4是本發(fā)明實(shí)施例的圖像拼接單元拼接圖像示意圖；

圖5是本發(fā)明實(shí)施例的數(shù)據(jù)處理裝置圖像處理示意圖；

圖6是本發(fā)明實(shí)施例的基于視頻透視的智能眼鏡透視方法的流程圖。

具體實(shí)施方式

為了便于理解本發(fā)明，下面將參照相關(guān)附圖對(duì)本發(fā)明進(jìn)行更全面的描述。附圖中給出了本發(fā)明的較佳實(shí)施例。但是，本發(fā)明可以以許多不同的形式來實(shí)現(xiàn)，并不限于本文所描述的實(shí)施例。相反地，提供這些實(shí)施例的目的是使對(duì)本發(fā)明的公開內(nèi)容的理解更加透徹全面。

除非另有定義，本文所使用的所有的技術(shù)和科學(xué)術(shù)語與屬于本發(fā)明的技術(shù)領(lǐng)域的技術(shù)人員通常理解的含義相同。本文中在本發(fā)明的說明書中所使用的術(shù)語只是為了描述具體的實(shí)施例的目的，不是旨在于限制本發(fā)明。

請(qǐng)參閱圖1和圖2，圖1是本發(fā)明實(shí)施例的基于視頻透視的智能眼鏡系統(tǒng)的結(jié)構(gòu)示意圖，圖2是本發(fā)明實(shí)施例的基于視頻透視的智能眼鏡系統(tǒng)的電路圖。本發(fā)明實(shí)施例的基于視頻透視的智能眼鏡系統(tǒng)包括智能眼鏡和數(shù)據(jù)處理裝置，智能眼鏡包括攝像模塊、圖像預(yù)處理模塊、姿態(tài)傳感模塊、圖像融合模塊、顯示模塊和光學(xué)組件；其中，攝像模塊與圖像預(yù)處理模塊連接，用于實(shí)時(shí)采集視頻圖像，并將采集到的視頻圖像傳輸至圖像預(yù)處理模塊；圖像預(yù)處理模塊分別與圖像融合模塊及數(shù)據(jù)處理裝置連接，用于接收攝像模塊傳輸?shù)囊曨l圖像，并通過芯片化算法對(duì)視頻圖像進(jìn)行預(yù)處理后，將ld(低清)視頻圖像和hd(高清)視頻圖像分別傳輸至數(shù)據(jù)處理裝置 及圖像融合模塊；姿態(tài)傳感模塊設(shè)于智能眼鏡上，并與數(shù)據(jù)處理裝置連接，用于采集智能眼鏡佩戴者的姿態(tài)信息，并將姿態(tài)信息傳輸至數(shù)據(jù)處理裝置；數(shù)據(jù)處理裝置與圖像融合模塊連接，用于接收?qǐng)D像預(yù)處理模塊傳輸?shù)膌d視頻圖像和姿態(tài)傳感模塊傳輸?shù)淖藨B(tài)信息，通過相關(guān)算法將數(shù)字內(nèi)容和姿態(tài)信息疊加至ld視頻圖像中，生成帶位姿信息的虛擬數(shù)字圖像，并將虛擬數(shù)字圖像傳輸至圖像融合模塊；其中，位姿信息明確了虛擬數(shù)字圖像和高清視頻圖像的坐標(biāo)關(guān)系。圖像融合模塊與顯示模塊連接，用于分別接收?qǐng)D像預(yù)處理模塊傳輸?shù)膆d視頻圖像(基本無延時(shí))以及數(shù)據(jù)處理裝置傳輸?shù)奶摂M數(shù)字圖像(有少許延時(shí))，并將虛擬數(shù)字圖像與hd視頻圖像進(jìn)行融合后輸出至顯示模塊進(jìn)行顯示；光學(xué)器件設(shè)于顯示模塊靠近人眼的一側(cè)，用于幫助人眼對(duì)顯示模塊的顯示圖像進(jìn)行對(duì)焦。

在本發(fā)明實(shí)施例中，攝像模塊為雙目攝像頭，雙目攝像頭分別設(shè)置于智能眼鏡的左右鏡片上，且雙目攝像頭之間的距離可根據(jù)佩戴者的瞳距進(jìn)行調(diào)節(jié)；雙目攝像頭的前端還安裝有廣角鏡頭(圖未示)，用于采集較大場景的外界景物；顯示模塊為智能眼鏡顯示屏，光學(xué)組件由消色差透鏡組構(gòu)成，目的是幫助人眼對(duì)近眼屏幕內(nèi)容進(jìn)行對(duì)焦，在極大提升成像質(zhì)量的同時(shí)，不需要在軟件上進(jìn)行顏色修正。

在本發(fā)明實(shí)施例中，圖像預(yù)處理模塊以fpga((field－programmablegatearray，現(xiàn)場可編程門陣列，)為主要運(yùn)算器件，通過芯片化算法處理攝像模塊采集的視頻圖像，并可通過相關(guān)算法對(duì)攝像模塊的參數(shù)進(jìn)行配置；具體請(qǐng)一并參閱圖3，是本發(fā)明實(shí)施例的圖像預(yù)處理模塊圖像處理示意圖。圖像預(yù)處理模塊還包括預(yù)處理單元、畸變矯正單元、立體校正單元、深度計(jì)算單元和圖像拼接單元,預(yù)處理單元、畸變矯正單元、立體校正單元、深 度計(jì)算單元和圖像拼接單元依次連接；

預(yù)處理單元用于對(duì)攝像模塊傳輸?shù)囊曨l圖像進(jìn)行處理加工，并通過加工結(jié)果得到攝像模塊的配置參數(shù)；所述攝像模塊的配置參數(shù)具體包括：色彩過濾排列、白平衡調(diào)節(jié)、自動(dòng)曝光、自動(dòng)對(duì)焦、高動(dòng)態(tài)范圍圖像生成和映射。

畸變矯正單元用于通過標(biāo)定得到的配置參數(shù)對(duì)攝像模塊畸變進(jìn)行消除；

立體校正單元用于通過標(biāo)定得到的配置參數(shù)將雙目攝像頭的畫面拉回一個(gè)平面，并使雙目攝像頭同行對(duì)齊；

深度計(jì)算單元用于使用局部匹配算法計(jì)算與所在行的最優(yōu)雙目匹配結(jié)果，從而通過視差計(jì)算出深度視頻圖像；深度視頻圖像也可以通過添加深度相機(jī)直接獲得，所得深度視頻圖像需通過校正使其與原始視頻圖像對(duì)齊。

圖像拼接單元用于將未經(jīng)縮放的高清視頻圖像進(jìn)行拼接后直接輸出到圖像融合模塊中，并將經(jīng)過縮放的低清視頻圖像、深度視頻圖像和其他輔助圖像進(jìn)行拼接后輸出到數(shù)據(jù)處理裝置中；其中，低清視頻圖像來自于高清視頻圖像的下采樣。具體如圖4所示，是本發(fā)明實(shí)施例的圖像拼接單元拼接圖像示意圖。

在本發(fā)明實(shí)施例中，數(shù)據(jù)處理裝置以cpu(centralprocessingunit，中央處理器)或gpu(graphicprocessingunit，圖形處理器)等作為運(yùn)算器件，通過軟件算法實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)的各類應(yīng)用。具體請(qǐng)一并參閱圖5，是本發(fā)明實(shí)施例的數(shù)據(jù)處理裝置圖像處理示意圖。數(shù)據(jù)處理裝置還包括圖像拆分單元、場景分析單元、地圖構(gòu)建單元、地圖更新單元、姿態(tài)分析單元、模型渲染單元和圖像疊加單元，圖像拆分單元、場景分析單元、地圖構(gòu)建單元、地圖更新單元、姿態(tài)分析單元、模型渲染單元和圖像疊加單元依次連 接；

圖像拆分單元用于將拼接好的視頻圖像進(jìn)行拆分；

場景分析單元用于在佩戴者移動(dòng)過程中，通過圖像識(shí)別算法或位置估計(jì)算法對(duì)觀測場景進(jìn)行分析；

地圖構(gòu)建單元用于在自身定位的基礎(chǔ)上構(gòu)造地圖，實(shí)現(xiàn)自主定位；

地圖更新單元用于儲(chǔ)存位置環(huán)境的地圖信息，并在既有地圖上建造增量式地圖；

姿態(tài)分析單元用于通過視覺算法與姿態(tài)傳感模塊融合，分析佩戴者的視角姿態(tài)；

模型渲染單元用于通過所獲視角姿態(tài)渲染相應(yīng)的數(shù)字模型；

圖像疊加單元用于將視角姿態(tài)及渲染的數(shù)字模型疊加到視頻圖像與環(huán)境相對(duì)應(yīng)的位置上，生成帶位姿信息的虛擬數(shù)字圖像，并將虛擬數(shù)字圖像輸出至圖像融合模塊。

圖像融合模塊還包括擴(kuò)展單元、同步單元和融合單元，擴(kuò)展單元、同步單元和融合單元依次連接；

擴(kuò)展單元用于通過差值計(jì)算將低分辨率低幀率的虛擬數(shù)字圖像進(jìn)行擴(kuò)展，使虛擬數(shù)字圖像與高清視頻圖像的分辨率和幀率一致；

同步單元用于通過高清視頻圖像的同步信號(hào)使虛擬數(shù)字圖像與高清視頻圖像的兩路視頻每幀對(duì)齊，并分析出融合時(shí)將要被虛擬數(shù)字圖像覆蓋的高清視頻圖像部分；

融合單元用于根據(jù)同步單元的分析結(jié)果將虛擬數(shù)字圖像疊加到高清視頻圖像的對(duì)應(yīng)幀中，使虛擬數(shù)字圖像和高清視頻圖像進(jìn)行融合，并將融合后的視頻圖像輸出至顯示模塊進(jìn)行顯示。

增強(qiáng)現(xiàn)實(shí)智能眼鏡因?yàn)橐曨l畫面延時(shí)的原因，會(huì)產(chǎn)生較強(qiáng)的眩暈感，使佩戴者感到不適。在本發(fā)明實(shí)施例中，為了保證現(xiàn)實(shí)視頻畫面的最小延時(shí)，通過將高清視頻圖像直接從圖像預(yù)處理模塊發(fā)送到圖像融合模塊中，并將低分辨率低幀率的低清視頻圖像輸出至數(shù)據(jù)處理裝置進(jìn)行增強(qiáng)現(xiàn)實(shí)處理，有輕微延時(shí)的虛擬數(shù)字圖像再通過圖像融合模塊融合到高清視頻圖像中，從而減少數(shù)據(jù)處理裝置增強(qiáng)現(xiàn)實(shí)算法的計(jì)算量。雖然因?yàn)楦咔逡曨l圖像比虛擬數(shù)字圖像的提早更新會(huì)造成疊加畫面輕微浮動(dòng)，但雙路(高清視頻圖像和虛擬數(shù)字圖像)分離的方案可以使視頻透視的眩暈感大大降低。

請(qǐng)參閱圖6，是本發(fā)明實(shí)施例的基于視頻透視的智能眼鏡透視方法的流程圖。本發(fā)明實(shí)施例的基于視頻透視的智能眼鏡透視方法包括以下步驟：

步驟100：佩戴智能眼鏡，通過智能眼鏡的攝像模塊實(shí)時(shí)采集視頻圖像，并將采集到的視頻圖像傳輸至圖像預(yù)處理模塊；

在步驟100中，攝像模塊為雙目攝像頭，雙目攝像頭分別設(shè)置于智能眼鏡的左右鏡片上，且雙目攝像頭之間的距離可根據(jù)佩戴者的瞳距進(jìn)行調(diào)節(jié)；雙目攝像頭的前端還安裝有廣角鏡頭，用于采集較大場景的外界景物。

步驟200：通過圖像預(yù)處理模塊接收攝像模塊傳輸?shù)囊曨l圖像，并通過芯片化算法對(duì)視頻圖像進(jìn)行預(yù)處理后，將ld視頻圖像和hd視頻圖像分別傳輸至數(shù)據(jù)處理裝置及圖像融合模塊；

在步驟200中，圖像預(yù)處理模塊以fpga為主要運(yùn)算器件，通過芯片化算法處理攝像模塊采集的視頻圖像，并可通過相關(guān)算法對(duì)攝像模塊的參數(shù)進(jìn)行配置。所述圖像預(yù)處理模塊對(duì)視頻圖像進(jìn)行預(yù)處理的處理方式具體為：對(duì)攝像模塊傳輸?shù)囊曨l圖像進(jìn)行處理加工，并通過加工結(jié)果得到攝像模塊的配置參數(shù)；通過標(biāo)定得到的配置參數(shù)對(duì)攝像模塊畸變進(jìn)行消除；通過標(biāo)定得到的配置參數(shù)將雙目攝像頭的畫面拉回一個(gè)平面，并使雙目攝像 頭同行對(duì)齊；使用局部匹配算法計(jì)算與所在行的最優(yōu)雙目匹配結(jié)果，從而通過視差計(jì)算出深度視頻圖像；將未經(jīng)縮放的高清視頻圖像進(jìn)行拼接后直接輸出到圖像融合模塊中，并將經(jīng)過縮放的低清視頻圖像、深度視頻圖像和其他輔助圖像進(jìn)行拼接后輸出到數(shù)據(jù)處理裝置中；其中，低清視頻圖像來自于高清視頻圖像的下采樣。所述攝像模塊的配置參數(shù)具體包括：色彩過濾排列、白平衡調(diào)節(jié)、自動(dòng)曝光、自動(dòng)對(duì)焦、高動(dòng)態(tài)范圍圖像生成和映射。

步驟300：通過數(shù)據(jù)處理裝置接收?qǐng)D像預(yù)處理模塊傳輸?shù)膌d視頻圖像，通過相關(guān)算法將數(shù)字內(nèi)容和姿態(tài)信息疊加至ld視頻圖像中，生成帶位姿信息的虛擬數(shù)字圖像，并將虛擬數(shù)字圖像傳輸至圖像融合模塊；

在步驟300中，智能眼鏡上還設(shè)有姿態(tài)傳感模塊，通過姿態(tài)傳感模塊獲取佩戴者的姿態(tài)信息，并將姿態(tài)信息傳輸至數(shù)據(jù)處理裝置。數(shù)據(jù)處理裝置以cpu或gpu等作為運(yùn)算器件，通過軟件算法實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)的各類應(yīng)用。所述數(shù)據(jù)處理裝置生成虛擬數(shù)字圖像的具體方式包括：將拼接好的視頻圖像進(jìn)行拆分；在佩戴者移動(dòng)過程中，通過圖像識(shí)別算法或位置估計(jì)算法對(duì)觀測場景進(jìn)行分析；在自身定位的基礎(chǔ)上構(gòu)造地圖，實(shí)現(xiàn)自主定位；儲(chǔ)存位置環(huán)境的地圖信息，并在既有地圖上建造增量式地圖；通過視覺算法與姿態(tài)傳感模塊融合，分析佩戴者的視角姿態(tài)；通過所獲視角姿態(tài)渲染相應(yīng)的數(shù)字模型；將視角姿態(tài)及渲染的數(shù)字模型疊加到視頻圖像與環(huán)境相對(duì)應(yīng)的位置上，生成帶位姿信息的虛擬數(shù)字圖像。

步驟400：通過圖像融合模塊分別接收?qǐng)D像預(yù)處理模塊傳輸?shù)膆d視頻圖像以及數(shù)據(jù)處理裝置傳輸?shù)奶摂M數(shù)字圖像，并將虛擬數(shù)字圖像與hd視頻圖像進(jìn)行融合后輸出至顯示模塊；

在步驟400中，圖像融合模塊將虛擬數(shù)字圖像與hd視頻圖像進(jìn)行融合的方式具體為：通過差值計(jì)算將低分辨率低幀率的虛擬數(shù)字圖像進(jìn)行擴(kuò)展，使虛擬數(shù)字圖像與高清視頻圖像的分辨率和幀率一致；通過高清視頻圖像的同步信號(hào)使虛擬數(shù)字圖像與高清視頻圖像的兩路視頻每幀對(duì)齊，并分析出融合時(shí)將要被虛擬數(shù)字圖像覆蓋的高清視頻圖像部分；根據(jù)分析結(jié)果將虛擬數(shù)字圖像疊加到高清視頻圖像的對(duì)應(yīng)幀中，使虛擬數(shù)字圖像和高清視頻圖像進(jìn)行融合。

步驟500：通過顯示模塊顯示視頻圖像，并通過光學(xué)組件對(duì)顯示圖像進(jìn)行對(duì)焦。

本發(fā)明實(shí)施例的基于視頻透視的智能眼鏡系統(tǒng)及其透視方法通過將高清視頻圖像直接從圖像預(yù)處理模塊發(fā)送到圖像融合模塊中，并將低分辨率低幀率的低清視頻圖像輸出至數(shù)據(jù)處理裝置進(jìn)行增強(qiáng)現(xiàn)實(shí)處理，有輕微延時(shí)的虛擬數(shù)字圖像再通過圖像融合模塊融合到高清視頻圖像中，從而減少數(shù)據(jù)處理裝置增強(qiáng)現(xiàn)實(shí)算法的計(jì)算量，在最大幅度地減小視頻畫面延時(shí)的同時(shí)提高成像質(zhì)量，使視頻透視的眩暈感大大降低，提高佩戴者的舒適感。

上述實(shí)施例為本發(fā)明較佳的實(shí)施方式，但本發(fā)明的實(shí)施方式并不受上述實(shí)施例的限制，其他的任何未背離本發(fā)明的精神實(shí)質(zhì)與原理下所作的改變、修飾、替代、組合、簡化，均應(yīng)為等效的置換方式，都包含在本發(fā)明的保護(hù)范圍之內(nèi)。