立體沉浸式體感智能控制器的制造方法
【技術領域】
[0001]本實用新型涉及立體成像原理，沉浸式視頻、體感控制等技術的基礎和原理領域方面的應用。
【背景技術】
[0002]隨著視覺技術和計算機科學的高速發(fā)展，具有交互性、自由化的沉浸式視頻成為未來多媒體視頻技術的重要組成部分，具有極其廣泛的應用前景。
[0003]沉浸式視頻，也叫做交互式立體視頻，是最接近于人類視覺方式的三維視覺感知技術。其基本原理是使用兩個或多個攝像機從不同角度同一時間拍攝的視頻，來產(chǎn)生一個全面的3D數(shù)字視頻，運用計算機視覺和計算機圖形學為交互式視頻和電視觀察者提供一個“虛擬攝像機”，使觀察者可以自由地選擇觀察方向和視角。
[0004]姿態(tài)傳感環(huán)節(jié)由姿態(tài)傳感器感知和獲取人體頭部的運動信息并將該信息傳輸至單片機進行處理，單片機根據(jù)不同的姿態(tài)信號發(fā)送相關指令至執(zhí)行機構，控制電子雙目做出相應的運動，實現(xiàn)具有人機交互性的體感控制。
[0005]現(xiàn)如今，雙目立體成像技術以及體感控制技術已經(jīng)成熟，而難點是怎么將兩者在結合后提出立體沉浸式體感智能控制器的新概念以及構建出沉浸式環(huán)境、獲取和控制姿態(tài)數(shù)據(jù)的系統(tǒng)。
[0006]虛擬現(xiàn)實技術現(xiàn)大都應用于游戲等娛樂領域，這種技術仍具有很大的應用前景，比如有很多具有危險性或者不適合人涉入的監(jiān)測場合，觀測者需要更直觀的觀測環(huán)境，并需要交互性的對場景進行動作；鑒于此，這種實用新型沉浸式智能控制器具有極大的運用價值。

【發(fā)明內容】

[0007]在雙目立體成像技術以及體感控制技術已經(jīng)成熟的條件下，本實用新型旨在提供一種可觀測立體影像和可交互性控制選擇觀測范圍的智能控制器系統(tǒng)。本實用新型是一種立體沉浸式體感智能控制器的系統(tǒng)，該系統(tǒng)包含:一立體顯示系統(tǒng)(示意圖參照圖1)，包括手機、陀螺儀姿態(tài)傳感器、兩個凸透鏡鏡片及頭盔框架，一圖像采集系統(tǒng)和體感控制終端(示意圖參照圖2)，體感控制終端系統(tǒng)包括硬件部分:高性能單片機、檢測芯片和舵機云臺，軟件部分:卡爾曼濾波器設計；
[0008]本實用新型提供一種將雙目立體成像技術以及體感控制技術結合并應用于實時控制和觀測的控制系統(tǒng)，觀察者可自由的選擇觀察場景的方向與視角能夠實現(xiàn)遠程沉浸式操作，可結合輪式、履帶式等移動機器人，更直觀、自由實時地觀察周圍環(huán)境，工作更加安全、可靠和高效；
[0009]立體顯示模塊由頭盔(1)、安置于頭盔前的智能手機(4)、安置于頭盔內的陀螺儀姿態(tài)傳感器(3)和兩片凸透鏡(2)組成。使用者在觀看時，左右眼透過鏡片可分別看到手機上分屏顯示的左右圖像，從而在大腦中融合處理，產(chǎn)生立體的感知效果。同時，觀察者可根據(jù)需要，轉動頭部，觀察各個角度的圖像。手機作為顯示系統(tǒng)無線接收圖像對的設備，對于使用者，是一種實用性強、可實施姓高的組合方案；
[0010]圖像采集系統(tǒng)雙目攝像頭模塊，在頭部和兩眼都處于放松狀態(tài)情況下，眼睛觀察的視線在水平視線下約25度-35度，結合人在自然觀察狀態(tài)下視線的特點，為使用者在觀察時具有最佳的舒適度，對攝像頭的俯仰角進行調試，兩攝像頭在水平面下夾角為25度，雙目攝像頭中心線夾角可調節(jié)，調節(jié)范圍為I度-3度；圖像采集系統(tǒng)雙目攝像頭模塊的合理構建，使立體顯示模塊能接收到圖片對，營造出合適的立體沉浸式環(huán)境；
[0011]體感控制終端模塊，通過顯示頭盔采集人體姿態(tài)角度參數(shù)發(fā)送給體感控制終端系統(tǒng)，通過單片機對數(shù)據(jù)的處理，使舵機帶動云臺和雙目攝像頭轉動，從而拍攝出具有視差的圖像對，圖像對數(shù)據(jù)通過無線技術發(fā)送給移動手機，在移動手機上分屏顯示，通過顯示頭盔，產(chǎn)生立體效果的圖像；單片機算法并不是直接通過加速度計和陀螺儀解算得到的角度進行融合，而是利用卡爾曼濾波原理，先用通過加速度計得到的角度和上一次融合后的角度對陀螺儀的角速度進行了修改后再積分，有效地抑制了加速度計和陀螺儀的偏差；將水平角度數(shù)據(jù)-90度至90度等分為19部分，將俯仰角度-90度至90度分為大致的4部分；并根據(jù)PWM高電平脈沖持續(xù)時間與舵機角度的關系，計算出相應的值，單片機發(fā)出的信號經(jīng)過PffM脈寬調制，產(chǎn)生占空比不同的脈沖信號，該脈沖信號傳遞給舵機，控制電機作相應的轉動及俯仰，使其上的電子雙目采集視頻信息體感控制表現(xiàn)在人體頭部轉過一定角度，控制電子雙目的舵機也轉過相應的角度；
[0012]本實用新型主要有益效果體現(xiàn)在:可根據(jù)人的需求，自由轉動觀看所需角度的場景，且使用者觀察到的信息不再平面，而是具有深度、距離等空間信息的三維圖像，在監(jiān)測機器人的操控中，使用者可更加自由、直觀的了解監(jiān)測環(huán)境，達到很人性化的交互性使用體驗，為未來人工智能和機器人控制提供了便捷的監(jiān)測方式。
【附圖說明】
[0013]圖1為立體顯示頭盔及立體顯示部分頭盔、移動手機、陀螺儀姿態(tài)傳感器的組合示意圖；
[0014]圖2為圖像采集系統(tǒng)中舵機、云臺、單片機及雙目攝像頭組合示意圖；
[0015]圖3為本實用新型工作系統(tǒng)的示意圖；
[0016]圖4為本實用新型系統(tǒng)工作流程示意圖。
【具體實施方式】
[0017]請參照圖3和圖4，圖3為本實用新型整個系統(tǒng)組件的示意圖，圖4為工作流程圖。一種基于虛擬現(xiàn)實技術和體感控制技術的具有實時控制的立體視覺系統(tǒng)；
[0018]按照圖3進行安裝，將圖像采集系統(tǒng)安裝在載體監(jiān)測機器人(根據(jù)監(jiān)測環(huán)境而定，為本系統(tǒng)的一個配合載體)上，將手機(4)安裝在顯示頭盔I上；
[0019]攝像頭(7)將安裝在云臺(6)上，使用舵機(8)轉動實現(xiàn)攝像頭(7)和云臺(6)水平轉動的基本功能，舵機在微機電系統(tǒng)中作為基本的輸出執(zhí)行機構，舵機的控制和輸出與單片機系統(tǒng)(5)接口。使用過程中，頭盔里的陀螺儀姿態(tài)傳感器(3)采集人體頭部的轉動姿態(tài)數(shù)據(jù)，并發(fā)送到體感控制終端系統(tǒng)，系統(tǒng)中單片機對轉動姿態(tài)數(shù)據(jù)進行處理并發(fā)送相對應的脈沖信號給舵機(8)，舵機轉過相應角度，以實現(xiàn)對攝像頭拍攝范圍和角度的調整。舵機云臺將固定于載體機器人上，舵機云臺完成對電子雙目的水平轉向的控制，方便靈活，與陀螺儀姿態(tài)傳感器相連接，即可通過姿態(tài)和角度信息對電子雙目進行體感控制。
[0020]兩個攝像頭拍攝的圖像數(shù)據(jù)傳送到手機(4)上，手機(4)上分屏顯示兩張具有一定視差的圖像對，使用者在通過立體顯示頭盔觀察時，左眼只看到左邊的圖像，右眼只看到右邊的圖像，根據(jù)雙目立體視覺原理，兩只眼睛看到的圖像在大腦中進行融合，產(chǎn)生立體影像的沉浸式效果。
【主權項】
1.一種立體沉浸式體感智能控制器，其特征在于，該控制器包括立體顯示模塊和圖像采集模塊，以及體感控制終端三部分；所述立體顯示模塊由普通智能手機、兩個凸透鏡鏡片及頭盔支架組成；所述凸透鏡和智能手機依此安裝在頭盔支架中。2.根據(jù)權利要求1所述的立體沉浸式體感智能控制器，其特征是它的圖像采集模塊由一個兩自由度的云臺和安裝在云臺上的兩個成特定角度的攝像頭組成，兩攝像頭中心線夾角度為1-3度。3.根據(jù)權利要求1所述的立體沉浸式體感智能控制器，其特征是它的體感控制終端由陀螺儀姿態(tài)傳感器、單片機和舵機組成；單片機接收陀螺儀傳感器的原始數(shù)據(jù)，進行數(shù)據(jù)分析和處理，根據(jù)不同的角度，發(fā)出相應的控制命令，對被控對象實現(xiàn)實時控制。
【專利摘要】本實用新型公開了一種立體沉浸式體感智能控制器，該系統(tǒng)包含：立體顯示模塊和圖像采集模塊，以及體感控制終端三部分組成，立體顯示模塊包括手機、陀螺儀姿態(tài)傳感器、兩個凸透鏡鏡片及頭盔框架；體感控制終端系統(tǒng)包括陀螺儀姿態(tài)傳感器、單片機和舵機組成；圖像采集模塊由雙目攝像頭構成。本實用新型，提出了一種新穎的構建立體沉浸式智能體感控制器方法，利用兩個相互之間呈一定角度的攝像頭同時拍攝的視頻來產(chǎn)生3D圖像，并通過虛擬現(xiàn)實技術的顯示設備來構建立體沉浸式環(huán)境；利用陀螺儀姿態(tài)傳感設備、單片機和舵機組成的體感控制系統(tǒng)，實現(xiàn)對攝像頭的沉浸式體感控制。本實用新型結構簡單、成本低，在很大程度上可提高虛擬現(xiàn)實技術的普及。
【IPC分類】H04N13/04
【公開號】CN204741528
【申請?zhí)枴緾N201520243056
【發(fā)明人】高聞燦, 郭梅影, 張吉, 張朝利, 徐鳳煜
【申請人】四川大學
【公開日】2015年11月4日
【申請日】2015年4月22日