雙目ar頭戴顯示設(shè)備及其信息顯示方法
【專利摘要】本發(fā)明公開了一種雙目AR頭戴顯示設(shè)備及其信息顯示方法，通過(guò)液體透鏡變焦來(lái)實(shí)現(xiàn)投影距離的調(diào)節(jié)，通過(guò)計(jì)算圖像顯示源上的有效顯示信息相對(duì)偏移量，實(shí)現(xiàn)投影角度的調(diào)節(jié)，最終實(shí)現(xiàn)將虛擬信息精確疊加到目標(biāo)物空間位置上，使虛擬信息與環(huán)境高度融合，實(shí)現(xiàn)真正意義上的增強(qiáng)虛擬現(xiàn)實(shí)。本發(fā)明方案簡(jiǎn)單，在頭戴顯示設(shè)備內(nèi)預(yù)置離映射關(guān)系η的前提下，只需要獲取目標(biāo)物相對(duì)使用者的空間位置數(shù)據(jù)即可，而該空間位置數(shù)據(jù)測(cè)量方式多樣，可通過(guò)雙目測(cè)距，景深攝像頭等實(shí)現(xiàn)，硬件技術(shù)成熟，可靠性高且成本低。
【專利說(shuō)明】
雙目AR頭戴顯示設(shè)備及其信息顯示方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及頭戴顯示技術(shù)領(lǐng)域，尤其設(shè)及一種雙目AR頭戴顯示設(shè)備及雙目AR頭 戴顯示設(shè)備的信息顯示方法。
【背景技術(shù)】
[0002] 隨著穿戴設(shè)備的興起，各種頭戴顯示設(shè)備成為各大巨頭公司的研發(fā)熱點(diǎn)，逐漸進(jìn) 入人們的視野。頭戴顯示設(shè)備是增強(qiáng)現(xiàn)實(shí)技術(shù)（Augmented Reality Technique,簡(jiǎn)稱AR) 的最佳運(yùn)用環(huán)境，其能將虛擬信息通過(guò)頭戴設(shè)備窗口呈現(xiàn)在真實(shí)環(huán)境中，但是目前多數(shù)現(xiàn) 有AR頭戴顯示設(shè)備，其AR信息疊加僅考慮與目標(biāo)位置Χ、Υ軸坐標(biāo)的相關(guān)性，而未計(jì)算目標(biāo) 的深度信息，使得虛擬信息漂浮在人眼前方，與環(huán)境融合度不高，用戶體驗(yàn)度欠佳。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明的目的是提供一種雙目AR頭戴顯示設(shè)備及雙目AR頭戴顯示設(shè)備的信息顯 示方法，可自動(dòng)調(diào)節(jié)虛擬信息景深，使虛擬信息與環(huán)境完全融合。
[0004] 為了實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明提供了一種雙目AR頭戴顯示設(shè)備，包括光學(xué)模 塊、圖像顯示源、目標(biāo)空間位置采集模塊和數(shù)據(jù)處理模塊，數(shù)據(jù)處理模塊內(nèi)存儲(chǔ)有映射關(guān)系 η,映射關(guān)系η為投影虛像空間位置與光學(xué)模塊焦距、圖像顯示源上有效信息相對(duì)偏移量 之間的映射關(guān)系，其中： 陽(yáng)〇化]所述光學(xué)模塊包括左右兩組光學(xué)透鏡組，每組光學(xué)透鏡組包括至少一個(gè)液體透 鏡，用戶透過(guò)光學(xué)模塊可同時(shí)看見外界環(huán)境和圖像顯示屏上顯示的虛擬信息；
[0006] 所述目標(biāo)空間位置采集模塊，用于獲得人眼前方目標(biāo)物相對(duì)使用者的空間位置數(shù) 據(jù)，并將此數(shù)據(jù)傳送至數(shù)據(jù)處理模塊，空間位置數(shù)據(jù)包括目標(biāo)距使用者的距離和目標(biāo)相對(duì) 使用者的空間方位角度；
[0007] 所述數(shù)據(jù)處理模塊將接收到的目標(biāo)物空間位置數(shù)據(jù)作為投影虛像空間位置，代入 映射關(guān)系η中，計(jì)算出光學(xué)模塊待調(diào)焦距和圖像顯示源上有效信息相對(duì)偏移量；
[0008] 數(shù)據(jù)處理模塊控制液體透鏡的調(diào)節(jié)機(jī)構(gòu)，使其向液體透鏡加電壓或加機(jī)械力改變 液體形狀，使光學(xué)模塊焦距調(diào)整至待調(diào)焦距；
[0009] 數(shù)據(jù)處理模塊控制圖像顯示源，根據(jù)計(jì)算出的有效信息相對(duì)偏移量，將需顯示的 虛擬信息的信息源圖像，分別左右顯示在圖像顯示源上。
[0010] 優(yōu)選的，所述映射關(guān)系η為：
[0011]
陽(yáng)〇1引其中，為光學(xué)模塊焦距，SAPXk，S A化為圖像顯示源上有效顯示信息的相對(duì)偏 移量，EA' i,k為當(dāng)圖像顯示源上的有效顯示信息相對(duì)偏移S Δ PX k，S Δ PYk時(shí)的投影虛擬的空 間位置。
[001引優(yōu)選的，所述目標(biāo)空間位置采集模塊為視線追蹤系統(tǒng)、雙目測(cè)距系統(tǒng)、或景深攝像 頭中的一種或多種。
[0014] 優(yōu)選的，所述圖像顯示源為兩塊微型顯示屏；或所述圖像顯示源為一塊整屏分屏 顯示。
[0015] 相應(yīng)的，本發(fā)明還提供一種雙目AR頭戴顯示設(shè)備的信息顯示方法，所述頭戴顯示 設(shè)備的光學(xué)模塊包括左右兩組光學(xué)透鏡組，每組光學(xué)透鏡組包括至少一個(gè)液體透鏡；所述 頭戴顯示設(shè)備內(nèi)預(yù)置有映射關(guān)系η,映射關(guān)系η為投影虛像空間位置與光學(xué)模塊焦距、圖 像顯示源上有效信息相對(duì)偏移量之間的映射關(guān)系，所述信息顯示方法包括：
[0016] 在使用者通過(guò)頭戴顯示設(shè)備光學(xué)模塊看外界環(huán)境時(shí)，頭戴顯示設(shè)備獲取人眼前方 目標(biāo)物相對(duì)使用者的空間位置數(shù)據(jù)，所述空間位置數(shù)據(jù)包括目標(biāo)距使用者的距離和目標(biāo)相 對(duì)使用者的空間方位角度；
[0017] 將目標(biāo)物空間位置數(shù)據(jù)作為投影虛像空間位置，代入映射關(guān)系η中，計(jì)算出光學(xué) 模塊待調(diào)焦距和圖像顯示源上有效信息相對(duì)偏移量；
[0018] 向液體透鏡加電壓或加機(jī)械力改變液體形狀，使光學(xué)模塊焦距調(diào)整至待調(diào)焦距；
[0019] 根據(jù)計(jì)算出的有效信息相對(duì)偏移量，將需顯示的虛擬信息的信息源圖像，分別左 右顯示在圖像顯示源上。
[0020] 優(yōu)選的，頭戴顯示設(shè)備通過(guò)視線追蹤系統(tǒng)、雙目測(cè)距系統(tǒng)、或景深攝像頭中的一種 獲取人眼前方目標(biāo)物相對(duì)使用者的空間位置數(shù)據(jù)。
[0021] 優(yōu)選的，所述映射關(guān)系η為：
[0022]
陽(yáng)〇2引其中，為光學(xué)模塊焦距，SAPXk，S A化為圖像顯示源上有效顯示信息的相對(duì)偏 移量，EA' i,k為當(dāng)圖像顯示源上的有效顯示信息相對(duì)偏移S Δ PX k，S Δ PYk時(shí)的投影虛擬的空 間位置。
[0024] 本發(fā)明通過(guò)液體透鏡變焦來(lái)實(shí)現(xiàn)投影距離的調(diào)節(jié)，通過(guò)計(jì)算圖像顯示源上的有效 顯示信息相對(duì)偏移量，實(shí)現(xiàn)投影角度的調(diào)節(jié)，最終實(shí)現(xiàn)將虛擬信息精確疊加到目標(biāo)物空間 位置上，使虛擬信息與環(huán)境高度融合，實(shí)現(xiàn)真正意義上的增強(qiáng)虛擬現(xiàn)實(shí)。本發(fā)明方案簡(jiǎn)單， 在頭戴顯示設(shè)備內(nèi)預(yù)置離映射關(guān)系η的前提下，只需要獲取目標(biāo)物相對(duì)使用者的空間位 置數(shù)據(jù)即可，而該空間位置數(shù)據(jù)測(cè)量方式多樣，可通過(guò)雙目測(cè)距，景深攝像頭等實(shí)現(xiàn)，硬件 技術(shù)成熟，可靠性高且成本低。
【附圖說(shuō)明】
[0025] 為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn) 有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本 發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可 W根據(jù)運(yùn)些附圖獲得其他的附圖：
[0026] 圖1為人眼空間視線路徑示意圖；
[0027] 圖2為本發(fā)明實(shí)施例雙目AR頭戴顯示設(shè)備的信息顯示方法流程示意圖；
[0028] 圖3為圖像顯示源上左右兩組有效顯示信息的中屯、OR、化W固定間距P從（OL OR)位置偏移至（0L2, 0R2)位置示意圖；
[0029] 圖4為左右有效顯示信息的中屯、OR、化分別偏移至0R2、0R2,偏移前后虛像位置 示意圖；
[0030] 圖5為本發(fā)明實(shí)施例中，左右兩部分圖像源的等效對(duì)稱軸0S與兩組光學(xué)系統(tǒng)的等 效對(duì)稱軸0A示意圖；
[0031] 圖6為標(biāo)定距離映射關(guān)系η時(shí)的測(cè)試圖示意。
【具體實(shí)施方式】
[0032] 下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完 整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于 本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他 實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0033] 本發(fā)明的發(fā)明人發(fā)現(xiàn)：當(dāng)人眼（0L OR)注視不同空間區(qū)域的目標(biāo)物時(shí)，左右眼（0L OR)的視線矢量是不一樣的，圖1中A/B/C/D分別代表空間中不同方位的目標(biāo)物，當(dāng)我們觀 察（注視）其中某一個(gè)目標(biāo)物，如注視目標(biāo)物A，左右眼的視線方向分別為0LA/0RA代表的 空間矢量；注視目標(biāo)物B，左右眼的視線方向分別為0LB/0RB代表的空間矢量。知道了注視 某一目標(biāo)物（如A)時(shí)左右眼的視線空間向量，可計(jì)算出目標(biāo)物A距離人眼的距離。
[0034] 設(shè)定：注視某一目標(biāo)物（如A)時(shí)人眼的左右視線矢量在使用者坐標(biāo)系內(nèi)左 矢量L表示為（Xx, Ly, Lz, L α , L β，L 丫），其中（Xx, Ly, Lz)為左矢量上的一點(diǎn)坐標(biāo)， 化α，Li3，L 丫）為左矢量的方向角；同理右矢量R可表示為胞，Ry，化，Ra，R0，R丫）；
[0035] 根據(jù)空間解析學(xué)方法，可求解得到注視點(diǎn)（目標(biāo)A)距使用者的垂直距離dis :
[0036]
(公式1. 1)
[0037] 參見圖2,為本發(fā)明實(shí)施例雙目AR頭戴顯示設(shè)備的信息顯示方法流程示意圖，所 述頭戴顯示設(shè)備的光學(xué)模塊包括左右兩組光學(xué)透鏡組，每組光學(xué)透鏡組包括至少一個(gè)液體 透鏡；所述頭戴顯示設(shè)備內(nèi)預(yù)置有映射關(guān)系η :
[0038]
[0039] 其中，為光學(xué)模塊焦距，SAPXk，S A化為圖像顯示源上有效顯示信息的相對(duì)偏 移量，EA' i,k為當(dāng)圖像顯示源上的有效顯示信息相對(duì)偏移S Δ PX k，S Δ PYk時(shí)的投影虛擬的空 間位置。
[0040] 所述信息顯示方法包括如下步驟：
[0041] S101 :獲取人眼前方目標(biāo)物相對(duì)使用者的空間位置數(shù)據(jù)，在使用者通過(guò)頭戴顯示 設(shè)備光學(xué)模塊看外界環(huán)境時(shí)，頭戴顯示設(shè)備通過(guò)視線追蹤系統(tǒng)、雙目測(cè)距系統(tǒng)、或景深攝像 頭中的一種獲取人眼前方目標(biāo)物相對(duì)使用者的空間位置數(shù)據(jù)，所述空間位置數(shù)據(jù)包括目標(biāo) 距使用者的距離和目標(biāo)相對(duì)使用者的空間方位角度；
[0042] S102:將目標(biāo)物空間位置數(shù)據(jù)作為投影虛像空間位置，代入映射關(guān)系η中，計(jì)算 出光學(xué)模塊待調(diào)焦距和圖像顯示源上有效信息相對(duì)偏移量；
[0043] S103 :向液體透鏡加電壓或加機(jī)械力改變液體形狀，使光學(xué)模塊焦距調(diào)整至待調(diào) 焦距；當(dāng)光學(xué)透鏡組的焦距f改變時(shí)，使用者觀察到的圖像顯示源有效顯示信息A經(jīng)光學(xué)透 鏡組投影的虛像A'距使用者的距離dist也隨之改變，f與dist之間存在一組映射關(guān)系：
[0044]
W45] S104:根據(jù)計(jì)算出的有效信息相對(duì)偏移量，將需顯示的虛擬信息的信息源圖像，分 別左右顯示在圖像顯示源上。
[0046] 當(dāng)左右兩組有效顯不f目息的中屯、OR、化在圖像顯不源（如液晶顯不屏）上的整 體偏移且保持OR、化的等效間距P不變的情況下，如圖3所示；有效顯示信息AR、AL經(jīng)光 學(xué)透鏡組投影的虛擬信息A'將會(huì)相對(duì)偏移，如圖4所示，左右有效顯示信息的中屯、OR、0L 分別偏移至0R2、0R2,偏移后的信息經(jīng)光學(xué)透鏡組投影后的虛像A2'距離使用者的垂直距 離不變L2 = L但投影虛像A2'在投影虛面內(nèi)上下左右方位有一定的偏移；設(shè)定顯示信息 所在的空間坐標(biāo)系為（0S，XS，YS，ZS)，顯示信息AR、AL的中屯、坐標(biāo)分別是（ARXS，ARY巧， (ALXS，ALY巧，偏移后的中屯、坐標(biāo)分別是（AR2XS，AR2YS)，（AL2XS，AL2Y巧偏移量分別是為
偏移過(guò)程中始終保持左右有效顯示 信息中屯、等效間距P不變，故有，APRXS= APLXS，APRYS= APLYS，記在圖像源載體空 間坐標(biāo)系內(nèi)，有效顯示信息等效間距P的偏移為（A PXS，ΔΡΥ巧；使用者所在的空間坐標(biāo)系 為（0E，XE，YE，Z巧，投影虛像A'的中屯、坐標(biāo)為（A' XE，A' YE，)，投影虛像A2'的中屯、坐標(biāo) 為（A2' XE，A2' YE，L丄），偏移量
[0047] 本發(fā)明實(shí)施例還提供一種雙目AR頭戴顯示設(shè)備，包括光學(xué)模塊、圖像顯示源、目 標(biāo)空間位置采集模塊和數(shù)據(jù)處理模塊，數(shù)據(jù)處理模塊內(nèi)存儲(chǔ)有映射關(guān)系η,映射關(guān)系η為 投影虛像空間位置與光學(xué)模塊焦距、圖像顯示源上有效信息相對(duì)偏移量之間的映射關(guān)系， 可用如下公式表示：
[0048]
[0049] 其中，為光學(xué)模塊焦距，為圖像顯示源上有效顯示信息的相對(duì)偏移量，為當(dāng)圖像 顯示源上的有效顯示信息相對(duì)偏移時(shí)的投影虛擬的空間位置。
[0050] 所述光學(xué)模塊包括左右兩組光學(xué)透鏡組，每組光學(xué)透鏡組包括至少一個(gè)液體透 鏡，用戶透過(guò)光學(xué)模塊可同時(shí)看見外界環(huán)境和圖像顯示屏上顯示的虛擬信息；
[0051] 所述目標(biāo)空間位置采集模塊，用于獲得人眼前方目標(biāo)物相對(duì)使用者的空間位置數(shù) 據(jù)，并將此數(shù)據(jù)傳送至數(shù)據(jù)處理模塊，空間位置數(shù)據(jù)包括目標(biāo)距使用者的距離和目標(biāo)相對(duì) 使用者的空間方位角度；所述目標(biāo)空間位置采集模塊為視線追蹤系統(tǒng)、雙目測(cè)距系統(tǒng)、或景 深攝像頭中的一種或多種；
[0052] 所述數(shù)據(jù)處理模塊將接收到的目標(biāo)物空間位置數(shù)據(jù)作為投影虛像空間位置，代入 映射關(guān)系η中，計(jì)算出光學(xué)模塊待調(diào)焦距和圖像顯示源上有效信息相對(duì)偏移量；
[0053] 數(shù)據(jù)處理模塊控制液體透鏡的調(diào)節(jié)機(jī)構(gòu)，使其向液體透鏡加電壓或加機(jī)械力改變 液體形狀，使光學(xué)模塊焦距調(diào)整至待調(diào)焦距；
[0054] 數(shù)據(jù)處理模塊控制圖像顯示源，根據(jù)計(jì)算出的有效信息相對(duì)偏移量，將需顯示的 虛擬信息的信息源圖像，分別左右顯示在圖像顯示源上。 陽(yáng)化5] 本發(fā)明實(shí)施例中，圖像顯示源上有效信息相對(duì)偏移量指：圖像顯示源上有效信息 中屯、點(diǎn)相對(duì)左右圖像顯示源中屯、點(diǎn)的偏移量。
[0056] 本發(fā)明實(shí)施例中，所述圖像顯示源可W是兩塊微型顯示屏，也可W是一塊整屏分 左右兩屏顯示。
[0057] 頭戴顯示設(shè)備內(nèi)預(yù)置的映射關(guān)系η可通過(guò)離線標(biāo)定測(cè)試得到，一般由廠家測(cè)試 后，在出廠前存儲(chǔ)于頭戴顯示設(shè)備內(nèi)，視線映射關(guān)系η與頭戴顯示設(shè)備的結(jié)構(gòu)相關(guān)，結(jié)構(gòu) 固定后，視線映射關(guān)系η差不多也就固定了，但是對(duì)于不同使用者、佩戴誤差需要一定的 修正系數(shù)進(jìn)行修正。為了更充分公開本發(fā)明方案，下面舉例說(shuō)明映射關(guān)系η的一種標(biāo)定方 法，即多個(gè)測(cè)試者測(cè)試多組數(shù)據(jù)，將測(cè)試數(shù)據(jù)進(jìn)行擬合得到映射關(guān)系η。本處僅為舉例，不 限定標(biāo)定方法僅為運(yùn)一種。
[0058] 雙目頭戴顯示設(shè)備左右兩部分圖像源的等效對(duì)稱軸0S與兩組光學(xué)系統(tǒng)的等效對(duì) 稱軸0Α -致，參見圖5,圖5中0L、OR分別為左右眼，D為瞳距，do為兩組光學(xué)系統(tǒng)主光軸 距離。
[0059] 映射關(guān)系η獲得過(guò)程：
[0060] 第一步：測(cè)試者佩戴上此頭戴顯示設(shè)備初始，頭戴顯示設(shè)備光學(xué)透鏡組的焦距為 fl，圖像顯示源左右圖像顯示左右十字叉圖化1，L2)，參見圖6,測(cè)試者通過(guò)頭戴顯示設(shè)備 窗口注視投影在人眼前方重疊一起的虛擬十字叉圖，此時(shí)視線追蹤系統(tǒng)記錄下此時(shí)使用者 左右眼的視線矢量；
[0061] 記圖像顯示源顯示的左右十字叉圖在圖像源坐標(biāo)系中的坐標(biāo)分別為 (SL1X，化1Y)、（SR1X，SR1Y)，圖像顯示源顯示十字叉圖，視線跟蹤系統(tǒng)依次記錄下當(dāng)前使用 者透過(guò)頭戴顯示設(shè)備窗口注視經(jīng)頭戴顯示設(shè)備光學(xué)系統(tǒng)投影后完全重疊的虛擬圖時(shí)的左 右眼視線矢量坐標(biāo)，記左右眼視線矢量坐標(biāo)分別為巧L1X，化1Y)、巧R1X，邸1Y)，如此可獲得 一組圖像顯示源十字叉圖位置和與之對(duì)應(yīng)的左右眼視線矢量坐標(biāo)的映射關(guān)系；
[0062] 切」AV如1 y) (￡L 1 乂，￡別 y)，
[0063] 依據(jù)圖1所示的人眼視覺理論及公式1. 1，由左右眼視線矢量可獲得注視點(diǎn)到人 眼的距離：故可得到使用者通過(guò)頭戴顯示設(shè)備窗口看到的圖像信息，經(jīng)頭戴顯示設(shè)備投影 后的虛擬畫面距使用者的距離Disi
[0064] 第二步：依次將左右十字叉圖整體左右偏移ΔΡΧ = 20pixel，上下偏移ΔΡΥ =3化ixe，每一次偏移后，視線追蹤系統(tǒng)記錄下使用者注視投影在眼前的虛擬十字叉圖 時(shí)使用者的雙目視線矢量坐標(biāo)，如此進(jìn)行K次操作后，總共獲得k組設(shè)備圖像顯示源上 每一對(duì)十字叉圖坐標(biāo)和左右視線矢量的映射關(guān)系組，其中，設(shè)左右圖像源的分辨率為 N*M，K為上述數(shù)據(jù)獲取過(guò)程中圖像顯示源上顯示的十字叉圖偏移的總次數(shù)，其取值為：
陽(yáng)ο化]
W66] 依據(jù)圖1所示的視覺理論，使用者坐標(biāo)系內(nèi)雙目之左矢量L表示為 (Lx，Ly，Lz，La，L0，L丫），其中化x，Ly，Lz)為左矢量上的一點(diǎn)坐標(biāo)，化α，L0，L丫）為左 矢量的方向角；同理右矢量R可表示為（Rx，Ry，Rz，Ra，R0，R丫）記虛擬信息在使用者坐標(biāo) 系中的空間方位坐標(biāo)為巧X，Ey，Ez，E α，E β，E 丫），據(jù)空間解析學(xué)理論，可得到：
[007引可得測(cè)試者通過(guò)頭戴顯示設(shè)備窗口看到的圖像信息的空間位置，用EA\k，經(jīng)頭戴 顯示設(shè)備投影后的虛擬信息相對(duì)測(cè)試者的空間方位坐標(biāo)EA'與圖像顯示源上左右顯示信 息的偏移量（S Δ PX，S Δ PY)的映射關(guān)系：
[0074]
陽(yáng)0巧]第Ξ步：改變光學(xué)鏡組的焦距f，重復(fù)步第一步與第二步；
[0076] 第四步：多次重復(fù)第S步
[0077] 對(duì)W上一至四步得到的數(shù)據(jù)可獲得如下映射關(guān)系：
[0078]
[0079] 其中：為第i次改變后的光學(xué)鏡組的焦距，在上述數(shù)據(jù)獲取過(guò)程中共I次改變 光學(xué)鏡組的焦距，為圖像顯示源上有效顯示信息的相對(duì)偏移量，diSi為光學(xué)模塊焦距為f 1 時(shí)投影虛像距使用者的距離，為當(dāng)圖像顯示源上的有效顯示信息相對(duì)偏移（S Δ PXk，S Δ PYk) 時(shí)的投影虛擬的空間位置，此空間位置包含有EA'（dis，E α，E β，E 丫），I和Κ在公式里面可 W看做一個(gè)固定值，其中Κ為標(biāo)定過(guò)程中圖像顯示源上顯示的十字叉圖偏移的總次數(shù)，I為 標(biāo)定過(guò)程中改變光學(xué)鏡組的焦距總次數(shù)。
[0080] 本發(fā)明實(shí)施例的雙目AR頭戴顯示設(shè)備，出廠后可W配置視線追蹤系統(tǒng)，也可W不 配置，在配置視線追蹤系統(tǒng)的情況下，還可W在用戶初次使用頭戴顯示設(shè)備時(shí)采用類似映 射關(guān)系η標(biāo)定方式，通過(guò)顯示十字叉圖，并跟蹤用戶視線得到一組數(shù)據(jù)來(lái)對(duì)映射關(guān)系η做 適應(yīng)使用者的適配。
[0081] 本發(fā)明方案用到了視線追蹤系統(tǒng)，下面對(duì)視線追蹤系統(tǒng)也進(jìn)行簡(jiǎn)單介紹。
[0082] 視線追蹤是利用電子/光學(xué)等各種檢測(cè)手段獲取受試者當(dāng)前"注視方向"的技術(shù)， 它是利用眼球轉(zhuǎn)動(dòng)時(shí)相對(duì)位置不變的某些眼部結(jié)構(gòu)和特征作為參照，在位置變化特征和運(yùn) 些不變特征之間提取視線變化參數(shù)，而后通過(guò)幾何模型或映射模型獲取視線方向；根據(jù)人 眼提取的特征一般有3類：1)瞳孔中屯、與角膜反射的向量；2)角膜反射矩陣；3)虹膜的楠 圓邊界。目前基于眼睛視頻分析的視頻追蹤系統(tǒng)（V0G)普遍使用瞳孔-角膜反射方法，通 過(guò)追蹤瞳孔中屯、和角膜反射的相對(duì)位置獲得視線方向；角膜反射是光源（一般是近紅外光 源）在角膜表面反射形成的虛像，相機(jī)獲取到的眼睛圖象中的瞳孔Ξ真實(shí)瞳孔經(jīng)過(guò)角膜折 射后形成的虛像。基于瞳孔-角膜反射的視線追蹤系統(tǒng)一般由近紅外光源（850nm)、紅外拍 攝器、圖像采集卡、數(shù)據(jù)處理CPU組成；圖像傳感器（CCD)捕獲的眼睛圖象傳輸?shù)接?jì)算機(jī)，經(jīng) 圖象處理提取瞳孔中屯、與光斑位置信息，通過(guò)數(shù)字圖像處理的方法對(duì)面部圖象進(jìn)行分析理 解，并提取出平面視線方向參數(shù)，然后由建立好的數(shù)學(xué)模型將平面信息轉(zhuǎn)化為空間視角信 息。
[0083] 本發(fā)明通過(guò)液體透鏡變焦來(lái)實(shí)現(xiàn)投影距離的調(diào)節(jié)，通過(guò)計(jì)算圖像顯示源上的有效 顯示信息相對(duì)偏移量，實(shí)現(xiàn)投影角度的調(diào)節(jié)，最終實(shí)現(xiàn)將虛擬信息精確疊加到目標(biāo)物空間 位置上，使虛擬信息與環(huán)境高度融合，實(shí)現(xiàn)真正意義上的增強(qiáng)虛擬現(xiàn)實(shí)。本發(fā)明方案簡(jiǎn)單， 在頭戴顯示設(shè)備內(nèi)預(yù)置離映射關(guān)系η的前提下，只需要獲取目標(biāo)物相對(duì)使用者的空間位 置數(shù)據(jù)即可，而該空間位置數(shù)據(jù)測(cè)量方式多樣，可通過(guò)雙目測(cè)距，景深攝像頭等實(shí)現(xiàn)，硬件 技術(shù)成熟，可靠性高且成本低。
[0084] 本說(shuō)明書中公開的所有特征，或公開的所有方法或過(guò)程中的步驟，除了互相排斥 的特征和/或步驟W外，均可任何方式組合。
[00化]本說(shuō)明書（包括任何附加權(quán)利要求、摘要和附圖）中公開的任一特征，除非特別敘 述，均可被其他等效或具有類似目的的替代特征加 W替換。目Ρ，除非特別敘述，每個(gè)特征只 是一系列等效或類似特征中的一個(gè)例子而已。
[0086] 本發(fā)明并不局限于前述的【具體實(shí)施方式】。本發(fā)明擴(kuò)展到任何在本說(shuō)明書中披露的 新特征或任何新的組合，W及披露的任一新的方法或過(guò)程的步驟或任何新的組合。
【主權(quán)項(xiàng)】
1. 一種雙目AR頭戴顯示設(shè)備，其特征在于，包括光學(xué)模塊、圖像顯示源、目標(biāo)空間位置 采集模塊和數(shù)據(jù)處理模塊，數(shù)據(jù)處理模塊內(nèi)存儲(chǔ)有映射關(guān)系η，映射關(guān)系η為投影虛像空 間位置與光學(xué)模塊焦距、圖像顯示源上有效信息相對(duì)偏移量之間的映射關(guān)系，其中： 所述光學(xué)模塊包括左右兩組光學(xué)透鏡組，每組光學(xué)透鏡組包括至少一個(gè)液體透鏡，用 戶透過(guò)光學(xué)模塊可同時(shí)看見外界環(huán)境和圖像顯示屏上顯示的虛擬信息； 所述目標(biāo)空間位置采集模塊，用于獲得人眼前方目標(biāo)物相對(duì)使用者的空間位置數(shù)據(jù)， 并將此數(shù)據(jù)傳送至數(shù)據(jù)處理模塊，空間位置數(shù)據(jù)包括目標(biāo)距使用者的距離和目標(biāo)相對(duì)使用 者的空間方位角度； 所述數(shù)據(jù)處理模塊將接收到的目標(biāo)物空間位置數(shù)據(jù)作為投影虛像空間位置，代入映射 關(guān)系η中，計(jì)算出光學(xué)模塊待調(diào)焦距和圖像顯示源上有效信息相對(duì)偏移量； 數(shù)據(jù)處理模塊控制液體透鏡的調(diào)節(jié)機(jī)構(gòu)，使其向液體透鏡加電壓或加機(jī)械力改變液體 形狀，使光學(xué)模塊焦距調(diào)整至待調(diào)焦距； 數(shù)據(jù)處理模塊控制圖像顯示源，根據(jù)計(jì)算出的有效信息相對(duì)偏移量，將需顯示的虛擬 信息的信息源圖像，分別左右顯示在圖像顯示源上。2. 如權(quán)利要求1所述的雙目AR頭戴顯示設(shè)備，其特征在于，所述映射關(guān)系τι為：其中，t為光學(xué)模塊焦距，S Δ PXk，S Δ PYk為圖像顯示源上有效顯示信息的相對(duì)偏移量， ΕΑ'為當(dāng)圖像顯示源上的有效顯示信息相對(duì)偏移S Δ PX k，S Δ PYjt的投影虛擬的空間位 置。3. 如權(quán)利要求1所述的雙目AR頭戴顯示設(shè)備，其特征在于，所述目標(biāo)空間位置采集模 塊為視線追蹤系統(tǒng)、雙目測(cè)距系統(tǒng)、或景深攝像頭中的一種或多種。4. 如權(quán)利要求1所述的雙目AR頭戴顯示設(shè)備，其特征在于，所述圖像顯示源為兩塊微 型顯示屏；或所述圖像顯示源為一塊整屏分屏顯示。5. -種雙目AR頭戴顯示設(shè)備的信息顯示方法，其特征在于，所述頭戴顯示設(shè)備的光學(xué) 模塊包括左右兩組光學(xué)透鏡組，每組光學(xué)透鏡組包括至少一個(gè)液體透鏡；所述頭戴顯示設(shè) 備內(nèi)預(yù)置有映射關(guān)系η，映射關(guān)系η為投影虛像空間位置與光學(xué)模塊焦距、圖像顯示源上 有效信息相對(duì)偏移量之間的映射關(guān)系，所述信息顯示方法包括： 在使用者通過(guò)頭戴顯示設(shè)備光學(xué)模塊看外界環(huán)境時(shí)，頭戴顯示設(shè)備獲取人眼前方目標(biāo) 物相對(duì)使用者的空間位置數(shù)據(jù)，所述空間位置數(shù)據(jù)包括目標(biāo)距使用者的距離和目標(biāo)相對(duì)使 用者的空間方位角度； 將目標(biāo)物空間位置數(shù)據(jù)作為投影虛像空間位置，代入映射關(guān)系η中，計(jì)算出光學(xué)模塊 待調(diào)焦距和圖像顯示源上有效信息相對(duì)偏移量； 向液體透鏡加電壓或加機(jī)械力改變液體形狀，使光學(xué)模塊焦距調(diào)整至待調(diào)焦距； 根據(jù)計(jì)算出的有效信息相對(duì)偏移量，將需顯示的虛擬信息的信息源圖像，分別左右顯 示在圖像顯示源上。6. 如權(quán)利要求5所述的方法，其特征在于，頭戴顯示設(shè)備通過(guò)視線追蹤系統(tǒng)、雙目測(cè)距 系統(tǒng)、或景深攝像頭中的一種獲取人眼前方目標(biāo)物相對(duì)使用者的空間位置數(shù)據(jù)。7.如權(quán)利要求6所述的方法，其特征在于，所述映射關(guān)系ri為：其中，A為光學(xué)模塊焦距，SAPXk，SAPYk為圖像顯示源上有效顯示信息的相對(duì)偏移 量，，EA' lik為當(dāng)圖像顯示源上的有效顯示信息相對(duì)偏移S Δ PX k，S Δ PYk時(shí)的投影虛擬的空 間位置。
【文檔編號(hào)】H04N13/04GK105872527SQ201510029939
【公開日】2016年8月17日
【申請(qǐng)日】2015年1月21日
【發(fā)明人】黃琴華
【申請(qǐng)人】成都理想境界科技有限公司