三維顯示中對象的拾取裝置及三維顯示中對象的拾取方法
【專利摘要】本發(fā)明公開了一種三維顯示中對象的拾取裝置及三維顯示中對象的拾取方法，其中，所述裝置包括：注視點信息獲取模塊，用于獲取當(dāng)前用戶眼睛的注視點相對于用戶的位置信息；對象確定模塊，用于根據(jù)用戶當(dāng)前在顯示空間中的位置和運動姿態(tài)信息、所述注視點相對于用戶的位置信息以及顯示空間中當(dāng)前物體的分布信息確定用戶拾取的對象。本發(fā)明的裝置及方法通過眼睛的注視點位置確定用戶拾取的對象，對三維顯示空間中對象的拾取自然、方便，并且拾取準(zhǔn)確率高，尤其適合三維顯示空間中場景較大的場合中對象的拾取，在可拾取物體較稠密時依然有良好的性能。
【專利說明】三維顯示中對象的拾取裝置及三維顯示中對象的拾取方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及三維顯示互動【技術(shù)領(lǐng)域】，尤其涉及一種三維顯示中對象的拾取裝置及方法。
【背景技術(shù)】
[0002]隨著三維(3 Dimension)顯示技術(shù)的發(fā)展，與之相應(yīng)的交互方式和方法變得越來越重要。在三維顯示的內(nèi)容中選取物體是與三維顯示技術(shù)進行交互的重要一步。
[0003]然而在三維空間中選擇一個物體是比較困難的，一種方法是需要用戶移動自己(或身體的一部分，如手)的位置進行選取，對于一些場景較大的場合來說，用戶需要大范圍的移動自己的位置，操作很不方便；另一種方法是通過選擇一個方向來拾取需要的物體，然而三維顯示空間中，特別是空間中可拾取物體比較稠密的場合，在一個選定的方向上往往具有多個物體，從該多個物體中進行二次選取得到自己需要拾取的對象又會使得物體選取的效率降低、用戶體驗不好。
[0004]此外，以基于體素(Volumetric Pixel，又稱動態(tài)體掃描)技術(shù)的真三維顯示為例，由于顯示的三維畫面是由顯示面旋轉(zhuǎn)形成，選取物體進行交互就更為困難，需要用投影設(shè)備把圖像投影到旋轉(zhuǎn)顯示設(shè)備之外才可以進行直接的物體選取。
[0005]因此需要找到一種更加方便、效率高的三維顯示物體拾取方法，提高用戶體驗。

【發(fā)明內(nèi)容】

[0006]本發(fā)明要解決的技術(shù)問題是:提供一種三維顯示中對象的拾取裝置及方法，以使得對三維顯示中對象的拾取更加方便、效率更高。
[0007]為實現(xiàn)上述目的，第一方面，本發(fā)明提供了一種三維顯示中對象的拾取裝置，包括:
[0008]注視點信息獲取模塊，用于獲取當(dāng)前用戶眼睛的注視點相對于用戶的位置信息；
[0009]對象確定模塊，用于根據(jù)用戶當(dāng)前在顯示空間中的位置和運動姿態(tài)信息、所述注視點相對于用戶的位置信息以及顯示空間中當(dāng)前物體的分布信息確定用戶拾取的對象。
[0010]結(jié)合第一方面，在第二種可能的實現(xiàn)方式中，所述裝置還包括:
[0011]定位單元，用于獲得所述用戶當(dāng)前在顯示空間中的位置信息。
[0012]結(jié)合第一方面或第一方面的第二種可能的實現(xiàn)方式，在第三種可能的實現(xiàn)方式中，所述裝置還包括:
[0013]運動姿態(tài)傳感器，用于獲得所述運動姿態(tài)信息。
[0014]結(jié)合第一方面、第一方面的第二種或第三種可能的實現(xiàn)方式，在第四種可能的實現(xiàn)方式中，所述裝置還包括:通信模塊，用于獲取所述顯示空間中當(dāng)前物體的分布信息。
[0015]結(jié)合第一方面的第四種可能的實現(xiàn)方式，在第五種可能的實現(xiàn)方式中，所述通信模塊還用于獲取所述用戶當(dāng)前在顯示空間中的位置和/或運動姿態(tài)信息。
[0016]結(jié)合第一方面、第一方面的第二種至第五種可能的實現(xiàn)方式中的任一個，在第六種可能的實現(xiàn)方式中，所述對象確定模塊包括:[0017]注視點空間位置確定單元，用于根據(jù)用戶當(dāng)前在顯示空間中的位置和運動姿態(tài)信息、以及所述注視點相對于用戶的位置信息確定所述注視點在顯示空間中的相對位置；
[0018]對象確定單元，用于根據(jù)所述注視點在顯示空間中的相對位置以及所述顯示空間中當(dāng)前物體的分布信息確定用戶拾取的對象。
[0019]結(jié)合第一方面、第一方面的第二至第六種可能的實現(xiàn)方式中的任一個，在第七種可能的實現(xiàn)方式中，所述裝置還包括:對象信息提示模塊，用于提示被拾取對象的對應(yīng)信
肩、O
[0020]結(jié)合第一方面、第一方面的第二種至第七種可能的實現(xiàn)方式中的任一個，在第八種可能的實現(xiàn)方式中，所述注視點信息獲取模塊包括:
[0021]圖像采集設(shè)備，用于采集眼睛眼底呈現(xiàn)的圖像；
[0022]可調(diào)成像設(shè)備，用于進行所述圖像采集設(shè)備與眼睛之間光路的成像參數(shù)的調(diào)節(jié)以使得所述圖像采集設(shè)備得到最清晰的圖像；
[0023]圖像處理設(shè)備，用于對所述圖像采集設(shè)備得到的圖像進行處理，根據(jù)得到所述最清晰圖像時所述圖像采集設(shè)備與眼睛之間光路的成像參數(shù)以及眼睛的光學(xué)參數(shù)，計算得到眼睛的注視點相對于用戶的位置信息。
[0024]結(jié)合第一方面的第八種可能的實現(xiàn)方式，在第九種可能的實現(xiàn)方式中，所述可調(diào)成像設(shè)備包括:
[0025]可調(diào)透鏡單元，位于眼睛與所述圖像采集設(shè)備之間的光路上，自身焦距可調(diào)和/或在光路中的位置可調(diào)。
[0026]結(jié)合第一方面的第八種或第九種可能的實現(xiàn)方式，在第十種可能的實現(xiàn)方式中，所述可調(diào)成像設(shè)備包括:
[0027]曲面分光單元，用于分別對應(yīng)眼睛光軸方向不同時瞳孔的位置，將眼底呈現(xiàn)的圖像傳遞到圖像采集設(shè)備。
[0028]結(jié)合第一方面的第八、第九或第十種可能的實現(xiàn)方式，在第十一種可能的實現(xiàn)方式中，所述注視點信息獲取模塊還包括:
[0029]投射設(shè)備，用于向眼底投射光斑圖案。
[0030]結(jié)合第二方面，本發(fā)明提供了一種三維顯示中對象的拾取方法，包括:
[0031]注視點信息獲取步驟，用于獲取當(dāng)前用戶眼睛的注視點相對于用戶的位置信息；
[0032]對象確定步驟，用于根據(jù)用戶當(dāng)前在顯示空間中的位置和運動姿態(tài)信息、所述注視點相對于用戶的位置信息以及顯示空間中當(dāng)前物體的分布信息確定用戶拾取的對象。
[0033]結(jié)合第二方面，在第二種可能的實現(xiàn)方式中，所述方法還包括:
[0034]獲取所述用戶當(dāng)前在顯示空間中的位置信息的步驟。
[0035]結(jié)合第二方面或第二方面的第二種可能的實現(xiàn)方式，在第三種可能的實現(xiàn)方式中，所述方法還包括:
[0036]獲取所述運動姿態(tài)信息的步驟。
[0037]結(jié)合第二方面、第二方面的第二或第三種可能的實現(xiàn)方式，在第四種可能的實現(xiàn)方式中，所述方法還包括:
[0038]獲取所述顯示空間中當(dāng)前物體的分布信息的步驟。[0039]結(jié)合第二方面、第二方面的第二至第四種可能的實現(xiàn)方式中的任一種，在第五種可能的實現(xiàn)方式中，所述對象確定步驟包括:
[0040]根據(jù)用戶當(dāng)前在顯示空間中的位置和運動姿態(tài)信息、以及所述注視點相對于用戶的位置信息確定所述注視點在顯示空間中的相對位置；
[0041]根據(jù)所述注視點在顯示空間中的相對位置以及所述顯示空間中當(dāng)前物體的分布信息確定用戶拾取的對象。
[0042]結(jié)合第二方面、第二方面的第二至第五種可能的實現(xiàn)方式中的任一種，在第六種可能的實現(xiàn)方式中，所述方法還包括:提示被拾取對象的對應(yīng)信息。
[0043]結(jié)合第二方面的第六種可能的實現(xiàn)方式，在第七種可能的實現(xiàn)方式中，所述被拾取對象的對應(yīng)信息包括被拾取對象的被選中狀態(tài)信息。
[0044]結(jié)合第二方面的第六或第七種可能的實現(xiàn)方式，在第八種可能的實現(xiàn)方式中，所述被拾取對象的對應(yīng)信息包括所述被拾取對象的屬性信息。
[0045]結(jié)合第二方面的第六、第七或第八種可能的實現(xiàn)方式，在第九種可能的實現(xiàn)方式中，所述被拾取對象的對應(yīng)信息包括所述被拾取對象的可操作信息。
[0046]結(jié)合第二方面的第九種可能的實現(xiàn)方式，在第十種可能的實現(xiàn)方式中，所述被拾取對象的可操作信息包括: [0047]對所述被拾取對象的加標(biāo)簽、查詢、刪除、復(fù)制、剪切、粘貼、移動、旋轉(zhuǎn)以及變形操作信息中的一種或多種。
[0048]結(jié)合第二方面、第二方面的第二至第十種可能的實現(xiàn)方式中的任一種，在第十一種可能的實現(xiàn)方式中，所述注視點信息獲取步驟包括:
[0049]采集眼睛眼底呈現(xiàn)的圖像；
[0050]進行所述圖像采集位置與眼睛之間光路的成像參數(shù)的調(diào)節(jié)以使得采集到最清晰的圖像；
[0051]對采集到的圖像進行處理，根據(jù)得到所述最清晰圖像時所述圖像采集位置與眼睛之間光路的成像參數(shù)以及眼睛的光學(xué)參數(shù)，計算得到眼睛的注視點相對于用戶的位置信
肩、O
[0052]結(jié)合第二方面的第十一種可能的實現(xiàn)方式，在第十二種可能的實現(xiàn)方式中，所述進行所述圖像采集位置與眼睛之間光路的成像參數(shù)的調(diào)節(jié)包括:
[0053]調(diào)節(jié)位于眼睛與圖像采集位置之間光路上的透鏡單元的焦距和/或在光路中的位置。
[0054]結(jié)合第二方面的第十一種或第十二種可能的實現(xiàn)方式，在第十三種可能的實現(xiàn)方式中，所述注視點信息獲取步驟還包括:
[0055]分別對應(yīng)眼睛光軸方向不同時瞳孔的位置，將眼底呈現(xiàn)的圖像傳遞到所述圖像采
集位置。
[0056]結(jié)合第二方面的第十一、十二或十三種可能的實現(xiàn)方式，在第十四種可能的實現(xiàn)方式中，所述注視點信息獲取步驟還包括:
[0057]向眼底投射光斑圖案。
[0058]本發(fā)明實施例的方法及裝置根據(jù)用戶眼睛的注視點位置來確定用戶拾取的對象，對三維顯示空間中對象的拾取自然、方便，并且拾取準(zhǔn)確率高。其中，對于一些場景較大的三維顯示空間來說，用戶無需整體來回移動或者大幅度移動一些部位(例如手部)來拾取需要的對象，僅僅通過眼睛的注視就可以完成對象的選取，使得對象的選取更加方便；對于一些場景中物體較多的三維顯示空間來說，通過用戶眼睛的注視點位置來確定要拾取的對象的準(zhǔn)確度和效率大大提聞，進而提聞了用戶的體驗。
【專利附圖】

【附圖說明】
[0059]圖1為本發(fā)明實施例的一種三維顯示中對象的拾取裝置的結(jié)構(gòu)示意框圖；
[0060]圖2為本發(fā)明實施例的一種三維顯示中對象的拾取裝置的注視點檢測模塊的結(jié)構(gòu)框圖；
[0061]圖3為本發(fā)明實施例的一種三維顯示中對象的拾取裝置的另一種注視點檢測模塊的結(jié)構(gòu)框圖；
[0062]圖4a為本發(fā)明實施例的一種三維顯示中對象的拾取裝置的注視點檢測模塊使用的光斑圖案示意圖；
[0063]圖4b為本發(fā)明實施例的一種三維顯示中對象的拾取裝置的注視點檢測模塊拍攝到的具有光斑圖案的眼底圖像示意圖；
[0064]圖5a為本發(fā)明實施例的一種三維顯示中對象的拾取裝置的注視點檢測模塊眼睛成像的光路不意圖；
[0065]圖5b為本發(fā)明實施例的一種三維顯示中對象的拾取裝置的注視點檢測模塊根據(jù)系統(tǒng)已知成像參數(shù)和眼睛的光學(xué)參數(shù)得到眼睛注視點相對于用戶的位置的示意圖；
[0066]圖6為本發(fā)明實施例的一種三維顯示中對象的拾取裝置的注視點檢測模塊應(yīng)用在眼鏡上的示意圖；
[0067]圖7為本發(fā)明實施例的另一種三維顯示中對象的拾取裝置的注視點檢測模塊應(yīng)用在眼鏡上的示意圖；
[0068]圖8為本發(fā)明實施例的一種三維顯示中對象的拾取裝置在三維顯示空間中確認拾取對象的不意圖；
[0069]圖9為本發(fā)明實施例的一種三維顯示中對象的拾取方法流程圖；
[0070]圖10為本發(fā)明實施例的又一種三維顯示中對象的拾取裝置中對象確認模塊的結(jié)構(gòu)示意框圖。
【具體實施方式】
[0071]本發(fā)明的方法及裝置結(jié)合附圖及實施例詳細說明如下。
[0072]在三維顯示空間中對象的拾取往往會遇到拾取效率低、用戶操作不方便等問題，特別是在三維顯示空間中可拾取物體分布比較稠密、以及三維顯示空間的場景較大的場合，這些問題更加突出。因此，如圖1所示，本發(fā)明實施例提供了一種三維顯示中對象的拾取裝置100，包括:
[0073]注視點信息獲取模塊110，用于獲取當(dāng)前用戶眼睛的注視點相對于用戶的位置信息；
[0074]對象確定模塊120，用于根據(jù)用戶當(dāng)前在顯示空間中的位置信息和用戶當(dāng)前的運動姿態(tài)信息、所述注視點相對于用戶的位置信息以及顯示空間中當(dāng)前物體的分布信息確定用戶拾取的對象。
[0075]在本發(fā)明實施例中，所述三維顯示空間主要為真三維顯示空間，即顯示空間中顯示的物體具有物理上的深度差，用戶看到的近處的物體，實際上離用戶也比較近，例如通過體素技術(shù)形成的立體顯示空間、由靜態(tài)成像技術(shù)形成的立體顯示空間或者三維全息顯示空間。
[0076]在本發(fā)明實施例中，所述用戶拾取的對象可以是三維顯示空間中虛擬的物體，也可以是該空間中實際存在的物體，或者還可以為該三維顯示空間中的一塊區(qū)域(例如用戶與三維顯示空間進行交互時，選中一塊區(qū)域并在該區(qū)域內(nèi)增加新的虛擬物體)。
[0077]在本發(fā)明實施例的一種可能的實施方式中，所述注視點信息獲取模塊可以是注視點位置檢測模塊，通過實時檢測的方式獲取當(dāng)前用戶眼睛的注視點相對于用戶的位置信息；或者，所述注視點信息獲取模塊通過一信息接收模塊(例如下面所述的通信模塊)，通過接收外部檢測裝置的檢測結(jié)果的方式獲取所述注視點相對于用戶的位置信息。
[0078]本發(fā)明實施例通過眼睛的注視點位置確定用戶拾取的對象，對三維顯示空間中對象的拾取自然、方便，并且拾取準(zhǔn)確率高。
[0079]在本發(fā)明實施例的一種可能的實施方式中，所述裝置還包括:
[0080]定位單元，用于獲得所述用戶當(dāng)前在顯示空間中的位置信息。
[0081]其中，在一種可能的實施方式中，所述定位單元可以是室內(nèi)定位裝置(這種情況下，所述三維顯示空間一般為室內(nèi)空間)，例如基于無線傳感器網(wǎng)絡(luò)的室內(nèi)定位裝置等，或者還可以為其它可以實現(xiàn)室內(nèi)定位的裝置，這些室內(nèi)定位技術(shù)不是本發(fā)明實施例的重點，并且多為已有技術(shù)，本實施例中不再贅述。
[0082]在另一種可能的實施方式中，所述定位單元還可以是室外定位裝置(這種情況下，所述三維顯示空間一般為室外空間)，例如全球定位系統(tǒng)等，當(dāng)然，本領(lǐng)域的技術(shù)人員可以知道，其它可以實現(xiàn)室外定位的定位單元也可以應(yīng)用在本發(fā)明實施例的實施方式中，此處不再贅述。
[0083]在本發(fā)明實施例的一種可能的實施方式中，所述裝置還包括:
[0084]運動姿態(tài)傳感器，用于獲取用戶當(dāng)前的運動姿態(tài)信息。
[0085]這里所述用戶的運動姿態(tài)信息主要包括用戶頭部運動以及朝向信息(包括左、右方向以及上、下方向的朝向)。
[0086]在本發(fā)明實施例的一種可能的實施方式中，所述裝置還包括通信模塊，用于獲取所述顯示空間中當(dāng)前物體的分布信息。該顯示空間中物體的分布信息可以包括在顯示設(shè)備顯示的元數(shù)據(jù)中，通過通信模塊傳遞給本發(fā)明實施例的裝置。當(dāng)然，當(dāng)所述顯示空間內(nèi)物體為靜止不動的分布時，該顯示空間中當(dāng)前物體的分布信息還可以是預(yù)先存儲在所述裝置中的。
[0087]本發(fā)明實施例的所述通信模塊可以是有線通信模塊，但是優(yōu)選的為無線通信模塊。
[0088]在本發(fā)明實施例的一種可能的實施方式中，上面所述的定位單元和/或運動姿態(tài)傳感器并非本發(fā)明裝置的一部分，而是作為外部設(shè)備，分別采集用戶當(dāng)前在顯示空間的位置和/或運動姿態(tài)信息，再通過所述通信模塊傳遞給本發(fā)明實施例的裝置。
[0089]在本發(fā)明實施例的一種可能的實施方式中，所述對象確定模塊包括:[0090]注視點空間位置確定單元，用于根據(jù)用戶當(dāng)前在顯示空間中的位置和運動姿態(tài)信息、以及所述注視點相對于用戶的位置信息確定所述注視點在顯示空間中的相對位置；
[0091]對象確定單元，用于根據(jù)所述注視點在顯示空間中的相對位置以及所述顯示空間中當(dāng)前物體的分布信息確定用戶拾取的對象。
[0092]在本實施方式中，裝置根據(jù)所述用戶在顯示空間中的位置和運動姿態(tài)信息可以確定用戶在顯示空間中的坐標(biāo)以及面部的朝向等信息，再根據(jù)注視點相對于用戶的位置信息就可以計算得到注視點在顯示空間中的位置信息，進而與顯示空間中物體的分布信息進行匹配，找到用戶拾取的對象。
[0093]在本發(fā)明實施例的一種可能的實施方式中，所述注視點信息獲取模塊為注視點檢測模塊。所述注視點檢測模塊可以為以下幾種中的一種:
[0094]a)采用一個瞳孔方向檢測器檢測一個眼睛的光軸方向、再通過眼睛光軸方向上三維顯示空間中物體的分布信息，得到眼睛視線的注視點位置，該技術(shù)為已有技術(shù)，本實施方式中不再贅述。
[0095]b)分別檢測兩眼的光軸方向，再得到兩眼光軸方向的交點，進而得到眼睛視線的注視點位置，該技術(shù)也為已有技術(shù)，此處不再贅述。
[0096]c)根據(jù)采集到眼睛的成像面呈現(xiàn)的最清晰圖像時圖像采集設(shè)備與眼睛之間光路的光學(xué)參數(shù)，得到所述眼睛視線的注視點位置。在本實施方式中，所述注視點檢測模塊可以為以下圖2至圖7所示的注視點檢測模塊中的一種。
[0097]上面三種注視點檢測模塊中，前兩種在三維顯示空間中可拾取物體分布比較稠密時，對物體的拾取效率和準(zhǔn)確率都會降低，因此本發(fā)明實施例中優(yōu)選第三種注視點檢測模塊來獲取用戶眼睛的注視點相對于用戶的位置信息。
[0098]當(dāng)然，本領(lǐng)域的技術(shù)人員可以知道，除了上述幾種形式的注視點檢測模塊外，其它可以用于檢測用戶眼睛注視點的裝置也可以用于本發(fā)明實施例的裝置中。
[0099]如圖2所示，在本發(fā)明實施例的一種可能的實施方式中，所述注視點檢測模塊500包括:
[0100]圖像采集設(shè)備510，用于采集眼睛眼底呈現(xiàn)的圖像；
[0101]可調(diào)成像設(shè)備520，用于進行所述圖像采集設(shè)備與眼睛之間光路的成像參數(shù)的調(diào)節(jié)以使得所述圖像采集設(shè)備得到最清晰的圖像；
[0102]圖像處理設(shè)備530，用于對所述圖像采集設(shè)備得到的圖像進行處理，根據(jù)得到所述最清晰圖像時所述圖像采集設(shè)備與眼睛之間光路的成像參數(shù)以及眼睛的光學(xué)參數(shù)，計算得到眼睛的注視點相對于用戶的位置信息。
[0103]本發(fā)明實施例的注視點檢測模塊500通過對眼睛眼底的圖像進行分析處理，得到所述圖像采集設(shè)備獲得最清晰圖像時眼睛的光學(xué)參數(shù)，就可以計算得到眼睛當(dāng)前的注視點位置，為進一步實現(xiàn)眼睛自適應(yīng)操作提供基礎(chǔ)。
[0104]這里的“眼底”呈現(xiàn)的圖像主要為在視網(wǎng)膜上呈現(xiàn)的圖像，其可以為眼底自身的圖像，或者可以為投射到眼底的其它物體的圖像。這里的眼睛可以為人眼，也可以為其它動物的眼睛。
[0105]如圖3所示，本發(fā)明實施例的一種可能的實施方式中，所述圖像采集設(shè)備510為微型攝像頭，在本發(fā)明實施例的另一種可能的實施方式中，所述圖像采集設(shè)備510還可以直接使用感光成像器件，如CCD或CMOS等器件。
[0106]在本發(fā)明實施例的一種可能的實施方式中，所述可調(diào)成像設(shè)備520包括:可調(diào)透鏡單元521，位于眼睛與所述圖像采集設(shè)備510之間的光路上，自身焦距可調(diào)和/或在光路中的位置可調(diào)。通過該可調(diào)透鏡單元521，使得從眼睛到所述圖像采集設(shè)備510之間的光學(xué)系統(tǒng)的等效焦距可調(diào)，通過可調(diào)透鏡單元521的調(diào)節(jié)，使得所述圖像采集設(shè)備510在可調(diào)透鏡單元521的某一個位置或狀態(tài)時獲得眼底最清晰的圖像。在本實施方式中，所述可調(diào)透鏡單元521在檢測過程中連續(xù)實時的調(diào)節(jié)。
[0107]優(yōu)選地，在本發(fā)明實施例的一種可能的實施方式中，所述可調(diào)透鏡單元521為:焦距可調(diào)透鏡，用于通過調(diào)節(jié)自身的折射率和/或形狀完成自身焦距的調(diào)整。具體為:1)通過調(diào)節(jié)焦距可調(diào)透鏡的至少一面的曲率來調(diào)節(jié)焦距，例如在雙層透明層構(gòu)成的空腔中增加或減少液體介質(zhì)來調(diào)節(jié)焦距可調(diào)透鏡的曲率；2)通過改變焦距可調(diào)透鏡的折射率來調(diào)節(jié)焦距，例如焦距可調(diào)透鏡中填充有特定液晶介質(zhì)，通過調(diào)節(jié)液晶介質(zhì)對應(yīng)電極的電壓來調(diào)整液晶介質(zhì)的排列方式，從而改變焦距可調(diào)透鏡的折射率。
[0108]在本發(fā)明實施例的另一種可能的實施方式中，所述可調(diào)透鏡單元521包括:多片透鏡構(gòu)成的透鏡組，用于調(diào)節(jié)透鏡組中透鏡之間的相對位置完成透鏡組自身焦距的調(diào)整。所述透鏡組中也可以包括自身焦距等成像參數(shù)可調(diào)的透鏡。
[0109]除了上述兩種通過調(diào)節(jié)可調(diào)透鏡單元521自身的特性來改變系統(tǒng)的光路參數(shù)以夕卜，還可以通過調(diào)節(jié)所述可調(diào)透鏡單元521在光路上的位置來改變系統(tǒng)的光路參數(shù)。
[0110]優(yōu)選地，在本發(fā)明實施例的一種可能的實施方式中，為了不影響用戶對觀察對象的觀看體驗，并且為了使得模塊可以便攜應(yīng)用在穿戴式設(shè)備上，所述可調(diào)成像設(shè)備520還包括:分光單元522，用于形成眼睛和觀察對象之間、以及眼睛和圖像采集設(shè)備510之間的光傳遞路徑。這樣可以對光路進行折疊，減小模塊的體積，同時盡可能不影響用戶的其它視覺體驗。
[0111]優(yōu)選地，在本實施方式中，所述分光單元包括:第一分光單元，位于眼睛和觀察對象之間，用于透射觀察對象到眼睛的光，傳遞眼睛到圖像采集設(shè)備的光。
[0112]所述第一分光單元可以為分光鏡、分光光波導(dǎo)(包括光纖)或其它適合的分光設(shè)備。
[0113]在本發(fā)明實施例的一種可能的實施方式中，所述模塊的圖像處理設(shè)備530包括光路校準(zhǔn)模塊，用于對系統(tǒng)的光路進行校準(zhǔn)，例如進行光路光軸的對齊校準(zhǔn)等，以保證測量的精度。
[0114]在本發(fā)明實施例的一種可能的實施方式中，所述圖像處理設(shè)備530包括:
[0115]圖像分析模塊531，用于對所述圖像采集設(shè)備得到的圖像進行分析，找到最清晰的圖像；
[0116]參數(shù)計算模塊532，用于根據(jù)所述最清晰的圖像、以及得到所述最清晰圖像時模塊已知的成像參數(shù)計算眼睛的光學(xué)參數(shù)和眼睛注視點相對于用戶的位置。
[0117]在本實施方式中，通過可調(diào)成像設(shè)備520使得所述圖像采集設(shè)備510可以得到最清晰的圖像，但是需要通過所述圖像分析模塊531來找到該最清晰的圖像，此時根據(jù)所述最清晰的圖像以及模塊已知的光路參數(shù)就可以通過計算得到眼睛的光學(xué)參數(shù)。這里眼睛的光學(xué)參數(shù)可以包括眼睛的光軸方向。[0118]在本發(fā)明實施例的一種可能的實施方式中，優(yōu)選地，所述模塊還包括:投射設(shè)備540，用于向眼底投射光斑。在一個可能的實施方式中，可以通過微型投影儀來視線該投射設(shè)備的功能。
[0119]這里投射的光斑可以沒有特定圖案僅用于照亮眼底。
[0120]在在本發(fā)明實施例優(yōu)選的一種實施方式中，所述投射的光斑包括特征豐富的圖案。圖案的特征豐富可以便于檢測，提高檢測精度。如圖4a所示為一個光斑圖案550的示例圖，該圖案可以由光斑圖案生成器形成，例如毛玻璃；圖4b所示為在有光斑圖案550投射時拍攝到的眼底的圖像。
[0121]為了不影響眼睛的正常觀看，優(yōu)選的，所述光斑為眼睛不可見的紅外光斑。
[0122]此時，為了減小其它光譜的干擾:
[0123]所述投射設(shè)備的出射面可以設(shè)置有眼睛不可見光透射濾鏡。
[0124]所述圖像采集設(shè)備的入射面設(shè)置有眼睛不可見光透射濾鏡。
[0125]優(yōu)選地，在本發(fā)明實施例的一種可能的實施方式中，所述圖像處理設(shè)備530還包括:
[0126]投射控制模塊534，用于根據(jù)圖像分析模塊得到的結(jié)果，控制所述投射設(shè)備的投射
光斑亮度。
[0127]例如所述投射控制模塊534可以根據(jù)圖像采集設(shè)備510得到的圖像的特性自適應(yīng)調(diào)整亮度。這里圖像的特性包括圖像特征的反差以及紋理特征等。
[0128]這里，控制所述投射設(shè)備的投射光斑亮度的一種特殊的情況為打開或關(guān)閉投射設(shè)備，例如用戶持續(xù)注視一點時可以周期性關(guān)閉所述投射設(shè)備；用戶眼底足夠明亮?xí)r可以關(guān)閉發(fā)光源只利用眼底信息來檢測眼睛當(dāng)前視線注視點到眼睛的距離。
[0129]此外，所述投射控制模塊534還可以根據(jù)環(huán)境光來控制投射設(shè)備的投射光斑亮度。
[0130]優(yōu)選地，在本發(fā)明實施例的一種可能的實施方式中，所述圖像處理設(shè)備530還包括:圖像校準(zhǔn)模塊533，用于進行眼底圖像的校準(zhǔn)，獲得至少一個與眼底呈現(xiàn)的圖像對應(yīng)的基準(zhǔn)圖像。
[0131]所述圖像分析模塊531將圖像采集設(shè)備530得到的圖像與所述基準(zhǔn)圖像進行對比計算，獲得所述最清晰的圖像。這里，所述最清晰的圖像可以為獲得的與所述基準(zhǔn)圖像差異最小的圖像。在本實施方式中，通過現(xiàn)有的圖像處理算法計算當(dāng)前獲得的圖像與基準(zhǔn)圖像的差異，例如使用經(jīng)典的相位差值自動對焦算法。
[0132]優(yōu)選地，在本發(fā)明實施例的一種可能的實施方式中，所述參數(shù)計算模塊532包括:
[0133]眼睛光軸方向確定單元5321，用于根據(jù)得到所述最清晰圖像時眼睛的特征得到眼睛光軸方向。
[0134]這里眼睛的特征可以是從所述最清晰圖像上獲取的，或者也可以是另外獲取的。眼睛光軸方向表示眼睛視線注視的方向。
[0135]優(yōu)選地，在本發(fā)明實施例的一種可能的實施方式中，所述眼睛光軸方向確定單元5321包括:第一確定子單元，用于根據(jù)得到所述最清晰圖像時眼底的特征得到眼睛光軸方向。與通過瞳孔和眼球表面的特征得到眼睛光軸方向相比，通過眼底的特征來確定眼睛光軸方向精確度更高。[0136]在向眼底投射光斑圖案時，光斑圖案的大小有可能大于眼底可視區(qū)域或小于眼底可視區(qū)域，其中:
[0137]當(dāng)光斑圖案的面積小于等于眼底可視區(qū)域時，可以利用經(jīng)典特征點匹配算法(例如尺度不變特征轉(zhuǎn)換(Scale Invariant Feature Transform, SIFT)算法)通過檢測圖像上的光斑圖案相對于眼底位置來確定眼睛光軸方向；
[0138]當(dāng)光斑圖案的面積大于等于眼底可視區(qū)域時，可以通過得到的圖像上的光斑圖案相對于原光斑圖案(通過圖像校準(zhǔn)模塊獲得)的位置來確定眼睛光軸方向確定用戶視線方向。
[0139]在本發(fā)明實施例的另一種可能的實施方式中，所述眼睛光軸方向確定單元5321包括:第二確定子單元，用于根據(jù)得到所述最清晰圖像時眼睛瞳孔的特征得到眼睛光軸方向。這里眼睛瞳孔的特征可以是從所述最清晰圖像上獲取的，也可以是另外獲取的。通過眼睛瞳孔特征得到眼睛光軸方向為已有技術(shù)，此處不再贅述。
[0140]優(yōu)選地，在本發(fā)明實施例的一種可能的實施方式中，所述圖像處理設(shè)備530還包括:眼睛光軸方向校準(zhǔn)模塊535，用于進行眼睛光軸方向的校準(zhǔn)，以便更精確的進行上述眼睛光軸方向的確定。
[0141]在本實施方式中，所述模塊已知的成像參數(shù)包括固定的成像參數(shù)和實時成像參數(shù)，其中實時成像參數(shù)為獲取最清晰圖像時所述可調(diào)透鏡單元的參數(shù)信息，該參數(shù)信息可以在獲取所述最清晰圖像時實時記錄得到。
[0142]在得到眼睛到圖像采集裝置之間光路系統(tǒng)已知的成像參數(shù)之后，就可以計算得到眼睛注視點到眼睛的距離，具體為:
[0143]圖5a所示為眼睛 成像示意圖，結(jié)合經(jīng)典光學(xué)理論中的透鏡成像公式，由圖5a可以得到公式⑴:
【權(quán)利要求】
1.一種三維顯示中對象的拾取裝置，其特征在于，包括: 注視點信息獲取模塊，用于獲取當(dāng)前用戶眼睛的注視點相對于用戶的位置信息；對象確定模塊，用于根據(jù)用戶當(dāng)前在顯示空間中的位置和運動姿態(tài)信息、所述注視點相對于用戶的位置信息以及顯示空間中當(dāng)前物體的分布信息確定用戶拾取的對象。
2.如權(quán)利要求1所述的裝置，其特征在于，所述注視點信息獲取模塊包括: 圖像采集設(shè)備，用于采集眼睛眼底呈現(xiàn)的圖像； 可調(diào)成像設(shè)備，用于進行所述圖像采集設(shè)備與眼睛之間光路的成像參數(shù)的調(diào)節(jié)以使得所述圖像采集設(shè)備得到最清晰的圖像； 圖像處理設(shè)備，用于對所述圖像采集設(shè)備得到的圖像進行處理，根據(jù)得到所述最清晰圖像時所述圖像采集設(shè)備與眼睛之間光路的成像參數(shù)以及眼睛的光學(xué)參數(shù)，計算得到眼睛的注視點相對于用戶的位置信息。
3.如權(quán)利要求2所述的裝置，其特征在于，所述可調(diào)成像設(shè)備包括: 可調(diào)透鏡單元，位于眼睛與所述圖像采集設(shè)備之間的光路上，自身焦距可調(diào)和/或在光路中的位置可調(diào)。
4.如權(quán)利要求2所述的裝置，其特征在于，所述可調(diào)成像設(shè)備包括: 曲面分光單元，用于 分別對應(yīng)眼睛光軸方向不同時瞳孔的位置，將眼底呈現(xiàn)的圖像傳遞到圖像采集設(shè)備。
5.如權(quán)利要求2所述的裝置，其特征在于，所述注視點信息獲取模塊還包括: 投射設(shè)備，用于向眼底投射光斑圖案。
6.如權(quán)利要求1至5中任一項所述的裝置，其特征在于，所述裝置還包括: 定位單元，用于獲得所述用戶當(dāng)前在顯示空間中的位置信息。
7.如權(quán)利要求1至5中任一項所述的裝置，其特征在于，所述裝置還包括: 運動姿態(tài)傳感器，用于獲得所述運動姿態(tài)信息。
8.如權(quán)利要求1至5中任一項所述的裝置，其特征在于，所述裝置還包括:通信模塊，用于獲取所述顯示空間中當(dāng)前物體的分布信息。
9.如權(quán)利要求8所述的裝置，其特征在于，所述通信模塊還用于獲取所述用戶當(dāng)前在顯示空間中的位置和/或運動姿態(tài)信息。
10.如權(quán)利要求1至5中任一項所述的裝置，其特征在于，所述對象確定模塊包括: 注視點空間位置確定單元，用于根據(jù)用戶當(dāng)前在顯示空間中的位置和運動姿態(tài)信息、以及所述注視點相對于用戶的位置信息確定所述注視點在顯示空間中的相對位置； 對象確定單元，用于根據(jù)所述注視點在顯示空間中的相對位置以及所述顯示空間中當(dāng)前物體的分布信息確定用戶拾取的對象。
11.如權(quán)利要求1至5中任一項所述的裝置，其特征在于，所述裝置還包括:對象信息提示模塊，用于提示被拾取對象的對應(yīng)信息。
12.—種三維顯示中對象的拾取方法，其特征在于，包括: 注視點信息獲取步驟，用于獲取當(dāng)前用戶眼睛的注視點相對于用戶的位置信息；對象確定步驟，用于根據(jù)用戶當(dāng)前在顯示空間中的位置和運動姿態(tài)信息、所述注視點相對于用戶的位置信息以及顯示空間中當(dāng)前物體的分布信息確定用戶拾取的對象。
13.如權(quán)利要求12所述的方法，其特征在于，所述注視點信息獲取步驟包括:采集眼睛眼底呈現(xiàn)的圖像； 進行所述圖像采集位置與眼睛之間光路的成像參數(shù)的調(diào)節(jié)以使得采集到最清晰的圖像； 對采集到的圖像進行處理，根據(jù)得到所述最清晰圖像時所述圖像采集位置與眼睛之間光路的成像參數(shù)以及眼睛的光學(xué)參數(shù)，計算得到眼睛的注視點相對于用戶的位置信息。
14.如權(quán)利要求13所述的方法，其特征在于，所述進行所述圖像采集位置與眼睛之間光路的成像參數(shù)的調(diào)節(jié)包括: 調(diào)節(jié)位于眼睛與圖像采集位置之間光路上的透鏡單元的焦距和/或在光路中的位置。
15.如權(quán)利要求13所述的方法，其特征在于，所述注視點信息獲取步驟還包括: 分別對應(yīng)眼睛光軸方向不同時瞳孔的位置，將眼底呈現(xiàn)的圖像傳遞到所述圖像采集位置。
16.如權(quán)利要求13所述的方法，其特征在于，所述注視點信息獲取步驟還包括: 向眼底投射光斑圖案。
17.如權(quán)利要求12至16中任一項所述的方法，其特征在于，所述方法還包括: 獲取所述用戶當(dāng)前在顯示空間中的位置信息的步驟。
18.如權(quán)利要求12至16中任一項所述的方法，其特征在于，所述方法還包括: 獲取所述運動姿態(tài)信息的步驟。
19.如權(quán)利要求12至16中任一項所述的方法，其特征在于，所述方法還包括: 獲取所述顯示空間中當(dāng)前物體的分布信息的步驟。
20.如權(quán)利要求12至16中任一項所述的方法，其特征在于，所述對象確定步驟包括: 根據(jù)用戶當(dāng)前在顯示空間中的位置和運動姿態(tài)信息、以及所述注視點相對于用戶的位置信息確定所述注視點在顯示空間中的相對位置； 根據(jù)所述注視點在顯示空間中的相對位置以及所述顯示空間中當(dāng)前物體的分布信息確定用戶拾取的對象。
21.如權(quán)利要求12至16中任一項所述的方法，其特征在于，所述方法還包括:提示被拾取對象的對應(yīng)信息。
22.如權(quán)利要求21所述的方法，其特征在于，所述被拾取對象的對應(yīng)信息包括被拾取對象的被選中狀態(tài)信息。
23.如權(quán)利要求21所述的方法，其特征在于，所述被拾取對象的對應(yīng)信息包括所述被拾取對象的屬性信息。
24.如權(quán)利要求21所述的方法，其特征在于，所述被拾取對象的對應(yīng)信息包括所述被拾取對象的可操作信息。
25.如權(quán)利要求24所述的方法，其特征在于，所述被拾取對象的可操作信息包括: 對所述被拾取對象的加標(biāo)簽、查詢、刪除、復(fù)制、剪切、粘貼、移動、旋轉(zhuǎn)以及變形操作信息中的一種或多種。
【文檔編號】G02B27/22GK103475893SQ201310418251
【公開日】2013年12月25日 申請日期:2013年9月13日 優(yōu)先權(quán)日:2013年9月13日
【發(fā)明者】于魁飛, 杜琳, 張宏江 申請人:北京智谷睿拓技術(shù)服務(wù)有限公司