佩戴W自我為中屯、的相機(例如，嵌入在眼鏡中），還可W使用手部跟蹤圖像分析。
[0178] 可W使用與上述類似的變換來標識指點設備或手部/手指與W自我為中屯、的內(nèi)容 的關系，好像它被實際顯示，而不是顯示在顯示設備上。聲音分析或觸摸附件可W支持交 換，標識動作的開始和結束。
[0179] 交換也可W在于選擇W自我為中屯、的環(huán)境中的一件內(nèi)容，并且將其發(fā)送到不W自 我為中屯、的環(huán)境(在房間中）例如實際的顯示器(例如TV屏幕或監(jiān)視器)的裝置上，例如指點 它或對其命名。對此，不W自我為中屯、的環(huán)境的特征(幾何形狀、設備名稱和地址)必須是W 自我為中屯、的系統(tǒng)已知的。
[0180] 2.6 共享
[0181] 中屯、的內(nèi)容基本上適合于用戶U1，并且初始用戶U1是觀看它的唯一人。 然而，一些（可能是部分的）權利可能給予另外的用戶U2，W看到用戶U1的W自我為中屯、的 內(nèi)容。用戶U2因此可W理解用戶U1正在觀看/做的內(nèi)容。用戶U2還可能與該U1W自我為中屯、 的內(nèi)容進行共享/交互。
[0182] 實現(xiàn)該共享功能的解決方案是將用戶U2的所顯示的圖像坐標系統(tǒng)鏈接到用戶U1 的W自我為中屯、的坐標系統(tǒng)，通過：
[0183] 1)獲取(捕捉/估計）用戶U2的身體/軀干相對于用戶U1的身體/軀干的空間位置， (幾何變換TlT2:gTm);
[0184] 2)獲取(捕捉/估計）用戶U2的顯示設備相對于用戶2的身體/軀干的空間位置，（幾 何變換 T2D2:g_T2D2);
[0185] 3)將用戶Ur'W自我為中屯、的內(nèi)容"的數(shù)據(jù)和幾何形狀(授權的部分)傳遞給用戶 U2系統(tǒng)；
[0186] 4)計算用戶U2的顯示設備上的圖像，圖像的坐標和2D失真取決于：
[0187] i .想要在相對于用戶U1的方向上在他的W自我為中屯、的坐標系統(tǒng)中顯示的內(nèi)容 ("W自我為中屯、的內(nèi)容"），
[0188] i i .幾何變換T1T2: gTiT2和幾何變換T1D2: gTiD2;
[0189] 通過將一個用戶的W自我為中屯、的內(nèi)容重新用于另外的用戶的W自我為中屯、的 環(huán)境中的運種解決方案，用戶U2可W看到用戶U1的W自我為中屯、的內(nèi)容，并且可能操作它。
[0190] 當用戶U1和用戶U2共享內(nèi)容時，他們可W將所共享的內(nèi)容鏈接到兩個W自我為中 屯、的環(huán)境，并且例如如果他們并排坐著，貝峽同視頻位置可定化'在由兩個W自我為中 屯、的環(huán)境(兩個軀干/頭部傳感器)而定的位置處的空間中。該解決方案適合于兩個W上的 用戶。在使用W自我為中屯、的設備觀看共同內(nèi)容的運個方面上，可W學習到多個場景。
[0191] 3相關設備
[0192] 圖7例示根據(jù)本公開的視覺圖像處理設備的實施例。
[0193] 運樣的設備具有：存儲器（被標記為71)，包含緩沖存儲器；處理單元（被標記為 72)，其配備例如有微處理器并且由計算機程序驅動;所述計算機程序(被標記為73)實現(xiàn)根 據(jù)本公開的呈現(xiàn)方法的至少一些步驟。
[0194] 在初始化時，計算機程序的代碼指令例如被加載到RAM中，然后由處理單元的處理 器執(zhí)行。處理單元輸入視覺數(shù)據(jù)、由被配置為獲取11的模塊獲取的Ξ維位置。處理單元72的 微處理器根據(jù)計算機程序73的指令來實現(xiàn)確定62、修改63和顯示64的步驟，W確定和修改 要顯示的視覺數(shù)據(jù)的子集，并且最終恢復視覺數(shù)據(jù)。
[0195] 因此，被配置為確定12視覺數(shù)據(jù)的子集的模塊、被配置為修改13視覺數(shù)據(jù)的集合 的模塊W及被配置為顯示14視覺數(shù)據(jù)的模塊可W全部通過一個處理單元72和具有對應的 計算機程序73的存儲器71來實現(xiàn)。
[0196] 在另外的實現(xiàn)方式中，設備是專用設備，包含專用處理單元72和/或存儲資源71。 在運樣的情況下，被配置為確定（12)視覺數(shù)據(jù)的子集的模塊、被配置為修改（13)視覺數(shù)據(jù) 的集合的模塊W及被配置為顯示（14)視覺數(shù)據(jù)的模塊分別具有專用微處理器72和/或存儲 器71。
[0197] 先前例示的設備可W鏈接或集成在各種各樣的顯示設備中。在運些顯示器類型 中，可W設及W下類型：
[0198] -手持型：顯示器可W是手持顯示器(智能電話或平板）。用戶將顯示器移動至臂長 處或者更近處W探測他/她的W自我為中屯、的環(huán)境。自我為中屯、的內(nèi)容"需要呈現(xiàn)到顯 示器的成像表面上，W在W自我為中屯、的環(huán)境中看上去是靜態(tài)的，好像通過智能電話或平 板框看到的那樣。內(nèi)容失真和到像素的映射將在從自我為中屯、的內(nèi)容"表面到顯示器的 成像表面的運種投影中發(fā)生。
[0199] -眼鏡:顯示器可W包含將虛擬圖像投影到用戶前面的視頻眼鏡。用戶移動其頭部 W探測他/她的W自我為中屯、的環(huán)境。自我為中屯、的內(nèi)容'需要被投影到眼鏡的虛擬圖 像平面上，W在W自我為中屯、的環(huán)境中看上去是靜態(tài)的。內(nèi)容失真和到像素的映射將在從 自我為中屯、的內(nèi)容"表面到虛擬圖像的運種投影中發(fā)生。
[0200] -立體視覺：在立體視覺顯示器的情況下，投影需要單獨對每個眼睛進行。對于非 立體視覺顯示器，可w使用獨眼坐標(眼睛中點)作為兩個眼睛的共同坐標。 巧201 ] 4計算機程序
[0202]本公開提供可W從通信網(wǎng)絡下載和/或存儲在計算機可讀取的載體和/或可由微 處理器執(zhí)行的計算機程序產(chǎn)品。該程序產(chǎn)品包含當其在計算機上被執(zhí)行時執(zhí)行根據(jù)用于處 理視覺數(shù)據(jù)的前述方法中的任一種的處理視覺數(shù)據(jù)的方法的程序代碼指令。
【主權項】
1. 一種對終端顯示視覺數(shù)據(jù)的視覺數(shù)據(jù)處理設備，其特征在于，其包含： 被配置為獲取(11)所述終端相對于所述終端的用戶上的參考點的三維位置的模塊； 被配置為與所述終端的所述三維位置相關地、根據(jù)可用視覺數(shù)據(jù)的集合來確定（12)從 所述參考點的視點要顯示的視覺數(shù)據(jù)的子集的模塊； 被配置為修改（13)所述要顯示的視覺數(shù)據(jù)的子集、交付所述修改的視覺數(shù)據(jù)的模塊； 以及 被配置為在所述終端的顯示模塊上顯示（14)所修改的視覺數(shù)據(jù)的模塊。2. 根據(jù)權利要求1所述的視覺數(shù)據(jù)處理設備，其特征在于，所述參考點在所述用戶的軀 干上。3. 根據(jù)權利要求1所述的視覺數(shù)據(jù)處理設備，其特征在于，所述可用視覺數(shù)據(jù)的集合包 含以下元素中的至少一個： 操作系統(tǒng)的桌面； 應用的圖標； 應用的用戶界面； 視頻內(nèi)容。4. 根據(jù)權利要求1所述的視覺數(shù)據(jù)處理設備，其特征在于，所述用于確定要顯示的視覺 數(shù)據(jù)的子集的模塊包含： 被配置為獲取(131)表示至少一個幾何變換的至少一條數(shù)據(jù)的模塊； 被配置為對所述要顯示的視覺數(shù)據(jù)的子集應用（132)所述至少一個幾何變換的模塊。5. 根據(jù)權利要求4所述的視覺數(shù)據(jù)處理設備，其特征在于，所述至少一個幾何變換包含 一個3D空間旋轉和一個3D平移。6. 根據(jù)權利要求1所述的視覺數(shù)據(jù)處理設備，其特征在于，所述被配置為獲取三維位置 的模塊包含位置傳感器(31，32，33)。7. 根據(jù)權利要求6所述的視覺數(shù)據(jù)處理設備，其特征在于，所述位置傳感器根據(jù)位于用 戶上的所述參考點上的至少一個項目（32,33)來測量所述三維位置。8. 根據(jù)權利要求1至7中的任一項所述的視覺數(shù)據(jù)處理設備，其特征在于，所述終端是 手持設備或頭戴式設備(HMD)。9. 一種用于處理要在終端的復原模塊上恢復的視覺數(shù)據(jù)的方法，其特征在于，所述方 法包含： 獲取(61)所述終端相對于所述終端的用戶上的參考點的三維位置； 與所述終端的所述三維位置相關地、根據(jù)可用視覺數(shù)據(jù)的集合來確定(62)從所述參考 點的視點要顯示的三維視覺數(shù)據(jù)的子集； 修改(63)所述要顯示的三維視覺數(shù)據(jù)的子集，交付所修改的視覺數(shù)據(jù)；以及 在所述終端的所述顯示模塊上顯示(64)所述修改的視覺數(shù)據(jù)。10. 根據(jù)權利要求9所述的方法，其特征在于，所述參考點在所述用戶的軀干上。11. 根據(jù)權利要求9所述的方法，其特征在于，所述可用視覺數(shù)據(jù)的集合包含以下元素 中的至少一個： 操作系統(tǒng)的桌面； 應用的圖標； 應用的用戶界面； 視頻內(nèi)容。12. 根據(jù)權利要求9所述的方法，其特征在于，所述確定步驟包含： 獲取(631)表示至少一個幾何變換的數(shù)據(jù)； 對所述要顯示的視覺數(shù)據(jù)的子集應用(632)所述至少一個幾何變換。13. 根據(jù)權利要求12所述的方法，其特征在于，所述至少一個幾何變換包含一個3D空間 旋轉和一個3D平移。14. 一種可從通信網(wǎng)絡下載和/或存儲在計算機可讀取的載體中和/或可由微處理器執(zhí) 行的計算機程序產(chǎn)品，其特征在于，其包含當在計算機上執(zhí)行時執(zhí)行根據(jù)權利要求9至13中 的至少一項所述的處理視覺數(shù)據(jù)的方法的程序代碼指令。
【專利摘要】處理視覺數(shù)據(jù)的設備和方法以及相關的計算機程序產(chǎn)品。本公開涉及視覺數(shù)據(jù)處理設備和視覺數(shù)據(jù)處理方法。所述設備用于對終端顯示視覺數(shù)據(jù)。所述設備包括：被配置為獲取(11)終端相對于終端的用戶上的參考點的三維位置的模塊；被配置為與所述終端的三維位置相關地、根據(jù)可用視覺數(shù)據(jù)的集合來確定(12)從參考點的視點要顯示的三維視覺數(shù)據(jù)的子集的模塊；被配置為修改(13)所述要顯示的三維視覺數(shù)據(jù)的子集、交付所修改的視覺數(shù)據(jù)的模塊；被配置為在終端的顯示模塊上顯示(14)所修改的視覺數(shù)據(jù)的模塊。
【IPC分類】G06F3/01
【公開號】CN105630152
【申請?zhí)枴緾N201510800100
【發(fā)明人】L.布隆德, V.德拉奇克, A.舒伯特
【申請人】湯姆遜許可公司
【公開日】2016年6月1日
【申請日】2015年11月19日
【公告號】EP3023863A1, EP3035159A1, US20160148434