容易得多。在單獨(dú)但重疊的視圖中分割確定移動(dòng)的組件只允許有關(guān)的數(shù)據(jù)在移動(dòng)設(shè)備302和顯示設(shè)備304之間發(fā)送，從而進(jìn)一步降低了計(jì)算和帶寬負(fù)載。
[0063]已經(jīng)發(fā)現(xiàn)，無線地配對(duì)具有使其各自的光軸被放置成彼此成一角度的移動(dòng)設(shè)備相機(jī)312和顯示設(shè)備相機(jī)316的移動(dòng)設(shè)備302和顯示設(shè)備304允許創(chuàng)建可以通過自然手的運(yùn)動(dòng)而無需專用硬件被容易地設(shè)置和控制的近距離的用戶界面。移動(dòng)設(shè)備相機(jī)312和顯示設(shè)備相機(jī)316可以是簡單的2D相機(jī)，而沒有3D或廣角相機(jī)硬件的復(fù)雜性。顯示設(shè)備304可以是從TV到膝上型計(jì)算機(jī)到平板電腦的任何一種，典型的用戶將擁有其中的至少一種，并且移動(dòng)設(shè)備302可以僅僅是幾乎任何人都將擁有的電話，因此將不需要任何用戶獲得附加的硬件。此外，由于設(shè)備將同步朝向并且可以在移動(dòng)設(shè)備302和顯示設(shè)備304之間傳遞有關(guān)的信息，因此用戶的校準(zhǔn)是不必要的，從而簡化了自然用戶界面系統(tǒng)300的設(shè)置和使用。
[0064]現(xiàn)在參考圖4，其中示出了在本發(fā)明還有的實(shí)施例中的自然用戶界面系統(tǒng)100的操作方法400的流程圖。方法400包括:在方框402，提供具有顯示屏和顯示設(shè)備相機(jī)的顯示設(shè)備;在方框404，提供具有移動(dòng)設(shè)備相機(jī)的移動(dòng)設(shè)備，移動(dòng)設(shè)備相機(jī)的光軸被放置成與顯示設(shè)備相機(jī)的光軸成一角度;在方框406，將移動(dòng)設(shè)備與顯示設(shè)備配對(duì);在方框408，檢測用戶的手;在方框410，確定用戶的手的姿勢和移動(dòng);并且在方框412，將用戶的手的姿勢和移動(dòng)轉(zhuǎn)換為用于控制在顯示屏上的用戶界面的元素的手勢。
[0065]所得到的方法、過程、裝置、設(shè)備、產(chǎn)品和/或系統(tǒng)直接明了、具有成本效益、不復(fù)雜、高通用性且有效，能夠通過采用已知的技術(shù)令人吃驚地和隱藏地實(shí)現(xiàn)，并因此容易地適于高效且經(jīng)濟(jì)地制造自然用戶界面系統(tǒng)/與常規(guī)的制造方法或過程和技術(shù)完全相兼容。
[0066]本發(fā)明的另一個(gè)重要方面是它有價(jià)值地支持并服務(wù)于降低成本、簡化系統(tǒng)和提高性能的歷史趨勢。
[0067]本發(fā)明的這些和其它有價(jià)值的方面因此使技術(shù)狀態(tài)前進(jìn)到至少新的水平。
[0068]雖然已經(jīng)結(jié)合特定的最佳模式對(duì)本發(fā)明進(jìn)行了描述，但是應(yīng)當(dāng)理解，鑒于前面的描述，許多替代、修改和變化對(duì)本領(lǐng)域技術(shù)人員來說將是顯然的。因此，屬于所附權(quán)利要求范圍之內(nèi)的所有這些替代，修改和變化都要包括在內(nèi)。至此，在附圖中闡述或示出的所有事項(xiàng)都要以說明性和非限制性的意義進(jìn)行解釋。
【主權(quán)項(xiàng)】
1.一種操作自然用戶界面系統(tǒng)的方法，包括: 提供具有顯示屏和顯示設(shè)備相機(jī)的顯示設(shè)備； 提供具有移動(dòng)設(shè)備相機(jī)的移動(dòng)設(shè)備，所述移動(dòng)設(shè)備相機(jī)的光軸被放置成與所述顯示設(shè)備相機(jī)的光軸成一角度； 將所述移動(dòng)設(shè)備與所述顯示設(shè)備配對(duì)； 檢測用戶的手； 確定所述用戶的手的姿勢和移動(dòng);及 將所述用戶的手的姿勢和移動(dòng)轉(zhuǎn)換為用于控制在所述顯示屏上的用戶界面的元素的手勢。2.如權(quán)利要求1所述的方法，還包括基于所述顯示設(shè)備的朝向相對(duì)于所述移動(dòng)設(shè)備的朝向而旋轉(zhuǎn)所述移動(dòng)設(shè)備相機(jī)的視角。3.如權(quán)利要求1所述的方法，還包括: 檢測用戶的面部； 從用戶的面部確定視線向量;及 利用所述視線向量細(xì)化光標(biāo)在所述顯示屏上的移動(dòng)。4.如權(quán)利要求1所述的方法，其中檢測用戶的手包括: 用所述移動(dòng)設(shè)備相機(jī)檢測用戶的手;及 用所述顯示設(shè)備相機(jī)檢測用戶的手。5.如權(quán)利要求1所述的方法，其中確定所述用戶的手的姿勢和移動(dòng)包括: 用所述移動(dòng)設(shè)備相機(jī)確定所述用戶的手的前后運(yùn)動(dòng)和側(cè)向運(yùn)動(dòng)； 用所述顯示設(shè)備相機(jī)確定所述用戶的手的上下和側(cè)向運(yùn)動(dòng)； 用所述移動(dòng)設(shè)備相機(jī)和所述顯示設(shè)備相機(jī)確定所述用戶的手的姿勢;及通過將由所述移動(dòng)設(shè)備相機(jī)和所述顯示設(shè)備相機(jī)確定的所述用戶的手的運(yùn)動(dòng)進(jìn)行相關(guān)來確定所述用戶的手在三維空間中的姿勢和移動(dòng)。6.一種操作自然用戶界面系統(tǒng)的方法，包括: 提供具有顯示屏和顯示設(shè)備相機(jī)的顯示設(shè)備； 提供具有移動(dòng)設(shè)備相機(jī)的移動(dòng)設(shè)備，所述移動(dòng)設(shè)備相機(jī)的光軸被放置成與所述顯示設(shè)備相機(jī)的光軸成一角度； 將所述移動(dòng)設(shè)備與所述顯示設(shè)備配對(duì)； 基于所述移動(dòng)設(shè)備相對(duì)于所述顯示設(shè)備的朝向來同步所述移動(dòng)設(shè)備相機(jī)的視角； 用所述移動(dòng)設(shè)備相機(jī)和所述顯示設(shè)備相機(jī)檢測用戶的手； 確定所述用戶的手的姿勢和移動(dòng)； 將所述用戶的手的姿勢和移動(dòng)轉(zhuǎn)換為用于控制在所述顯示屏上的用戶界面的元素的手勢； 檢測用戶的面部； 從所述用戶的面部確定視線向量;及 利用所述視線向量細(xì)化光標(biāo)在所述顯示屏上的移動(dòng)。7.如權(quán)利要求6所述的方法，其中用所述移動(dòng)設(shè)備相機(jī)檢測用戶的手包括: 確定黑暗情況;及 基于所述黑暗情況激活所述移動(dòng)設(shè)備的閃光燈用于照明所述用戶的手。8.如權(quán)利要求6所述的方法，其中將所述移動(dòng)設(shè)備與所述顯示設(shè)備配對(duì)包括: 確定所述移動(dòng)設(shè)備的面朝下朝向；及 自動(dòng)地發(fā)起所述移動(dòng)設(shè)備和所述顯示設(shè)備之間的無線連接。9.如權(quán)利要求6所述的方法，其中提供移動(dòng)設(shè)備包括將所述移動(dòng)設(shè)備相機(jī)和所述顯示設(shè)備相機(jī)放置為具有重疊的視野。10.如權(quán)利要求6所述的方法，其中用所述移動(dòng)設(shè)備相機(jī)檢測用戶的手包括針對(duì)作為背景的天花板檢測所述用戶的手。11.一種自然用戶界面系統(tǒng)，包括: 具有顯不屏和顯不設(shè)備相機(jī)的顯不設(shè)備； 具有移動(dòng)設(shè)備相機(jī)的移動(dòng)設(shè)備，所述移動(dòng)設(shè)備相機(jī)的光軸被放置成與所述顯示設(shè)備相機(jī)的光軸成一角度； 所述移動(dòng)設(shè)備包括第一設(shè)備配對(duì)模塊，用于將所述移動(dòng)設(shè)備與所述顯示設(shè)備配對(duì)； 所述移動(dòng)設(shè)備相機(jī)和所述顯示設(shè)備相機(jī)用于: 檢測用戶的手，及 確定所述用戶的手的姿勢和移動(dòng);及 所述顯示設(shè)備包括運(yùn)動(dòng)轉(zhuǎn)換模塊，用于將所述用戶的手的姿勢和移動(dòng)轉(zhuǎn)換為用于控制在所述顯示屏上的用戶界面的元素的手勢。12.如權(quán)利要求11所述的系統(tǒng)，其中所述移動(dòng)設(shè)備包括視圖同步模塊，用于基于所述顯示設(shè)備的朝向相對(duì)于所述移動(dòng)設(shè)備的朝向而旋轉(zhuǎn)所述移動(dòng)設(shè)備相機(jī)的視角。13.如權(quán)利要求11所述的系統(tǒng)，其中: 所述顯示設(shè)備相機(jī)用于檢測用戶的面部;及 所述顯示設(shè)備包括: 耦合到運(yùn)動(dòng)轉(zhuǎn)換模塊的視線檢測模塊，用于從所述用戶的面部確定視線向量;及耦合到所述視線檢測模塊的移動(dòng)細(xì)化模塊，用于利用所述視線向量細(xì)化光標(biāo)的移動(dòng)以用于在所述顯示屏上顯示。14.如權(quán)利要求11所述的系統(tǒng)，還包括耦合到所述第一設(shè)備配對(duì)模塊的形狀檢測模塊，用于用所述移動(dòng)設(shè)備相機(jī)檢測所述用戶的手。15.如權(quán)利要求11所述的系統(tǒng)，其中: 所述移動(dòng)設(shè)備相機(jī)用于確定所述用戶的手的前后運(yùn)動(dòng)、所述用戶的手的側(cè)向運(yùn)動(dòng)和所述用戶的手的姿勢； 所述顯示設(shè)備相機(jī)用于確定所述用戶的手的上下和側(cè)向運(yùn)動(dòng)，并且用于確定所述用戶的手的姿勢;及 所述顯示設(shè)備用于通過將由所述移動(dòng)設(shè)備相機(jī)和所述顯示設(shè)備相機(jī)確定的所述用戶的手的運(yùn)動(dòng)進(jìn)行相關(guān)來確定所述用戶的手在三維空間中的姿勢和移動(dòng)。16.如權(quán)利要求11所述的系統(tǒng)，還包括: 耦合到所述第一設(shè)備配對(duì)模塊的形狀檢測模塊，用于用所述移動(dòng)設(shè)備相機(jī)檢測所述用戶的手； 其中: 所述顯示設(shè)備相機(jī)用于檢測用戶的面部、確定所述用戶的手的上下和側(cè)向運(yùn)動(dòng)，并且用于確定所述用戶的手的姿勢； 所述移動(dòng)設(shè)備相機(jī)用于確定所述用戶的手的前后運(yùn)動(dòng)和側(cè)向運(yùn)動(dòng)，并且用于確定所述用戶的手的姿勢;及 所述顯示設(shè)備用于通過將由所述移動(dòng)設(shè)備相機(jī)和所述顯示設(shè)備相機(jī)確定的所述側(cè)向運(yùn)動(dòng)進(jìn)行相關(guān)來確定所述用戶的手在三維空間中的姿勢和移動(dòng)，所述顯示設(shè)備包括:耦合到所述運(yùn)動(dòng)轉(zhuǎn)換模塊的視線檢測模塊，用于從所述用戶的面部確定視線向量，及耦合到所述視線檢測模塊的移動(dòng)細(xì)化模塊，用于利用所述視線向量細(xì)化光標(biāo)的移動(dòng)以用于在所述顯示屏上顯示。17.如權(quán)利要求16所述的系統(tǒng)，其中: 所述移動(dòng)設(shè)備相機(jī)用于確定黑暗情況;及 所述移動(dòng)設(shè)備包括閃光燈，用于基于所述黑暗情況照明所述用戶的手。18.如權(quán)利要求16所述的系統(tǒng)，其中: 所述移動(dòng)設(shè)備包括用于確定所述移動(dòng)設(shè)備的面朝下朝向的陀螺儀;及 所述第一設(shè)備配對(duì)模塊用于自動(dòng)地發(fā)起所述移動(dòng)設(shè)備和所述顯示設(shè)備之間的無線連接。19.如權(quán)利要求16所述的系統(tǒng)，其中所述移動(dòng)設(shè)備相機(jī)的光軸被放置成與所述顯示設(shè)備相機(jī)的光軸成一角度包括所述移動(dòng)設(shè)備相機(jī)和所述顯示設(shè)備相機(jī)具有重疊的視野。20.如權(quán)利要求16所述的系統(tǒng)，其中所述形狀檢測模塊用于針對(duì)作為背景的天花板檢測所述用戶的手。
【專利摘要】一種自然用戶界面系統(tǒng)及其操作方法包括：具有顯示屏和顯示設(shè)備相機(jī)的顯示設(shè)備；具有移動(dòng)設(shè)備相機(jī)的移動(dòng)設(shè)備，移動(dòng)設(shè)備相機(jī)的光軸被放置成與顯示設(shè)備相機(jī)的光軸成一角度；其中：移動(dòng)設(shè)備包括第一設(shè)備配對(duì)模塊，用于將移動(dòng)設(shè)備與顯示設(shè)備配對(duì)；移動(dòng)設(shè)備相機(jī)和顯示設(shè)備相機(jī)用于：檢測用戶的手，和確定用戶的手的姿勢和移動(dòng)；并且顯示設(shè)備包括運(yùn)動(dòng)轉(zhuǎn)換模塊，用于將用戶的手的姿勢和移動(dòng)轉(zhuǎn)換為用于控制在顯示屏上的用戶界面的元素的手勢。
【IPC分類】G06F3/0488
【公開號(hào)】CN105453015
【申請(qǐng)?zhí)枴緾N201480044140
【發(fā)明人】A·布萊斯托弗, 橫野順
【申請(qǐng)人】索尼公司
【公開日】2016年3月30日
【申請(qǐng)日】2014年8月18日
【公告號(hào)】EP3017358A1, US9261966, US20150054740, WO2015026707A1