專利名稱：信息處理設(shè)備、信息處理方法和終端設(shè)備的制作方法
技術(shù)領(lǐng)域：
本公開涉及信息處理設(shè)備、信息處理方法、程序和終端設(shè)備。
背景技術(shù)：
ATM (Automated Teller Machine,自動柜員機)和用于管理房間訪問等的安全系統(tǒng)傳統(tǒng)上通過使得用戶輸入僅被有限用戶知道的諸如PIN(個人標(biāo)識號)號或密碼之類的機密信息來保持安全。各種技術(shù)也用于防止因為在信息的輸入期間的暗中監(jiān)視(窺探)導(dǎo)致的在安全上的下降。例如，根據(jù)日本公開專利公報No. 2002-032176，每次隨機地重新布置在觸摸板顯示器上顯示的輸入按鍵的布局，以防止第三方根據(jù)用戶的手部運動猜測機密信息。日本公開 專利公報No. H10-240186限制了液晶監(jiān)控器的視角，以防止暗中監(jiān)視。

發(fā)明內(nèi)容
然而，對于在公報No. 2002-032176中的技術(shù)，雖然第三方不能僅從暗中監(jiān)視用戶的手部運動來知曉輸入的信息，但是這樣的第三方容易通過查看顯示器以及用戶的手部運動來知曉輸入的信息。此外，雖然在公報No. H10-240186中的技術(shù)可以降低暗中監(jiān)視的頻率，但是它不能完全防止暗中監(jiān)視的出現(xiàn)。因此，期望提供一種能夠顯著地改善輸入機密信息時的安全性的新穎和改善的信息處理設(shè)備、信息處理方法和終端設(shè)備。因此，提供了一種用于識別輸入操作的設(shè)備。所述設(shè)備包括通信單元，其被配置來發(fā)送虛擬按鍵信息。所述設(shè)備進一步包括輸入單元，其被配置來基于所檢測的輸入件來確定輸入位置信息。所述設(shè)備也包括確定單元，其被配置來通過將所述虛擬按鍵信息與所述輸入位置信息作比較來確定按鍵輸入，其中，所述虛擬按鍵信息定義要在所述輸入單元上疊加的虛擬輸入按鍵的布局。在另一個方面，提供了一種終端設(shè)備，用于表示虛擬按鍵信息。所述終端設(shè)備包括成像單元，其被配置來接收用于表示輸入圖像的圖像數(shù)據(jù)。所述終端設(shè)備進一步包括識別單元，其被配置來基于在所述圖像數(shù)據(jù)中的輸入部分的特征來識別所述輸入部分。所述終端設(shè)備也包括顯示控制單元，其被配置來顯示用于表示在所述輸入部分上疊加的虛擬按鍵信息的圖像。在另一個方面，提供了一種用于識別輸入操作的方法。所述方法包括發(fā)送用于定義虛擬輸入按鍵的布局的虛擬按鍵信息。所述方法進一步包括基于所檢測的輸入件來確定輸入位置信息。所述方法也包括通過將所述虛擬按鍵信息與所述輸入位置信息作比較來確定按鍵輸入。在另一個方面，提供了一種用于表示虛擬按鍵信息的方法。所述方法包括接收用于表示輸入圖像的圖像數(shù)據(jù)。所述方法進一步包括基于在所述圖像數(shù)據(jù)中的輸入部分的特征來識別所述輸入部分。所述方法也包括顯示用于表示在所述輸入部分上疊加的虛擬按鍵信息的圖像。在另一個方面，提供了一種有形地體現(xiàn)的非暫時計算機可讀存儲介質(zhì)，用于存儲指令，所述指令當(dāng)被處理器執(zhí)行時使得計算機執(zhí)行用于識別輸入操作的方法。所述方法包括發(fā)送用于定義虛擬輸入按鍵的布局的虛擬按鍵信息。所述方法進一步包括基于所檢測的輸入件來確定輸入位置信息。所述方法也包括通過將所述虛擬按鍵信息與所述輸入位置信息作比較來確定按鍵輸入。在另一個方面，提供了一種有形地體現(xiàn)的非暫時計算機可讀存儲介質(zhì)，用于存儲指令，所述指令當(dāng)被處理器執(zhí)行時使得計算機執(zhí)行用于表示虛擬按鍵信息的方法。所述方法包括接收用于表示輸入圖像的圖像數(shù)據(jù)。所述方法進一步包括基于在所述圖像數(shù)據(jù)中的輸入部分的特征來識別所述輸入部分。所述方法也包括顯示用于表示在所述輸入部分上疊加的虛擬按鍵信息的圖像。在另一個方面，提供了一種系統(tǒng)。所述系統(tǒng)包括輸入設(shè)備，所述輸入設(shè)備包括被 配置來發(fā)送虛擬按鍵信息的通信單元；被配置來基于所檢測的輸入件來確定輸入位置信息的輸入單元；以及確定單元，其被配置來通過將所述虛擬按鍵信息與所述輸入位置信息作比較來確定按鍵輸入。所述系統(tǒng)進一步包括終端設(shè)備，所述終端設(shè)備包括成像單元，其被配置來接收用于表示輸入圖像的圖像數(shù)據(jù)；識別單元，其被配置來基于在所述圖像數(shù)據(jù)中的輸入部分的特征來識別所述輸入部分；以及顯示控制單元，其被配置來顯示用于表示在所述輸入部分上疊加的虛擬按鍵信息的圖像。在另一個方面，提供了一種系統(tǒng)。所述系統(tǒng)包括輸入設(shè)備，所述輸入設(shè)備包括用于發(fā)送虛擬按鍵信息的通信部件；用于基于所檢測的輸入件來確定輸入位置信息的輸入部件；以及確定部件，用于通過將所述虛擬按鍵信息與所述輸入位置信息作比較來確定按鍵輸入。所述系統(tǒng)進一步包括終端設(shè)備，所述終端設(shè)備包括成像部件，用于接收用于表示輸入圖像的圖像數(shù)據(jù)；識別部件，用于基于在所述圖像數(shù)據(jù)中的輸入部分的特征來識別所述輸入部分；以及顯示控制部件，用于顯示用于表示在所述輸入部分上疊加的虛擬按鍵信息的圖像。根據(jù)如上所述的實施例，提供了能夠顯著地改善當(dāng)輸入機密信息時的安全性的信息處理設(shè)備、信息處理方法和終端設(shè)備。


圖I是示出根據(jù)本公開的第一實施例的安全系統(tǒng)的概述的示意圖；圖2是示出根據(jù)第一實施例的終端設(shè)備的配置的一個示例的框圖；圖3是示出根據(jù)第一實施例的輸入終端的配置的一個示例的框圖；圖4是有益于說明根據(jù)第一實施例和第二實施例的AR圖像的圖；圖5是由根據(jù)第一實施例的安全系統(tǒng)執(zhí)行的流程圖；圖6是示出根據(jù)第二實施例的安全系統(tǒng)的概覽的示意圖；圖7是示出根據(jù)第二實施例的服務(wù)器的配置的一個示例的框圖；圖8是示出根據(jù)第二實施例的輸入終端的配置的一個示例的框圖；以及圖9是由根據(jù)第二實施例的安全系統(tǒng)執(zhí)行的流程圖。
具體實施例方式下面，將參考附圖詳細描述本公開的實施例。注意，在本說明書和附圖中，使用相同的附圖標(biāo)記來表示具有基本上相同功能和結(jié)構(gòu)的結(jié)構(gòu)元件，并且省略這些結(jié)構(gòu)元件的重復(fù)說明。根據(jù)本公開的示例性實施例提供了一種設(shè)備，包括通信單元，其被配置來發(fā)送虛擬按鍵信息；信息獲取單元，用于獲取輸入位置信息，所述輸入位置信息表示由輸入單元檢測的用戶輸入的物理位置；以及確定單元，其被配置來通過將所述虛擬按鍵信息與所述輸入位置信息作比較來確定按鍵輸入，其中，所述虛擬按鍵信息定義要在所述輸入單元上疊加的虛擬輸入按鍵的布局。根據(jù)本公開的示例性實施例還提供了一種方法，包括發(fā)送用于定義虛擬輸入按鍵的布局的虛擬按鍵信息；獲取輸入位置信息，所述輸入位置信息表示用戶輸入的物理位置；以及通過將所述虛擬按鍵信息與所述輸入位置信息作比較來確定按鍵輸入。

根據(jù)本公開的示例性實施例還提供了一種系統(tǒng)，包括輸入設(shè)備，包括通信單元，其被配置來發(fā)送虛擬按鍵信息；信息獲取單元，用于獲取輸入位置信息，所述輸入位置信息表示由輸入單元檢測的用戶輸入的物理位置；以及確定單元，其被配置來通過將所述虛擬按鍵信息與所述輸入位置信息作比較來確定按鍵輸入；以及終端設(shè)備，包括成像單元，其被配置來接收用于表示輸入圖像的圖像數(shù)據(jù)；識別單元，其被配置來基于在所述圖像數(shù)據(jù)中的輸入部分的特征來識別所述輸入部分；以及顯示控制單元，其被配置來顯示用于表示在所述輸入部分上疊加的虛擬按鍵信息的圖像。應(yīng)當(dāng)注意，下面根據(jù)如下的順序來給出說明。第一實施例I.系統(tǒng)概述2.終端設(shè)備的示例配置3.輸入終端(信息處理設(shè)備)的示例配置4.處理流程的示例第二實施例5.系統(tǒng)概述6.服務(wù)器(信息處理設(shè)備)的示例配置7.輸入終端的示例配置8.處理流程的示例結(jié)論近些年來，注意力已經(jīng)聚焦在被稱為AR (增強現(xiàn)實)的技術(shù)，該技術(shù)通過在真實世界上疊加附加信息來向用戶提供這樣的信息?？梢允褂弥T如文本、圖標(biāo)和動畫的多種形式的虛擬對象來可視化由AR技術(shù)向用戶提供的信息。適合于AR技術(shù)的主要領(lǐng)域之一是支持在真實世界中的用戶行為。下面描述其中應(yīng)用AR技術(shù)的安全系統(tǒng)。通過如此進行，能夠改善當(dāng)輸入諸如PIN號、密碼或口令的機密信息時的安全性。 能夠向諸如ATM或房間訪問的管理的、用于改善安全性的系統(tǒng)應(yīng)用使用AR技術(shù)的安全系統(tǒng)。作為這樣的安全系統(tǒng)的示例，下面描述其中用戶U利用ATM設(shè)備作為輸入終端的ATM處理系統(tǒng)的第一實施例和第二實施例。
<第一實施例>(I.系統(tǒng)概述)首先，參考圖I來描述根據(jù)第一實施例的安全系統(tǒng)I的概述。安全系統(tǒng)I包括終端設(shè)備100和輸入終端200。根據(jù)第一實施例的輸入終端200是本公開的“信息處理設(shè)備”的一個示例。在圖I中的示例中，在用戶U已經(jīng)使用作為在真實空間中的對象的輸入終端200的輸入單元240進行期望密碼的按鍵輸入后，執(zhí)行ATM(自動柜員機)處理。輸入單元240是不顯示的觸摸板顯示器和/或無標(biāo)記的小鍵盤，并且經(jīng)由輸入單元240來接收根據(jù)來自用戶U的輸入操作的按鍵輸入信息。用戶U使用終端設(shè)備100。終端設(shè)備100連接到在用戶U的頭部安裝的圖像采集設(shè)備120和顯示設(shè)備150。圖像采集設(shè)備120在用戶U的視線方向上采集真實空間的圖像，并且向終端設(shè)備100輸出一系列輸入圖像。顯示設(shè)備150顯示包括虛擬按鍵信息的AR圖 像。虛擬按鍵信息定義在圖像中出現(xiàn)的、在輸入單元240上疊加地顯示的虛擬輸入按鍵的布局。在第一和第二實施例中，如圖4中的中心圖中所示，虛擬按鍵信息是按鍵的布局信息。然而，虛擬按鍵信息不限于此，并且可以是用于示出QWERTY按鍵或數(shù)字按鍵(tenkey)的布局的按鍵布局信息或可以是用于示出在輸入終端200的輸入單元240上的按鈕位置的信息。此外，虛擬按鍵信息可以是其中寫入諸如標(biāo)志(label)、發(fā)言氣球(speechballoon)或消息標(biāo)簽(message tag)的某種文本信息的文本框或可以是諸如圖標(biāo)的符號化地表達某種信息的圖形或符號。注意，下面描述的要顯示為AR圖像的變形后的虛擬按鍵信息也被包括在“虛擬按鍵信息”的概念中。在圖I的示例中，顯示設(shè)備150是頭部安裝的顯示器(HMD)。然而，終端設(shè)備100不限于在圖I中所示的配備相機的頭部安裝的顯示器的示例，并且可以是諸如配備相機的移動終端等的AR用具。在配備相機的移動終端的情況下，相機采集真實空間的圖像，并且在通過在移動終端中包含的MPU或CPU的圖像處理后，虛擬按鍵信息的圖像可以疊加和顯示在終端的屏幕上的真實空間的圖像上。顯示設(shè)備150的屏幕可以是透明屏幕(see-throughscreen)或可以是不透明屏幕(non see-through screen)。注意，為了本說明書的目的，被“采集”的圖像的概念包括透射環(huán)境光的透明屏幕。終端設(shè)備100可以是PC(個人計算機)或游戲控制臺或另一種設(shè)備。終端設(shè)備100經(jīng)由可以是有線或無線的通信連接來與輸入終端200進行通信。作為示例，在終端設(shè)備100和輸入終端200之間的通信可以是根據(jù)P2P(對等)方法的直接通信，或可以是經(jīng)由諸如路由器或服務(wù)器的另一種設(shè)備(未示出)執(zhí)行的間接通信。終端設(shè)備100顯示在顯示設(shè)備150上的真實空間上疊加的、由輸入終端200擁有的虛擬按鍵信息。輸入終端200可以例如被布置在銀行的分行中，并且可以是執(zhí)行ATM處理的ATM(自動柜員機)設(shè)備。輸入終端200存儲虛擬按鍵信息。在下面的部分中詳細描述在上面的安全系統(tǒng)I中的各個設(shè)備的具體示例配置。(2.終端設(shè)備的示例配置)首先，將描述終端設(shè)備100的內(nèi)部配置的一個示例。圖2是示出根據(jù)第一實施例的終端設(shè)備100的配置的一個示例的框圖。如圖2中所示，終端設(shè)備100包括通信單元110、圖像采集單元120 (即，成像單元)、識別單元130、顯示控制單元140、顯示單元150和存儲單元160。在此使用的術(shù)語“單元”可以是軟件模塊、硬件模塊或軟件模塊和硬件模塊的組合。這樣的硬件和軟件模塊可以被包含在分立電路、集成電路中或體現(xiàn)為由處理器執(zhí)行的指令。通信單元110是居間促成在終端設(shè)備100和另一個設(shè)備之間的通信連接的通信接口。當(dāng)終端設(shè)備100加入安全系統(tǒng)I中時，通信單元110在終端設(shè)備100和輸入終端200之間建立通信連接。雖然由通信單元110執(zhí)行的通信可以是如上所述的有線或無線通信，但是通常經(jīng)由諸如無線LAN(局域網(wǎng))或Bluetooth(注冊商標(biāo)，藍牙)的無線通信來與輸入終端200交換信息。通過如此進行，使得用戶U能夠利用安全系統(tǒng)I的服務(wù)的通信變得可能。更具體地，通信單元110從輸入終端200接收虛擬按鍵信息。圖像采集單元120對應(yīng)于在圖I中所示的終端設(shè)備100的圖像采集設(shè)備120，并且通過采集真實空間的圖像來獲取一系列輸入圖像。圖像采集單元120在用戶U的視線方向上采集圖像(視頻)。當(dāng)利用ATM服務(wù)時，用戶U的視線朝向輸入終端200定位以輸入密碼。這意味著圖像采集單元120采集輸入終端200的圖像。圖像采集單元120向識別單元 130輸出輸入圖像。作為用戶U實際看到的一個示例，在圖4中左面示出的輸入終端200的圖像被輸出到識別單元130。識別單元130對于來自圖像采集單元120的輸入圖像執(zhí)行圖像識別處理。更具體地，識別單元130識別在輸入圖像中出現(xiàn)的、在輸入終端200上設(shè)置的輸入單元240。當(dāng)已經(jīng)識別出輸入單元240時，識別單元130估計在輸入圖像中出現(xiàn)的輸入單元240的位置、姿態(tài)(例如，角度)和變形。識別單元130可以使用諸如模式匹配的已知圖像識別方法來識別輸入單元240。例如，識別單元130可以通過執(zhí)行對于大體在輸入終端200的中心設(shè)置的矩形框的模式匹配來識別輸入單元240?；蛘?，識別單元130可以在輸入圖像中識別物理地粘結(jié)到輸入終端200或輸入單元240的外圍的二維條形碼、標(biāo)記圖像、迅速響應(yīng)(QR)代碼等。例如，可以預(yù)先在輸入單元240的矩形框的四角處設(shè)置標(biāo)記，并且通過識別在輸入圖像中的標(biāo)記圖像，識別單元130可以識別輸入單元240。通過如此進行，能夠降低圖像處理的負載。可以在輸入單元240的矩形框的四角處設(shè)置紅外線發(fā)射單元等，并且通過檢測從這樣的單元發(fā)射的光點，識別單元130可以識別輸入單元240。識別單元130向顯示控制單元140輸出識別的輸入單元240的區(qū)域(輸入?yún)^(qū)域)。作為一個示例，識別單元130可以根據(jù)在下文中公開的SLAM(同時定位與映射)技術(shù)的原理來檢測輸入單兀 240 uReal-Time Simultaneous Localization and Mappingwith a Single Camera，，(Proceedings of the 9th IEEE International Conference onComputer Vision Volume 2, 2003, pp.1403-1410)by Andrew J. Davison。顯示控制單元140控制從輸入終端200發(fā)送的虛擬按鍵信息的顯示。更具體地，根據(jù)輸入單元240的圖像識別的結(jié)果，顯示控制單元140首先將與估計的輸入單元240的位置、姿態(tài)和變形對應(yīng)的虛擬按鍵信息圖像變形。通過如此進行，產(chǎn)生適合于疊加在由用戶U看到的真實空間上的虛擬按鍵信息的圖像。接下來，顯示控制單元140向由識別單元130識別的輸入單元240的區(qū)域上疊加變形后的虛擬按鍵信息的圖像。通過如此進行，能夠顯示在用戶U看到的實際場景上疊加的虛擬按鍵信息。在圖4的中心的附圖中示出變形后的虛擬按鍵信息的圖像，而在右面的附圖示出了變形后的虛擬按鍵信息如何疊加地出現(xiàn)在輸入單元240上。注意，顯示控制單元140可以使用如上所述的SLAM技術(shù)來繪制虛擬按鍵信息的圖像。通過如此進行，由用戶U佩戴的頭部安裝的顯示器HMD的顯示單元150顯示(投影)疊加在由用戶U看到的實際場景上的虛擬輸入按鍵。通過如此進行，能夠僅用戶U看至IJ在圖4中的AR圖像，其中，在用戶U看到的真實空間上疊加虛擬按鍵信息。注意,顯示單元150對應(yīng)于在圖I中所示的終端設(shè)備100的顯示設(shè)備150。如果顯示設(shè)備150的屏幕是透明屏幕，則能夠通過下述方式來向用戶U的眼睛顯示在圖4的右面所示的AR圖像僅向顯示設(shè)備150上投影虛擬按鍵信息的圖像，以便變得疊加。同時，如果顯示設(shè)備150的屏幕是不透明的屏幕，則能夠通過下述方式來向用戶U的眼睛顯示在圖4的右面所示的AR圖像在輸入圖像上疊加虛擬按鍵信息的圖像，并且在顯示設(shè)備150上顯示這樣疊加的圖像(AR圖像)。存儲單元160使用諸如硬盤驅(qū)動器或半導(dǎo)體存儲器的有形地體現(xiàn)的非暫時計算機可讀存儲介質(zhì)來存儲用于由終端設(shè)備100的處理器的處理和執(zhí)行的程序和各種數(shù)據(jù)。存 儲單元160也存儲從輸入終端200經(jīng)由通信單元110獲取的虛擬按鍵信息等。(3.輸入終端的示例配置(信息處理設(shè)備))接下來，將描述輸入終端200的內(nèi)部配置的一個示例。圖3是示出根據(jù)第一實施例的輸入終端200的配置的一個示例的框圖。如圖3中所示，輸入終端200包括應(yīng)用單元210、顯示控制單元220、通信單元230、輸入單元240、信息獲取單元250、確定單元260和存儲單元270。應(yīng)用單元210向用戶提供與ATM服務(wù)相關(guān)的應(yīng)用功能。應(yīng)用單元210也與顯示控制單元220和確定單元260 —致地作為，以實現(xiàn)使用AR技術(shù)的高度保密的用戶界面(UI)。顯示控制單元220控制由終端設(shè)備100對于AR圖像的顯示。顯示控制單元220產(chǎn)生如上所述的虛擬按鍵信息，該虛擬按鍵信息可視地向用戶U示出用戶U的按鍵按下和觸摸位置將被解釋為何種操作。通信單元230是居中促成在輸入終端200和終端設(shè)備100之間的通信連接的通信接口。通信單元230建立與終端設(shè)備100的通信連接。通信單元230向終端設(shè)備100發(fā)送虛擬按鍵信息。輸入單元240被終端設(shè)備100的用戶U使用來輸入用于認證的密碼。作為示例，輸入單元240可以包括小鍵盤、按鈕、開關(guān)或觸摸板?？梢宰鳛檩斎雴卧?40的示例給出不顯示的觸摸板顯示器或未標(biāo)記的小鍵盤。以這種方式，輸入單元240既不顯示用于向用戶示出虛擬輸入按鍵的布局的標(biāo)記，也沒有用于示出其的物理標(biāo)記。輸入單元240根據(jù)檢測的輸入件(例如，用戶的手指)或根據(jù)由觀看AR圖像的用戶U進行的在顯示器上的輸入操作(按壓或觸摸)來檢測物理輸入位置(例如，XY坐標(biāo))，并且向信息獲取單元250輸出該物理輸入位置。信息獲取單元250根據(jù)輸入單元240的檢測結(jié)果來產(chǎn)生輸入位置信息，并且向確定單元260輸出。注意，由輸入單元240檢測的物理輸入位置也是“輸入位置信息”的一個示例。根據(jù)輸入單元240的檢測結(jié)果，信息獲取單元250可以將物理輸入位置原樣地作為輸入位置信息向確定單兀260輸出。通過將由顯示控制單元220產(chǎn)生的虛擬按鍵信息和由信息獲取單元250產(chǎn)生的輸入位置信息作比較，確定單元260確定與用戶U的操作對應(yīng)的輸入信息。確定單元260向應(yīng)用單元210輸出作為確定結(jié)果的輸入信息(輸入按鍵)。存儲單元270使用諸如硬盤驅(qū)動器或半導(dǎo)體存儲器的有形地體現(xiàn)的非暫時計算機可讀存儲介質(zhì)，并且存儲用于由輸入終端200的處理器的執(zhí)行和處理的程序和數(shù)據(jù)。存儲單元270也存儲虛擬按鍵信息。(4 處理流程的示例)接下來，將參考在圖5中的流程圖來描述在根據(jù)第一實施例的安全系統(tǒng)I中的處理的流程。首先，輸入終端200的顯示控制單元220產(chǎn)生虛擬按鍵信息，并且通信單元230向終端設(shè)備100發(fā)送虛擬按鍵信息(步驟S102)。終端設(shè)備100的通信單元110從輸入終端200獲取虛擬按鍵信息(步驟S104)。 同時，終端設(shè)備100的圖像采集單元120在用戶U的視線的方向上采集真實空間的圖像，并且，識別單元130從輸入圖像識別輸入單元240的區(qū)域(步驟S106)。接下來，終端設(shè)備100的顯示控制單元140產(chǎn)生AR圖像，其中，在輸入單元240的區(qū)域上疊加虛擬按鍵信息(步驟S108)。顯示單元150在頭部安裝的顯示器HMD的顯示屏幕上顯示所產(chǎn)生的AR圖像(步驟SI 10)。通過如此進行，僅終端設(shè)備100的用戶U可以看到在圖4的右部示出的AR圖像。這意味著即使輸入終端200的輸入單元240是不顯示的觸摸板顯示器或未標(biāo)記的小鍵盤，通過基于在顯示的AR圖像中的虛擬按鍵信息來觸摸在輸入單元240上的任意位置，用戶U能夠執(zhí)行密碼等的所需要的按鍵輸入操作。當(dāng)由用戶U諸如通過輸入件來觸摸輸入單元240的任意位置時，輸入終端200的輸入單元240檢測觸摸位置(物理輸入位置)(步驟SI 12)。輸入終端200的信息獲取單元250根據(jù)輸入單元240的檢測結(jié)果來產(chǎn)生輸入位置信息(步驟SI 14)。通過將顯示控制單元220產(chǎn)生的虛擬按鍵信息與由信息獲取單元250產(chǎn)生的輸入位置信息作比較，輸入終端200的確定單元260確定與用戶U的操作對應(yīng)的輸入信息(輸入按鍵)(步驟SI 16)，并且可以執(zhí)行與確定的按鍵輸入對應(yīng)的操作。如上所述，對于根據(jù)第一實施例的安全系統(tǒng)1，僅用戶U能夠看到使用AR技術(shù)在真實空間中存在的輸入單元240上可視化和疊加地顯示的虛擬按鍵信息。通過如此進行，用戶U可以以與當(dāng)操作其上顯示按鍵布局的小鍵盤或觸摸板時完全相同的方式使用未標(biāo)記的小鍵盤或未顯示的觸摸板來輸入密碼等。同時，因為第三方僅可以看到用戶U在操作未標(biāo)記的小鍵盤或不顯示的觸摸板中進行的運動，所以防止了對于輸入信息的暗中監(jiān)視。通過如此進行，對于根據(jù)第一實施例的安全系統(tǒng)1，通過使用AR技術(shù)，能夠提高輸入諸如PIN號、密碼或口令的機密信息時的安全性?；蛘?，輸入單元240可以顯示諸如按鍵的標(biāo)記的標(biāo)識字符或作為觸摸板的一部分的按鍵的輪廓，并且當(dāng)輸入終端200需要諸如PIN號、密碼或口令的機密信息的輸入時可以選擇性地去除任何標(biāo)識字符的顯示，使得第三方可以僅看到當(dāng)輸入機密信息時用戶U進行的移動。<第二實施例>(5.系統(tǒng)概述)接下來，將參考圖6來描述根據(jù)第二實施例的安全系統(tǒng)2的概述。根據(jù)第二實施例的安全系統(tǒng)2與根據(jù)第一實施例的安全系統(tǒng)I不同在服務(wù)器300在終端設(shè)備100和輸入終端400之間居中作用(intermediate)。因此，將聚焦在這種差別地描述根據(jù)第二實施例的安全系統(tǒng)2。在圖6中所示的安全系統(tǒng)2包括終端設(shè)備100、服務(wù)器300和輸入終端400。因為根據(jù)第二實施例的終端設(shè)備100的配置與根據(jù)第一實施例的終端設(shè)備100的配置相同，所以在此省略其說明。(6.服務(wù)器的示例配置(信息處理設(shè)備))這個第二實施例配置了向服務(wù)器300轉(zhuǎn)移的根據(jù)第一實施例的輸入終端200中設(shè)置的應(yīng)用功能、顯示控制功能和確定功能。注意，雖然輸入終端200作為在第一實施例中的信息處理設(shè)備，但是在第二實施例中，服務(wù)器300作為信息處理設(shè)備。圖7示出根據(jù)第二實施例的服務(wù)器300的內(nèi)部配置。服務(wù)器300包括應(yīng)用單元 210、顯示控制單元220、信息獲取單元250、確定單元260、存儲單元270和通信單元330。通信單元330向終端設(shè)備100發(fā)送由顯示控制單元220產(chǎn)生的虛擬按鍵信息。通信單元330也從輸入終端400接收輸入位置信息。因為服務(wù)器300的其他構(gòu)成元件與根據(jù)第一實施例的輸入終端200的相應(yīng)元件相同，所以在此省略其說明。然而，在服務(wù)器300中不存在在根據(jù)第一實施例的輸入終端200中設(shè)置的輸入單元240。(7.輸入終端的示例配置)圖8示出根據(jù)第二實施例的輸入終端400的內(nèi)部配置。輸入終端400包括通信單兀430和輸入單兀440。輸入單兀440具有與根據(jù)第一實施例的輸入單兀240基本上相同的功能，檢測物理輸入位置，并且向通信單元430輸出。通信單元430向服務(wù)器300發(fā)送由輸入單元440檢測的物理輸入位置(輸入位置信息)。(8.處理流程的示例)接下來，將參考在圖9中的流程圖來描述在根據(jù)第二實施例的安全系統(tǒng)2中的處理的流程。首先，服務(wù)器300的顯示控制單元220產(chǎn)生虛擬按鍵信息，并且通信單元330向終端設(shè)備100發(fā)送產(chǎn)生的虛擬按鍵信息(步驟S202)。因為由終端設(shè)備100執(zhí)行的步驟S204、S206、S208和S210與由在第一實施例中的終端設(shè)備100執(zhí)行的在圖5中的步驟S104、S106、S108和SllO相同，所以在此省略其說明。通過以這種方式操作，僅終端設(shè)備100的用戶U可以看到在圖4中的右面示出的AR圖像。這意味著即使輸入終端400的輸入單元440是不顯示的觸摸板顯示器或未標(biāo)記的小鍵盤，通過基于在顯示的AR圖像中的虛擬按鍵信息來觸摸在輸入單元440上的任意位置，用戶U能夠執(zhí)行密碼等的所需的按鍵輸入操作。當(dāng)用戶U觸摸在輸入單元440上的任意位置時，輸入終端400的輸入單元440檢測觸摸位置(物理輸入位置)(步驟S212)。輸入終端400的通信單元430向服務(wù)器300發(fā)送作為輸入單元440的檢測結(jié)果的物理輸入信息(輸入位置信息)(步驟S214)。服務(wù)器300的通信單元330接收這樣的信息，并且輸出到信息獲取單元250。服務(wù)器300的信息獲取單元250根據(jù)物理輸入位置產(chǎn)生輸入位置信息(步驟S216)。通過將由顯示控制單元220產(chǎn)生的虛擬按鍵信息和由信息獲取單元250產(chǎn)生的輸入位置信息作比較，確定單元260確定與用戶U的操作對應(yīng)的輸入信息(輸入按鍵)(步驟S218)。如上所述，對于根據(jù)第二實施例的安全系統(tǒng)2，僅用戶U能夠看到使用AR技術(shù)在真實空間中存在的輸入單元240上被可視化和疊加地顯示的虛擬按鍵信息。通過如此進行，能夠以與當(dāng)操作其上顯示按鍵布局的小鍵盤或觸摸板時完全地相同的方式使用未標(biāo)記的小鍵盤或未顯示的觸摸板來輸入密碼等，并且能夠防止第三方暗中監(jiān)視輸入信息。另外，對于根據(jù)第二實施例的系統(tǒng)配置，從服務(wù)器300向終端設(shè)備100發(fā)送虛擬按鍵信息，并且，從輸入終端400向終端設(shè)備100發(fā)送輸入位置信息。以這種方式，根據(jù)第二實施例，單獨地發(fā)送虛擬按鍵信息和輸入位置信息。這意味著即使截取這樣的信息之一，也不能猜出機密信息。通過如此進行，能夠顯著地提高輸入機密信息時的安全性。注意，對于根據(jù)第二實施例的安全系統(tǒng)2，雖然在服務(wù)器300處布置了應(yīng)用單元210 (參見圖7)，并且在服務(wù)器300處執(zhí)行所有的應(yīng)用，但是本公開不限于此。例如，可以在服務(wù)器300處僅執(zhí)行密碼認證處理，并且，可以在輸入終端400處執(zhí)行密碼認證后的應(yīng)用。 在該情況下，從服務(wù)器300向輸入終端400發(fā)送的信息可以僅是密碼認證結(jié)果，并且不必發(fā)送密碼本身。通過如此進行，能夠提高保密性。作為一個示例，下面描述用于在電影院安裝的售票終端機的示例應(yīng)用。在這個示例中，首先，當(dāng)用戶向售票終端機輸入他的/她的信用卡的PIN號時，使用由信用卡發(fā)放者的服務(wù)器提供的AR安全認證服務(wù)。在此引用的售票終端機是根據(jù)本實施例的輸入終端400的一個示例，并且，信用卡發(fā)放者的服務(wù)器是根據(jù)本實施例的服務(wù)器300的一個示例?？梢允褂孟率鎏幚砹鞒唐渲校谛庞每òl(fā)放者的服務(wù)器處執(zhí)行密碼認證處理，并且如果認證成功，則向售票終端機通知這樣的結(jié)果，并且在售票終端機處執(zhí)行密碼認證后的應(yīng)用。< 結(jié)論 >已經(jīng)參考圖I至9描述了根據(jù)本公開的第一和第二實施例。雖然根據(jù)如上所述的實施例由用戶U握持或攜帶終端設(shè)備100，但是本公開不限于此。例如，取代被用戶U握持等，終端設(shè)備100可以被固定在輸入終端之前。此外，用于本公開的“AR用具”不限于在第一和第二實施例中公開的用具。對于配備了 AR用具的用戶，能夠使用與傳統(tǒng)的終端操作相同的方法來安全地輸入高度機密信息。此外，雖然在如上所述的實施例中從輸入終端200向終端設(shè)備100 (在圖5中的步驟S102)或從服務(wù)器300向終端設(shè)備100(在圖9中的步驟S202)發(fā)送虛擬按鍵信息，但是本公開不限于此。例如，如果虛擬按鍵信息用于顯示具有較為簡單的配置的數(shù)字鍵，則可以從終端設(shè)備100向輸入終端200或從終端設(shè)備100向服務(wù)器300或經(jīng)由以例如云計算配置的遠程裝置或服務(wù)器來發(fā)送虛擬按鍵信息。通過如此進行，可以由產(chǎn)生AR顯示的側(cè)和解釋輸入操作的側(cè)共享虛擬按鍵信息，這使得能夠安全地輸入高度機密信息。例如，對于如上所述的數(shù)字鍵，能夠使用下述配置其中，用戶習(xí)慣使用的布局被預(yù)先存儲在終端設(shè)備100中，并且每次使用這樣的布局。然而，對于復(fù)雜應(yīng)用而不是在此所述的較為簡單的應(yīng)用，在許多情況下，優(yōu)選的是，根據(jù)在上面的實施例中所述的流程來發(fā)送和接收虛擬按鍵信息。此外，可以在通信路徑上保持安全性，使得可以安全地發(fā)送和接收諸如密碼的數(shù)據(jù)，該通信路徑連接使用SSL(安全套接層)等連接在如上所述的實施例中所示的設(shè)備?？梢允褂糜布④浖蛴布蛙浖慕M合來實現(xiàn)由在本說明書中描述的各個設(shè)備執(zhí)行的系列控制處理。構(gòu)造這樣的軟件的程序可以被預(yù)先存儲于例如在各個的設(shè)備內(nèi)部或外部設(shè)置的有形地體現(xiàn)的非暫時計算機可讀存儲介質(zhì)上。在執(zhí)行期間，作為一個示例，可以將相應(yīng)的程序?qū)懭隦AM(隨機存取存儲器)并且由諸如CPU(中央處理單元)的處理器執(zhí)行。雖然已經(jīng)參考附圖詳細描述了本公開的實施例，但是本公開不限于上面的示例。本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)當(dāng)明白，各種修改、組合、子組合和改變可以根據(jù)設(shè)計要求和其他因素來出現(xiàn)，只要它們在所附的權(quán)利要求或其等同內(nèi)容的范圍內(nèi)。此外，在權(quán)利要求中對于諸如“一個”(“a”或“an”)的冠詞的任何引用應(yīng)當(dāng)被解釋為表示“一個或更多個”。例如，本技術(shù)可以采用下面的配置。(I) 一種信息處理設(shè)備,包括通信單元，用于向采集圖像并且顯示虛擬輸入按鍵的終端設(shè)備發(fā)送虛擬按鍵信息，所述虛擬按鍵信息定義在采集的圖像中出現(xiàn)的、要在輸入單元上疊加地顯示的所述虛擬輸入按鍵的布局；

信息獲取單元，用于獲取輸入位置信息，所述輸入位置信息表示由所述輸入單元檢測的用戶輸入的物理位置；以及確定單元，用于通過將由所述通信單元發(fā)送的所述虛擬按鍵信息和由所述信息獲取單元獲取的所述輸入位置信息作比較來確定由用戶指示的輸入按鍵。(2)根據(jù)⑴所述的信息處理設(shè)備，其中，所述通信單元從包括用于檢測所述用戶輸入的物理位置的所述輸入單元在內(nèi)的輸入終端接收所述輸入位置信息。(3)根據(jù)⑴或⑵所述的信息處理設(shè)備，其中，所述信息處理設(shè)備進一步包括用于檢測所述用戶輸入的物理位置的所述輸入單元。(4)根據(jù)⑶所述的信息處理設(shè)備，其中，所述輸入單元不向用戶顯示用于示出所述虛擬輸入按鍵的布局的標(biāo)記，并且，也不具有用于示出所述布局的物理標(biāo)記。(5)根據(jù)(I)至(4)的任何一項所述的信息處理設(shè)備，其中，所述終端設(shè)備包括用于顯示在所述輸入單元上疊加的所述虛擬輸入按鍵的頭部安裝的顯示器。(6) 一種信息處理方法,包括向采集圖像并且顯示虛擬輸入按鍵的終端設(shè)備發(fā)送虛擬按鍵信息，所述虛擬按鍵信息定義在采集的圖像中出現(xiàn)的、要在輸入單元上疊加地顯示的所述虛擬輸入按鍵的布局;獲取輸入位置信息，所述輸入位置信息表示由所述輸入單元檢測的用戶輸入的物理位置；以及通過將所發(fā)送的虛擬按鍵信息和所獲取的輸入位置信息作比較來確定由用戶指不的輸入按鍵。(7) 一種程序，用于使得計算機執(zhí)行處理，所述處理包括用于向采集圖像并且顯示虛擬輸入按鍵的終端設(shè)備發(fā)送虛擬按鍵信息的處理，所述虛擬按鍵信息定義在采集的圖像中出現(xiàn)的、要在輸入單元上疊加地顯示的所述虛擬輸入按鍵的布局；
用于獲取輸入位置信息的處理，所述輸入位置信息表示由所述輸入單元檢測的用戶輸入的物理位置；以及用于通過將所發(fā)送的虛擬按鍵信息和所獲取的輸入位置信息作比較來確定由用戶指示的輸入按鍵的處理。(8) —種終端設(shè)備，包括圖像采集單元，用于采集圖像；通信單元，用于接收虛擬按鍵信息，所述虛擬按鍵信息定義在所述圖像中出現(xiàn)的、要在輸入終端的輸入單元上疊加地顯示的虛擬輸入按鍵的布局；識別單元，用于識別與在所述圖像中的所述輸入單元對應(yīng)的區(qū)域；以及顯示控制單元，用于使用由所述通信單元接收的所述虛擬按鍵信息來顯示在由所 述識別單元識別的區(qū)域上疊加的所述虛擬輸入按鍵。(9)根據(jù)權(quán)利要求⑶所述的終端設(shè)備，其中，所述顯示控制單元在頭部安裝的顯示器上顯示所述虛擬輸入按鍵。本公開包含與在2011年2月24日在日本專利特許廳提交的日本在先專利申請JP2011-038557公開的主題相關(guān)的主題，其整體內(nèi)容通過引用被包含在此。
權(quán)利要求
1.一種設(shè)備，包括 通信單元，其被配置來發(fā)送虛擬按鍵信息； 信息獲取單元，用于獲取輸入位置信息，所述輸入位置信息表示由輸入單元檢測的用戶輸入的物理位置；以及 確定單元，其被配置來通過將所述虛擬按鍵信息與所述輸入位置信息作比較來確定按鍵輸入， 其中，所述虛擬按鍵信息定義要在所述輸入單元上疊加的虛擬輸入按鍵的布局。
2.根據(jù)權(quán)利要求I所述的設(shè)備，進一步包括所述輸入單元，其被配置來基于所檢測的輸入件來確定所述輸入位置信息。
3.根據(jù)權(quán)利要求I所述的設(shè)備，其中，所述通信單元從包括所述輸入單元在內(nèi)的輸入終端接收所述輸入位置信息。
4.根據(jù)權(quán)利要求1-3之一所述的設(shè)備，包括處理單元，其被配置來執(zhí)行所確定的按鍵輸入。
5.根據(jù)權(quán)利要求1-3之一所述的設(shè)備，包括顯示控制單元，其被配置來產(chǎn)生所述虛擬按鍵信息。
6.根據(jù)權(quán)利要求1-3之一所述的設(shè)備，其中，所述虛擬按鍵信息定義QWERTY布局。
7.根據(jù)權(quán)利要求1-3之一所述的設(shè)備，其中，所述虛擬按鍵信息包括標(biāo)志、發(fā)言氣球、消息標(biāo)簽、圖或符號中的至少一個。
8.根據(jù)權(quán)利要求1-3之一所述的設(shè)備，其中，所述輸入單元包括未加標(biāo)志的鍵盤或不顯示標(biāo)識字符的觸摸板顯示器之一。
9.根據(jù)權(quán)利要求1-3之一所述的設(shè)備，其中，當(dāng)使用所述輸入單元接收機密信息時，所述輸入單元選擇性地去除標(biāo)識字符的顯示。
10.根據(jù)權(quán)利要求1-3之一所述的設(shè)備，其中，所述輸入單元包括二維條形碼、標(biāo)記圖像、迅速響應(yīng)代碼或紅外線發(fā)射單元中的至少一個，用于限定所述輸入單元的位置。
11.一種終端設(shè)備，包括 成像單元，其被配置來接收用于表示輸入圖像的圖像數(shù)據(jù)； 識別單元，其被配置來基于在所述圖像數(shù)據(jù)中的輸入部分的特征來識別所述輸入部分；以及 顯示控制單元，其被配置來顯示用于表示在所述輸入部分上疊加的虛擬按鍵信息的圖像。
12.根據(jù)權(quán)利要求11所述的終端設(shè)備，包括通信單元，其被配置來接收虛擬按鍵信息。
13.根據(jù)權(quán)利要求11所述的終端設(shè)備，其中，所述終端設(shè)備的顯示器包括頭部安裝的顯示器。
14.根據(jù)權(quán)利要求11所述的終端設(shè)備，其中，所述識別單元被配置來識別用于限定所述輸入部分的位置的二維條形碼、標(biāo)記圖像、迅速響應(yīng)代碼或紅外線發(fā)射單元中的至少一個。
15.根據(jù)權(quán)利要求11所述的終端設(shè)備，其中 所述識別單元被配置來計算所述輸入部分的位置和角度；以及 所述顯示控制單元被配置來通過根據(jù)所述位置和角度來變換所接收的虛擬按鍵信息來在所述輸入部分上疊加。
16.—種方法,包括 發(fā)送用于定義虛擬輸入按鍵的布局的虛擬按鍵信息； 獲取輸入位置信息，所述輸入位置信息表示用戶輸入的物理位置；以及 通過將所述虛擬按鍵信息與所述輸入位置信息作比較來確定按鍵輸入。
17.—種方法,包括 接收用于表示輸入圖像的圖像數(shù)據(jù)； 基于在所述圖像數(shù)據(jù)中的輸入部分的特征來識別所述輸入部分；以及 顯示用于表示在所述輸入部分上疊加的虛擬按鍵信息的圖像。
18.一種有形地體現(xiàn)的非暫時計算機可讀存儲介質(zhì)，用于存儲指令，所述指令當(dāng)被處理器執(zhí)行時使得計算機執(zhí)行方法，所述方法包括 發(fā)送用于定義虛擬輸入按鍵的布局的虛擬按鍵信息； 獲取輸入位置信息，所述輸入位置信息表示用戶輸入的物理位置；以及 通過將所述虛擬按鍵信息與所述輸入位置信息作比較來確定按鍵輸入。
19.一種有形地體現(xiàn)的非暫時計算機可讀存儲介質(zhì)，用于存儲指令，所述指令當(dāng)被處理器執(zhí)行時使得計算機執(zhí)行方法，所述方法包括 接收用于表示輸入圖像的圖像數(shù)據(jù)； 基于在所述圖像數(shù)據(jù)中的輸入部分的特征來識別所述輸入部分；以及 顯示用于表示在所述輸入部分上疊加的虛擬按鍵信息的圖像。
20.—種系統(tǒng),包括 輸入設(shè)備，包括 通信單元，其被配置來發(fā)送虛擬按鍵信息； 信息獲取單元，用于獲取輸入位置信息，所述輸入位置信息表示由輸入單元檢測的用戶輸入的物理位置；以及 確定單元，其被配置來通過將所述虛擬按鍵信息與所述輸入位置信息作比較來確定按鍵輸入；以及 終端設(shè)備，包括 成像單元，其被配置來接收用于表示輸入圖像的圖像數(shù)據(jù)； 識別單元，其被配置來基于在所述圖像數(shù)據(jù)中的輸入部分的特征來識別所述輸入部分；以及 顯示控制單元，其被配置來顯示用于表示在所述輸入部分上疊加的虛擬按鍵信息的圖像。
全文摘要
本發(fā)明公開了一種信息處理設(shè)備、信息處理方法和終端設(shè)備。所述信息處理方法用于識別輸入操作，該方法包括發(fā)送用于限定虛擬輸入按鍵的布局的虛擬按鍵信息。該方法進一步包括基于所檢測的輸入件來確定輸入位置信息。該方法也包括通過將虛擬按鍵信息與輸入位置信息作比較來確定按鍵輸入。
文檔編號G07F7/02GK102682520SQ201210036858
公開日2012年9月19日 申請日期2012年2月17日 優(yōu)先權(quán)日2011年2月24日
發(fā)明者柏谷辰起 申請人:索尼公司