專利名稱：輸入裝置及其方法
技術領域：
本發(fā)明涉及一種用于用戶向機器輸入命令或信息的輸入裝置及其方 法，具體而言，本發(fā)明涉及一種使用戶能夠基于顯示器等所顯示的信息， 使用手等身體的某部分輸入命令或信息的輸入裝置及其方法。
背景技術：
在現(xiàn)有技術中，作為基于顯示器等顯示畫面所顯示的信息、用戶用手
指等輸入命令或信息的輸入裝置，有例如專利文獻1或專利文獻2所公開 的裝置。該裝置利用網格矩陣式的掃描裝置(Grid matrix type Scanning means)或攝像機，對觸摸板操作面進行拍攝，根據(jù)所獲取的數(shù)據(jù)提取出手 形狀部分，合成并顯示到顯示器上顯示的圖形用戶界面(GUI: Graphical User Interface)等上。根據(jù)這樣的構成，使用戶不必將在駕駛中的視線一 度轉移到設置在與顯示畫面相分離的觸摸板上，而通過注視著顯示畫面上 虛擬地顯示的操作手指的影像，便能夠輸入命令或信息。
另一方面，可以考慮運用專利文獻1或2記載的裝置，通過模式匹配 (pattern matching),根據(jù)攝像機所拍攝的圖像提取用戶的手形狀，在確 認是手形狀后，許可用戶的操作；或檢測出用戶的手勢，即用戶的手形狀 或手的位置的時間變化模式，來解讀用戶的輸入。
然而，上述現(xiàn)有技術的輸入界面卻存在以下缺點。專利文獻1或2公 開的裝置，為了通過模式匹配來檢測出用戶的手形狀或手勢，需要保證用 戶的手處于拍攝范圍的操作面內。例如，用戶對跟前的操作面進行操作期 間，從指根到手前側的部分由于沒有處于拍攝范圍內而不被識別為手。從 而，不能夠執(zhí)行通過識別手之后來許可用戶的某些操作的處理。
此外，即使導入做手勢等直觀的操作，如通過左右揮手來放棄當前操 作，也必須時常注意要在操作面內做手勢，因而，不能夠構筑容易操作的 輸入界面。日本特開平9一77622號公報 [專利文獻2]日本特開2000—6687號公報

發(fā)明內容
本發(fā)明是鑒于上述問題而進行的。即，本發(fā)明的目的在于提供一種輸 入裝置及其方法，即使在用戶的手超出操作面的情況下，也能夠通過準確 地進行手形狀的檢測或手勢檢測來進行輸入。
為達到上述目的，本發(fā)明采用以下結構。
本發(fā)明的第l技術方案是關于用于向機器輸入命令或信息的輸入裝置。 本發(fā)明的輸入裝置包括身體形狀輸入部，獲取用戶的身體形狀信息；顯 示信息制作部，制作用戶進行命令或信息的輸入所必需的顯示圖像；操作 部，具有與顯示圖像相對應的操作面；身體形狀提取取部，根據(jù)身體形狀 輸入部所獲得的身體信息提取出與操作面相對應的部分，并制作身體圖像; 圖像合成部，合成顯示信息制作部所制作的顯示圖像與身體形狀提取部所 制作的身體圖像；以及顯示部，顯示圖像合成部所合成的圖像。
由此，所拍攝的圖像信息的范圍能夠被擴大，并且，其范圍大于操作 部的范圍。這樣，即使在操作部相對較窄的情況下，也可以將廣范圍的圖 像信息運用到對身體部分的形狀的檢測或對身體部分的行動的檢測中，從 而提高了檢測的精確度。
此外，最好是顯示信息制作部根據(jù)身體形狀提取部所檢測出的身體信 息來制作顯示圖像，其中，所述身體信息的范圍比與操作面相對應的部分 的范圍廣。
由此，由于根據(jù)比操作面廣的身體信息范圍來制作顯示圖像，所以， 即使只有與操作面對應的、用戶身體的一部分經圖像合成并被顯示于顯示 畫面的情況下，顯示界面也能夠確切地反映出用戶的操作狀況。具體而言， 能夠將GUI部件的配置、形狀與用戶的操作狀況結合，從而達到最佳效果。 此外，最好是身體形狀提取部通過利用了預先保存的身體部分的形狀 模式的模式匹配，判斷根據(jù)身體形狀輸入部所輸出的圖像數(shù)據(jù)檢測出的形 狀是否是身體部分的形狀。
由于能夠更準確地判斷所檢測出的形狀是否是身體部分的形狀，從而能
夠根據(jù)判定結果進行任意的控制。此外，因圖像數(shù)據(jù)并不局限于操作部的 范圍內，所以，即使身體部分超出操作部，也能夠被作為檢測對象。
此外，最好是身體形狀提取部根據(jù)形狀模式，對根據(jù)身體形狀輸入部所 輸出的圖像數(shù)據(jù)檢測出的身體部分的形狀進行修正處理。
由此，例如在用戶涂有指甲油等情況下，即使通過圖像識別所獲得的 身體部分的形狀欠缺一部分，也能夠顯示出較為自然的身體圖像。
此外，最好是操作部的規(guī)定位置處標注有所述形狀修正處理所使用的 標記，并且，身體形狀提取部通過執(zhí)行形狀修正處理，能夠使身體形狀輸 入部輸出的圖像數(shù)據(jù)中的標記的位置轉換到顯示部的畫面上的規(guī)定位置。
從而能夠不受攝像機與操作部的相對位置的影響，而制作出較為自然 的身體圖像。
此外，最好是圖像合成部在合成顯示圖像與身體圖像時，能夠使身體
圖像輪廓內部的透明度產生變化。
由此，可以避免因顯示身體圖像而導致的顯示信息被隱藏的情況。 此外，最好是圖像合成部在合成顯示圖像與身體圖像時，能夠強調身
體圖像的輪廓。
從而可以避免因顯示身體圖像而導致的顯示信息被隱藏的情況。 此外，最好是圖像合成部在合成顯示圖像與身體圖像時，能夠檢測出 身體圖像中用戶的指尖部分，并強調指尖部分
這樣，能夠使進行輸入操作的指尖部分更加醒目。
此外，最好是圖像合成部在合成顯示圖像與身體圖像時，被身體圖像 隱藏了的、顯示畫面中的顯示信息能夠被彈出并顯示于沒有被身體圖像所 隱藏的區(qū)域。
用戶由此便能確認被所顯示的身體圖像隱藏了的顯示信息。
此外，最好是圖像合成部在合成顯示圖像與身體圖像時，能夠將被身
體圖像隱藏了的、顯示畫面中的顯示信息顯示于身體圖像的前面。 從而使用戶能夠確認被所顯示的身體圖像隱藏了的顯示信息。 此外，最好是身體形狀提取部判斷根據(jù)身體形狀輸入部獲得的信息而
檢測出的形狀是否是身體部分的形狀，并且，顯示信息制作部能夠根據(jù)身
體形狀提取部的判斷結果來變更所制作的顯示圖像。
由此，在沒有檢測出身體部分的情況下，判斷用戶沒有進行操作，從 而不執(zhí)行作為輔助操作的顯示處理，而只顯示必要的信息。
此外，最好是顯示信息制作部只在身體形狀提取部所檢測出的身體部 分的形狀是右手或左手的情況下制作顯示圖像。
這樣，當沒有檢測出身體部分的形狀是右手還是左手的情況時，由于
對GUI部件進行的是普通顯示，從而使用戶能夠更容易地把握GUI部件以 外的顯示信息，或對其信息量進行增量。此外，例如在操作部設置于駕駛 座位與副駕座位之間的情況下，還可進行如下控制，B口只有當副駕駛座 位的用戶從操作部的左側用右手進行輸入操作時才顯示信息，而當駕駛座 位的用戶從操作部的右側用左手進行輸入操作時不顯示信息。
此外，最好是當身體形狀提取部檢測出身體部分的形狀時，顯示信息 制作部根據(jù)所檢測出的身體部分的形狀，對顯示圖像中的GUI部件進行強 調顯示，或對該GUI部件的位置進行變更以及/或對該GUI部件的有效性 進行變更。
這樣，只有在用戶從操作部的右側(或左側)進行輸入操作的情況下， 才能進行對GUI部件的強調顯示，或激活GUI部件，或顯示GUI部件己無 效。此外，還能結合用戶的位置，將GUI部件的位置變更到用戶方便進行 輸入操作的位置。
此外，最好是顯示信息制作部制作顯示圖像，并且所述顯示圖像包含 多個顯示區(qū)域；圖像合成部在合成顯示圖像與身體圖像時，檢測出該身體 圖像中用戶的指尖部分，并只限定在該指尖部分所在的顯示區(qū)域合成身體 形狀。
這樣，因在用戶沒有進行操作的畫面中，沒有合成顯示出身體形狀， 從而不影響用戶沒有進行操作的畫面的顯示。
此外，最好是顯示信息制作部制作顯示圖像，并且，所述顯示圖像包 含多個顯示區(qū)域；圖像合成部在合成顯示圖像與身體圖像時，在成為當前 的顯示對象的區(qū)域內，將身體形狀縮小并將之合成。
這樣，因在用戶沒有進行操作的畫面中，沒有合成顯示出身體形狀， 從而不影響用戶沒有進行操作的畫面的顯示。
本發(fā)明的第2技術方案是關于用于向機器輸入命令或信息的輸入方法。
8
本發(fā)明的輸入方法包括身體形狀輸入步驟，獲取用戶的身體形狀信息； 顯示信息制作步驟，制作用戶進行命令或信息的輸入所必需的顯示圖像； 身體形狀提取步驟，根據(jù)身體形狀輸入步驟所獲得的身體信息提取出與操 作面相對應的部分，并制作身體圖像；圖像合成步驟，將顯示信息制作步 驟中所制作的顯示圖像與身體形狀提取步驟中所制作的身體圖像合成；以 及顯示步驟，顯示圖像合成步驟中所合成的圖像。
由此，所拍攝的圖像信息的范圍能夠被擴大，并且其范圍大于操作部 的范圍。這樣，即使在操作部相對較窄的情況下，也可以將廣范圍的圖像 信息運用到對身體部分的形狀的檢測或對身體部分的行動的檢測中，從而 提高了檢測的精確度。
此外，最好是顯示信息制作步驟根據(jù)身體形狀提取步驟所檢測出的身 體信息來制作顯示圖像，其中，所檢測出的身體信息的范圍比與操作面相 對應的部分的范圍廣。
由此，由于根據(jù)比操作面廣的身體信息范圍來制作顯示圖像，所以， 即使只有與操作面對應的、用戶身體的一部分經圖像合成并被顯示于顯示 畫面的情況下，顯示界面也能夠確切地反映出用戶的操作狀況。具體而言， 能夠將GUI部件的配置、形狀與用戶的操作狀況結合，從而達到最佳效果。
如上所述，本發(fā)明提供的輸入裝置及其方法，即使在用戶的手超出操 作面的情況下，也能夠通過準確地進行用戶的手形狀的檢測或手勢檢測來 進行輸入。


圖1是有關本發(fā)明的輸入裝置的一實施方式的概念圖。
圖2是表示輸入裝置的構成的方框圖。
圖3是設置于車內的輸入裝置的例圖。
圖4是設置于車內的輸入裝置的例圖。
圖5是設置于車內的輸入裝置的例圖。
圖6是設置于車內的輸入裝置的例圖。
圖7是身體形狀輸入部100的設置例圖。
圖8是身體形狀輸入部100的設置例圖。
圖9是身體形狀輸入部100與操作部300合為一體的結構例圖。
圖10是身體形狀輸入部100設置于操作部300下方的結構例的側面圖。
圖11是身體形狀輸入部100設置于操作部300下方的結構例的俯視圖。
圖12是身體形狀提取部600執(zhí)行處理的流程圖。
圖13是經身體形狀提取部600處理后的圖像數(shù)據(jù)的例圖。
圖14是身體形狀提取部600所選出的身體部分607的例圖。
圖15是身體形狀提取部600所選出的輪廓609的例圖。
圖16是形狀修正處理的一示例圖。
圖17是形狀修正處理的一示例圖。
圖18是身體形狀提取部600所制作的身體圖像的例圖。
圖19是操作部300的一例圖。
圖20是用戶進行操作的操作方法的一例圖。
圖21是操作部300的一例圖。
圖22是控制部500為顯示身體圖像而執(zhí)行的處理的順序圖。
圖23A是沒有檢測出身體形狀的情況下，顯示信息制作部700所制作
的顯示信息的例圖。
圖23B是檢測出身體形狀的情況下，顯示信息制作部700所制作的顯
示信息的例圖。
圖24A是沒有檢測出身體形狀的情況下，顯示信息制作部700所制作 的顯示信息的例圖。
圖24B是檢測出身體形狀的情況下，顯示信息制作部700所制作的顯 示信息的例圖。
圖25A是檢測出右手的情況下，顯示信息制作部700所制作的顯示信 息的例圖。
圖25B是檢測出左手的情況下，顯示信息制作部700所制作的顯示信 息的例圖。
圖26A是檢測出較大的手的情況下，顯示信息制作部700所制作的顯 示信息的例圖。
圖26B是檢測出較小的手的情況下，顯示信息制作部700所制作的顯 示信息的例圖。
圖27A是圖像合成部800所合成的圖像的例圖。 圖27B是圖像合成部800所合成的圖像的例圖。 圖27C是圖像合成部800所合成的圖像的例圖。 圖27D是圖像合成部800所合成的圖像的例圖。 圖27E是圖像合成部800所合成的圖像的例圖。 圖27F是圖像合成部800所合成的圖像的例圖。 圖27G是圖像合成部800所合成的圖像的例圖。 圖27H是圖像合成部800所合成的圖像的例圖。
圖28是檢測出用戶進行輸入操作的情況下，控制部500執(zhí)行處理的順 序圖。
圖29A是用戶進行輸入操作的情況下，顯示信息制作部700所制作的 顯示信息的例圖。
圖29B是用戶進行輸入操作的情況下，顯示信息制作部700所制作的 顯示信息的例圖。
圖30A是將合成顯示身體形狀的部分限定在操作對象范圍內時的顯示 例圖。
圖30B是將身體形狀在操作對象的范圍內縮小并合成顯示的顯示例圖。
附圖標記說明 1攝像機
2 顯不器
3 GUI部件 4觸摸板
6手
7手的圖像
100身體形狀輸入部
110光源
120鏡子
130機箱
140可見光截止濾波器
150受光部
160發(fā)光部
171感光范圍
200顯示部
300操作部
400運算部
500控制部
600身體形狀提取部
700顯示信息制作部
800圖像合成部
1000輸入裝置
具體實施例方式
以下，參照附圖詳細說明本發(fā)明的實施方式。
圖1是有關本發(fā)明的輸入裝置的一實施例的概念圖。圖1中，用戶的
跟前設有操作用的觸摸板4，在離開用戶的位置設有顯示器2。在觸摸板4 的上方設有攝像機1。顯示器2上顯示用于輸入用戶期望的命令或信息的 GUI部件3，其中，GUI部件3為l個以上。
觸摸板4的操作面上的各點分別與顯示器2的顯示畫面中的各點一一 對應，當用戶用手指摁下觸摸板4的操作面上的某點時，表示該接觸位置 的坐標數(shù)據(jù)(絕對坐標數(shù)據(jù))從觸摸板4被輸出到控制部，根據(jù)該坐標數(shù)據(jù)， 與所述接觸位置相對應的GUI部件3被特定，從而，與GUI部件3相關聯(lián) 的命令或信息被輸入。
若用戶在觸摸板4上移動手6以選擇GUI部件3時，攝像機1以包含 背景觸摸板4的方式拍攝手6的圖像?？刂撇客ㄟ^模式匹配的手法，從攝 像機1所輸出的圖像數(shù)據(jù)中識別手6的形狀或手勢。然后，控制部僅提取 出與觸摸板4相對應的部分，并通過重疊，將所選出的手6的圖像作為手 圖像7顯示于顯示器2。 g卩，在檢測手6的形狀或手勢時，使用所拍攝到的 整體圖像；而顯示器2進行顯示時，只使用與觸摸板4相對應的部分。
用戶通過觀看顯示器2所顯示的手圖像7來移動手6，使手圖像7的指
尖移動到所期望的GUI部件3上后，摁下觸摸板4。于是，與所述接觸位置 相對應的GUI部件3(g卩，手圖像7的指尖所指的GUI部件3)相關聯(lián)的命令 或信息被輸入。
此外，本發(fā)明的輸入裝置即使在用戶的手指稍微懸浮于觸摸板4的操 作面上的狀態(tài)下，手圖像7也能夠被顯示到畫面上，所以，用戶不用把手 指實際接觸到觸摸板4并試著進行滑動，也能夠確認當前手指的位置與畫 面上的哪一位置對應。因此，只摁一下觸摸板4這樣簡單又快捷的輸入操 作成為可能。
另外，本實施方式中是通過觸摸板4來輸出坐標數(shù)據(jù)，但如后述那樣， 觸摸板4不一定要具有輸出接觸位置的坐標數(shù)據(jù)的功能，只要能檢測出用 戶是否摁了觸摸板4便可。在該情況下，控制部根據(jù)攝像機1所拍攝下的 圖像檢測出指尖位置，并根據(jù)所檢測出的指尖位置來判斷用戶選擇了哪個 GUI部件3便可。
以下，進一步詳細說明輸入裝置。
圖2是表示輸入裝置的構成的方框圖。圖2中，輸入裝置1000包括身 體形狀輸入部100、顯示部200，操作部300以及運算部400。其中，運算 部400包括控制部500，用于控制運算部400整體；身體形狀提取部600， 對身體形狀輸入部100的輸出進行處理并提取出身體形狀；顯示信息制作 部700，制作用戶進行命令或信息的輸入所必需的顯示信息(即，包含GUI 部件3的圖像)；以及圖像合成部800，將表示對操作部300進行操作的用 戶的身體部分的圖像與顯示信息制作部700所制作的顯示信息進行合成。 以下，詳細說明各個部的構成。
(身體形狀輸入部100)
首先，對身體形狀輸入部100進行說明。身體形狀輸入部100是用于 將用戶進行操作用的手等身體部分的形狀及位置向裝置輸入的裝置。以下， 使用攝像機作為身體形狀輸入部100為例，參照圖3 圖11進行說明。
作為身體形狀輸入部100，可以使用例如可見光攝像機、近紅外攝像機、 紅外攝像機及/或超聲波攝像機。身體形狀輸入部100設置于能夠拍攝到 操作部300的位置，對操作部300進行拍攝并輸出所拍攝的圖像數(shù)據(jù)。用 戶在用手6對操作部300進行操作時，身體形狀輸入部100所拍攝的圖像中包含手6。身體形狀輸入部100最好設置于貫穿操作部300的操作面中央 的法線上，并且使鏡頭的光軸與法線平行。
當身體形狀輸入部100是可見光攝像機時，最好設置照射可見光的光 源IIO，以便在夜間也能夠清晰地拍攝到手6的圖像，并且，為便于從身體 形狀輸入部100輸出的圖像數(shù)據(jù)中提取出手的形狀，操作部300的操作面 的顏色最好均一，尤其是黑色或藍色為更好。
當身體形狀輸入部100是近紅外攝像機時，最好設置照射近紅外光線 的光源110，以便在任何情況下都能清晰地拍攝到手6的圖像，并且，操作 部300的操作面最好是黑色。
此外，為便于根據(jù)身體形狀輸入部100所輸出的圖像數(shù)據(jù)提取出手的 形狀，操作部300或正進行操作的手6最好不要受到日光、車前燈及街燈 等的直接照射。
以下結合圖3 圖6，對輸入裝置在車內的設置例進行說明。圖3是第 l設置例的示意圖。該設置例中，操作部300設置于中心控制臺的延長部分，
且司機在將胳膊肘放在扶手上的狀態(tài)下能夠操作的位置。身體形狀輸入部 100設置于能夠拍攝到操作部300的位置。并且，身體形狀輸入部100最好 設置于操作部300的法線上，即B位置處(車頂棚等)，但身體形狀輸入部 100也可以與位于B位置的前方(A位置)的地圖燈或后視鏡組合設置，或與 位于B位置的后方(C位置)的車內燈組合設置。
當身體形狀輸入部100設置于圖3所示的A位置或B位置，即對于操 作部300的操作面的斜方向(即與垂直方向不同的方向)的情況下，由于身 體形狀輸入部100所拍攝到的手6的形狀存在與從對于操作面的垂直方向 上拍攝到的手6的形狀不同的可能性，所以，在制作手圖像7時，需要進 行后述的視點變換處理(即，將從對于操作面的斜方向拍攝到的圖像變?yōu)閺?對于操作面的垂直方向上拍攝到的圖像的圖像處理)。
圖4是第2設置例的示意圖。該設置例中，操作部300設置于方向盤 的中央部，并朝向斜上方。身體形狀輸入部100設置于能夠拍攝到操作部 300的位置(車頂棚等)。該情況下，雖然身體形狀輸入部IOO所拍攝的圖像 會根據(jù)方向盤的舵角而產生轉動，但通過對身體形狀輸入部IOO所輸出的 圖像數(shù)據(jù)進行修正，能夠消除該轉動所帶來的影響。作為圖像數(shù)據(jù)的修正
方法的一個例子，可以設置檢測方向盤的舵角的設備，根據(jù)所檢測出的方 向盤的舵角，對圖像數(shù)據(jù)進行轉動處理。此外，作為其他圖像數(shù)據(jù)的修正
方法的例子，也可以在操作部300的操作面上預先設置1個以上作為基準 的標記，通過檢測出圖像數(shù)據(jù)中所述基準標記的位置來檢測方向盤的舵角， 從而根據(jù)所檢測的方向盤的舵角來對圖像數(shù)據(jù)進行轉動處理。
圖5是第3設置例的示意圖。該設置例中，操作部300設置于駕駛座 位的車門內側，且使司機在將胳膊放在扶手上的狀態(tài)下能夠操作的位置。 身體形狀輸入部100設置于能夠拍攝到操作部300的位置(車頂棚等)。
圖6是第4設置例的示意圖。該設置例中，操作部300設置于位于車 后部座位的中央的扶手上。身體形狀輸入部100設置于能夠拍攝到操作部 300的位置(車頂棚或車內頂燈等)。
圖3 圖6的例子中，身體形狀輸入部100都設置于如車頂棚等遠離操 作部300的位置，但是也可以考慮身體形狀輸入部100與操作部300也可 以是合為一體的結構。以下，結合圖7 圖9，對身體形狀輸入部100與操 作部300合為一體的結構例進行說明。
圖7是在操作部300上方的規(guī)定位置處設置身體形狀輸入部100的示 意圖。也可根據(jù)需要在身體形狀輸入部100的附近設置光源110，若身體形 狀輸入部100制作彩色圖像，則光源110需要是可見光源，若身體形狀輸 入部IOO制作黑白圖像，則光源IIO也可以是近紅外光源。
圖8是在操作部300上方的規(guī)定位置處設置鏡子120，身體形狀輸入部 100拍攝映在鏡子120中的操作部300及手6的圖例。
為實現(xiàn)圖7或圖8的構成，只要使用如圖9所示的機箱130將身體形狀 輸入部100對于操作部300的相對位置固定便可。
根據(jù)身體形狀輸入部100與操作部300合為一體的構成，具有身體形 狀輸入部100的光軸調整變?yōu)楹唵蔚膬?yōu)點。此外，用圖9所示的機箱130 來遮蔽操作部300，有利于防止外部光線(太陽光等)對操作部300的照射。
圖3 圖9的圖例中，身體形狀輸入部100是從上方(g卩，操作部300 的操作面的一側)來拍攝操作部300及手6的，但是也可以考慮身體形狀輸 入部100從下方(即，與操作部300的操作面的相反面的一側)來拍攝操作 部300及手6。以下，參照圖10及圖11，對身體形狀輸入部IOO從下方拍 攝操作部300的結構例進行說明。
圖10是采用透明的觸摸板作為操作部300，并在其下方設有身體形狀 輸入部100及光源110的示意圖。圖11是從上方看到的圖10中所示的操 作部300的圖。該例中，在觸摸板的下側的面上重疊配置有可見光截止濾 波器(visible light cutting filter)140。此外，光源110照射近紅外 光線，身體形狀輸入部IOO是對近紅外光線有靈敏度的攝像裝置。
(身體形狀提取部600)
接著，說明身體形狀提取部600。身體形狀提取部600根據(jù)身體形狀輸 入部100的輸出，提取出身體形狀數(shù)據(jù)。身體形狀數(shù)據(jù)例如是表示用戶放 置于(懸浮于操作面上也可以)操作部300的操作面上的身體部分(即手或腳 等)的形狀及其位置的數(shù)據(jù)。
圖12是身體形狀提取部600進行身體形狀提取處理的流程圖。
身體形狀提取部600首先將身體形狀輸入部IOO(這里指攝像機)所輸 出的圖像數(shù)據(jù)保存到幀存儲器(frame memory)中(步驟S602)。圖13是表示 被獲取到幀存儲器中的圖像數(shù)據(jù)的一例圖。圖13的圖像數(shù)據(jù)601中，603 是操作部300的操作面，605是用戶的手6。
接著，身體形狀提取部600根據(jù)經步驟S602獲取到幀存儲器中的圖像 數(shù)據(jù)，如圖14所示，將與用戶的身體(這里指手6)相對應的區(qū)域作為身體 區(qū)域607提取出(步驟S604)。根據(jù)圖像數(shù)據(jù)提取身體區(qū)域的方法，例如有 如下方法。
第1種提取方法是背景差分法。背景差分法中，首先，在身體形狀輸入 部100與操作部300之間不存在任何物體的狀態(tài)下，身體形狀輸入部100 對操作部300進行拍攝，并將該結果作為背景圖像數(shù)據(jù)預先保存起來。然 后，按照每個像素或每個塊來對身體形狀輸入部100輸出的圖像數(shù)據(jù)與背 景圖像數(shù)據(jù)進行比較，并將兩者之間不同的部分作為身體區(qū)域提取出。背 景差分法的優(yōu)點在于操作部300的操作面可以不必是單一的顏色。此外， 既可以預先將背景圖像數(shù)據(jù)保存在存儲器中，也可以在將身體形狀輸入部 IOO所輸出的圖像數(shù)據(jù)在經過規(guī)定時間以上也沒有產生變化的情況下，將該
圖像數(shù)據(jù)作為背景圖像數(shù)據(jù)保存起來。
第2種方法是亮度閾值法。亮度閾值法通過將身體形狀輸入部100所
輸出的圖像數(shù)據(jù)的各像素的亮度值與規(guī)定的閾值進行比較，從而提取出身
體區(qū)域。因此，為了增大身體形狀輸入部100所輸出的圖像數(shù)據(jù)中手6部 分與操作部300的操作面部分之間的亮度差，最好將操作部300的操作面 設置為黑色或接近于黑色，并對操作面進行消光處理以盡可能消除光的反 射。其中，所設定的閾值大于比身體形狀輸入部100所輸出的圖像數(shù)據(jù)中， 與操作部300相對應的任一像素的亮度值。從而能夠通過提取出亮度值大 于上述所設定的閾值的區(qū)域來獲得身體區(qū)域。此外，為了在例如夜間等較 暗的情況下也能夠提取出正常的身體區(qū)域，需要向身體形狀輸入部100的 視角范圍內照射可見光線或近紅外光線等，以使身體區(qū)域的亮度大于閾值。 但是，放置在操作部300的操作面上的不一定是限于用戶的身體部分， 也有如物品等放置于操作面上的情況。該情況下，由于物品被誤認成身體 部分，物品的圖像被顯示于顯示部200，從而妨礙了顯示信息的顯示。于是， 為避免上述問題，只要判斷步驟S606所提取的形狀是否是身體部分的形狀， 當判斷不是身體部分時，使之不執(zhí)行之后的處理便可。判斷步驟S606所提 取的形狀是否是身體部分的形狀，只要預先保存身體部分的形狀模式，通 過將步驟S606所提取的形狀與所述形狀模式進行比較(模式匹配)便可。并 且，還可以通過向控制部500通知所述模式匹配的結果，使操作部300的 輸入操作只在步驟S606所提取的形狀被判斷為是身體部分的形狀的情況下 有效。由此，能夠防止操作部300的操作面上因放置物品而導致的錯誤操 作。
此外，當用戶所涂指甲油的顏色與操作部300的操作面為同一顏色等 情況下，步驟S606所檢測出的手形狀會出現(xiàn)缺少指甲部分的情況，此時， 只要事先準備上述形狀模式，通過參照該形狀模式，便可對檢測出的身體 部分的形狀所欠缺的部分進行增補。
完成身體區(qū)域的提取后，接下來，身體形狀提取部600根據(jù)步驟S604 所提取的身體區(qū)域607，如圖15所示，提取出其輪廓609(步驟S606)。該 輪廓提取處理通過從身體區(qū)域607的像素中，提取出與身體區(qū)域607以外 的區(qū)域的像素相鄰接的像素來執(zhí)行。具體而言，從身體區(qū)域607中包含的 所有像素中，提取出包含在其上、下、左、右4處附近的像素(或再包含注 目像素的右上、左上、右下、左下的8處附近的像素)中包含有身體區(qū)域607
以外的區(qū)域的像素。此外，還可根據(jù)需要，對提取出的輪廓609進行平滑 處理。通過平滑處理來消除輪廓609所產生的圖形失真的情況。
接著，身體形狀提取部600執(zhí)行形狀修正處理(S608)。形狀修正處理 從身體形狀輸入部IOO輸出的、且處于拍攝范圍的圖像數(shù)據(jù)及身體形狀的 輪廓609中，只提取出與操作范圍相關的區(qū)域。然后對所提取的圖像數(shù)據(jù) 執(zhí)行攝像機鏡頭的畸變修正處理、視點變換處理或其他修正處理。
拍攝范圍中所包含的操作范圍取決于身體形狀輸入部100及操作部 300的設置方法。作為操作范圍的獲取方法，例如事先(拍攝范圍中沒有拍 攝下身體部分的狀態(tài))在操作部300的四個角等設置標記，通過亮度閾值法 對所設置的標記進行辨別，并將其位置保存。在進行實際操作時，根據(jù)事 先所保存的操作范圍，除去操作范圍以外的區(qū)域，從而完成提取。
尤其在身體形狀輸入部100使用廣角鏡頭的情況下，攝像機鏡頭的畸 變修正處理利用鏡頭的畸變像差數(shù)據(jù)來進行修正。因此，身體形狀輸入部 100使用畸變較小的鏡頭(如標準鏡頭或望遠鏡頭)的情況時無需進行攝像 機鏡頭的畸變修正。
視點變換處理是在由于設置位置的限制等原因，不能在所期望的視點 (本實施方式中的視點是操作部300的正上方)設置身體形狀輸入部100的 情況下所執(zhí)行的處理。視點變換技術是一項眾所周知的技術。以下參照圖 16及圖17，舉例說明視點變換處理。
圖16是身體形狀輸入部100設置于圖3的A位置的情況下所執(zhí)行的視 點變換處理的圖例。身體形狀輸入部100所輸出的圖像數(shù)據(jù)601中操作部 300的四角(a、 b、 c、 d)所圍成的圖像被擴大，使得操作部300的四角(a、 b、 c、 d)與顯示部200的畫面的四角的位置對應。此時，若身體形狀輸入 部100與操作部300的相對位置固定，因圖像數(shù)據(jù)601中操作部300的四 角(a、 b、 c、 d)的位置也固定，所以即使不用隨時檢測該四角的位置，也 能夠執(zhí)行如圖16所示的視點變換處理。但是，當身體形狀輸入部100與操 作部300的相對位置不固定時，則需要根據(jù)身體形狀輸入部100輸出的圖 像數(shù)據(jù)601檢測出操作部300的四角(a、 b、 c、 d)的位置。該情況下，若 事先在操作部300的四角標注上標記，則能更準確地檢測出四角的位置。 此外，還可使操作部300的操作面內的任意區(qū)域與顯示部200的畫面相對
應。同樣地，該情況下，只要事先在所述任意區(qū)域的四角標注上基準標記，
便能擴大該四角所圍成的圖像，使該四角與顯示部200的畫面的四角的位 置對應。
圖17是身體形狀輸入部100設置于圖4的位置的情況下所執(zhí)行的視點 變換處理的圖例。圖4中，操作部300隨著方向盤的旋轉而轉動，因此， 隨著方向盤的旋轉，身體形狀輸入部100所輸出的圖像數(shù)據(jù)601中的操作 部300也相應地發(fā)生了轉動。同樣地，在該情況下，身體形狀輸入部100 所輸出的圖像數(shù)據(jù)601中的操作部300的四角(a、 b、 c、 d)的位置被檢測 出，且該四角所圍成的圖像被擴大，使得該四角與顯示部200的畫面的四 角的位置對應。
此外，在必要的情況下，步驟S608還執(zhí)行攝像機鏡頭的畸變修正處理、 視點變換處理以外的形狀修正處理。例如，將身體形狀輸入部100所輸出 的圖像數(shù)據(jù)的清晰度及畫面比例適當?shù)剞D換成顯示部200的畫面的清晰度 及畫面比例的處理。
此外，本實施方式假設身體形狀輸入部100使用不需要鏡頭畸變修 正的標準鏡頭；身體形狀輸入部100設置于貫穿操作部300的操作面中央 的法線上，且該法線與身體形狀輸入部100的光軸平行；身體形狀輸入部 100的視角正好能夠將操作部300的操作面整體收容在圖像內。該情況下， 不必執(zhí)行步驟S608的形狀修正處理。執(zhí)行步驟S608的形狀修正處理的結 果是能夠獲得如圖18那樣的手圖像611。
接著，身體形狀提取部600執(zhí)行身體圖像制作處理(步驟S610)。該步 驟制作顯示部200所要顯示的身體圖像。顯示部200照原樣顯示步驟S 608 所制作的身體圖像(如圖18的手圖像611)的情況下，該步驟中不需進行某 些特別的處理。在該步驟中執(zhí)行的處理如當步驟S608所制作的身體圖像 的亮度較暗時，調亮身體圖像的亮度；或對身體圖像進行平滑處理，如使 手的細紋等不被看出；修正身體圖像色調的處理，使手看起來更加美觀； 或在輪廓的內側部分貼上預先準備的紋理圖案等之類的處理。紋理圖案例 如是動物毛皮、樹木、混凝土、金屬、人工圖案等。
(顯示部200)
接著，說明顯示部200。顯示部200用于顯示圖像合成部800所合成的
圖像，顯示部200可以利用如液晶顯示器、CRT (Cathode Ray Tube)顯示器、 EL (Electronic Luminescence)顯示器等。
此外，顯示器200例如也可以是HUD顯示器(Head Up Display) 、 HMD 顯示器(Head Mounted Display)等能夠使圖像合成部800所合成的圖像通 過半反光鏡、鏡子、鏡頭等在空中成像的顯示器。這樣，在如車輛引擎蓋 的上方等難于設置顯示部200的位置處也能夠顯示圖像。
此外，顯示部200還可以利用投影儀。該情況下，使用投影儀將圖像 合成部800所合成的圖像投影到屏幕上，能夠廉價地實現(xiàn)大畫面顯示。
此外，還可根據(jù)設置場所、顯示目的等適當?shù)剡x擇顯示部200的構成。
(操作部300)
接下來，說明操作部300。操作部300檢測用戶的輸入操作并輸出與該 輸入操作相對應的信號。操作部300可以使用例如觸感控制板(touch pariel)、觸摸板(touch pad)等坐標輸入器件或按鍵開關、滾輪開關等開 關(硬件開關)。當然，操作部300也可既包含坐標輸入器件又包含開關。 以下，分別以坐標輸入器件及開關為例，對操作部300進行說明。
首先，以坐標輸入器件作為操作部300為例，參照圖19進行說明。
圖19中，操作部300是觸感控制板、觸摸板之類的坐標輸入器件，用 于在預先規(guī)定的時間輸出表示用戶所觸摸(或摁下)的位置的坐標數(shù)據(jù)。
本實施方式中，操作部300所檢測的用戶的輸入操作一般是指用戶觸 摸操作部300的操作面的操作或摁下操作面的操作，但這也因坐標輸入器 件的種類、設定而異。例如，在靜電容式觸摸板的情況下， 一般是檢測用 戶是否觸摸了操作面。而感壓式觸摸板則不是檢測用戶是否觸摸了操作面， 而是檢測用戶是否使用規(guī)定值以上的力量摁下觸摸板。如果增大壓力的閾 值，則只有在用戶用力摁下操作面時，才能作為輸入操作而檢測。此外， 用戶的輸入操作除觸摸操作面的操作或摁下操作面的操作以外，還有其他 各種輸入操作，如雙擊(在短時間間隔內兩次觸摸操作面或兩次摁下操作 面)、拖拽(手指觸摸著操作面的狀態(tài)下移動手指)、長時間摁(觸摸或摁下 操作面達到規(guī)定時間以上)、靠近操作面、離開操作面等。這些輸入操作不 一定只由操作部300檢測，例如，控制部500也可根據(jù)操作部300輸出的
坐標數(shù)據(jù)來檢測雙擊、拖拽等輸入操作。
此外，還可如圖19所示那樣，在顯示部200上用GUI部件模擬顯示出 調節(jié)音量的旋轉開關，當檢測出用戶在操作部300的操作面上進行畫圓的 拖拽操作時，也可以根據(jù)該拖拽操作來調節(jié)音量，這樣，使用戶猶如實際 操作旋轉開關一般，從而實現(xiàn)了更為直觀的輸入操作。
由此，使用坐標輸入器件作為操作部300，便可根據(jù)需要隨時對顯示部 200所顯示的GUI部件的形狀、位置、功能以及數(shù)量進行任意的變更。另外， 例如，還能容易地指定顯示部200上所顯示的地圖上的任意地點。從而實 現(xiàn)了一種非常通用的輸入裝置。
此外，如前面所述，操作部300可以不用具備如普通觸摸板或觸感控 制板所具有的輸出坐標數(shù)據(jù)的功能。也就是說，操作部300只要能將用戶 是否觸摸了操作面或是否摁下了操作面的操作作為信號輸出便可。該情況 下，由于不能從操作部300的輸出檢測出用戶所觸摸(或摁下)的位置，所 以需要根據(jù)身體形狀輸入部IOO所輸出的數(shù)據(jù)來檢測其位置。例如，如圖1 所示，規(guī)定用戶只能用食指揚起的狀態(tài)來選擇GUI部件，當檢測到身體形 狀提取部600所獲得的手圖像中食指指尖的位置時，便可知道用戶所選擇 的GUI部件。但是，若沒有做出任何如上述那樣的規(guī)定，那么，根據(jù)身體 形狀輸入部100所輸出的數(shù)據(jù)，則難以正確判斷出用戶所摁的位置。但是， 若操作部300具備輸出坐標數(shù)據(jù)的功能，則可進行如下操作如圖20所示， 預先將多個手指分別放到多個GUI部件上，用戶不用移動手6，便能從這些 GUI部件中適當?shù)剡x擇出所期望的GUI部件。
接下來，說明使用開關作為操作部300的情況。圖21中，操作部300 包括基座301和多個開關310。開關310例如可以是按鈕開關311、撥動開 關、旋轉開關312、滾輪開關313及/或操縱桿314。
顯示部200上顯示GUI部件，其中，所述GUI部件的位置與設置在操 作部300上的開關310的位置相對應，并且最好這些GUI部件的形狀與開 關310的形狀大致相同。
此外，顯示部200所顯示的GUI部件的功能還可根據(jù)需要隨時進行任 意地變更。例如，在音頻模式下利用旋轉開關312來調節(jié)音量、在導航模 式下利用旋轉開關312來變更地圖的顯示倍率。
由此，以開關作為操作部300能使用戶一邊用觸覺來感覺開關的動作
一邊進行操作，因此，與觸摸板那樣只靠視覺來進行輸入操作的情況相比， 開關的輸入更為直觀可靠。
當然，操作部300還可以既包含坐標輸入器件又包含開關。例如，也 可以在圖21所示的基座301的中央處增設坐標輸入器件。例如，通過組合 坐標輸入器件和開關，在操作部300上，設置與用戶使用頻率高且顯示部 200固定顯示的GUI部件相應的開關，這樣，不僅使進行選擇的操作簡便， 還可通過坐標輸入器件來選擇其他的GUI部件，從而，不僅使GUI部件的 配置更靈活，還有效地利用了畫面。
(運算部400)
接下來，對運算部400進行說明。前面已對運算部400所包含的身體 形狀提取部600進行了說明，在此省略其說明。
運算部400的處理大致可分為為使顯示部200顯示用戶的身體部分 的圖像所執(zhí)行的處理；及用戶進行輸入操作時所執(zhí)行的處理。
首先，參照圖22的順序圖，說明控制部500為使顯示部200顯示用戶 的身體部分的圖像所執(zhí)行的處理的過程。
當身體形狀提取部600檢測出身體形狀時(步驟S501)，身體形狀提取 部600將已檢測出身體形狀的信息發(fā)送到控制部500。此時，身體形狀提取 部600還可根據(jù)需要，檢測出有關身體形狀的特征(如手的大小、左手還是 右手等)，并將這些特征與上述信息一起發(fā)送給控制部500。
接著，控制部500檢查此時的操作模式(步驟S502)。在此，假設準備 了兩種操作模式，即許可用戶的輸入操作的模式；及禁止用戶的輸入操 作的模式。 一般地，導航裝置中，為防止用戶在駕駛過程中因操作導航裝 置而產生危險，用戶在駕駛過程中的輸入操作是無效的。
經步驟S502的檢查，判斷為許可用戶的輸入操作后，控制部500向顯 示信息制作部700發(fā)出變更顯示部200所應該顯示的顯示信息的指示(步驟 S503)。顯示信息制作部700根據(jù)該指示變更顯示信息。以下，舉例說明顯 示信息制作部700對顯示信息的變更。
圖23A及圖23B分別是顯示信息制作部700在身體形狀提取部600檢 測出身體形狀的情況(即用戶的身體部分位于操作部300上的情況)和身 體形狀提取部600沒有檢測出身體形狀的情況(g卩用戶的身體部分不在操
作部300上的情況)下，變更顯示信息的第1個例子。圖23A是身體形狀提 取部600沒有檢測出身體形狀的情況下的顯示畫面的圖例。此時，用戶進 行選擇的GUI部件(這里指按鈕)的輪廓用與寫有"距離目的地24分"的顯 示信息欄相同的線條來進行顯示。圖24 B是身體形狀提取部600檢測出身 體形狀的情況下，與圖23A對應的顯示畫面的圖例。此時，所顯示的按鈕 被立體化，使用戶對所選的部分一目了然。通過這樣對顯示信息進行變更， 當用戶沒有進行輸入操作時，簡化了顯示信息的顯示，從而提高了顯示信 息的可視性；而當用戶進行輸入操作時，對選擇對象進行了強調顯示，從 而提高了操作性。
圖24A及圖24B分別是顯示信息制作部700在身體形狀提取部600檢 測出身體形狀的情況(即用戶的身體部分位于操作部300上的情況)和身 體形狀提取部600沒有檢測出身體形狀的情況(g卩用戶的身體部分不在操 作部300上的情況)下，變更顯示信息的第2個例子。圖24A是身體形狀提 取部600沒有檢測出身體形狀的情況時的另一顯示畫面的圖例。此時，所 顯示的用戶進行選擇的GUI部件(這里是按鈕)的形狀相對較小地顯示。圖 24B是身體形狀提取部600檢測出身體形狀的情況時，與圖23A對應的顯示 畫面的圖例。此時，所顯示的按鈕與圖24相比相對較大地顯示，使用戶更 容易選擇。通過這樣對顯示信息進行變更，當用戶沒有進行輸入操作時， 使用戶更容易地看到按鈕以外的顯示信息；當用戶進行輸入操作時，對按 鈕進行放大顯示，從而提高了操作性。
圖25A及圖25B分別是身體形狀提取部600檢測出右手和左手時，顯 示信息制作部700變更顯示信息的圖例。該情況下，身體形狀提取部600 判定所檢測出的身體形狀是右手還是左手，并將該判定結果作為身體形狀 的相關特征通知給控制部500?？刂撇?00根據(jù)該判定結果指示顯示信息制 作部700變更顯示信息。所檢測出的身體形狀是右手還是左手，可以利用 如圖14或圖15所示的數(shù)據(jù)，通過既存的各種算法來判定。圖25A是身體 形狀提取部600檢測出右手時的顯示畫面的圖例。圖25B是身體形狀提取 部600檢測出左手時的顯示畫面的圖例。此時，假設如下情況操作部300 設置于車內駕駛座位與副駕駛座位之間，兩位用戶分別位于操作部300的 左右兩側對操作部300進行操作，位于操作部300右側的用戶用左手進行
操作，位于操作部300左側的用戶用右手進行操作。也就是說，當身體形 狀提取部600檢測出右手時，則可以認為進行操作的用戶位于操作部300 的左側。此時，倘若GUI部件(這里指按鈕)顯示于畫面的右上方，則當用 戶摁按鈕時，用戶的手便會將操作部300的中央附近遮擋住，致使顯示畫 面的中央附近也因此被手圖像遮蓋，從而看不清畫面。于是，為避免上述 問題，當身體形狀提取部600檢測出右手時，如圖25A所示，將按鈕顯示 于畫面的左側，相反地，當身體形狀提取部600檢測出左手時，如圖25B 所示，將按鈕顯示于畫面的右側。
上述例子中說明了身體形狀提取部600分別檢測出右手和左手時，變 更按鈕的設置位置的情況，此外，也可以對按鈕的功能、形狀、大小或數(shù) 量等進行變更。例如，操作部300設置于車內駕駛座位與副駕座位之間的 情況時，車輛在行駛過程中，當檢測出右手(即副駕座位的乘客的手)時， 既顯示如文字輸入等比較復雜的輸入操作按鈕，又顯示如滾屏等較為簡單 的輸入操作按鈕；而當檢測出左手(即駕駛員的手)時，為了安全起見，則 只顯示較為簡單的輸入操作按鈕。
圖26A及圖26B分別是身體形狀提取部600檢測出較大的手(即大人的 手)和較小的手(即小孩的手)時，顯示信息制作部700變更顯示信息的圖例。 該情況下，身體形狀提取部600判定所檢測出的身體形狀是較大的手還是 較小的手，并將該判定結果作為身體形狀的相關特征通知給控制部500?？?制部500根據(jù)該判定結果指示顯示信息制作部700變更顯示信息的。所檢 測出的身體形狀是較大的手還是較小的手，可通過將如圖14所示的身體區(qū) 域607的面積或寬度與規(guī)定的閾值進行比較來判定。圖26 A是身體形狀提 取部600檢測出較大的手時顯示畫面的圖例。當身體形狀提取部600檢測 出較大的手時，可以認為是大人進行操作，因而不對其輸入操作進行特別 的限制。圖25B是身體形狀提取部600檢測出較小的手時顯示畫面的圖例。 身體形狀提取部600檢測出較大的手時，則認為是小孩進行操作，便通過 使一部分或所有的按鈕失效來限制其輸入操作，并且，還可以通過變化按 鈕顏色或對按鈕做標記來告知用戶按鈕失效。
上述例子中說明了身體形狀提取部600檢測出較小的手時，變化按鈕 顏色或對按鈕做標記的情況，但本發(fā)明并不局限于此，另外還有其他各種
24
變更顯示信息的例子。例如，將顯示信息中難懂的詞匯變更為簡單的詞匯 或變更畫面的構成、配色，使之更具兒童色彩。
此外，其他對顯示信息的變更，如設定顯示信息制作部700只在身 體形狀提取部600檢測出身體部分的形狀的情況下生成顯示信息。這樣， 由于用戶在沒有進行輸入操作時，圖像顯示的相關處理被中斷，因而節(jié)省 了耗電量。同樣地，也可以設定顯示信息制作部700只在身體形狀提取部 600檢測出右手(或左手)的情況下生成顯示信息。同樣，設定顯示信息制作 部700只在身體形狀提取部檢測出大人的手(或小孩的手)的情況下生成顯 不信息。
此外，還存在身體形狀提取部600所檢測出的形狀不一定是身體部分 的形狀的情況。于是，該情況下，顯示信息制作部700可以判定身體形狀 提取部600所檢測出的形狀是否是身體部分的形狀，然后分別根據(jù)身體部 分的形狀的情況和身體部分以外的形狀的情況來變更顯示信息。例如，設 定顯示信息制作部700在身體形狀提取部600所檢測出的形狀不是身體部 分的形狀的情況下，不生成顯示信息。判定身體形狀提取部600所檢測 出的形狀是否是身體部分的形狀，可以通過前面所述的模式匹配來實現(xiàn)。
顯示信息被變更后，控制部500向圖像合成部800發(fā)出將身體形狀提取 部600所制作的身體圖像與顯示信息制作部700所制作(變更后)的顯示信 息進行合成的指示(步驟S504)。圖像合成部800根據(jù)該指示來合成身體圖 像和顯示信息。以下舉例說明圖像合成部800所合成的圖像。
圖27A是將身體形狀提取部600所制作的身體圖像(例如圖18)覆蓋于 顯示信息制作部700所制作的顯示信息上時的畫面例。通過顯示出真實的 手圖像，可以給用戶一種仿佛實際觸摸到畫面一般的感覺，從而實現(xiàn)了直 觀的輸入操作。
圖27B是將身體形狀提取部600所制作的輪廓圖像(例如圖15)作為身體 圖像，覆蓋于顯示信息制作部700所制作的顯示信息上時的畫面例。這樣 的圖像合成，不僅顯示了身體部分的形狀及位置，還顯示了身體圖像內側 的顯示信息，使用戶即使在操作中也能夠容易地確認顯示信息。
圖27C是對身體形狀提取部600所制作的身體圖像進行加工，使身體
圖像的輪廓不透明而其內部呈半透明狀，然后將之覆蓋于顯示信息制作部
700所制作的顯示信息上時的畫面例。這樣的圖像合成，不僅更直觀地再現(xiàn) 了輸入操作，而且使用戶在操作中能夠容易地確認顯示信息。
圖27D是對身體形狀提取部600所制作的輪廓圖像的指尖部分進行強 調顯示的加工后，將之覆蓋于顯示信息制作部700所制作的顯示信息上時 的畫面例。這樣的圖像合成，使用戶能夠迅速地確認自己所摁的位置，并 且，因同時也顯示了身體圖像內側的顯示信息，使用戶在操作中也能夠容 易地確認顯示信息。此外，檢測指尖部分的方法，如通過模式匹配，從 輪廓的形狀中特定指尖部分的方法；或提取出如圖13所示的圖像數(shù)據(jù)中指 甲部分的方法。此外，強調顯示的方法可通過如顯示標記、改變顏色、改 變透明度的方法來實現(xiàn)，或通過使用越接近指尖輪廓的顏色越深，或越接 近指尖輪廓的透明度越小的方法來實現(xiàn)。
圖27E是對身體形狀提取部600所制作的身體圖像附加半透明或不透 明的陰影后，將之覆蓋于顯示信息制作部700所制作的顯示信息上時的畫 面例。這樣的圖像合成，給用戶一種仿佛實際觸摸到畫面一般的感覺。
上述圖27F 圖27H的例子中說明了將身體圖像根據(jù)需要進行加工后， 將之覆蓋于顯示信息制作部700所制作的顯示信息上的情況。此外，在進 行圖像合成時，也可以對手圖像以外的顯示信息進行加工。以下對之進行 說明。
身體形狀提取部600所制作的身體圖像覆蓋于顯示信息制作部700所 制作的顯示信息上時，GUI部件的一部分或整體被隱藏，對此，如圖27F 所示，在GUI部件的附近彈出輔助信息(GUI部件的標簽、輔助說明等信息)。 為實現(xiàn)這樣的顯示，圖像合成部800首先通過已知的算法，判斷顯示信息 制作部700所制作的顯示信息所含有的各GUI部件是否與身體圖像重疊。 若存在與身體圖像重疊的GUI部件，則找出不與身體圖像重疊且沿規(guī)定方 向(右方或上方等)距離所述GUI部件位置的區(qū)域，并在該區(qū)域顯示所述GUI 部件的輔助信息。這樣的圖像合成，通過在任意的GUI部件上重疊身體圖 像，用戶便能容易地獲得畫面中所顯示的任意GUI部件的相關信息。此外， 用戶不用移動手便能識別被身體圖像所隱藏的GUI部件，從而提高了操作 性。 身體形狀提取部600所制作的身體圖像覆蓋于顯示信息制作部700所 制作的顯示信息時，GUI部件的一部分或整體被隱藏，對此，圖27G中， 將被隱藏的GUI部件的標簽覆蓋于身體圖像上。圖27G中雖然只在身體圖 像上覆蓋被隱藏了的GUI部件的標簽，同時也可以結合被隱藏的GUI部件 的形狀一起進行覆蓋。這樣的圖像合成，使用戶不用移動手便能識別被身 體圖像所隱藏的GUI部件，提高了操作性。
圖27H是身體形狀提取部600所制作的身體圖像覆蓋于顯示信息上時， 強調顯示與身體圖像的指尖部分重疊的GUI部件的圖例。這樣的圖像合成， 使用戶能夠容易地確認身體圖像的指尖所指的GUI部件。此外，檢測指尖 部分的方法，如通過模式匹配，從輪廓的形狀中特定指尖部分的方法或 如圖13所示的從圖像數(shù)據(jù)中提取出指甲部分的方法。另外還有各種強調顯 示的方法，如改變顏色、透明度，形狀、線條的種類/線條的粗細、文字 格式、圖標等，或使顏色、透明度呈遞進性變化(濃淡法)等。
接著，參照圖28的順序圖，說明用戶進行輸入操作時控制部500所執(zhí)
行的處理的過程。
首先，操作部300檢測出用戶的觸摸操作或摁下操作后(步驟S511)， 向控制部500發(fā)送信息。其中，如上所述，操作部300也可向控制部500 只輸出坐標數(shù)據(jù)，從而控制部500根據(jù)該坐標數(shù)據(jù)來檢測觸摸操作等。
然后，控制部500向顯示信息制作部700發(fā)出變更顯示信息的指示(步 驟S512)。顯示信息制作部700按照控制部500的指示變更顯示信息。以下， 結合圖29A及29B，舉例說明對顯示信息的變更。
圖29 A是對與用戶所觸摸(或摁下)操作部300上的點所對應的GUI部 件(即用戶所選的GUI部件)進行強調顯示的圖例。如圖29A所示，用戶 所選的GUI部件(這里指按鈕)被變更為被摁下的圖像。此外，為方便起見， 圖29A中圖示出了手圖像，但顯示信息制作部700所制作的顯示信息實際 不包含手圖像。通過這樣變更顯示圖像，使用戶能夠容易地確認是否正確 地選擇了所要選擇的GUI部件，從而提高了操作性。
圖29B是強調顯示畫面上與用戶觸摸(或摁下)操作部300上的點所對 應的點的圖例。圖29B的圖例中，在畫面上與用戶觸摸(或摁下)操作部300 上的點所對應的點處，猶如留下了指紋一般，被標上了圓形的標記。該圓
形標記或在規(guī)定的時間內顯示，或一直顯示到用戶再次觸摸(或摁下)操作
部300為止。通過這樣變更顯示圖像，使用戶能夠容易地確認是否正確地 指定出自己所要指定的畫面上的點，尤其是在所要指定的點與實際所指定 的點相偏離的情況下，能夠確認出偏離的方向及距離。
顯示信息被變更后，控制部500向圖像合成部800發(fā)出將身體形狀提 取部600所制作的身體圖像與顯示信息制作部700所制作的顯示信息合成 的指示(步驟S513)。圖像合成部800根據(jù)該指示來合成身體圖像和顯示信 息。
圖30是不將合成顯示的身體形狀的部分顯示于顯示部整體，而將之限 定在作為操作對象的范圍內顯示的圖例。此時，將顯示部分成兩個畫面， 左側顯示電視，右側顯示導航地圖。用戶操控電視的情況下，若在導航畫 面合成顯示手圖像，會因重疊不必要的顯示而造成妨礙，因此，其結構可 以是不在導航畫面顯示手形狀的構成。此外，該情況下，通過上述指尖位 置的檢測方法，當指尖位于電視畫面時，能夠判斷出當前的操作對象是電 視，所以，只要根據(jù)指尖位置來限定圖像合成的范圍是電視畫面還是導航 畫面便可。
圖31是不將身體形狀顯示于顯示部整體，而是將身體形狀縮小在作為 操作對象的范圍內合成顯示的圖例。這里以DVD畫面為例進行說明。當用 戶觸摸操作部或手在操作部上揮動時，畫面的上方便會出現(xiàn)用于DVD操作 的子畫面。若在不是操作對象的子畫面以外的地方合成手形狀，會影響正 在播放的DVD。所以，在顯示子畫面期間，通過S608所說明的形狀修正處 理，對該子畫面的大小進行視點變換處理，從而能夠只在該子畫面中對手 形狀進行合成。
如上所述，根據(jù)本發(fā)明的輸入裝置及其方法，即使在用戶的手超出操 作版面的情況下，也能夠通過準確地檢測出用戶的手形狀或手勢來進行輸 入。
上述對實施方式的說明中，只是通過具體的例子來說明本發(fā)明的結構， 并沒有限制本發(fā)明的技術范圍。任何能夠達到本發(fā)明效果的結構，都可以 采用。
工業(yè)實用性
本發(fā)明的輸入裝置能夠在不直接接觸畫面的情況下進行如觸摸顯示器 那樣直觀的輸入操作，適用于在遠離顯示器的位置進行輸入操作的情況或 使用遠距離顯示屏的情況。此外，用戶在進行操作時不用看手邊的操作， 因而，作為車載導航裝置的輸入裝置也很適用。
權利要求
1. 一種輸入裝置，用于向機器輸入命令或信息，其特征在于，所述輸入裝置包括身體形狀輸入部，獲取用戶的身體形狀信息；顯示信息制作部，制作用戶進行命令或信息的輸入所必需的顯示圖像；操作部，具有與所述顯示圖像相對應的操作面；身體形狀提取部，從所述身體形狀輸入部所獲得的身體信息中提取出與所述操作面相對應的部分，并制作身體圖像；圖像合成部，合成所述顯示信息制作部制作的顯示圖像與所述身體形狀提取部制作的身體圖像；及，顯示部，顯示所述圖像合成部所合成的圖像。
2. 根據(jù)權利要求1所述的輸入裝置，其特征在于， 所述顯示信息制作部根據(jù)所述身體形狀提取部檢測出的身體信息來制作顯示圖像，其中，所述身體信息的范圍比與所述操作面相對應的部分的 范圍廣。
3. 根據(jù)權利要求1或2所述的輸入裝置，其特征在于， 所述身體形狀提取部通過利用預先保存的身體部分的形狀模式的模式匹配，判斷根據(jù)所述身體形狀輸入部所輸出的圖像數(shù)據(jù)所檢測出的形狀是 否是身體部分的形狀。
4. 根據(jù)權利要求3所述的輸入裝置，其特征在于， 所述身體形狀提取部根據(jù)所述形狀模式，對根據(jù)所述身體形狀輸入部所輸出的圖像數(shù)據(jù)檢測出的身體部分的形狀進行修正處理。
5. 根據(jù)權利要求1或2所述的輸入裝置，其特征在于， 所述操作部的規(guī)定位置處被標注有所述形狀修正處理所使用的標記，并且，所述身體形狀提取部通過執(zhí)行所述形狀修正處理，使所述身體形狀 輸入部輸出的圖像數(shù)據(jù)中的所述標記的位置能夠轉換到所述顯示部的畫面 上的規(guī)定位置。
6. 根據(jù)權利要求1或2所述的輸入裝置，其特征在于， 所述圖像合成部在合成所述顯示圖像與所述身體圖像時，使所述身體圖像輪廓內部的透明度產生變化。
7. 根據(jù)權利要求1或2所述的輸入裝置，其特征在于， 所述圖像合成部在合成所述顯示圖像與所述身體圖像時，強調所述身體圖像的輪廓。
8. 根據(jù)權利要求1或2所述的輸入裝置，其特征在于， 所述圖像合成部在合成所述顯示圖像與所述身體圖像時，檢測出所述身體圖像中用戶的指尖部分，并強調所述指尖部分。
9. 根據(jù)權利要求1或2所述的輸入裝置，其特征在于， 所述圖像合成部在合成所述顯示圖像與所述身體圖像時，將被所述身體圖像隱藏了的、所述顯示畫面中的顯示信息彈出并顯示于沒有被所述身 體圖像所隱藏的區(qū)域。
10. 根據(jù)權利要求1或2所述的輸入裝置，其特征在于，所述圖像合成部在合成所述顯示圖像與所述身體圖像時，將被所述身體圖 像隱藏了的，所述顯示圖像中的信息顯示于所述身體圖像的前面。
11. 根據(jù)權利要求2所述的輸入裝置，其特征在于， 所述身體形狀提取部判斷根據(jù)所述身體形狀輸入部取得的信息而檢測出的形狀是否是身體部分的形狀，并且，所述顯示信息制作部根據(jù)所述身 體形狀提取部的判斷結果來變更所制作的顯示圖像。
12. 根據(jù)權利要求2所述的輸入裝置，其特征在于， 所述顯示信息制作部只在所述身體形狀提取部所檢測出的身體部分的形狀是右手或左手的情況下制作顯示圖像。
13. 根據(jù)權利要求2所述的輸入裝置，其特征在于，所述顯示信息制作部在所述身體形狀提取部檢測出所述身體部分的形 狀時，根據(jù)所述所檢測出的身體部分的形狀，對顯示圖像中的GUI部件進 行強調顯示，或對所述GUI部件的位置進行變更，以及/或對所述GUI部 件的有效性進行變更。
14. 根據(jù)權利要求1或2所述的輸入裝置，其特征在于， 所述顯示信息制作部制作顯示圖像，其中，所述顯示圖像包含多個顯示區(qū)域；所述圖像合成部在合成所述顯示圖像與所述身體圖像時，檢測出 所述身體圖像中用戶的指尖部分，并限定在所述指尖部分所在的顯示區(qū)域 合成身體形狀。
15. 根據(jù)權利要求1或2所述的輸入裝置，其特征在于， 所述顯示信息制作部制作顯示圖像，其中，所述顯示圖像包含多個顯示區(qū)域；所述圖像合成部在合成所述顯示圖像與所述身體圖像時，在作為 當前顯示對象的區(qū)域內，將所述身體形狀縮小并對之進行合成。
16. —種輸入方法，用于向機器輸入命令或信息，其特征在于， 所述輸入方法包括以下步驟身體形狀輸入步驟，取得用戶的身體形狀信息；顯示信息制作步驟，制作用于輸入用戶發(fā)出的命令或信息所必需的顯 示圖像；身體形狀提取步驟，從所述身體形狀輸入步驟所獲得的所述身體信息 中提取出與所述操作版面相對應的部分，并制作身體圖像；圖像合成步驟，合成所述顯示信息制作步驟中制作的所述顯示圖像與 所述身體形狀提取步驟中制作的所述身體圖像；顯示步驟，顯示所述圖像合成步驟中合成的圖像。
17. 根據(jù)權利要求16所述的輸入方法，其特征在于， 所述顯示信息制作步驟根據(jù)所述身體形狀提取步驟中檢測出的身體信息來制作顯示圖像，其中，所述身體信息的范圍比與操作面相對應的部分 的范圍廣。
全文摘要
本發(fā)明的目的在于提供一種輸入裝置及其方法，使用戶能夠邊注視前方的畫面邊容易地用手對觸摸板進行操作，提高對手形狀的檢測和手勢的檢測的精度。本發(fā)明提供一種用于向機器輸入命令或信息的輸入裝置，包括身體形狀輸入部，獲取用戶的身體形狀信息；顯示信息制作部，制作用戶進行命令或信息的輸入所必需的顯示圖像；操作部，具有與顯示圖像相對應的操作面；身體形狀提取部，從身體形狀輸入部所獲取的身體信息中提取出與操作面相對應的部分，并制作身體圖像；圖像合成部，將顯示信息制作部所制作的顯示圖像與身體形狀提取部所制作的身體圖像進行合成；以及顯示部，顯示圖像合成部所合成的圖像。
文檔編號G06F3/0354GK101379455SQ20078000405
公開日2009年3月4日 申請日期2007年2月1日 優(yōu)先權日2006年2月3日
發(fā)明者寺田智裕, 山下敦土, 平井卓哉 申請人:松下電器產業(yè)株式會社