信息處理終端及方法、程序和記錄介質(zhì)的制作方法
【專利摘要】一種裝置包括：顯示單元，顯示顯示畫面；輸入單元，接收手勢輸入；控制器，確定在所述輸入單元上所輸入的手勢是否在顯示單元的顯示畫面之一上接受手勢輸入的手勢輸入?yún)^(qū)域內(nèi)，并且當(dāng)在手勢輸入?yún)^(qū)域內(nèi)未檢測到手勢時，顯示該顯示畫面的手勢輸入?yún)^(qū)域。
【專利說明】信息處理終端及方法、程序和記錄介質(zhì)
【技術(shù)領(lǐng)域】
[0001]本技術(shù)涉及一種信息處理終端及方法、程序和記錄介質(zhì)。具體地，本技術(shù)涉及一種使得能夠可靠地輸入手勢的信息處理終端及方法、程序和記錄介質(zhì)。
【背景技術(shù)】
[0002]隨著諸如智能電話或其中安裝有觸摸面板的平板式終端的信息處理終端的普及，能夠以手勢操作的接口越來越多地得到使用。當(dāng)用戶輸入手勢時，信息處理終端識別該手勢，并且執(zhí)行與所識別的手勢相關(guān)聯(lián)的處理。
[0003]已知如下的信息處理終端:由于存在各種類型的手勢輸入，該信息處理終端顯示菜單以向用戶引導(dǎo)可輸入的手勢(例如，參見PTL1)。
[0004]引用列表
[0005]專利文獻
[0006][PTL1]JP-A-2005-339420

【發(fā)明內(nèi)容】

[0007]技術(shù)問題
[0008]然而，信息處理終端上同時顯示各種信息。因此，用戶可能在不正確的位置處輸入手勢。在這種情況下，即使輸入了正確的手勢，該輸入也不被接收。因此，用戶可能錯誤地識別為設(shè)備發(fā)生故障。
[0009]由此，因而期望能夠允許可靠地輸入手勢。
[0010]針對問題的方案
[0011]一種裝置，包括:
[0012]顯示單元,其顯示顯示畫面；
[0013]輸入單元，其接收手勢輸入；
[0014]控制器，其檢測在所述輸入單元上所輸入的手勢是否在所述顯示單元的所述顯示畫面之一上的用于接受手勢輸入的手勢輸入?yún)^(qū)域內(nèi)，并且當(dāng)在所述手勢輸入?yún)^(qū)域內(nèi)未檢測到所述手勢時，顯示該顯示畫面的手勢輸入?yún)^(qū)域。
[0015]一種方法，包括以下步驟:
[0016]檢測在輸入單元上輸入的手勢是否在顯示單元的顯示畫面上的用于接受手勢輸入的手勢輸入?yún)^(qū)域內(nèi)；以及
[0017]當(dāng)在所述手勢輸入?yún)^(qū)域內(nèi)未檢測到所述手勢時，顯示所述顯示畫面的手勢輸入?yún)^(qū)域。
[0018]一種包含在非暫態(tài)計算機可讀介質(zhì)上的、在計算機上執(zhí)行用于確定手勢的程序，包括以下步驟:
[0019]檢測在輸入單元上輸入的手勢是否在顯示單元的顯示畫面上的用于接受手勢輸入的手勢輸入?yún)^(qū)域內(nèi)；以及[0020]當(dāng)在所述手勢輸入?yún)^(qū)域內(nèi)未檢測到所述手勢時，顯示所述顯示畫面的手勢輸入?yún)^(qū)域。
[0021]一種非暫態(tài)計算機可讀記錄介質(zhì)，用于控制控制器確定手勢，包括以下步驟:
[0022]檢測在輸入單元上輸入的手勢是否在顯示單元的顯示畫面上的用于接受手勢輸入的手勢輸入?yún)^(qū)域內(nèi)；以及
[0023]當(dāng)在所述手勢輸入?yún)^(qū)域內(nèi)未檢測到所述手勢時，顯示所述顯示畫面的手勢輸入?yún)^(qū)域。
[0024]有益效果
[0025]根據(jù)本技術(shù)的實施例，能夠允許可靠地輸入手勢。
【專利附圖】

【附圖說明】
[0026]圖1是示出根據(jù)本技術(shù)的實施例的信息處理終端的外觀的示例的圖。
[0027]圖2是示出信息處理終端的電氣配置示例的框圖。
[0028]圖3是示出控制器的功能配置示例的框圖。
[0029]圖4是示出顯示單元的顯示示例的圖。
[0030]圖5是示出手勢輸入的示例的圖。
[0031]圖6是示出手勢輸入處理的流程圖。
[0032]圖7是示出執(zhí)行手勢輸入處理時的顯示示例的圖。
[0033]圖8是示出執(zhí)行手勢輸入處理時的顯示示例的圖。
[0034]圖9是示出執(zhí)行手勢輸入處理時的顯示示例的圖。
[0035]圖10是示出執(zhí)行手勢輸入處理時的顯示示例的圖。
[0036]圖11是示出可輸入?yún)^(qū)域顯示處理的流程圖。
[0037]圖12是示出執(zhí)行可輸入?yún)^(qū)域顯示處理時的顯示示例的圖。
[0038]圖13是示出執(zhí)行可輸入?yún)^(qū)域顯示處理時的顯示示例的圖。
[0039]圖14是示出執(zhí)行可輸入?yún)^(qū)域顯示處理時的顯示示例的圖。
[0040]圖15是示出執(zhí)行可輸入?yún)^(qū)域顯示處理時的顯示示例的圖。
【具體實施方式】
[0041]下文中，將描述本技術(shù)的實施例。將按以下順序提供描述。
[0042]1.第一實施例(手勢輸入校正功能)
[0043]2.第二實施例(可輸入?yún)^(qū)域顯示功能)
[0044]<第一實施例>
[0045]首先，將描述作為在不能識別用戶輸入的手勢時顯示選項并校正手勢的功能的手勢輸入校正功能。
[0046]信息處理終端的外觀
[0047]圖1是示出根據(jù)本技術(shù)的實施例的信息處理終端的外觀的示例的圖。
[0048]圖1的信息處理終端I是便攜式終端(諸如，智能電話、移動電話、PDA (個人數(shù)字助手)或PND (便攜式導(dǎo)航裝置)，并且信息處理終端I的殼體的尺寸使得用戶能夠以一只手手持該終端。[0049]在信息處理終端I的殼體的前表面內(nèi)設(shè)置有顯示單元11 (包括IXD (液晶顯示器)等)。在顯示單元11的上表面上設(shè)置有觸摸面板25。用戶可以用他的/她的手指等在與顯示單元11上所顯示的信息相對應(yīng)的位置處直接操作觸摸面板25。在顯示單元11下方設(shè)置有具有多個按鈕的操作單元12。
[0050]信息處理終端的配置示例
[0051]圖2是示出信息處理終端I的電氣配置示例的框圖。
[0052]信息處理終端I具有如下配置:其中，除了顯示單元11和操作單元12外，傳感器單元22、攝像裝置23、通信單元24、觸摸面板25和存儲單元26也連接至控制器21。
[0053]控制器21具有CPU (中央處理單元)、ROM (只讀存儲器)、RAM (隨機存取存儲器)(未示出)等?？刂破?1的CPU從ROM加載程序并使用RAM來執(zhí)行該程序，以控制信息處理終端I的整體操作。
[0054]傳感器單元22具有陀螺儀傳感器等，并且檢測信息處理終端I的移動。傳感器單元22將關(guān)于所檢測到的移動的信息輸出至控制器21。
[0055]攝像裝置23具有成像裝置，諸如CMOS (互補金屬氧化物半導(dǎo)體)圖像傳感器。攝像裝置23對通過設(shè)置在信息處理終端I的殼體的前表面內(nèi)的透鏡(未示出)導(dǎo)入的光執(zhí)行光電轉(zhuǎn)換，并生成圖像數(shù)據(jù)。攝像裝置23捕獲的圖像被提供至控制器21。
[0056]通信單元24與諸如LAN (局域網(wǎng))或因特網(wǎng)的網(wǎng)絡(luò)上的設(shè)備進行通信。例如，在顯示單元11上顯示通過通信單元24接收到的網(wǎng)頁的信息等。
[0057]透明觸摸面板25設(shè)置在顯示單元11的上表面上，并且檢測用戶的手指等的操作。存儲單元26具有非易失性存儲器、硬盤等，并存儲由控制器21執(zhí)行的程序、數(shù)據(jù)等。
[0058]圖3是示出控制器21的功能配置示例的框圖。圖3所示的功能單元中的至少一部分是通過圖2的控制器21執(zhí)行的預(yù)定程序來實現(xiàn)的。
[0059]在圖3中，控制器21包括手勢識別單元31、識別結(jié)果校正單元32、校正信息存儲單元33、軌跡顯示單元34和校正候選生成單元35。
[0060]手勢識別單元31生成當(dāng)用戶用他的/她的手指在觸摸面板25上進行描繪(trace)時所輸入的手勢。除了上述描繪操作之外，手勢的示例還包括多種操作。例如，手勢的示例包括用戶輕輕地觸摸觸摸面板25 —次的輕擊(tap)操作以及用戶輕輕地觸摸觸摸面板25兩次的雙擊操作。還存在用戶用他的/她的手指(參見以下所描述的圖4)等在任意方向上掃過觸摸面板25的輕拂操作。手勢的示例還包括用戶的手指41在觸摸面板25上繪制諸如圓形或三角形的圖形的操作。
[0061]手勢識別單元31從信息處理終端I所執(zhí)行的處理當(dāng)中識別與所檢測到的手勢相關(guān)聯(lián)的處理。即，當(dāng)不存在與所檢測到的手勢相關(guān)聯(lián)的處理時，手勢識別單元31確定該手勢是不可識別的手勢。
[0062]手勢識別單元31執(zhí)行與所識別的手勢相關(guān)聯(lián)的處理。
[0063]識別結(jié)果校正單元32執(zhí)行用于請求用戶對手勢識別單元31不可識別的手勢進行校正的處理。具體地，例如，作為選項，在顯示單元11上顯示在用戶向其輸入手勢的畫面上可識別的手勢、或者接近用戶輸入的手勢的另一手勢。例如，當(dāng)用戶響應(yīng)于顯示單元11的圖像而輸入手勢的區(qū)域是手勢不可識別的區(qū)域時，識別結(jié)果校正單元32顯示可以進行手勢的輸入的另一區(qū)域。[0064]當(dāng)用戶輸入不可識別的手勢時，校正信息存儲單元33將不可識別的手勢與用戶選擇的手勢相關(guān)聯(lián)地存儲為校正信息。校正信息存儲單元33每次檢測到不可識別的手勢時重復(fù)地存儲校正信息。手勢識別單元31基于存儲在校正信息存儲單元33中的校正信息來學(xué)習(xí)用戶的手勢。校正信息存儲單元33還存儲用于指定顯示單元11上正顯示的應(yīng)用的ID (標(biāo)識)以及用于指定與手勢相關(guān)聯(lián)的畫面的ID。
[0065]軌跡顯示單元34在顯示單元11上顯示手勢識別單元31識別出的手勢的軌跡。軌跡顯示單元34還創(chuàng)建用于將手勢的軌跡縮小到預(yù)定尺寸的動畫，并且在顯示單元11顯示預(yù)定尺寸手勢作為縮小后的軌跡。以下將參照圖7描述縮小后的軌跡。
[0066]校正候選生成單元35參考存儲在校正信息存儲單元33中的用于指定顯示單元11上正顯示的應(yīng)用的ID和用于指定畫面的ID，生成用戶向其輸入手勢的畫面上的可識別的手勢或接近不可識別的手勢的手勢的候選，來作為選項。校正候選生成單元35參考存儲在校正信息存儲單元33中的用于指定顯示單元11上正顯示的應(yīng)用的ID和用于指定畫面的ID，從顯示單元11上所顯示的圖像檢測可以進行手勢輸入的區(qū)域。
[0067]圖4是示出顯示單元11的顯示示例的圖。如上所述,透明觸摸面板25設(shè)置在顯示單元11的上表面上，以使得用戶通過觸摸面板25從視覺上識別顯示單元11上所顯示的信息，并且直接用手指41等操作信息。
[0068]用戶的手指41對觸摸面板25輸入手勢。用戶以手指41觸摸觸摸面板25，并對觸摸面板25進行各種操作以輸入手勢。在以下描述中，為了簡化描述，如果需要，將描述為“對顯示單元11輸入手勢”。
[0069]顯示區(qū)域51至54是顯示單元11上所顯示的窗口。在顯示區(qū)域51至54中的每一個中，顯示對應(yīng)于內(nèi)容或應(yīng)用的圖像。
[0070]滾動條55可以將顯示單元11上所顯示的圖像右移或左移。即，用戶在水平方向上輕拂滾動條55，從而將顯示單元11上所顯示的圖像右移或左移。
[0071]圖5是示出手勢輸入的示例的圖。如果用戶以手指41輸入用于在顯示單元11上繪制星星的手勢(下文中，稱為手勢(星星))，則手勢識別單元31將通過手指41繪制的手勢識別為手勢(星星)。通過軌跡顯示單元34將由手勢識別單元31識別出的手指41的軌跡顯示在顯示單元11的用手指41輸入手勢的位置處作為手勢軌跡61。手勢識別單元31執(zhí)行與輸入手勢(星星)相關(guān)聯(lián)的處理(例如，“打開選項菜單”等)。
[0072]信息處理終端的操作
[0073]圖6是示出手勢輸入處理的流程圖。該手勢輸入處理是用戶向顯示單元11輸入手勢時由控制器21執(zhí)行的處理。
[0074]圖7至圖10是示出執(zhí)行手勢輸入處理時的顯示示例的圖。下文中，將參照圖7至圖10描述圖6的流程圖的處理。
[0075]在步驟SI中，手勢識別單元31檢測手勢。具體地，在圖7中，手勢識別單元31檢測用手指41向顯示單元11輸入的手勢。即，檢測手勢的軌跡。
[0076]在步驟S2中，軌跡顯示單元34在顯示單元11上顯示在步驟SI中由手勢識別單元31所檢測到的手勢軌跡。例如，如圖7所示，通過軌跡顯示單元34將星形手勢軌跡62顯示在顯示單元11上。
[0077]在步驟S3中，手勢識別單元31確定所檢測到的軌跡是否是可識別的手勢。當(dāng)所檢測到的手勢不是可識別的手勢時，在步驟S3中確定為“否”，并且處理進行到步驟S5。例如，在圖7中，手勢軌跡62看上去像手勢(星星)。然而，與圖5所示的手勢軌跡相比，手勢軌跡62在左方向上傾斜。因此，手勢識別單元31不能識別出手勢軌跡62為手勢(星星)。
[0078]在這種情況下，在步驟S5中，軌跡顯示單元34顯示縮小的軌跡71。S卩，如圖7所示，軌跡顯示單元34顯示手勢軌跡62在左下方向上移動同時為縮小的尺寸的動畫。如圖8所示,軌跡顯示單元34將縮小后的軌跡71顯示在左下側(cè)作為圖標(biāo)。
[0079]這樣，顯示縮小的軌跡71，以使得用戶可以知道手勢識別單元31沒有識別(拒絕)用戶輸入的手勢。
[0080]接下來，在步驟S6中，識別結(jié)果校正單元32確定是否輕擊了縮小的軌跡71。即，在用戶根據(jù)縮小的軌跡71的顯示而知道沒有識別輸入手勢，并且請求了輸入支持的情況下，則用戶輕擊縮小的軌跡71。因此，如圖9所示，確定用戶用手指41輕擊了縮小的軌跡71。
[0081]當(dāng)用手指41輕擊縮小的軌跡71時，在步驟S6中確定為“是”，并且處理進行到步驟S7。在步驟S7中，識別結(jié)果校正單元32顯示識別校正菜單81。即，識別結(jié)果校正單元32在顯示單元11上顯示由校正候選生成單元35生成的識別校正菜單81。識別校正菜單81是如下菜單，在該菜單上按照可能接近由手勢所輸入的手勢的順序，將在用戶向其輸入手勢的畫面(在該情況下，為圖9所示的畫面)上可識別的手勢作為選項呈現(xiàn)給用戶。當(dāng)手勢識別單元31不可識別手勢時，校正候選生成單元35從可輸入手勢當(dāng)中選擇接近輸入軌跡的手勢并生成識別校正菜單81。
[0082]具體地，如圖10所示，如果用手指41輕擊軌跡71，則識別校正菜單81顯示在顯示單元11上。在識別校正菜單81中，顯示用戶輸入的手勢軌跡62和作為畫面上的可識別手勢的候選的選項91至93的圖標(biāo)。例如，在選項91中，顯示手勢(星星)和作為對與該手勢(星星)相關(guān)聯(lián)的處理的說明的短語“打開選項菜單”。在選項92中，顯示用于用手指41繪制三角形的手勢(下文中，稱為手勢(三角形))和作為對與手勢(三角形)相關(guān)聯(lián)的處理的說明的短語“打開新窗口 ”。在選項93中，顯示用于用手指41繪制字母W的手勢(下文中，被稱為手勢(W))和作為對與手勢(W)相關(guān)聯(lián)的處理的說明的短語“關(guān)閉窗口 ”。
[0083]通過顯示這些選項91至93，用戶可以確認(rèn)用戶自身希望的手勢。用戶選擇任一選項，即與實際輸入的手勢對應(yīng)的選項。
[0084]在步驟S8中，識別結(jié)果校正單元32檢測所選擇的選項。即，檢測從圖10所示的選項91至93當(dāng)中用手指41輕擊的選項。
[0085]在步驟S9中，手勢識別單元31執(zhí)行與在步驟S8中所選擇的手勢相關(guān)聯(lián)的處理。即，例如，當(dāng)用手指41輕擊圖10所示的選項91至93當(dāng)中的選項91時，手勢識別單元31執(zhí)行處理“打開選項菜單”。
[0086]在步驟SlO中，識別結(jié)果校正單元32存儲校正信息。即，校正信息存儲單元33將作為所檢測到的手勢的軌跡的手勢軌跡62與所選擇的選項91的手勢(星星)相關(guān)聯(lián)地存儲為校正信息。這樣，手勢輸入處理結(jié)束。每次檢測到不可識別的手勢時，將校正信息重復(fù)地存儲在校正信息存儲單元33中。手勢識別單元31參考所存儲的校正信息來學(xué)習(xí)用戶的手勢。相應(yīng)地，例如，當(dāng)隨后檢測到在左方向上傾斜的手勢(星星)時，將該手勢識別為手勢(星星)。
[0087]當(dāng)在步驟S6中確定為“否”時，即當(dāng)沒有輕擊縮小的軌跡71時，處理進行到步驟sii。
[0088]在步驟Sll中，識別結(jié)果校正單元32確定是否經(jīng)過了指定時間。當(dāng)尚未經(jīng)過指定時間時，在步驟Sll中確定為“否”，并且處理進行到步驟S6。S卩，重復(fù)步驟S6至Sll的處理，直到經(jīng)過了指定時間或者輕擊了縮小的軌跡為止。
[0089]同時，當(dāng)在步驟Sll中確定經(jīng)過了指定時間時，處理進行到步驟S12。
[0090]在步驟S12中，識別結(jié)果校正單元32擦除縮小的軌跡71。即，由于即使在經(jīng)過了指定時間也未輕擊縮小的軌跡71，因此縮小的軌跡71被確定為用戶不想要的信息，識別結(jié)果校正單元32擦除縮小的軌跡71。
[0091]已描述了在步驟S3中確定為“否”時的處理。同時，當(dāng)在步驟S3中確定為“是”時，即，當(dāng)所檢測到的手勢是可識別的手勢時，處理進行到步驟S4。在步驟S4中，手勢識別單元31執(zhí)行與該手勢相關(guān)聯(lián)的處理。即，當(dāng)在步驟S3中確定為“是”時，由于不需要校正該手勢，因此不執(zhí)行步驟S5至S12的處理。
[0092]這樣，如果執(zhí)行手勢輸入處理，則用戶可以知道拒絕了用戶輸入的手勢。由于該手勢的候選被顯示為選項，因而用戶可以校正用戶輸入的手勢并且可以執(zhí)行與正確地輸入期望手勢時的處理相同的處理。
[0093]由于通過軌跡顯示單元34顯示輸入手勢的軌跡，因此用戶可以推測拒絕手勢的原因，例如，可以推測由于顯示單元11是臟的，手勢未被識別。具體地，例如，當(dāng)在手勢軌跡中用手指41描繪的線被切掉一半時，用戶可以推測，由于在切掉手勢軌跡的部分中顯示單元11是臟的，因此手勢是不可識別的。因此，用戶清潔顯示單元11以使得能夠正確地識別手勢。
[0094]在手勢識別單元31沒有識別手勢的情況下，在軌跡顯示單元34顯示縮小的軌跡71時，控制器21可以產(chǎn)生聲音或可以使信息處理終端I振動。
[0095]盡管在用戶在指定時間內(nèi)沒有輕擊縮小的軌跡71的情況下擦除了縮小的軌跡71，但是可以進行以下配置。即，每次拒絕不同類型的手勢時，可以另外顯示新的縮小的軌跡71，并且如果要顯示的縮小的軌跡71的數(shù)量超過上限(例如，三個等)，則可以擦除先輸入的縮小的軌跡71。
[0096]縮小的軌跡71不限于圖7的顯示示例。例如，軌跡顯示單元34可以形成縮小的軌跡浮動的動畫。優(yōu)選地，提供明顯不同于原始顯示的印象(impression)。因此，識別結(jié)果校正單元32能夠更有效地請求用戶校正輸入手勢。
[0097]即使當(dāng)要輸入的手勢在應(yīng)用之間不同時，也能在識別校正菜單81上顯示與手勢相關(guān)聯(lián)的手勢和處理，以使得用戶能夠容易地校正輸入手勢。
[0098]在識別校正菜單81中，可以提供諸如“新設(shè)置”的選項。如果選擇了“新設(shè)置”，則用戶可以與用戶輸入的手勢(例如，手勢軌跡62)相對應(yīng)的新菜單。即，用戶可以將未被登記為手勢輸入的新手勢登記在手勢識別單元31中。
[0099]<第二實施例>
[0100]盡管在第一實施例中，呈現(xiàn)選項以支持用戶的手勢輸入，但是可以呈現(xiàn)可輸入?yún)^(qū)域以支持用戶的手勢輸入。例如，將描述可輸入?yún)^(qū)域顯示功能，該可輸入?yún)^(qū)域顯示功能是如下功能:當(dāng)用戶在不能輸入手勢的區(qū)域或者與用戶輸入的手勢不對應(yīng)的區(qū)域內(nèi)輸入手勢時，在顯示單元11上顯示手勢可輸入?yún)^(qū)域。[0101]信息處理終端I的配置與參照圖1至圖3所述的配置相同。
[0102]信息處理終端的操作
[0103]圖11是示出可輸入?yún)^(qū)域顯示處理的流程圖?？奢斎?yún)^(qū)域顯示處理是由控制器21執(zhí)行的、用于實現(xiàn)上述可輸入?yún)^(qū)域顯示功能的處理。
[0104]圖12至圖15是示出執(zhí)行可輸入?yún)^(qū)域顯示處理時的顯示示例的圖。下文中，將參照圖4和圖12至圖15描述圖11的流程圖的處理。
[0105]在步驟S31中，手勢識別單元31檢測手勢。具體地，在圖4中，手勢識別單元31檢測用手指41向顯示單元11輸入的手勢。
[0106]在步驟S32中，手勢識別單元31確定所檢測到的手勢是否是可識別的手勢。當(dāng)所檢測到的手勢不是可識別的手勢時，在步驟S32中確定為“否”，并且處理進行到步驟S33。具體地，例如，當(dāng)在沒有與輕擊輸入相關(guān)聯(lián)的處理的區(qū)域內(nèi)用手指41執(zhí)行輕擊輸入時，在步驟S32中確定為“否”。
[0107]在步驟S33中，識別結(jié)果校正單元32對不可識別的手勢的輸入次數(shù)進行計數(shù)。例如，對在沒有與輕擊輸入相關(guān)聯(lián)的處理的區(qū)域內(nèi)用手指41進行的輕擊輸入的次數(shù)進行計數(shù)。
[0108]在步驟S34中，識別結(jié)果校正單元32確定不可識別的手勢是否被連續(xù)計數(shù)N次。N是任意的整數(shù)。當(dāng)在步驟S34中確定為“否”時，即，當(dāng)尚未連續(xù)N次檢測到不可識別的手勢時，處理返回到步驟S31。也就是說，重復(fù)步驟S31至S34的處理，直到在未檢測到可識別的手勢的情況下(步驟S32的處理)連續(xù)N次檢測到不可識別的手勢為止。當(dāng)連續(xù)N次檢測到不可識別的手勢時，在步驟S34中確定為“是”，并且處理進行到步驟S35。
[0109]在步驟S35中，識別結(jié)果校正單元32顯示手勢可輸入?yún)^(qū)域121至124。S卩，校正候選生成單元35檢測對于每個畫面在預(yù)定時間可輸入手勢的手勢可輸入?yún)^(qū)域。在圖12的示例中，檢測到手勢可輸入?yún)^(qū)域121至124。識別結(jié)果校正單元32基于檢測結(jié)果在顯示單元11上顯示手勢可輸入?yún)^(qū)域121至124。手勢可輸入?yún)^(qū)域121至124被表示成在原始顯示畫面上疊加不同顏色的濾波器。也就是說，手勢可輸入?yún)^(qū)域121至124允許用戶從視覺上識別可輸入?yún)^(qū)域，同時能夠從視覺上識別原始顯示畫面(例如，文字、圖像等)。
[0110]例如，手勢可輸入?yún)^(qū)域121是在圖中所示的范圍內(nèi)能夠進行輕擊輸入的區(qū)域。手勢可輸入?yún)^(qū)域122是在圖中所示的范圍內(nèi)能夠進行在垂直方向上輸入的輕拂(下文中，稱為垂直輕拂)的區(qū)域。手勢可輸入?yún)^(qū)域123是在圖中所示的范圍內(nèi)能夠進行在水平方向上的輕拂(下文中，稱為水平輕拂)的區(qū)域。手勢可輸入?yún)^(qū)域124是用戶能夠繼續(xù)用手指41觸摸觸摸面板25指定時間(S卩，長按)的區(qū)域。用戶可以根據(jù)每個區(qū)域的顏色和位置知道可輸入手勢的類型和位置。
[0111]接下來，在步驟S36中，識別結(jié)果校正單元32確定是否輕擊了幫助圖標(biāo)101。即，如圖13所示，當(dāng)用手指41輕擊幫助圖標(biāo)101時，在步驟S36中確定為“是”，并且處理進行到步驟S37。
[0112]在步驟S37中，識別結(jié)果校正單元32顯示圖例查看畫面131。即，校正候選生成單元35生成在針對每個畫面操作預(yù)定區(qū)域時所顯示的圖像。響應(yīng)于幫助圖標(biāo)101而生成圖14所示的圖例查看畫面131。相應(yīng)地,識別結(jié)果校正單元32在顯示單元11上顯示圖例查看畫面131。[0113]如圖14所示，圖例查看畫面131是其上顯示與由手勢可輸入?yún)^(qū)域121至124表示的區(qū)域?qū)?yīng)的可輸入手勢的畫面。如上所述，例如，由于手勢可輸入?yún)^(qū)域是能夠進行輕擊輸入的區(qū)域，因此，在圖例查看畫面131上，示出了手勢可輸入?yún)^(qū)域121的顏色121A，并且響應(yīng)于顏色121A而顯示文字“輕擊”。類似地，在圖例查看畫面131上，示出了手勢可輸入?yún)^(qū)域122至124的顏色122A至124A，并且響應(yīng)于顏色122A至124A而顯示文字“垂直輕拂”、“水平輕拂”和“長按”。
[0114]這樣，用戶可以查看圖例查看畫面131并且可以了解在手勢可輸入?yún)^(qū)域121至124中的每一個中可輸入的手勢。
[0115]在圖例查看畫面131上，顯示被操作用于顯示補充信息的附加圖標(biāo)125。附加圖標(biāo)125是要輕擊的圖標(biāo)，并且以與手勢可輸入?yún)^(qū)域121相同的顏色121A顯示。
[0116]在步驟S38中，識別結(jié)果校正單元32確定是否輕擊了附加圖標(biāo)125。S卩，如圖15所示，當(dāng)用手指41輕擊了附加圖標(biāo)125時，在步驟S38中確定為“是”，并且處理進行到步驟S39。
[0117]在步驟S39中，識別結(jié)果校正單元32顯示附加圖例查看畫面141。S卩，如上所述，當(dāng)輕擊附加圖標(biāo)125時，校正候選生成單元35生成附加圖例查看畫面141作為顯示圖像。識別結(jié)果校正單元32在顯示單元11上顯示附加圖例查看畫面141。然后，處理返回到步驟S31。
[0118]如圖15所示，附加圖例查看畫面141是其上顯示當(dāng)前顯示畫面上的可識別的手勢的畫面。具體地，在附加圖例查看畫面141上，顯示用于用手指41在順時針方向上畫圓的手勢(下文中，稱為手勢(右旋轉(zhuǎn)))和作為與該手勢(右旋轉(zhuǎn))相關(guān)聯(lián)的處理的文字“右旋轉(zhuǎn)”。術(shù)語“右旋轉(zhuǎn)”是指用于向右旋轉(zhuǎn)圖形等的處理。例如，顯示用于用手指41在逆時針方向上畫圓的手勢(下文中，稱為手勢(左旋轉(zhuǎn)))以及作為與該手勢(左旋轉(zhuǎn)))相關(guān)聯(lián)的處理的文字“左旋轉(zhuǎn)”。術(shù)語“左旋轉(zhuǎn)”是指例如用于向左旋轉(zhuǎn)圖形等的處理。在附加圖例查看畫面141上，還與文字“打開選項菜單”、“打開新窗口”和“關(guān)閉窗口”相關(guān)聯(lián)地顯示參照圖10所述的手勢(星星)、手勢(三角形)和手勢(W)。
[0119]用戶可以通過參考附加圖例查看畫面141知道更多作為補充信息的可輸入手勢。
[0120]當(dāng)在步驟S36中確定為“否”時，即，當(dāng)用戶沒有輕擊幫助圖標(biāo)101時，用戶不需要圖例查看畫面131。因此，處理返回到步驟S31。類似地，當(dāng)在步驟S38中確定為“否”時，即，當(dāng)用戶沒有輕擊附加圖標(biāo)125時，用戶不需要附加圖例查看畫面141，從而處理返回到步驟S31。
[0121]已描述了在步驟S32中確定為“否”的情況。同時，當(dāng)在步驟S32中確定為“是”時，即，當(dāng)所檢測到的手勢是可識別的手勢時，處理進行到步驟S40。S卩，當(dāng)在步驟S32中確定為“是”時，不需要顯示手勢可輸入?yún)^(qū)域121至124，從而不執(zhí)行步驟S33至S39的處理。
[0122]在步驟S40中，手勢識別單元31執(zhí)行與手勢相關(guān)聯(lián)的處理。即，當(dāng)連續(xù)N次檢測到不可識別的手勢(步驟S34的處理)時，顯示手勢可輸入?yún)^(qū)域121至124 (步驟S35的處理)，或者顯示圖例查看畫面131或附加圖例查看畫面141 (步驟S37或S39的處理)。參考顯示，如果用戶可以輸入可識別的手勢(步驟S31和S32的處理)，則處理進行到步驟S40，并且手勢識別單元31可以執(zhí)行與該手勢相關(guān)聯(lián)的處理。
[0123]這樣，如果執(zhí)行了可輸入?yún)^(qū)域顯示處理，則用戶能夠從視覺上識別畫面上的、與可輸入手勢相關(guān)聯(lián)的手勢可輸入?yún)^(qū)域。因此，用戶可以有效地校正用戶輸入的手勢并且可以執(zhí)行期望的處理。
[0124]即使當(dāng)手勢輸入或可輸入?yún)^(qū)域在應(yīng)用之間不同時，在圖例查看畫面131上顯示對應(yīng)于手勢輸入的可輸入?yún)^(qū)域，以使得用戶能夠容易地校正輸入手勢。
[0125]上述處理序列可以通過硬件來執(zhí)行或者可以通過軟件來執(zhí)行。當(dāng)通過軟件執(zhí)行處理序列時，將構(gòu)成軟件的程序安裝在計算機上。計算機的示例包括作為專用硬件并入信息處理終端I的計算機、安裝了各種程序以執(zhí)行各種功能的通用個人計算機等。
[0126]當(dāng)存儲單元26由諸如封裝介質(zhì)的可移動介質(zhì)構(gòu)成時，計算機(控制器21)執(zhí)行的程序可以記錄在可移動介質(zhì)中并被提供。程序可以通過有線或無線傳輸介質(zhì)(諸如，局域網(wǎng)、因特網(wǎng)或數(shù)字衛(wèi)星廣播)來提供。
[0127]計算機執(zhí)行的程序可以是以本說明書中所述的序列按時序執(zhí)行處理的程序、或者并行或在進行調(diào)用的必要時刻執(zhí)行程序的程序。
[0128]本技術(shù)的實施例不限于上述實施例，并且可以在不背離本技術(shù)的精神和范圍的情況下進行各種改變。
[0129]本技術(shù)可以具有如下配置。
[0130](I) 一種裝置，包括:
[0131]顯示單元,其顯示顯示畫面；
[0132]輸入單元，其接收手勢輸入；
[0133]控制器，其檢測在所述輸入單元上所輸入的手勢是否在所述顯示單元的所述顯示畫面之一上的用于接受手勢輸入的手勢輸入?yún)^(qū)域內(nèi)，并且當(dāng)在所述手勢輸入?yún)^(qū)域內(nèi)未檢測到所述手勢時，顯示該顯示畫面的手勢輸入?yún)^(qū)域。
[0134](2)根據(jù)(I)所述的裝置，其中，所述控制器確定在手勢識別與任意手勢不相關(guān)聯(lián)的非手勢輸入?yún)^(qū)域內(nèi)在所述輸入單元上輸入所述手勢的連續(xù)次數(shù)。
[0135](3)根據(jù)(2)所述的裝置，其中，當(dāng)在所述非手勢輸入?yún)^(qū)域內(nèi)輸入所述手勢的連續(xù)次數(shù)大于預(yù)定值時，所述控制器顯示所述手勢輸入?yún)^(qū)域。
[0136](4)根據(jù)(I )或(2)所述的裝置，其中，在所述顯示畫面保持可見時在所述顯示畫面上疊加顯示所述手勢輸入?yún)^(qū)域。
[0137](5)根據(jù)(4)所述的裝置，其中，使用不同顏色在所述顯示畫面上疊加顯示所述手勢輸入?yún)^(qū)域。
[0138](6)根據(jù)(I)、(2)或(4)中任意一項所述的裝置，其中，所述控制器確定是否請求了關(guān)于所述手勢輸入?yún)^(qū)域的附加信息。
[0139](7)根據(jù)(6)所述的裝置，其中，當(dāng)請求了關(guān)于所述手勢輸入?yún)^(qū)域的附加信息時，所述控制器顯示圖例畫面，所述圖例畫面顯示關(guān)于與每個手勢輸入?yún)^(qū)域相關(guān)聯(lián)的輸入手勢類型的說明。
[0140](8)根據(jù)(7)所述的裝置，其中，如果請求了關(guān)于所述圖例畫面的更多附加信息，則所述控制器顯示附加圖例畫面，所述附加圖例畫面顯示可識別的手勢及其說明。
[0141](9) 一種方法，包括以下步驟:
[0142]檢測在輸入單元上輸入的手勢是否在顯示單元的顯示畫面上的用于接受手勢輸入的手勢輸入?yún)^(qū)域內(nèi)；以及[0143]當(dāng)在所述手勢輸入?yún)^(qū)域內(nèi)未檢測到所述手勢時，顯示所述顯示畫面的手勢輸入?yún)^(qū)域。
[0144](10)根據(jù)(9)所述的方法，還包括:確定在手勢識別與任意手勢不相關(guān)聯(lián)的非手勢輸入?yún)^(qū)域內(nèi)在所述輸入單元上輸入所述手勢的連續(xù)次數(shù)。
[0145](11)根據(jù)(10)所述的方法，還包括:當(dāng)在所述非手勢輸入?yún)^(qū)域內(nèi)輸入所述手勢的連續(xù)次數(shù)大于預(yù)定值時，顯示所述手勢輸入?yún)^(qū)域。
[0146](12)根據(jù)(9)或(10)所述的方法，還包括:在所述顯示畫面保持可見時，顯示疊加在所述顯示畫面上的所述手勢輸入?yún)^(qū)域。
[0147](13)根據(jù)(12)所述的方法，還包括:使用不同顏色顯示疊加在所述顯示畫面上的所述手勢輸入?yún)^(qū)域。
[0148](14)根據(jù)(9)、(10)或(12)中任意一項所述的方法，還包括:確定是否請求了關(guān)于所述手勢輸入?yún)^(qū)域的附加信息。
[0149](15)根據(jù)(14)所述的方法，還包括:當(dāng)請求了關(guān)于所述手勢輸入?yún)^(qū)域的附加信息時，顯示圖例畫面，所述圖例畫面顯示關(guān)于與每個手勢輸入?yún)^(qū)域相關(guān)聯(lián)的輸入手勢類型的說明。
[0150](16)根據(jù)(15)所述的方法，還包括:如果請求了關(guān)于所述圖例畫面的更多附加信息，則顯示附加圖例畫面，所述附加圖例畫面顯示可識別的手勢及其說明。
[0151](17) 一種包含在非暫態(tài)計算機可讀介質(zhì)上的、在計算機上執(zhí)行用于確定手勢的程序，包括以下步驟:
[0152]檢測在輸入單元上輸入的手勢是否在顯示單元的顯示畫面上的用于接受手勢輸入的手勢輸入?yún)^(qū)域內(nèi)；以及
[0153]當(dāng)在所述手勢輸入?yún)^(qū)域內(nèi)未檢測到所述手勢時，顯示所述顯示畫面的手勢輸入?yún)^(qū)域。
[0154](18) 一種非暫態(tài)計算機可讀記錄介質(zhì)，用于控制控制器確定手勢，包括以下步驟:
[0155]檢測在輸入單元上輸入的手勢是否在顯示單元的顯示畫面上的用于接受手勢輸入的手勢輸入?yún)^(qū)域內(nèi)；以及
[0156]當(dāng)在所述手勢輸入?yún)^(qū)域內(nèi)未檢測到所述手勢時，顯示所述顯示畫面的手勢輸入?yún)^(qū)域。
[0157]本技術(shù)還可以具有以下配置。
[0158](I) 一種信息處理終端，包括:輸入單元，其接收手勢輸入；識別單元，其識別向輸入單元輸入的手勢；以及顯示單元，當(dāng)在不可輸入?yún)^(qū)域內(nèi)輸入所述手勢時，所述顯示單元顯示可輸入?yún)^(qū)域信息，所述可輸入?yún)^(qū)域信息表示在對其輸入所述手勢的畫面上可輸入所述手勢的區(qū)域。
[0159](2)在(I)所述的信息處理終端中，當(dāng)在所述不可輸入?yún)^(qū)域內(nèi)輸入所述手勢預(yù)定次數(shù)時，所述顯示單元顯示所述可輸入?yún)^(qū)域信息。
[0160](3)在(2)所述的信息處理終端中，所述顯示單元顯示將可輸入所述手勢的區(qū)域與可輸入手勢類型相關(guān)聯(lián)地顯示為所述可輸入?yún)^(qū)域信息。
[0161](4)在(I)至(3)中任一項所述的信息處理終端中，當(dāng)顯示所述可輸入?yún)^(qū)域信息時，所述顯示單元以與可輸入手勢類型相對應(yīng)的顏色顯示所述可輸入?yún)^(qū)域。
[0162](5)在(I)至(4)中任一項所述的信息處理終端中，所述可輸入?yún)^(qū)域信息包括響應(yīng)于所述可輸入?yún)^(qū)域的顯示而說明作為互補信息的可輸入手勢類型的信息，并且所述顯示單元還根據(jù)用戶指令顯示所述補充信息。
[0163](6)在(I)至(5)中任一項所述的信息處理終端中，所述補充信息包括說明向其輸入所述手勢的畫面上的可輸入手勢的信息。
[0164](7) 一種信息處理方法，包括:接收手勢輸入；識別輸入手勢；以及當(dāng)在不可輸入?yún)^(qū)域內(nèi)輸入手勢時，顯示可輸入?yún)^(qū)域信息，所述可輸入?yún)^(qū)域信息表示在向其輸入所述手勢的畫面上可輸入所述手勢的區(qū)域。
[0165](8) 一種程序，使得計算機執(zhí)行以下步驟:接收手勢輸入；識別輸入手勢；以及當(dāng)在不可輸入?yún)^(qū)域內(nèi)輸入手勢時，顯示可輸入?yún)^(qū)域信息，所述可輸入?yún)^(qū)域信息表示在向其輸入所述手勢的畫面上可輸入所述手勢的區(qū)域。
[0166](9) 一種計算機可讀記錄介質(zhì)，其中記錄有使得計算機執(zhí)行以下步驟的程序:接收手勢輸入；識別輸入手勢；以及當(dāng)在不可輸入?yún)^(qū)域內(nèi)輸入手勢時，顯示可輸入?yún)^(qū)域信息，所述可輸入?yún)^(qū)域信息表示在向其輸入所述手勢的畫面上可輸入所述手勢的區(qū)域。
[0167]本領(lǐng)域的技術(shù)人員應(yīng)該理解，在所附權(quán)利要求或其等同方案的范圍內(nèi)，可根據(jù)設(shè)計要求和其他因素進行各種修改、組合、子組合和變更。
[0168]附圖標(biāo)記列表
[0169]1:信息處理終端
[0170]11:顯示單元
[0171]12:操作單元
[0172]21:控制器
[0173]22:傳感器單元
[0174]23:攝像裝置
[0175]24:通信單元
[0176]31:手勢識別單元
[0177]32:識別結(jié)果校正單元
[0178]33:校正信息存儲單元
[0179]34:軌跡顯示單元
[0180]35:校正候選生成單元
【權(quán)利要求】
1.一種裝置，包括: 顯示單元，其顯示顯示畫面； 輸入單元，其接收手勢輸入； 控制器，其檢測在所述輸入單元上所輸入的手勢是否在所述顯示單元的所述顯示畫面之一上的用于接受手勢輸入的手勢輸入?yún)^(qū)域內(nèi)，并且當(dāng)在所述手勢輸入?yún)^(qū)域內(nèi)未檢測到所述手勢時，顯示該顯示畫面的手勢輸入?yún)^(qū)域。
2.根據(jù)權(quán)利要求1所述的裝置，其中，所述控制器確定在手勢識別與任意手勢不相關(guān)聯(lián)的非手勢輸入?yún)^(qū)域內(nèi)在所述輸入單元上輸入所述手勢的連續(xù)次數(shù)。
3.根據(jù)權(quán)利要求2所述的裝置，其中，當(dāng)在所述非手勢輸入?yún)^(qū)域內(nèi)輸入所述手勢的連續(xù)次數(shù)大于預(yù)定值時，所述控制器顯示所述手勢輸入?yún)^(qū)域。
4.根據(jù)權(quán)利要求1所述的裝置，其中，在所述顯示畫面保持可見時在所述顯示畫面上疊加顯示所述手勢輸入?yún)^(qū)域。
5.根據(jù)權(quán)利要求4所述的裝置，其中，使用不同顏色在所述顯示畫面上疊加顯示所述手勢輸入?yún)^(qū)域。
6.根據(jù)權(quán)利要求1所述的裝置，其中，所述控制器確定是否請求了關(guān)于所述手勢輸入?yún)^(qū)域的附加信息。
7.根據(jù)權(quán)利要求6所述的裝置，其中，當(dāng)請求了`關(guān)于所述手勢輸入?yún)^(qū)域的附加信息時，所述控制器顯示圖例畫面，所述圖例畫面顯示關(guān)于與每個手勢輸入?yún)^(qū)域相關(guān)聯(lián)的輸入手勢類型的說明。
8.根據(jù)權(quán)利要求7所述的裝置，其中，如果請求了關(guān)于所述圖例畫面的更多附加信息，則所述控制器顯示附加圖例畫面，所述附加圖例畫面顯示可識別的手勢及其說明。
9.一種方法，包括以下步驟: 檢測在輸入單元上輸入的手勢是否在顯示單元的顯示畫面上的用于接受手勢輸入的手勢輸入?yún)^(qū)域內(nèi)；以及 當(dāng)在所述手勢輸入?yún)^(qū)域內(nèi)未檢測到所述手勢時，顯示所述顯示畫面的手勢輸入?yún)^(qū)域。
10.根據(jù)權(quán)利要求9所述的方法，還包括:確定在手勢識別與任意手勢不相關(guān)聯(lián)的非手勢輸入?yún)^(qū)域內(nèi)在所述輸入單元上輸入所述手勢的連續(xù)次數(shù)。
11.根據(jù)權(quán)利要求10所述的方法，還包括:當(dāng)在所述非手勢輸入?yún)^(qū)域內(nèi)輸入所述手勢的連續(xù)次數(shù)大于預(yù)定值時，顯示所述手勢輸入?yún)^(qū)域。
12.根據(jù)權(quán)利要求9所述的方法，還包括:在所述顯示畫面保持可見時，顯示疊加在所述顯示畫面上的所述手勢輸入?yún)^(qū)域。
13.根據(jù)權(quán)利要求12所述的方法，還包括:使用不同顏色顯示疊加在所述顯示畫面上的所述手勢輸入?yún)^(qū)域。
14.根據(jù)權(quán)利要求9所述的方法，還包括:確定是否請求了關(guān)于所述手勢輸入?yún)^(qū)域的附加信息。
15.根據(jù)權(quán)利要求14所述的方法，還包括:當(dāng)請求了關(guān)于所述手勢輸入?yún)^(qū)域的附加信息時，顯示圖例畫面，所述圖例畫面顯示關(guān)于與每個手勢輸入?yún)^(qū)域相關(guān)聯(lián)的輸入手勢類型的說明。
16.根據(jù)權(quán)利要求15所述的方法，還包括:如果請求了關(guān)于所述圖例畫面的更多附加信息，則顯示附加圖例畫面，所述附加圖例畫面顯示可識別的手勢及其說明。
17.一種包含在非暫態(tài)計算機可讀介質(zhì)上的、在計算機上執(zhí)行用于確定手勢的程序，包括以下步驟: 檢測在輸入單元上輸入的手勢是否在顯示單元的顯示畫面上的用于接受手勢輸入的手勢輸入?yún)^(qū)域內(nèi)；以及 當(dāng)在所述手勢輸入?yún)^(qū)域內(nèi)未檢測到所述手勢時，顯示所述顯示畫面的手勢輸入?yún)^(qū)域。
18.一種非暫態(tài)計算機可讀記錄介質(zhì)，用于控制控制器確定手勢，包括以下步驟: 檢測在輸入單元上輸入的手勢是否在顯示單元的顯示畫面上的用于接受手勢輸入的手勢輸入?yún)^(qū)域內(nèi)；以及 當(dāng)在所述手勢輸入?yún)^(qū)域內(nèi) 未檢測到所述手勢時，顯示所述顯示畫面的手勢輸入?yún)^(qū)域。
【文檔編號】G06F3/0488GK103597438SQ201280026594
【公開日】2014年2月19日 申請日期:2012年5月31日 優(yōu)先權(quán)日:2011年6月7日
【發(fā)明者】小波宗一 申請人:索尼公司