專利名稱：圖像處理設備、圖像處理方法和程序的制作方法
圖像處理設備、圖像處理方法和程序技術領域
本技術涉及圖像處理設備、圖像處理方法和程序，更具體地，涉及能夠以更高速度且以更高準確性識別手部姿勢的圖像處理設備、圖像處理方法和程序。
背景技術：
在相關技術中，已知如下技術當用戶執(zhí)行用他的或他的手預先確定的手勢時，響應于手勢(手的移動)而執(zhí)行處理。
在這些技術中，需要識別用戶手勢。作為識別手勢的方法，已提出了使用圖像上具有特定顏色的區(qū)域或移動對象的區(qū)域的方法(例如，參見日本未審查專利申請公布第 08-315154號和日本未審查專利申請公布第2008-52590號)。例如，在使用具有特定顏色的區(qū)域的方法中，從圖像提取手部的顏色，并且基于具有該顏色的區(qū)域的移動來識別手勢。另外，在使用移動對象的區(qū)域的方法中，基于圖像的幀之間的差異指定存在移動的區(qū)域，并且基于該區(qū)域的移動識別手勢。發(fā)明內容
然而，在上述技術中，很少能以高速且以高準確性識別用戶手勢。
例如，在使用具有特定顏色的區(qū)域或移動對象的區(qū)域的方法中，需要將整個圖像設置為監(jiān)視目標并識別用戶手部姿勢。因此，由于需要處理較大的吞吐量，因此識別手勢會花費時間并且手勢的識別準確性會降低。即使為了輕微地改進手勢的識別準確性，用戶也必須相當多地移動他的或她的手部。
另外，當使用移動對象的區(qū)域識別手勢時，擔心根據用戶的周圍環(huán)境(諸如，除了用戶手部移動外還存在移動對象的環(huán)境)可能發(fā)生錯誤識別。
期望提供能夠以更高速度且以更高準確性識別手勢的圖像處理設備、圖像處理方法和程序。
根據本技術的實施例，提供了一種圖像處理設備，包括手形識別單元，對輸入圖像執(zhí)行手形識別，以檢測輸入圖像中具有特定形狀的手部的位置和大小；確定區(qū)域設置單元，基于手部的位置和大小，將輸入圖像上的手部附近的區(qū)域設置為確定區(qū)域，其中該確定區(qū)域用于識別使用手部所執(zhí)行的手勢；以及手勢識別單元，通過監(jiān)視手部到確定區(qū)域的移動，識別手勢。
確定區(qū)域設置單元可在所述輸入圖像上的手部附近設置多個確定區(qū)域。
多個確定區(qū)域可以是用于識別彼此不同的多個手勢的區(qū)域。
圖像處理設備還可包括處理單元，該處理單元根據手勢識別結果來執(zhí)行處理。
手勢識別單元可通過將從所檢測到的手部的區(qū)域中提取的顏色與輸入圖像上的確定區(qū)域的顏色進行比較，來識別手勢。
手勢識別單元可通過基于輸入圖像的幀之間的差異而監(jiān)視手部到確定區(qū)域的移動，來識別手勢。
手形識別單元可檢測具有預先確定的多種形狀的手部的位置和大小。
當新檢測到具有特定形狀的手部的位置和大小時，確定區(qū)域設置單元可基于新檢測到的手部的形狀、位置和大小來設置確定區(qū)域。
根據本技術的另一實施例，提供了一種圖像處理方法或程序，包括對輸入圖像執(zhí)行手形識別，以檢測輸入圖像中具有特定形狀的手部的位置和大小；基于手部的位置和大小，將輸入圖像上的手部附近的區(qū)域設置為確定區(qū)域，其中該確定區(qū)域用于識別使用手部所執(zhí)行的手勢；以及通過監(jiān)視手部到確定區(qū)域的移動來識別手勢。
根據本技術的實施例，對輸入圖像執(zhí)行手形識別，以檢測輸入圖像中具有特定形狀的手部的位置和大?。换谑植康奈恢煤痛笮?，將輸入圖像上的手部附近的區(qū)域設置為確定區(qū)域，其中該確定區(qū)域用于識別使用手部所執(zhí)行的手勢；以及通過監(jiān)視手部到確定區(qū)域的移動來識別手勢。
根據本技術的上述實施例，可以以更高速度且以更高準確性識別手勢。


圖I是示出本技術的實施例的概況的圖2是示出圖像處理設備的配置的示例的圖3是示出手勢識別處理的流程圖4是示出確定區(qū)域監(jiān)視處理的流程圖5是示出手勢識別處理的流程圖6是示出圖像處理設備的配置的另一示例的圖7是示出確定區(qū)域監(jiān)視處理的流程圖8是示出圖像處理設備的配置的又一示例的圖9是示出確定區(qū)域監(jiān)視處理的流程圖10是示出手形和手部姿勢的圖11是示出圖像處理設備的配置的又一示例的圖
圖12是示出手勢識別處理的流程圖13是示出手勢識別處理的流程圖14是示出圖像處理設備的配置的又一示例的圖
圖15是示出圖像處理設備的配置的又一示例的圖
圖16是示出圖像處理設備的配置的又一示例的圖
圖17是示出手勢識別處理的流程圖；以及
圖18是示出計算機的配置的示例的圖。
具體實施方式
在下文中，將參照附圖描述本技術的實施例。
<第一實施例>
本技術的實施例的概況
首先，將參照圖I描述本技術的實施例的概況。根據本技術的實施例，識別用戶手部姿勢(下文中，簡稱為手勢)，并且響應于所識別出的手勢執(zhí)行處理。
下文中，將連續(xù)地描述如下情況識別具有所謂的布形狀的手(S卩，手指全部伸出的手)，然后，將用戶將手右移或左移的操作識別為手勢。
在識別手勢時，通過手形識別，從通過拍攝用戶手部而獲得的輸入圖像中檢測具有預先確定的形狀的手部。這里，例如，如圖1的左部分所示，檢測到具有布形狀的手部 H11。
當檢測到具有布形狀的用戶手部Hll時，基于隨后檢測到的用戶手部Hll的位置和大小確定為了識別用戶執(zhí)行的手勢而要監(jiān)視的確定區(qū)域DRll-1和DR11-2。
例如，當檢測到用戶手部Hll時，獲得手部Hll的中心位置CU。因此，將以在圖的左側距中心位置Cll僅手部Hll的寬度的一半的位置為中心且具有預定大小的矩形區(qū)域檢測為確定區(qū)域DR11-1。同樣，將以在圖的右側距中心位置Cll僅手部Hll的寬度的一半的位置為中心且具有預定大小的矩形區(qū)域檢測為確定區(qū)域DR11-2。當不需要將確定區(qū)域 DRll-1和DRl 1-2彼此區(qū)分時，以下將確定區(qū)域DRll-1和DRl 1_2簡稱為確定區(qū)域DRlI。
當以此方式識別具有布形狀的用戶手部Hll時，用戶在該狀態(tài)下將他的或她的手右移或左移。例如，如圖的右部分中所示，當用戶將手部Hll右移并且手部Hll達到(移動到)確定區(qū)域DR11-2時，識別出用戶執(zhí)行手勢。
在本技術的實施例中，檢測具有特定形狀的用戶手部，并且將在用戶手部附近的位置確定為確定區(qū)域。當用戶手部達到所設置的確定區(qū)域時，識別出執(zhí)行手勢。
在本技術的實施例中，由于通過手形識別檢測到具有特定形狀的用戶手部，因此， 可以根據手的形狀或大小以及要識別的手勢在適當位置處設置具有適當大小的確定區(qū)域。 相應地，由于可僅將確定區(qū)域設置為監(jiān)視目標，因此，可以通過較少 的處理以高速且以高準確性識別手勢。
圖像處理設備的配置的示例
圖2是示出根據本技術的實施例的圖像處理設備的配置的示例的圖。
圖像處理設備11包括拍攝單元21、手形識別單元22、手部檢測信息保存單元23、 確定區(qū)域設置單元24、手勢識別單元25、手勢處理單元26和顯示單元27。
拍攝單元21拍攝在圖像處理設備11周圍(例如，在顯示單元27正面)所觀察的用戶的圖像作為輸入圖像，并且將輸入圖像提供給手形識別單元22和手勢識別單元25。手形識別單元22基于從拍攝單元21提供的輸入圖像執(zhí)行手形識別，以從輸入圖像檢測具有特定形狀的手部的區(qū)域。
手形識別單元22包括顏色提取單元41。顏色提取單元41基于根據輸入圖像獲得的手部檢測結果，提取輸入圖像上的手部的區(qū)域的顏色信息。手形識別單元22將手形識別結果和顏色信息提供給手部檢測信息保存單元23。
手部檢測信息保存單元23保存從手形識別單元22提供的手形識別結果和顏色信息作為手部檢測信息，并且在需要時將手形識別結果和顏色信息提供給確定區(qū)域設置單元 24和手勢識別單元25。確定區(qū)域設置單元24基于手部檢測信息保存單元23中所保存的手部檢測信息來設置確定區(qū)域，并且將確定區(qū)域提供給手勢識別單元25。
手勢識別單元25基于來自拍攝單元21的輸入圖像、來自手部檢測信息保存單元 23的手部檢測信息和來自確定區(qū)域設置單元24的確定區(qū)域而識別用戶的手勢，然后，將識別結果提供給手勢處理單元26。
手勢識別單元25包括顏色檢測單元42和差異檢測單元43。顏色檢測單元42通過監(jiān)視輸入圖像上由顏色信息表示的顏色區(qū)域在確定區(qū)域內的移動來檢測用戶手勢。差異檢測單元43通過計算輸入圖像的幀之間的差異或者監(jiān)視輸入圖像上移動對象在確定區(qū)域內的移動，檢測用戶的手勢。
手勢處理單元26根據從手勢識別單元25提供的手勢識別結果執(zhí)行處理，以在需要時在顯示單元27上顯示圖像。顯示單元27在手勢處理單元26的控制下顯示圖像。
例如，可在顯示單元27上顯示手勢識別結果本身，或者可根據手勢識別結果改變顯示單元27上所顯示的節(jié)目的頻道，并且可在顯示單元27上顯示改變后的頻道的節(jié)目。
手形識別
手形識別單元22的手形識別可以是任何手形識別方法，只要可以基于輸入圖像識別具有特定形狀的手即可。作為手形識別，已知各種方法。下文中，將假設執(zhí)行如下識別處理作為手形識別而進行描述該識別處理使用通過統(tǒng)計學習所獲得的且用于識別具有特定形狀的手部的詞典。
用于手形識別的詞典包括用于識別具有特定形狀的手的濾波器的種類以及與用于使用濾波器提取特征量的特征點有關的信息。例如，字典包括表示作為用于識別具有特定形狀的手部的濾波器的、具有不同角度或差值的矩形濾波器的信息。
當通過基于字典對輸入圖像的每個區(qū)域執(zhí)行濾波處理來提取特征量時，可以針對每個區(qū)域獲得表示具有特定形狀的手部的相似性的得分。因此，將最高得分等于或大于預定閾值的區(qū)域檢測為包含具有特定形狀的手部的區(qū)域。在手形識別中，作 為識別具有特定形狀的手部的結果，可以獲得在輸入圖像上識別出的手部的形狀、手部的大小和手部的位置(手部的區(qū)域)。
更具體地，生成表示輸入圖像的每個位置的亮度的亮度圖像，并且對亮度圖像執(zhí)行濾波處理，以從輸入圖像提取特征量。
在例如如下文獻中詳細描述了物體識別。
文獻I “Vector Boosting for Rotation Invariant Mult1-View Face Detection,，’C. Huang, Η. Z. Aij Y. Li，and S. H. Laoj Proc. 10th IEEE Inti I Conf. Computer Vision,2005
文獻 2 “A detector tree of boosted classifiers for real-time object detection and tracking, ”R.LienhartjL. Liang, A. Kuranov，Proceedings of the 2003International Conference on Multimedia and Expo-Volume I
文獻 3 “Mult1-view face pose classification by tree-structured classifier，，，Zhiguang Yang; Haizhou Ai ; Okamotoj T. Shihong Lao ; Image Processing, 2005.1CIP 2005.1EEE International Conference on Volume 2，ll_14Sept. 2005Page(s):11-358-61
文獻4 “A boosted classifier tree for hand shape detection，” EJ Ongj R Bowden,Face and Gesture Recognition, 2004
文獻5“ClusterBoosted Tree Classifier for Mult1-View,Mult1-Pose Object Detection，，，Bo Wu;Nevatiaj R.1CCV 2007.1EEE IIthInternational Conference on Computer Vision, 14to 210ct.2007Page(s) : 18
文獻 6 “Sharing visual features for multiclass and mult1-view object detection,，，A. Torralba, K. P. Murphy and W. T. Freeman, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 29, no. 5, pp. 854to 869, May,2007
文獻7 “Fast Mult1-View Face Detection,，，M. Jones and P. Viola, MERLTR 2003-96, July 2003
手勢識別處理的描述
當圖像處理設備11接收到來自用戶的用以響應于手勢執(zhí)行處理的指令時，圖像處理設備11開始手勢識別處理以識別手勢，并響應于所識別出的手勢執(zhí)行處理。下文中， 將參照圖3的流程圖描述圖像處理設備11的手勢識別處理。
在步驟Sll中，拍攝單元21開始拍攝用戶作為對象的輸入圖像，并且將通過拍攝所獲得的每幀的輸入圖像按順序提供給手形識別單元22和手勢識別單元25。
在步驟S12中，手形識別單元22基于從拍攝單元21提供的輸入圖像執(zhí)行手形識別。例如，手形識別單元22使用預先記錄的且用于識別具有布形狀的手部的字典來從輸入圖像提取特征量，并且從輸入圖像檢測具有布形狀的手部的區(qū)域。
在步驟S13中，手形識別單元22確定是否從要處理的幀的輸入圖像檢測到具有特定形狀的手部。當在步驟S13中確定未檢測到具有特定形狀的手部時，在步驟S14中，手形識別單元22確定是否已檢測到手部。
例如，當從要處理的幀的在前幀的輸入圖像檢測到具有特定形狀的手部并且手部檢測信息被預先保存在手部檢測信息保存單元23中時，確定已檢測到具有特定形狀的手部。
當在步驟S14中確定一次也未檢測到具有特定形狀的手部(即，確定一次也未從輸入圖像檢測到具有特定形狀的手部)時，處理返回至步驟S12并且重復上述處理。
相反，當在步驟S14中確定已檢測到具有特定形狀的手部時，將手部檢測信息預先保存在手部檢測信息保存單元23中，因而，可以識別出手勢。然后，處理進行到步驟S17。
當在步驟S13中確定檢測到具有特定形狀的手部時，在步驟S15中，手部檢測信息保存單元23保存手部檢測信息。
S卩，當通過手形識別檢測到具有特定形狀的手部時，作為手形識別的結果，可以獲得與所識別出的手部的形狀、大小和位置有關的信息。這樣，由于根據該信息可以大概知道輸入圖像上的手部的區(qū)域，因此，顏色提取單元41在輸入圖像上的手部的區(qū)域中提取手部的近似中心區(qū)域的顏色作為所檢測到的用戶手部的顏色，并且生成表示所檢測到的用戶手部的顏色的顏色信息。
手形識別單元22將與所獲得的手部的形狀、大小和位置有關的信息以及顏色信息作為手部檢測信息提供給手部檢測信息保存單元23。手部檢測信息保存單元23保存從手形識別單元22提供的手部檢測信息。
當通過檢測輸入圖像上的膚色區(qū)域或者用戶執(zhí)行指定操作而預先知道了用戶手部的形狀和手部的區(qū)域時，可在開始拍攝輸入圖像之后執(zhí)行步驟S15的處理，而不執(zhí)行步驟S12和步驟S13的處理，使得可保存手部檢測信息。
在步驟S16中，確定區(qū)域設置單元24基于手部檢測信息保存單元23中所保存的手部檢測信息來確定確定區(qū)域。
例如，假設通過手形識別來識別具有布形狀的手部并且參照圖1所述的手勢是要識別的手勢。另外，假設在圖1中右方向是+X方向且上方向是+y方向，并且保存xy坐標系中手部Hll的中心位置Cll以及手部Hll的寬度和高度作為手部檢測信息。
例如，這里，假設中心位置Cll是坐標(Cx，Cy)。另外，假設Hw是手部Hll的寬度， 即手部Hll在X方向上的長度，而Hh是手部Hll的高度，即手部Hll在y方向上的長度。 在該示例中，中心位置Cll的坐標(Cx，Cy)是手部檢測信息中所包括的與手部的位置有關的信息。手部Hll的寬度Hw和高度Hh是手部檢測信息中所包括的與手部的大小有關的信肩、O
在這種情況下，基于手部檢測信息，確定區(qū)域設置單元24計算作為確定區(qū)域 DRll-1的矩形區(qū)域的左下頂點SL在xy坐標系中的坐標(SLx，SLy)。例如，滿足關系式 “ (SLx, SLy) = (Cx-Hw/ a，Cy-Hh/ β ) ”。這里，α 和 β 是整數。
確定區(qū)域設置單元24計算作為確定區(qū)域DRll-1的矩形區(qū)域的右上頂點EL在xy 坐標系中的坐標(ELx, ELy) 0例如，滿足關系式“(ELx，ELy) = (SLx+Y，SLy+Y ) ”，其中Y是整數。因此，確定區(qū)域DRll-1由所確定的頂點SL和EL指定。
同樣，基于手部檢測信息，確定區(qū)域設置單元24計算作為確定區(qū)域DR11-2的矩形區(qū)域的左下頂點SR的坐標(SRx，SRy)和右上頂點ER的坐標(ERx，ERy)。例如，滿足關系式 “ (SRx, SRy) = (Cx-Hw/ a，Cy-Hh/ β ) ”,并且滿足關系式 “(ERx, ERy) = (SRx+ Y，SRy+ Y ) ”。
根據要識別的手勢任意設置用于確定確定區(qū)域DRll的位置的整數α和β或者用于確定確定區(qū)域DRll的大小的整數Y。通常，將在所識別出的手部附近的區(qū)域確定為確定區(qū)域，使得簡單且可靠地執(zhí)行手部姿勢的識別。
例如，在圖1的示例中，要識別的手勢是在識別出具有布形狀的手部之后用戶在圖中將手部Hll右移或左移的手勢。因此，在該示例中，將每個確定區(qū)域DRll設置在手部 Hll的右方向或左方向上僅相隔由手部Hll的大小(寬度)確定的距離的位置處。
確定區(qū)域DRll-1是用于識別用戶在圖1中將手部Hll左移的手勢的監(jiān)視區(qū)域。確定區(qū)域DR11-2是用于識別 用戶在圖1中將手部Hll右移的手勢的監(jiān)視區(qū)域。當識別兩種手勢之一時，可響應于手勢執(zhí)行相同的處理，或者根據手勢的方向執(zhí)行不同處理。
當通過手形識別指定手部的形狀、位置、大小等時，可以響應于要識別的手勢適當地確定確定區(qū)域DR11。因而，由于可以使手勢識別中的輸入圖像的監(jiān)視區(qū)域更小，因此可以通過更簡單的處理以高速且以高準確性識別手勢。
另外，由于適當的手部搜索范圍可根據手勢的使用目的等而不同，因此用戶可設置用于確定確定區(qū)域DRll的整數α、β和Y?；谑植康奈恢没虼笮Υ_定區(qū)域進行確定，使得確定區(qū)域在手部的區(qū)域附近。然而，當手勢的使用狀況是明確的時，可在任意位置處指定確定區(qū)域。
返回參照圖3的流程圖，當確定了確定區(qū)域時，確定區(qū)域設置單元24將確定區(qū)域提供給手勢識別單元25，并且處理從步驟S16進行到步驟S17。
在步驟S17中，手勢識別單元25在需要時參考手部檢測信息保存單元23中所保存的手部檢測信息、基于來自確定區(qū)域設置單元24的確定區(qū)域和來自拍攝單元21的輸入圖像而執(zhí)行確定區(qū)域監(jiān)視處理。
下文中，將參照圖4的流程圖描述手勢識別單元25的確定區(qū)域監(jiān)視處理。
在步驟S51中，顏色檢測單元42指定從拍攝單元21提供的、要處理的輸入圖像的確定區(qū)域內的每個區(qū)域的顏色。在步驟S52中，顏色檢測單元42將確定區(qū)域的顏色與由手部檢測信息中所包括的顏色信息表示的用戶手部的顏色進行比較。即，當確定區(qū)域的顏色與用戶手部的顏色相同時，可以知道用戶手部移動到確定區(qū)域內部，并且執(zhí)行了手勢。
在步驟S53中，差異檢測單元43計算從拍攝單元21提供的、要處理的幀的輸入圖像與例如緊接在該要處理的幀之前的幀的輸入圖像之間的差異。具體地，差異檢測單元43 計算輸入圖像的幀中位于相同位置處的像素的像素值之間的差絕對值。
在步驟S54中，差異檢測單元43基于輸入圖像的幀之間的差異指定輸入圖像上的差異區(qū)域。這里，差異區(qū)域是指在步驟S53的處理中所算出的幀之間的差絕對值等于或大于預定閾值并由彼此相鄰的像素構成的區(qū)域。由于具有幀之間的大的差絕對值的區(qū)域是對象(移動對象)正移動的區(qū)域，因此，存在移動對象是用戶手部的高可能性。
因此，差異檢測單元43通過將輸入圖像上的移動對象的區(qū)域檢測為差異區(qū)域、并且監(jiān)視確定區(qū)域是否包含在差異區(qū)域的內部，識別用戶的手勢。即，當用戶手部移動時，手部的區(qū)域變?yōu)椴町悈^(qū)域。因此，當差異區(qū)域達到確定區(qū)域時，用戶手部移動至確定區(qū)域的內部，并且因而可以知道執(zhí)行了手勢。
當基于用戶手部的顏色和輸入圖像的差異信息檢測用戶手部是否移動到確定區(qū)域時，確定區(qū)域監(jiān)視處理結束，然后，處理進行到圖3的步驟S18。
在步驟S18中，手勢識別單元25基于通過將由顏色信息表示的顏色與確定區(qū)域的顏色進行比較而獲得的結果以及通過指定差異區(qū)域而獲得的結果，確定用戶是否執(zhí)行了手勢。
例如，當確定區(qū)域的顏色是由顏色信息表示的用戶手部的顏色并且確定區(qū)域的一部分或全部包含在差異區(qū)域的內部時，確定用戶執(zhí)行了手勢。
另外，至少當確定區(qū)域的顏色是由顏色信息表示的用戶手部的顏色時或者當確定區(qū)域的一部分或全部包含在差異區(qū)域的內部時，可確定用戶執(zhí)行了手勢。
當在步驟S18中確定未執(zhí)行手勢時，處理返回至步驟S12，并且重復上述處理。BP, 將后續(xù)幀設置為要處理的幀，并且對要新處理的幀的輸入圖像執(zhí)行手形識別和手勢識別。
當用戶手部正移動時，用戶手部的形狀改變。因此，未從輸入圖像檢測到具有特定形狀(例如，布形狀)的手部，并且未更新手部檢測信息。相反，當用戶將具有特定形狀的手部保持在拍攝單元21正面以使得手形被識別時，通過手形識別檢測到手部，更新手部檢測信息，并因而設置新的確定區(qū)域。
當在步驟S18中確定執(zhí)行了手勢時，手勢識別單元25將手勢識別結果提供給手勢處理單元26，然后，處理進行到步驟S19。例如，手勢識別單元25向手勢處理單元26提供如下手勢識別結果該手勢識別結果表示執(zhí)行了將用戶手部從布形狀的狀態(tài)移動到圖I中的確定區(qū)域DRll-I的手勢。
在步驟S19中，手勢處理單元26根據來自手勢識別單元25的手勢識別結果執(zhí)行處理。例如，手勢處理單元26提供表示手勢識別結果的圖像以在顯示單元27上顯示圖像， 或者根據手勢改變顯示單元27上所顯示的節(jié)目的頻道。
在步驟S20中，圖像處理設備11確定手勢識別處理是否結束。例如，當用戶給出用以結束響應于手勢別而執(zhí)行的處理的指令時，確定手勢識別處理結束。
當在步驟S20中確定手勢識別處理未結束時，處理返回至步驟S12，并且重復上述處理。即，識別新的手勢。
另一方面，當圖像處理設備11確定手勢識別處理結束于步驟S20時，圖像處理設備11停止每個單元的處理，并且結束手勢識別處理。
因而，圖像處理設備11通過從輸入圖像檢測具有特定形狀的手部、基于檢測結果設置確定區(qū)域并識別用戶手勢，來識別用戶手勢。
由于可以通過基于手形檢測結果設置確定區(qū)域來針對每個手勢確定適當的確定區(qū)域，因此，可以以高速度且以高準確性識別手勢。另外，可以以穩(wěn)定速度識別手勢，而與輸入圖像的分辨率無關。
每當識別手部時，提取用戶手部的顏色并將顏色信息作為手部檢測信息保存。另外，當識別出手勢時，僅將手部的區(qū)域的附近當作監(jiān)視目標。因此，即使當改變照明條件且改變輸入圖像上的用戶手部的顏色時或者即使當相對于輸入圖像存在顏色與手部的顏色類似的對象時，也能以高準確性指定手部的區(qū)域。因此，可以進一步改進手勢的識別準確性。
由于通過在檢測到具有特定形狀的手部之后監(jiān)視基于檢測結果而設置的確定區(qū)域來識別手勢，因此，可以識別手勢，而與用戶手部的形狀無關。即，由于用戶不需要在維持手部的形狀的情況下執(zhí)行手勢，因此，用戶可以以簡單手勢執(zhí)行輸入操作。
〈第一變型示例〉
手勢識別處理的描述
以上描述了如下情況在手勢識別處理中，手形識別和手勢識別通常在開始拍攝輸入圖像之后繼續(xù)進行。然而，在通過手形識別檢測到手部之后，在給定時段內可僅繼續(xù)進行手勢識別。即，當通過手形識別檢測到手部時，接著當在識別出手勢以前僅手勢識別繼續(xù)進行且即使在給定時段后仍未識別出手勢時，才再次執(zhí)行手形識別。
在這種情況下，圖像處理設備11執(zhí)行圖5所示的手勢識別處理。下文中，將參照圖5的流程圖描述圖像處理設備11的手勢識別處理。
由于步驟S81和步驟S82的處理與圖3的步驟Sll和步驟S12的處理相同，因此， 將不重復對其的描述。
在步驟S83中，手形識別單元22確定是否從要處理的幀的輸入圖像檢測到具有特定形狀的手部。當在步驟S83中確定未檢測到具有特定形狀的手部時，處理返回至步驟 S82，并且重復上述處理。即，重復手形識別，直到檢測到具有特定形狀的手部為止。
另一方面，當在步驟S83中確定檢測到具有特定形狀的手部時，執(zhí)行步驟S84至步驟S87的處理。由于步驟S84至步驟S87的處理與圖3的步驟S15至S18的處理相同，因此，將不重復對其的描述。
當在步驟S87中確定未執(zhí)行手勢時，在步驟S90中，手勢識別單元25確定是否通過手形識別來識別出具有特定形狀的手部并且是否在給定時段內未識別出手勢。
當在步驟S90中確定在給定時段內未識別出手勢時，處理返回至步驟S82，并且重復上述處理。即，新執(zhí)行手形識別，并且基于作為新近手形識別的結果所獲得的信息來執(zhí)行手勢識別。
另一方面，當在步驟S90中確定在給定時段內識別出手勢(即，在開始手勢識別后沒有經過給定時段)時，處理返回至步驟S86，并且重復上述處理。即，手勢識別繼續(xù)進行。
當在步驟S87中確定執(zhí)行了手勢時，執(zhí)行步驟S88和步驟S89的處理，并且手勢識別處理結束。由于步驟S88和步驟S89的處理與圖3的步驟S19和步驟S20的處理相同， 因此，將不重復對其的描述。
因此，圖像處理設備11從輸入圖像檢測具有特定形狀的手部，并且基于檢測結果識別用戶手勢。
〈第二實施例〉
圖像處理設備的配置示例
以上已描述基于用戶手部的顏色以及輸入圖像的差異信息執(zhí)行手勢識別的情況。 然而，可以僅基于用戶手部的顏色執(zhí)行手勢識別。在此情況下，圖像處理設備具有圖6中所示的配置。在圖6中，與圖2中的單元相對應的單元被賦予了相同的附圖標記，并且不會對其進行重復描述。
圖6中的圖像處理設備71包括拍攝單元21至顯示單元27。圖像處理設備71的配置與圖像處理設備11的配置的不同之處在于，手勢識別單元25不包括差異檢測單元43。 圖像處理設備71的其余配置與圖像處理設備11的配置相同。
確定區(qū)域監(jiān)視處理的描述
圖像處理設備71也執(zhí)行與參照圖3描述的手勢識別處理相同的處理。然而，在步驟S17的確定區(qū)域監(jiān)視處理中，監(jiān)視用戶手部的顏色的區(qū)域是否被移動至確定區(qū)域。
下文中，將參照圖7的流程圖描述在圖3中的步驟S17中圖像處理設備71執(zhí)行的、 對應于手勢識別處理的確定區(qū)域監(jiān)視處理。
在步驟S121中，顏色檢測單元42指定從拍攝單元21提供的、要處理的輸入圖像的確定區(qū)域內的每個區(qū)域的顏色。在步驟S122中，顏色檢測單元42將確定區(qū)域的顏色與由包括在手部檢測信息中的顏色信息表示的用戶手部的顏色進行比較。即，當確定區(qū)域的顏色與用戶手部的顏色相同時，可以知道用戶手部移動到確定區(qū)域的內部并且執(zhí)行了手勢。 步驟S121和步驟S122的處理與圖4中的步驟S51和步驟S52的處理相同。
當在步驟S122的處理中將確定區(qū)域的顏色與用戶手部的顏色進行比較時，確定區(qū)域監(jiān)視處理結束，然后，處理進行到圖3中的步驟S18。然后，執(zhí)行步驟S18至步驟S20的處理，并且手勢識別處理結束。然而，當在步驟S18中確定確定區(qū)域的顏色為由顏色信息表示的用戶手部的顏色時，確定用戶執(zhí)行了手勢。
此外，圖像處理設備71可以執(zhí)行參照圖5描述的手勢識別處理。在此情況下，執(zhí)行與圖像處理設備11中步驟S81至步驟S90的處理基本相同的處理。然而，在步驟S86中， 執(zhí)行參照圖7描述的確定區(qū)域監(jiān)視處理。在步驟S87中，當確定區(qū)域的顏色為由顏色信息表示的用戶手部的顏色時，確定用戶執(zhí)行了手勢。
〈第三實施例〉
圖像處理設備的配置示例
當識別手勢時，可以僅使用輸入圖像的差異信息。在此情況下，圖像處理設備具有圖8中所示的配置。在圖8中，與圖2中的單元相對應的單元被賦予了相同的附圖標記，并且不會對其進行重復描述。
圖8中的圖像處理設備101包括拍攝單元21至顯示單元27。圖像處理設備101的配置與圖像處理設備11的配置不同之處在于，手形識別單元22不包括顏色提取單元41， 并且手勢識別單元25不包括顏色檢測單元42。圖像處理設備101的其余配置與圖像處理設備11的配置相同。
在圖像處理設備101中，手部檢測信息保存單元23中所保存的手部檢測信息不包括顏色信息，并且手部檢測信息不被提供給手勢識別單元25。
確定區(qū)域監(jiān)視處理的描述
圖像處理設備101執(zhí)行與參照圖3描述的手勢識別處理相同的處理。然而，在步驟S15中，將作為手形識別結果所獲得的關于手部的形狀、大小、位置的信息作為手部檢測信息保存在手部檢測信息保存單元23中。
在步驟S17的確定區(qū)域監(jiān)視處理中，基于輸入圖像的差異信息，監(jiān)視用戶手部的區(qū)域是否移動至確定區(qū)域。
下文中，將參照圖9的流程圖描述在圖3中的步驟S17中圖像處理設備101執(zhí)行的、對應于手勢識別處理的確定區(qū)域監(jiān)視處理。
在步驟S151中，差異檢測單元43計算從拍攝單元21提供的輸入圖像中要處理的幀與輸入圖像中在該要處理的幀之前的幀之間的差異。在步驟S152中，差異檢測單元43 基于輸入圖像的幀之間的差異，指定輸入圖像上的差異區(qū)域。步驟S151和步驟S152的處理與圖4中的步驟S53和步驟S54的處理相同。
當在步驟S152的處理中指定了輸入圖像上的差異區(qū)域時，確定區(qū)域監(jiān)視處理結束，然后，處理進行到圖3中的步驟S18。然后，執(zhí)行步驟S18至步驟S22的處理，并且手勢識別處理結束。然而，在步驟S18中，當確定區(qū)域的一部分或全部包含在差異區(qū)域中時，確定用戶執(zhí)行了手勢。
此外，圖像處理設備101可以執(zhí)行參照圖5描述的手勢識別處理。在此情況下，執(zhí)行與圖像處理設備11中步驟S81至步驟S90的處理基本相同的處理。
然而，在步驟S84中，僅根據手形識別結果來生成手部檢測信息。在步驟S86中， 執(zhí)行參照圖9描述的確定區(qū)域監(jiān)視處理。在步驟S87中，當確定區(qū)域的一部分或全部包含在差異區(qū)域中時，確定用戶執(zhí)行了手勢。
〈第四實施例〉
要識別的手勢
以上已描述識別具有特定形狀的一只手、然后執(zhí)行手勢的情況。然而，當手勢開始時，圖像處理設備要識別的手部的形狀可以取決于手勢而不同。這樣，由于能夠識別更多手勢，因此能夠實現各種手勢操作。
在此情況下，例如，可以認為要檢測圖10的上部中所示的手形，并且可以認為圖 10的下部中所示的手勢為要識別的手勢。在圖10中，箭頭All至A18表示要檢測的手形， 而箭頭Bll至B18表示箭頭All至A18所示的手形的手勢。
例如，箭頭All所示的手形是這樣的手形(下文中也稱為夾持(grip)形狀):其中， 在攝像裝置的拍攝單元正面，在水平方向上用拇指和其他手指持握物體。在此情況下，用戶用他或她的手做出箭頭All所示的夾持形狀，然后執(zhí)行持握物體和釋放該物體的手勢，同時在圖中垂直地移動拇指和其他手指，如箭頭Bll所示。
在該手勢中，在與具有夾持形狀的手部的拇指和食指的指尖僅垂直相距預定距離的位置處，確定確定區(qū)域DR21-1和DR21-2。這里，可以作為手形識別結果來指定具有夾持形狀的手部的拇指和食指的近似位置。例如，指尖與確定區(qū)域DR21-1和DR21-2之間的距離例如由手部的垂直長度(高度)來確定。
箭頭A12所示的手形是如圖1的示例中的布形狀。在此情況下，用戶用他或她的手做出布形狀，然后執(zhí)行將手部左移或右移的手勢，如箭頭B12所示。在該手勢中,在與手掌的中心向左和向右僅相隔預定距離的位置處，確定確定區(qū)域DR22-1和DR22-2。
下文中，將基于如下假設進行描述具有所識別出的特定形狀的手部的每個部分的近似位置均能由手形識別結果來指定。
例如，當通過手形識別來識別具有布形狀的手部時，基于手部的區(qū)域的輪廓來確定手掌的中心位置和指尖的候選位置(下文中稱為指尖候選位置)，并且基于中心位置與每個指尖候選位置之間的每條線段的傾斜度來指定指尖的近似位置。即，可從基于中心位置和指尖候選位置而確定的指尖的輪廓的角度獲得指尖候選位置的可靠性。這樣，基于手形識別結果，可指定具有每種形狀的手部的期望部分的近似位置。
箭頭A13所示的手形是拇指和小指從石頭形狀伸出的手形。在此情況下，用戶用他或她的手做出箭頭A13所示的形狀，然后執(zhí)行圍繞作為圖中的旋轉軸的縱向線來轉動手腕的手勢，如箭頭B13所示。
在該手勢中，在圖中與小指和拇指向下相隔僅預定距離的位置處，確定區(qū)域 DR23-1和DR23-2。例如，基于手部的中心位置以及拇指和小指的指尖的位置來確定確定區(qū)域DR23-1和DR23-2的位置。在該示例中，例如，當小指和拇指中的一個或二者移動至確定區(qū)域DR23-1或DR23-2時，確定執(zhí)行了手勢。
箭頭A14所示的手形是石頭形狀。在此情況下，用戶用他或她的手做出石頭形狀， 然后執(zhí)行將手部右移或左移的手勢，如箭頭B14所示。在該手勢中，在與手部的中心向左和向右僅相隔預定距離的位置處，確定確定區(qū)域DR24-1和DR24-2。手部的中心與確定區(qū)域 DR24-1或DR24-2之間的距離由手部在水平方向上的長度(寬度)來確定。
箭頭A15所示的手形是剪刀形狀，S卩，食指和中指伸出而其它手指縮回的手形。在此情況下，用戶用他 的或她的手做出剪刀形狀，然后執(zhí)行圍繞作為圖中的旋轉軸的深度方向的線而向左和向右轉動手腕的手勢，如箭頭B15所示。
在該手勢中，在圖中在中指和食指的斜向下方向上遠離中指和食指僅預定距離的位置處，確定確定區(qū)域DR25-1和DR25-2。例如，基于手部的中心位置以及食指和中指的指尖的位置來確定確定區(qū)域DR25-1和DR25-2的位置。在該示例中，當食指和中指中的一個或二者移動至確定區(qū)域DR25-1或DR25-2時，確定執(zhí)行了手勢。
箭頭A16所示的手形是大拇指從石頭形狀豎直地伸出的所謂的豎起大拇指手形。 在此情況下，用戶用他的或她的手做出箭頭A16所示的手形，然后執(zhí)行圍繞作為圖中的旋轉軸的深度方向的線而向左和向右轉動手腕的手勢，如箭頭B16所示。
在該手勢中，在圖中在拇指指尖的斜向下方向上與拇指向左和向右僅相隔預定距離的位置處，確定確定區(qū)域DR26-1和DR26-2。例如，基于手部的中心位置以及拇指指尖的位置來確定確定區(qū)域DR26-1和DR26-2的位置。在該示例中，當拇指移動至確定區(qū)域DR26-1 和DR26-2中的一個或二者時，確定執(zhí)行了手勢。
箭頭A17所示的手形是食指從石頭形狀伸出的所謂的手指指向手形。在此情況下，用戶用他的或她的手做出箭頭A17所示的手形，然后執(zhí)行圍繞作為圖中的旋轉軸的深度方向的線來向左和向右轉動手腕的手勢，如箭頭B17所示。
在該手勢中，在食指指尖的左方向和右方向上與食指僅相隔預定距離的位置處， 確定確定區(qū)域DR27-1和DR27-2。例如，基于食指指尖的位置以及手部的高度或寬度來確定確定區(qū)域DR27-1和DR27-2的位置。在該示例中，例如，當食指移動至確定區(qū)域DR27-1和 DR27-2中的一個或二者時，確定執(zhí)行了手勢。
箭頭A18所示的手形是食指從石頭形狀伸出并且食指指向圖中的向前方向的手指指向手形。在此情況下，用戶用他的或她的手做出箭頭A18所示的手形，然后執(zhí)行將手部右移或左移的手勢，如箭頭B18所示。在該手勢中，在與手部的中心位置向左和向右僅相隔預定距離的位置處，確定確定區(qū)域DR28-1和DR28-2。手部的中心位置與確定區(qū)域DR28-1 或DR28-2之間的距離由手部在水平方向上的長度(寬度)來確定。
用戶執(zhí)行的手勢不限于圖10中所示的示例，而是可以是任意手勢。
圖像處理設備的配置示例
當用戶執(zhí)行如圖10中所示的多個手勢并且根據手勢識別結果執(zhí)行處理時，圖像處理設備具有例如圖11中所示的配置。在圖11中，與圖2中的單元相對應的單元被賦予了相同的附圖標記，并且不會對其進行重復描述。
圖11中的圖像處理設備131包括拍攝單元21至顯示單元27。圖像處理設備131 的配置與圖像處理設備11的配置的不同之處在于，手形識別單元22還包括手形指定單元 141。圖像處理設備131的其余配置與圖像處理設備11的配置相同。
針對例如圖10中所示的多種手形中的每一種而在手形識別單元22中記錄用于識別手形的字典。手形識別單元22通過使用每個字典對從拍攝單元21提供的輸入圖像執(zhí)行手形識別。
手形識別單元22包括手形指定單元141。手形指定單元141基于通過使用每個手形的字典的手形識別而獲得的得分，指定包含在輸入圖像中的手部的形狀。
手勢識別處理的描述
接下來，將參照圖12的流程圖描述圖像處理設備131的手勢識別處理。由于步驟 S181至步驟S184的處理與圖3中的步驟Sll至步驟S14的處理相同，因此不會對其進行重復描述。
然而，在步驟S182中，手形識別單元22關于每個手形的字典，對輸入圖像執(zhí)行濾波處理，并請求表示具有特定形狀的手部的相似性的得分。即，在輸入圖像的各區(qū)域的得分當中，最高得分被認為是使用字典所執(zhí)行的手形識別的得分。
當在手形的得分當中存在等于或大于預定閾值的一個得分時，在步驟S183中確定檢測到具有特定形狀的手部。
當在步驟S183中確定檢測到具有特定形狀的手部時，處理進行到步驟S185。在步驟S185中，手形指定單元141將經受手形識別的手形當中具有最高得分的手形設置為通過手形識別檢測到的手部的形狀，并指定在輸入圖像上的手部的形狀。
當指定了輸入圖像中所包含的手部的形狀時，執(zhí)行步驟S186至步驟S196的處理， 并且手勢識別處理結束。由于步驟S186至步驟S196的處理與圖3中的步驟S15至步驟 S20的處理相同，因此不會對其進行重復描述。
然而，在步驟S186中，將對在步驟S185中所指定的手部的形狀的手形識別結果以及顏色提取單元41基于手形識別結果而生成的顏色信息作為手部檢測信息保存在手部檢測信息保存單元23中。
在圖12的手勢識別處理中，每當檢測到具有不同形狀的手部時，將保存在手部檢測信息保存單元23中的手部檢測信息更新為不同手形的手部檢測信息。
在步驟S187中，針對指定的每個手形(即，要識別的每個手勢)來設置適當的確定區(qū)域。例如，當檢測具有圖10中的箭頭All所示的夾持形狀的手部時，如箭頭Bll所示的那樣設置確定區(qū)域DR21-1和DR21-2。當指定了拇指或食指移動到兩個確定區(qū)域時，確定執(zhí)行了手勢。
在步驟S188中，執(zhí)行與參照圖4描述的確定區(qū)域監(jiān)視處理相同的處理。
這樣，圖像處理設備131通過從輸入圖像中檢測具有多種形狀中之一的手部、基于檢測結果設置確定區(qū)域、并監(jiān)視手部至確定區(qū)域的移動，來識別用戶的手勢。通過基于手形檢測結果來針對所檢測到的每個手形設置確定區(qū)域，可以針對每個手勢確定適當的確定區(qū)域。因此，能夠以高速度且以高準確性識別手勢。
〈第二變型示例〉
手勢識別處理的描述
甚至在圖像處理設備131的手勢識別處理中，也可以在通過手形識別檢測到手部之后僅在給定時段內執(zhí)行手勢識別。
在此情況下，圖像處理設備131執(zhí)行圖13中所示的手勢識別處理。下文中，將參照圖13的流程圖描述圖像處理設備131的手勢識別處理。
由于步驟S221至步驟S223的處理與圖5中的步驟S81至步驟S83的處理相同， 因此不會對其進行重復描述。
然而，在步驟S222中，手形識別單元22如在圖12的步驟S182的處理中那樣，通過使用每個手形的字典來 執(zhí)行手形識別。在步驟S223中，當在手形的得分當中存在等于或大于預定閾值的一個得分時，確定檢測到具有特定形狀的手部。
當在步驟S223中確定檢測到具有特定形狀的手部時，在步驟S224中，手形指定單元141基于每個手形的手形識別結果，指定輸入圖像上的手部的形狀。S卩，在步驟S224中， 執(zhí)行與圖12中的步驟S185的處理相同的處理。
當指定了手部的形狀時，執(zhí)行步驟S225至步驟S231的處理，并且手勢識別處理結束。由于步驟S225至步驟S231的處理與圖5中的步驟S84至步驟S90的處理相同，因此不會對其進行重復描述。然而，在步驟S225中，如同在圖12的步驟S186中那樣，將對所指定的手形的手形識別的結果以及基于手形識別結果所生成的顏色信息作為手部檢測信息保存在手部檢測信息保存單元23中。在步驟S227中，執(zhí)行與參照圖4描述的確定區(qū)域監(jiān)視處理相同的處理。
這樣，圖像處理設備131從輸入圖像中檢測具有多個形狀之一的手部，并且基于檢測結果來識別用戶的手勢。
〈第五實施例〉
圖像處理設備的配置示例
即使當多個手形被設置為要識別的手形時，也可僅使用用戶手部的顏色來識別手勢。在此情況下，圖像處理設備具有圖14中所示的配置。在圖14中，與圖11中的單元相對應的單元被賦予了相同的附圖標記，并且不會對其進行重復描述。
圖14中的圖像處理設備171包括拍攝單元21至顯示單元27。圖像處理設備171 的配置與圖像處理設備131的配置的不同之處在于，手勢識別單元25不包括差異檢測單元 43。圖像處理設備171的其余配置與圖像處理設備131的配置相同。
手勢識別處理的描述
圖像處理設備171也執(zhí)行與參照圖12描述的手勢識別處理相同的處理。然而，在步驟S188的確定區(qū)域監(jiān)視處理中，監(jiān)視具有用戶手部的顏色的區(qū)域是否被移動至確定區(qū)域。即，執(zhí)行參照圖7描述的確定區(qū)域監(jiān)視處理。
因此，例如，在步驟S189中，當確定區(qū)域的顏色為由顏色信息表示的用戶手部的顏色時，確定用戶執(zhí)行了手勢。
圖像處理設備171可執(zhí)行參照圖13描述的手勢識別處理。在此情況下，在步驟 S221至步驟S231中，執(zhí)行與圖像處理設備131所執(zhí)行的處理基本相同的處理。然而，在步驟S227中，執(zhí)行參照圖7描述的確定區(qū)域監(jiān)視處理。此外，在步驟S228中，當確定區(qū)域的顏色為由顏色信息表示的用戶手部的顏色時，確定用戶執(zhí)行了手勢。
<第六實施例>
圖像處理設備的配置示例
當多個手形被設置為要識別的手形時，在手勢識別中可僅使用輸入圖像的差異信息。在此情況下，圖像處理設備具有圖15中所示的配置。在圖15中，與圖11中的單元相對應的單元被賦予了相同的附圖標記，并且不會對其進行重復描述。
圖15中的圖像處理設備201包括拍攝單元21至顯示單元27。圖像處理設備201 的配置與圖像處理設備131的配置的不同之處在于，手形識別單元22不包括顏色提取單元 41，并且手勢識別單元25不包括顏色檢測單元42。圖像處理設備201的其余配置與圖像處理設備131的配置相同。
在圖像處理設備201中，手部檢測信息保存單元23中保存的手部檢測信息不包括顏色信息，并且手部檢測信息不被提供給手勢識別單元25。
手勢識別處理的描述
圖像處理設備201也執(zhí)行與參照圖12描述的手勢識別處理相同的處理。然而，在步驟S186中，將作為手形識別的結果所獲得的關于手部的形狀、大小、位置的信息作為手部檢測信息保存在手部檢測信息保存單元23中。
在步驟S188的確定區(qū)域監(jiān)視處理中，基于輸入圖像的差異信息，監(jiān)視用戶手部的區(qū)域是否移動至確定區(qū)域。即，執(zhí)行參照圖9描述的確定區(qū)域監(jiān)視處理。因此，在步驟S189 中，當確定區(qū)域的一部分或全部包含在差異區(qū)域中時，確定用戶執(zhí)行了手勢。
圖像處理設備201可執(zhí)行參照圖13描述的手勢識別處理。在此情況下，在步驟 S221至步驟S231中，執(zhí)行與圖像處理設備131所執(zhí)行的處理基本相同的處理。
然而，在步驟S225中，根據手形識別結果生成手部檢測信息。在步驟S227中，執(zhí)行參照圖9描述的確定區(qū)域監(jiān)視處理。在步驟S228中，當確定區(qū)域的一部分或全部包含在差異區(qū)域中時，確定用戶執(zhí)行了手勢。
〈第七實施例〉
圖像處理設備的配置示例
以上已描述通過手形識別來檢測手部的情況。然而，當可以推斷用戶手部的顏色時，可以僅使用手部的顏色信息來識別手勢。
在此情況下，圖像處理設備具有例如圖16中所示的配置。在圖16中，與圖2中的單元相對應的單元被賦予了相同的附圖標記，并且不會對其進行重復描述。
圖16中的圖像處理設備231包括拍攝單元21、顏色提取單元241、區(qū)域提取單元 242、確定區(qū)域設置單元243、手勢識別單元244、手勢處理單元26以及顯示單元27。
顏色提取單元241從由拍攝單元21提供的輸入圖像中提取作為用戶手部的顏色而預先登記的顏色的像素，然后將提取結果提供給區(qū)域提取單元242。區(qū)域提取單元242基于來自顏色提取單元241的、用戶手部的顏色的提取結果，從輸入圖像中提取用戶手部的區(qū)域，然后將用戶手部的區(qū)域提供給確定區(qū)域設置單元243。
確定區(qū)域設置單元243基于從區(qū)域提取單元242提供的用戶手部的區(qū)域來設置確定區(qū)域，然后將確定區(qū)域提供給手勢識別單元244。手勢識別單元244基于來自拍攝單元 21的輸入圖像和來自確定區(qū)域設置單元243的確定區(qū)域，識別用戶所執(zhí)行的手勢，然后將識別結果提供給手勢處理單元26。
手勢識別處理的描述
接下來，將參照圖17的流程圖描述圖像處理設備231的手勢識別處理。
在步驟S261中，拍攝單兀21開始拍攝輸入圖像。拍攝單兀21將通過拍攝所犾得的輸入圖像順序地提供給顏色提取單元241和手勢識別單元244。
在步驟S262中，顏色提取單元241從由拍攝單元21提供的輸入圖像中提取作為用戶手部的顏色而預先登記的顏色的區(qū)域(像素)。
在步驟S263中，顏色提取單元241基于對從輸入圖像獲得的用戶手部的顏色的提取結果，確定是否從輸入圖像中檢測到用戶手部。例如，當輸入圖像上存在具有用戶手部的顏色且等于或大于預定大小的區(qū)域時，確定檢測到用戶手部。
當在步驟S263中確定未檢測到用戶手部時，處理返回至步驟S262，并且重復上述處理。
相反，當在步驟S263中確定檢測到了用戶手部時，顏色提取單元241將對從輸入圖像獲得的用戶手部的顏色的像素的提取結果提供給區(qū)域提取單元242，然后，處理進行到步驟S264。
在步驟S264中，區(qū)域提取單元242基于顏色提取單元241獲得的手部的顏色的提取結果，從輸入圖像中提取用戶手部的區(qū)域，然后將用戶手部的區(qū)域提供給確定區(qū)域設置單元243。例如，區(qū)域提取單元242在輸入圖像上具有用戶手部的顏色的像素的區(qū)域當中， 提取最可能是用戶手部的區(qū)域(諸如，最大區(qū)域)，作為用戶手部的區(qū)域。
在步驟S265中，確定區(qū)域設置單元243基于從區(qū)域提取單元242提供的用戶手部的區(qū)域來對確定區(qū)域進行確定，并且將確定區(qū)域提供給手勢識別單元244。具體地，根據輸入圖像上的用戶手部的區(qū)域，計算用戶手部的區(qū)域的中心位置以及用戶手部的高度、寬度等。例如，在與用戶手部的區(qū)域的中心位置向左和向右僅相隔由用戶手部的寬度確定的距離的位置處設置位于與要識別的手勢相應的位置并具有與要識別的手勢相應的大小的確定區(qū)域。
在步驟S266中，手勢識別單元244基于來自拍攝單元21的輸入圖像和來自確定區(qū)域設置單元243的確定區(qū)域，確定用戶是否執(zhí)行了手勢。
例如，手勢識別單元244基于用戶手部的區(qū)域和輸入圖像的差異區(qū)域中的至少一個，識別用戶的手勢。
例如，當輸入圖像上的用戶手部的區(qū)域移動到所設置的確定區(qū)域并且利用輸入圖像的連續(xù)幀之間的差異而獲得的移動對象的區(qū)域移動到確定區(qū)域時，手勢識別單元244確定用戶執(zhí)行了手勢。
當手勢識別單元244在步驟S266中確定未執(zhí)行手勢時，處理返回至步驟S262，并且重復上述處理。
相反，當手勢識別單元244在步驟S266中確定執(zhí)行了手勢時，手勢識別單元244 將對用戶執(zhí)行的手勢的識別結果提供給手勢處理單元26，并且處理進行到步驟S267。
在步驟S267中，手勢處理單元26根據來自手勢識別單元244的手勢識別結果執(zhí)行處理，并且手勢識別處理結束。例如，手勢處理單元26在顯示單元27上顯示代表手勢識別結果的圖像，或者響應于手勢而改變顯示單元27上所顯示的節(jié)目的頻道。
這樣，圖像處理設備231通過從輸入圖像中提取具有特定顏色的區(qū)域、檢測用戶手部的區(qū)域、并基于檢測結果設置確定區(qū)域，來識別用戶的手勢。因此，通過基于用戶手部的檢測結果來設置確定區(qū)域，能夠以更高速度且以更高準確性識別手勢。
上述一系列處理可以通過硬件或軟件來執(zhí)行。當這一系列處理通過軟件執(zhí)行時， 用于該軟件的程序例如安裝在嵌入有專用硬件的計算機或者能夠通過從程序記錄介質安裝各種程序而執(zhí)行各種功能的通用個人計算機上。
圖18是示出了通過程序來執(zhí)行上述一系列處理的計算機的硬件配置的示例的框圖。
在該計算機中，中央處理單元(CPU)301、只讀存儲器(R0M)302和隨機存取存儲器 (RAM) 303經由總線304彼此連接。
輸入/輸出接口 305連接至總線304。以下各部分連接到輸入/輸出接口 305 :輸入單元306，由鍵盤、鼠標、麥克風等構成；輸出單元307，由顯示器、揚聲器等構成；記錄單元308，由硬盤、非易失性存儲器等構成；通信單元309，由網絡接口等構成；以及驅動可移動介質311 (諸如磁盤、光盤、磁光盤、或半導體存儲器)的驅動器310。
在具有上述配置的計算機中，CPU 301例如通過經由輸入/輸出接口 305和總線 304將存儲在記錄單元308中的程序加載到RAM 303上并執(zhí)行該程序，來執(zhí)行上述一系列處理。
例如，由計算機(CPU 301)執(zhí)行的程序記錄在作為封裝介質的可移動介質311 中以便于提供，可移動介質311諸如磁盤(包括軟盤)、光盤(包括致密盤-只讀存儲器 (⑶-ROM)和數字通用盤(DVD))、磁光盤或者半導體存儲器。此外，可經由有線或無線傳輸介質(諸如局域網、因特網或數字衛(wèi)星廣播)來提供程序。
通過將可移動介質311安裝到驅動器310上，可經由輸入/輸出接口 305將程序安裝在記錄單元308中。此外，程序可以經由有線或無線傳輸介質而由通信單元309接收， 并且安裝在記錄單元308中。另外，程序可以預先安裝在ROM 302或記錄單元308上。
計算機執(zhí)行的程序可以是按照說明書中描述的順序以時間順序處理的程序、或者CN 102981604 A書明說17/18 頁
并行處理或當調用時在必要的時候處理的程序。
本技術的實施例不限于以上描述的實施例，而是可以在不背離本技術的精神的情況下以各種形式進行修改。
可如下配置本技術。
[I], 一種圖像處理設備，包括手形識別單元，對輸入圖像執(zhí)行手形識別，以檢測所述輸入圖像中具有特定形狀的手部的位置和大??；確定區(qū)域設置單元，基于所述手部的位置和大小，將所述輸入圖像上的所述手部附近的區(qū)域設置為確定區(qū)域，其中所述確定區(qū)域用于識別使用所述手部所執(zhí)行的手勢；以及手勢識別單元，通過監(jiān)視所述手部到所述確定區(qū)域的移動，識別所述手勢。
[2]根據[I]所述的圖像處理設備，其中，所述確定區(qū)域設置單元在所述輸入圖像上的所述手部附近設置多個確定區(qū)域。
[3]根據[2]所述的圖像處理設備，其中，所述多個確定區(qū)域是用于識別彼此不同的多個手勢的區(qū)域。
[4]根據[I]至[3]中的任意一項所述的圖像處理設備，還包括處理單元，根據手勢識別結果來執(zhí)行處理。
[5]根據[I]至[4]中的任意一項所述的圖像處理設備，其中，所述手勢識別單元通過將從所檢測到的手部的區(qū)域中提取的顏色與所述輸入圖像上的所述確定區(qū)域的顏色進行比較，來識別所述手勢。
[6]根據[I]至[4]中的任意一項所述的圖像處理設備，其中，所述手勢識別單元通過基于所述輸入圖像的幀之間的差異而監(jiān)視所述手部到所述確定區(qū)域的移動，來識別所述手勢。
[7]根據[I]至[6]中的任意一項所述的圖像處理設備，其中，所述手形識別單元檢測具有預先確定的多種形狀的手部的位置和大小。
[8]根據[7]所述的圖像處理設備，其中，當新檢測到具有特定形狀的手部的位置和大小時，所述確定區(qū)域設置單元基于新檢測到的手部的形狀、位置和大小來設置所述確定區(qū)域。
[9] 一種圖像處理設備的圖像處理方法，所述圖像處理設備包括手形識別單元， 對輸入圖像執(zhí)行手形識別，以檢測所述輸入圖像中具有特定形狀的手部的位置和大小；確定區(qū)域設置單元，基于所述手部的位置和大小，將所述輸入圖像上的所述手部附近的區(qū)域設置為確定區(qū)域，其中所述確定區(qū)域用于識別使用所述手部所執(zhí)行的手勢；以及手勢識別單元，通過監(jiān)視所述手部到所述確定區(qū)域的移動來識別所述手勢，所述圖像處理方法包括
由所述手形識別單元檢測具有所述特定形狀的所述手部的位置和大小，
由所述確定區(qū)域設置單元設置所述確定區(qū)域；以及
由所述手勢識別單元識別所述手勢。
[10] 一種用于使計算機執(zhí)行處理的程序，所述處理包括
對輸入圖像執(zhí)行手形識別，以檢測所述輸入圖像中具有特定形狀的手部的位置和大?。?br> 基于所述手部的位置和大小，將所述輸入圖像上的所述手部附近的區(qū)域設置為確19定區(qū)域，其中所述確定區(qū)域用于識別使用所述手部執(zhí)行的手勢；以及
通過監(jiān)視所述手部到所述確定區(qū)域的移動來識別所述手勢。
本公開內容包含與2011年6月7日向日本專利局提交的日本優(yōu)先權專利申請JP 2011-127331中所公開的主題內容相關的主題內容，在此通過引用將其全文合并于此。
權利要求
1.一種圖像處理設備，包括 手形識別單元，對輸入圖像執(zhí)行手形識別，以檢測所述輸入圖像中具有特定形狀的手部的位置和大??； 確定區(qū)域設置單元，基于所述手部的位置和大小，將所述輸入圖像上的所述手部附近的區(qū)域設置為確定區(qū)域，其中所述確定區(qū)域用于識別使用所述手部所執(zhí)行的手勢；以及 手勢識別單元，通過監(jiān)視所述手部到所述確定區(qū)域的移動，識別所述手勢。
2.根據權利要求I所述的圖像處理設備，其中，所述確定區(qū)域設置單元在所述輸入圖像上的所述手部附近設置多個確定區(qū)域。
3.根據權利要求2所述的圖像處理設備，其中，所述多個確定區(qū)域是用于識別彼此不同的多個手勢的區(qū)域。
4.根據權利要求3所述的圖像處理設備，還包括 處理單元，根據手勢識別結果來執(zhí)行處理。
5.根據權利要求4所述的圖像處理設備，其中，所述手勢識別單元通過將從所檢測到的手部的區(qū)域中提取的顏色與所述輸入圖像上的所述確定區(qū)域的顏色進行比較，來識別所述手勢。
6.根據權利要求4所述的圖像處理設備，其中，所述手勢識別單元通過基于所述輸入圖像的幀之間的差異而監(jiān)視所述手部到所述確定區(qū)域的移動，來識別所述手勢。
7.根據權利要求6所述的圖像處理設備，其中，所述手形識別單元檢測具有預先確定的多種形狀的手部的位置和大小。
8.根據權利要求7所述的圖像處理設備，其中，當新檢測到具有特定形狀的手部的位置和大小時，所述確定區(qū)域設置單元基于新檢測到的手部的形狀、位置和大小來設置所述確定區(qū)域。
9.一種圖像處理設備的圖像處理方法，所述圖像處理設備包括手形識別單元，對輸入圖像執(zhí)行手形識別，以檢測所述輸入圖像中具有特定形狀的手部的位置和大?。淮_定區(qū)域設置單元，基于所述手部的位置和大小，將所述輸入圖像上的所述手部附近的區(qū)域設置為確定區(qū)域，其中所述確定區(qū)域用于識別使用所述手部所執(zhí)行的手勢；以及手勢識別單元，通過監(jiān)視所述手部到所述確定區(qū)域的移動來識別所述手勢，所述圖像處理方法包括 由所述手形識別單元檢測具有所述特定形狀的所述手部的位置和大小， 由所述確定區(qū)域設置單元設置所述確定區(qū)域；以及 由所述手勢識別單元識別所述手勢。
10.一種用于使計算機執(zhí)行處理的程序，所述處理包括 對輸入圖像執(zhí)行手形識別，以檢測所述輸入圖像中具有特定形狀的手部的位置和大小; 基于所述手部的位置和大小，將所述輸入圖像上的所述手部附近的區(qū)域設置為確定區(qū)域，其中所述確定區(qū)域用于識別使用所述手部執(zhí)行的手勢；以及 通過監(jiān)視所述手部到所述確定區(qū)域的移動來識別所述手勢。
全文摘要
本發(fā)明提供了一種圖像處理設備、圖像處理方法和程序，其中，圖像處理設備包括手形識別單元，對輸入圖像執(zhí)行手形識別，以檢測輸入圖像中具有特定形狀的手部的位置和大??；確定區(qū)域設置單元，基于手部的位置和大小，將輸入圖像上的手部附近的區(qū)域設置為確定區(qū)域，其中該確定區(qū)域用于識別使用手部所執(zhí)行的手勢；以及手勢識別單元，通過監(jiān)視手部到確定區(qū)域的移動，識別手勢。
文檔編號G06F3/01GK102981604SQ20121017769
公開日2013年3月20日 申請日期2012年5月31日 優(yōu)先權日2011年6月7日
發(fā)明者木村淳, 大場章男 申請人:索尼公司, 索尼計算機娛樂公司