車輛內(nèi)使用手形痕跡識別提供用戶界面的系統(tǒng)和方法
【專利摘要】本發(fā)明涉及一種車輛內(nèi)使用手形痕跡識別操作用戶界面的系統(tǒng)和方法，其包括通過控制器接收乘客圖像輸入并識別來自乘客圖像的手形痕跡信息。另外，所述控制器被配置成選擇對應(yīng)于所識別的手形痕跡的車輛設(shè)備操作。因此，當(dāng)乘客使用一只手操作方向盤同時觀察前方時，車輛內(nèi)各種電子設(shè)備可以由一只手的動作控制。
【專利說明】車輛內(nèi)使用手形痕跡識別提供用戶界面的系統(tǒng)和方法
[0001]相關(guān)申請的交叉參考
[0002]本申請要求于2012年12月5日在韓國知識產(chǎn)權(quán)局提交的韓國專利申請N0.10-2012-0140589的優(yōu)先權(quán)和利益，該申請的全部內(nèi)容包括在此以供參考。
【技術(shù)領(lǐng)域】
[0003]本發(fā)明涉及一種通過識別車輛乘客的手形痕跡操縱控制車輛內(nèi)部設(shè)備的用戶界面的系統(tǒng)和方法。
【背景技術(shù)】
[0004]為了方便乘客，近期研發(fā)的車輛中安裝了各種電子設(shè)備。在車輛內(nèi)部，除了現(xiàn)有的無線接收器和空調(diào)器的電子設(shè)備，還安裝了如導(dǎo)航系統(tǒng)和移動電話免提系統(tǒng)的電子設(shè)備。車輛中的現(xiàn)有電子設(shè)備通過指定按鈕向提供用戶界面，并且最近，觸屏作為用戶界面被廣泛使用。這類設(shè)備應(yīng)該由乘客直接接觸并操作。進一步地，由于這種操作通常通過乘客的觀察和手上操作執(zhí)行，可能會干擾安全駕駛。因此，當(dāng)乘客執(zhí)行這類操作時，應(yīng)當(dāng)考慮足夠充分的視覺范圍和用戶界面的位置以促進安全駕駛。
[0005]研發(fā)了一種識別乘客的手部圖像并控制車輛功能的系統(tǒng)，并且該系統(tǒng)不需要乘客從駕駛中分散注意力并控制車輛功能，因此促進安全駕駛。
[0006]然而，當(dāng)提取手部圖像的特征點時，常規(guī)系統(tǒng)受到干擾光的影響且有由于手的形狀導(dǎo)致的手部圖像變化的影響，并且由于該系統(tǒng)是基于二維圖像，因而難以獲得在各種條件下的有意義的特征點。因此，特征點僅發(fā)現(xiàn)有顏色和亮度信息，并且由于外部光照導(dǎo)致特征點的確定受到影響。
[0007]本部分中公開的上述信息只是用于增強對本發(fā)明背景的理解，因此可能包含不構(gòu)成在本國對本領(lǐng)域的技術(shù)人員已知的現(xiàn)有技術(shù)的信息。

【發(fā)明內(nèi)容】

[0008]本發(fā)明提供一種操縱用戶界面的系統(tǒng)和方法，其具有通過識別乘客的手形痕跡(例如，手上動作的路徑)控制車輛內(nèi)的各種電子設(shè)備的優(yōu)點。
[0009]本發(fā)明的示范性實施例提供了一種在車輛內(nèi)使用手形痕跡識別來操作用戶界面的方法，該方法包括:接收乘客圖像的輸入；識別來自該乘客圖像的乘客手形痕跡信息；以及選擇對應(yīng)于所識別的手形痕跡信息的車輛設(shè)備操作。
[0010]接收輸入的步驟可包括接收來自圖像拍攝單元的乘客手部圖像的輸入，且在圖像存儲單元中累積并存儲該圖像；以及計算所拍攝的圖像的當(dāng)前幀和前一幀之間的差異并獲得乘客手形痕跡信息。識別乘客的手形痕跡信息的步驟可包括確定與該手形痕跡信息匹配的手形痕跡信息是否存儲到信息數(shù)據(jù)庫中；并且當(dāng)與手形痕跡信息匹配的手形痕跡信息存儲在信息數(shù)據(jù)庫中時識別該手形痕跡信息。
[0011]該方法可進一步包括在接收輸入之前確定是否存在手形痕跡識別功能使用請求，其中當(dāng)存在手形痕跡識別功能使用請求時執(zhí)行乘客圖像輸入的接收。
[0012]該方法可進一步包括:確定是否存在手形痕跡識別功能使用終止請求；并且當(dāng)存在手形痕跡識別功能使用終止請求時終止該手形痕跡識別功能的使用。
[0013]本發(fā)明的另一個實施例提供一種車輛內(nèi)使用手形痕跡識別的用戶界面操作系統(tǒng)，該用戶界面操作系統(tǒng)包括:圖像拍攝單元，捕捉乘客圖像；圖像存儲單元，存儲所捕捉的乘客圖像；信息數(shù)據(jù)庫，存儲可識別的手形痕跡信息；以及電子控制單元，根據(jù)來自圖像拍攝單元的輸入信號和存儲在圖像存儲單元中的累積圖像信息執(zhí)行車輛設(shè)備操作，其中電子控制單元執(zhí)行一系列的指令用于執(zhí)行用戶界面操作方法。
[0014]用戶界面操作系統(tǒng)可進一步包括:輸入單元，接收來自乘客的手形痕跡識別功能的使用的請求信號，將該請求信號傳輸?shù)诫娮涌刂茊卧灰约拜敵鰡卧?，顯示電子控制單元的車輛設(shè)備操作內(nèi)容。
[0015]在根據(jù)本發(fā)明的示范性實施例使用手形痕跡識別的操作用戶界面的方法中，通過圖像拍攝單元提取乘客的手形痕跡并且可以確定手形痕跡信息是否匹配存儲在信息數(shù)據(jù)庫中的手形痕跡，并且通過識別所匹配的手形痕跡信息選擇對應(yīng)車輛設(shè)備的操作。
[0016]因此，即便存在外部光照的影響，由于可以更精確地識別痕跡信息，當(dāng)乘客使用一只手操作方向盤并觀察前方時，另一只手的簡單動作可以控制車輛內(nèi)的各種電子設(shè)備，因此更加方便乘客并提高駕駛的安全性。
【專利附圖】

【附圖說明】
[0017]圖1是示出根據(jù)本發(fā)明的示范性實施例的車輛內(nèi)使用手形痕跡識別的用戶界面系統(tǒng)的不意圖；
[0018]圖2是根據(jù)本發(fā)明的示范性實施例的車輛內(nèi)使用手形痕跡識別操作用戶界面的方法的示范性流程圖；
[0019]圖3是示出根據(jù)本發(fā)明的示范性實施例的對應(yīng)于手形痕跡的操作的示意圖；以及
[0020]圖4是示出根據(jù)本發(fā)明的示范性實施例的手形痕跡生成的示意圖。
[0021]符號描述
[0022]100:輸入單元 110:圖像拍攝單元
[0023]120:信息數(shù)據(jù)庫 130:電子控制單元(ECU)
[0024]140:輸出單元 150:圖像存儲單元
[0025]160:定時器
【具體實施方式】
[0026]應(yīng)當(dāng)理解，術(shù)語“車輛”或“車輛的”或者其它類似術(shù)語包括通常的機動車輛，比如包括運動型多用途車(SUV)的客車，公共汽車，卡車，各種商用車輛，包括各種小舟和輪船的船只，飛機等，并且包括混合動力汽車，純電動汽車，插電式混合動力汽車，氫動力汽車、燃料電池汽車和其它替代燃料汽車(例如，從除石油以外的資源得到的燃料)。。
[0027]盡管示范性實施例被描述成利用多個單元進行示范性處理，不過，應(yīng)當(dāng)理解示范性處理顯然也可利用一個或多個模塊進行。另外，術(shù)語“控制器/控制單元”顯然指的是包括存儲器和處理器的硬件設(shè)備。存儲器被配置成保存所述模塊，處理器被特定地配置成執(zhí)行所述模塊，以進行下面進一步說明的一個或多個處理。
[0028]此外，本發(fā)明的控制邏輯可被體現(xiàn)成計算機可讀介質(zhì)上的非臨時性計算機可讀媒介，所述計算機可讀介質(zhì)包含由處理器、控制器/控制單元等執(zhí)行的可執(zhí)行程序指令。計算機可讀介質(zhì)的例子包括(但不限于)ROM、RAM、光盤(CD) -ROM、磁帶、軟盤、閃速驅(qū)動器、智能卡和光學(xué)數(shù)據(jù)存儲設(shè)備。計算機可讀記錄媒介也可分布在網(wǎng)絡(luò)耦接的計算機系統(tǒng)中，以致通過例如遠程信息處理服務(wù)器或控制器局域網(wǎng)絡(luò)(CAN)，分布地保存和執(zhí)行計算機可讀媒介。
[0029]這里使用的術(shù)語只是用于說明特定的實施例，并不意圖限制本發(fā)明。這里使用的單數(shù)形式，“一個”，“一”以及“該”意圖還包括復(fù)數(shù)形式，除非上下文明確地另有說明。另夕卜要明白當(dāng)用在本說明書中時，術(shù)語“包括”和/或“包含”指定陳述的特征、整數(shù)、步驟、操作、元件和/或組件的存在，不過并不排除一個或多個其它特征、整數(shù)、步驟、操作、元件、組件和/或它們的組合的存在或增加。這里使用的術(shù)語“和/或”包括相關(guān)的列舉項目中的一個或多個項目的隨便什么組合。
[0030]在下文中將參考附圖對本發(fā)明進行更全面地描述。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解所描述的示范性實施例可以做出多種方式的修改，且都不脫離本發(fā)明的精神和范圍。進一步地，在圖中，每個元件的尺寸和厚度被隨機表示以便更好地理解和便于描述，并且本發(fā)明不被限制于此。
[0031]圖1是示出根據(jù)本發(fā)明的示范性實施例的使用手形痕跡識別的用戶界面設(shè)備的示意圖。
[0032]參考圖1，使用手形痕跡的用戶界面(UI)設(shè)備可包括多個由電子控制單元(E⑶，控制器)130執(zhí)行的單元。該多個單元可包括輸入單元100，圖像存儲單元150，計時器160，圖像拍攝單元110 (例如，成像設(shè)備)，信息數(shù)據(jù)庫120，以及輸出單元140。
[0033]輸入單元100可包括按鈕和觸屏。具體地，通過按鈕或觸屏輸入可以產(chǎn)生輸入信號，而另一種輸入方法使用語音或手勢。圖像拍攝單元110可包括攝像機，光傳感器，超聲波傳感器，和圖像傳感器，并且為了精確的手形識別，圖像傳感器是最有利的。圖像拍攝單元Iio的位置可以在方向盤的下面或上面。另外，圖像存儲單元150可以被配置成累積并存儲由圖像拍攝單元110捕捉的圖像。計時器160可被配置成確定時間。
[0034]另外，信息數(shù)據(jù)庫120被配置成存儲預(yù)先定義的手形痕跡信息。所存儲的手形痕跡信息可以被預(yù)設(shè)為用于一般定義的痕跡。例如，預(yù)設(shè)手形痕跡信息可以是如圖3的形式并且可以具有其他各種手形痕跡。在圖3中，向右，向左，擺動，向下，向上，以及畫圓的手上動作被定義為音樂播放，音樂停止，音樂選擇，聲音加，聲音減和暫停，但是這種定義可以做出各種變化。
[0035]進一步地，信息數(shù)據(jù)庫120可以被配置成存儲由乘客記錄的手形痕跡信息。乘客可以選擇并存儲各種手形痕跡信息。換言之，為了能夠在最少的錯誤下識別每個乘客的不同手形痕跡信息，每個乘客可以直接輸入乘客的手形痕跡。
[0036]ECU130可以被配置成比較所捕捉的乘客手部圖像的當(dāng)前幀和存儲在圖像存儲單元150中的累積圖像幀并且可以被配置成獲得在預(yù)定時間形成的手形痕跡信息。預(yù)定時間可以是手形痕跡形成的時間段并且可以由計時器160設(shè)置。
[0037]必要時可以根據(jù)人體圖像執(zhí)行圖像處理。即可以從乘客的人體圖像移除人體周邊圖像，并且提取的圖像可以分類為頭部，中間部分，每個手臂，每只手，和每條腿，且可以在模型中形成。通過跟蹤模型化的手部圖像可以獲得手形痕跡信息。
[0038]進一步地，E⑶130可以被配置成確定與所獲得的手部圖像痕跡信息匹配的手部圖像痕跡信息是否存儲在信息數(shù)據(jù)庫120中。當(dāng)與所獲得的手部圖像痕跡信息匹配的手部圖像痕跡信息存儲在信息數(shù)據(jù)庫120中時，E⑶130可以被配置成識別存儲的手部圖像痕跡信息作為乘客的手部圖像痕跡。當(dāng)匹配所獲得的手部圖像痕跡信息的手圖像痕跡信息未存儲在信息數(shù)據(jù)庫120中時，乘客的手部圖像信息作為不能識別的信息而可能不被識別。
[0039]另外，E⑶130可以被配置成根據(jù)輸入單元100的輸入信號確定是否使用手形痕跡識別功能。換言之，當(dāng)E⑶接收指令使用或者終止手形痕跡識別功能的輸入信號時，E⑶130可以被配置成操作圖像拍攝單元110以啟動或者終止捕捉乘客圖像。具體地,E⑶130可以被配置成操作圖像拍攝單元110以捕捉用戶的手移動區(qū)域的圖像。
[0040]另外，E⑶130可以被配置成選擇對應(yīng)于所識別的手形痕跡的車輛設(shè)備操作。對應(yīng)的車輛設(shè)備操作列表可以在數(shù)據(jù)庫中形成并存儲。ECU130可以被配置成根據(jù)所選擇的的車輛設(shè)備操作生成控制信號并提供預(yù)期的操作。例如，可選擇的車輛設(shè)備操作可以是接收/關(guān)閉移動電話的呼入電話，音樂播放/停止/靜音，聲音加/減，以及遮陽板操作。
[0041]輸出單元140可包括作為車輛設(shè)備操作目標的觸屏，揚聲器，以及移動電話，音樂設(shè)備，空調(diào)，和遮陽板。進一步地，輸出單元140可被配置成在顯示器(例如，屏幕)上輸出車輛設(shè)備操作內(nèi)容。
[0042]圖2是示出根據(jù)本發(fā)明的示范性實施例的使用手形痕跡識別操作用戶界面的方法的示范性流程圖。
[0043]參考圖2，乘客可以通過輸入單元100請求手形痕跡識別功能(S100)。當(dāng)乘客請求使用手形痕跡識別功能時，E⑶130可經(jīng)配置捕捉乘客的手部圖像(S110)。具體地，圖像拍攝單元110 (例如，成像設(shè)備)可以由ECU操作拍攝乘客的整個身體。
[0044]然后，通過E⑶在圖像存儲單元150中存儲所捕捉的圖像。這種圖像可以累積并存儲預(yù)定的時間(S120)。E⑶130可經(jīng)配置比較乘客的手部圖像的當(dāng)前幀和存儲在圖像存儲單元150中的累積圖像幀，并且可以經(jīng)配置獲得在預(yù)定時間形成的手形痕跡信息(S130)。具體地，通過收集比較當(dāng)前圖像和以前圖像的處理可以生成手形痕跡信息。例如，這類似于當(dāng)用手擦干凈蒙霧的窗戶時痕跡的形狀的手的動作。
[0045]例如，如圖4所示，當(dāng)空間地結(jié)合通過比較當(dāng)前圖像和以前的圖像而改變的像素時，可以檢測到一個包絡(luò)線。通過重復(fù)這個過程可以獲得手形痕跡。
[0046]通過實際比較當(dāng)前圖像和以前的圖像，發(fā)生動作的屏幕的像素值可以顯示為I并且未發(fā)生動作的屏幕的像素值顯示為0，并且當(dāng)跟蹤發(fā)生動作的區(qū)域I的形狀變化時，可以獲得手形痕跡。用于獲得這種手形痕跡的圖像幀的數(shù)量可以是對應(yīng)預(yù)定時間的數(shù)量并且必要時可以預(yù)先確定。根據(jù)需要也可以通過另一種取代比較當(dāng)前幀和前一幀的方法獲得手形痕跡信息。預(yù)定時間可以是手形痕跡形成的時間段并且可以由定時器160設(shè)定。
[0047]必要時根據(jù)人體圖像可以執(zhí)行圖像處理。換言之，可以從乘客的人體圖像中移除人體周圍圖像，并且所提取的圖像可以分類為頭部，中間部分，每個手臂，每只手，和每條腿并且可以在模型中形成。通過跟蹤模塊化的手部圖像可以獲得手形痕跡信息。
[0048]然后，E⑶130可經(jīng)配置比較所獲得的手部圖像痕跡信息和存儲在信息數(shù)據(jù)庫120(S140)中的匹配的手部圖像痕跡信息。E⑶130可經(jīng)配置確定與所獲得的手部圖像痕跡信息匹配的手部圖像痕跡信息是否存儲在信息數(shù)據(jù)庫120 (S150)，并且當(dāng)與所獲得的手部圖像痕跡信息匹配的手部圖像痕跡信息存儲在信息數(shù)據(jù)庫120中時，E⑶130可經(jīng)配置識別所存儲的手部圖像痕跡信息作為乘客的手部圖像痕跡(S160)。當(dāng)與所獲得的手部圖像痕跡信息匹配的手部圖像痕跡信息未存儲在信息數(shù)據(jù)庫120中時，作為不可識別的信息，不能識別乘客的手部圖像痕跡信息。
[0049]接著，E⑶130可經(jīng)配置選擇對應(yīng)于所識別的手形痕跡信息的車輛設(shè)備操作。E⑶130可經(jīng)配置根據(jù)所選擇的車輛設(shè)備操作生成控制信號并提供所請求的操作(S170)。這種車輛設(shè)備操作可包括操作，例如，車輛內(nèi)的空調(diào)設(shè)備和音頻系統(tǒng)，并且可以應(yīng)用到信息(如內(nèi)容或媒體)的傳輸，復(fù)制，存儲，和校正。操作結(jié)果可以由ECU通過輸出單元140顯示。并且根據(jù)駕駛員的手形痕跡識別功能終止的請求可以終止使用手形痕跡識別的用戶界面(S180)。
[0050]在本發(fā)明的示范性實施例中，由于可以使用累積的痕跡，通過消除由外部環(huán)境因素導(dǎo)致的影響可以獲得手形痕跡。
[0051]盡管本發(fā)明已結(jié)合目前被認為是示范性實施例的實施例描述，仍應(yīng)理解本發(fā)明不限制于所公開的實施例。相反，本發(fā)明旨在涵蓋各種修改和等同設(shè)置，以上均在所屬權(quán)利要求的精神和范圍之內(nèi)。
【權(quán)利要求】
1.一種在車輛內(nèi)使用手形痕跡識別來操作用戶界面的方法，所述方法包括: 通過控制器接收乘客圖像的輸入； 通過所述控制器識別來自所述乘客圖像的手形痕跡信息；以及 通過所述控制器選擇對應(yīng)于所識別的手形痕跡信息的車輛設(shè)備操作。
2.根據(jù)權(quán)利要求1所述的方法，其中接收輸入的步驟包括: 通過所述控制器接收來自成像設(shè)備的乘客手部圖像的輸入以及累積并存儲所述乘客手部圖像；以及 通過所述控制器計算所述乘客手部圖像的當(dāng)前幀和前一幀之間的差異并獲得手形痕跡信息。
3.根據(jù)權(quán)利要求2所述的方法，其中識別手形痕跡信息的步驟包括: 通過所述控制器確定與所述手形痕跡信息匹配的手形痕跡信息是否存儲在信息數(shù)據(jù)庫中；以及 當(dāng)與所述手形痕跡信息匹配的手形痕跡信息存儲在所述信息數(shù)據(jù)庫中時，通過所述控制器識別所述手形痕跡信息。
4.根據(jù)權(quán)利要求1所述的方法，其進一步包括: 在所述接收輸入的步驟之前通過所述控制器確定是否存在手形痕跡識別功能使用請求，· 其中當(dāng)手形痕跡識別功能使用請求存在時，執(zhí)行所述接收乘客圖像的輸入的步驟。
5.根據(jù)權(quán)利要求4所述的方法，其進一步包括: 通過所述控制器確定手形痕跡識別功能使用終止請求是否存在；以及當(dāng)手形痕跡識別功能使用終止請求存在時，通過所述控制器終止所述手形痕跡識別功能使用。
6.一種在車輛內(nèi)使用手形痕跡識別的用戶界面操作系統(tǒng)，所述用戶界面操作系統(tǒng)包括: 成像設(shè)備，被配置成捕捉乘客圖像；以及 控制器，被配置成: 存儲所述乘客圖像； 將可識別的手形痕跡信息存儲在信息數(shù)據(jù)庫中；以及 接收捕捉的乘客圖像的輸入； 識別來自所捕捉的乘客圖像的手形痕跡信息；以及 選擇對應(yīng)于所識別的手形痕跡信息的車輛設(shè)備操作。
7.根據(jù)權(quán)利要求6所述的用戶界面操作系統(tǒng)，其中所述控制器被進一步配置成: 接收來自所述成像設(shè)備的乘客手部圖像的輸入以及累積并存儲所述乘客手部圖像；以及 計算所述乘客手部圖像的當(dāng)前幀和前一幀之間的差異并獲得手形痕跡信息。
8.根據(jù)權(quán)利要求7所述的用戶界面操作系統(tǒng)，其中所述控制器被進一步配置成: 確定與所述手形痕跡信息匹配的手形痕跡信息是否存儲在信息數(shù)據(jù)庫中；以及 當(dāng)與所述手形痕跡信息匹配的手形痕跡信息存儲在所述信息數(shù)據(jù)庫中時，識別所述手形痕跡信息。
9.根據(jù)權(quán)利要求6所述的用戶界面操作系統(tǒng)，其中所述控制器被進一步配置成: 在接收所述輸入之前確定手形痕跡識別功能使用請求是否存在， 當(dāng)手形痕跡識別功能使用請求存在時接收乘客圖像輸入。
10.根據(jù)權(quán)利要求9所述的用戶界面操作系統(tǒng)，其中所述控制器被進一步配置成: 確定手形痕跡識別功能使用終止請求是否存在；以及 當(dāng)手形痕跡識別功能使用終止請求存在時終止所述手形痕跡識別功能的使用。
11.一種包含由控制器執(zhí)行的程序指令的非臨時性計算機可讀介質(zhì)，所述計算機可讀介質(zhì)包括: 控制成像設(shè)備捕捉乘客圖像的程序指令； 存儲所述乘客圖像的程序指令； 在信息數(shù)據(jù)庫中存儲可識別手形痕跡信息的程序指令； 接收所捕捉的乘客圖像輸入的程序指令； 識別來自所捕捉的乘客圖像的手形痕跡信息的程序指令；以及 選擇對應(yīng)所述識別的手形痕跡信息的車輛設(shè)備操作的程序指令。
12.根據(jù)權(quán)利要求11所述的非臨時性計算機可讀介質(zhì)，其進一步包括: 接收來自所述成像設(shè)備的乘客手 部圖像輸入以及累積并存儲所述乘客手部圖像的程序指令；以及 計算所述乘客手部圖像的當(dāng)前幀和前一幀之間的差異并獲得手形痕跡信息的程序指令。
13.根據(jù)權(quán)利要求12所述的非臨時性計算機可讀介質(zhì)，其進一步包括: 確定與所述手形痕跡信息匹配的手形痕跡信息是否存儲在所述信息數(shù)據(jù)庫中的程序指令；以及 當(dāng)與所述手形痕跡信息匹配的手形痕跡信息存儲在所述信息數(shù)據(jù)庫中時識別所述手形痕跡信息的程序指令。
14.根據(jù)權(quán)利要求11所述的非臨時性計算機可讀介質(zhì)，其進一步包括: 在接收所述輸入之前確定手形痕跡識別功能使用請求是否存在的程序指令； 當(dāng)手形痕跡識別功能使用請求存在時接收乘客圖像輸入的程序指令。
15.根據(jù)權(quán)利要求14所述的非臨時性計算機可讀介質(zhì)，其進一步包括: 確定手形痕跡識別功能使用終止請求是否存在的程序指令；以及 當(dāng)手形痕跡識別功能使用終止請求存在時終止所述手形痕跡識別功能的使用的程序指令。
【文檔編號】G06F3/0487GK103853462SQ201310537990
【公開日】2014年6月11日 申請日期:2013年11月4日 優(yōu)先權(quán)日:2012年12月5日
【發(fā)明者】金圣云 申請人:現(xiàn)代自動車株式會社