專利名稱:將注視位置映射到車輛中的信息顯示器的方法
技術(shù)領(lǐng)域:
本發(fā)明涉及用于使用駕駛員注視來控制車輛系統(tǒng)的方法、系統(tǒng)和計算機程序產(chǎn)品O
背景技術(shù):
用于車輛娛樂系統(tǒng)的主要控制器通常位于車輛儀表板的中心。為了操縱娛樂系統(tǒng)以執(zhí)行某一功能,駕駛員暫時地將他們的注意焦點從道路改變到娛樂系統(tǒng)。因此,期望的是提供用于在不改變駕駛員的焦點的情況下操縱車輛功能的系統(tǒng)和方法
發(fā)明內(nèi)容
在一個示例性實施例中,提供了一種控制車輛的車輛系統(tǒng)的方法。所述方法包括接收從所述車輛的乘員捕獲的圖像數(shù)據(jù);基于所述圖像數(shù)據(jù)確定所述車輛的所述乘員的焦點;以及基于所述乘員的所述焦點生成用戶指令,以控制所述車輛系統(tǒng)。在另一示例性實施例中,提供了一種用于車輛的控制系統(tǒng)。所述控制系統(tǒng)包括第一模塊,所述第一模塊基于圖像數(shù)據(jù)確定所述車輛的乘員的焦點,其中,使用圖像處理器從所述乘員捕獲所述圖像數(shù)據(jù)。第二模塊基于所述乘員的所述焦點生成用戶指令,以控制車輛系統(tǒng)。在又一示例性實施例中,提供了一種車輛。所述車輛包括捕獲所述車輛的乘員的圖像數(shù)據(jù)的圖像處理器。人機界面模塊處理所述圖像數(shù)據(jù),并基于所述圖像數(shù)據(jù)生成用戶指令。車輛系統(tǒng)接收所述用戶指令并基于所述用戶指令控制所述車輛系統(tǒng)的功能。本發(fā)明還提供如下方案
I、一種控制車輛的車輛系統(tǒng)的方法,其包括
接收從所述車輛的乘員捕獲的圖像數(shù)據(jù);
基于所述圖像數(shù)據(jù)確定所述車輛的所述乘員的焦點;以及 基于所述乘員的所述焦點生成用戶指令,以控制所述車輛系統(tǒng)。2、根據(jù)方案I所述的方法,其還包括分析所述圖像數(shù)據(jù),以從所述圖像數(shù)據(jù)確定眼睛數(shù)據(jù)和面部數(shù)據(jù)中的至少一個。3、根據(jù)方案2所述的方法,其中,確定所述乘員的所述焦點是基于眼睛數(shù)據(jù)和面部數(shù)據(jù)中的所述至少一個。4、根據(jù)方案I所述的方法,其還包括生成用于顯示與所述車輛系統(tǒng)相關(guān)聯(lián)的用戶界面的顯示數(shù)據(jù)。5、根據(jù)方案4所述的方法,其還包括基于相對于所述用戶界面的焦點確定所述乘員的選擇,其中,所述生成所述用戶指令基于所述選擇。6、根據(jù)方案5所述的方法,其還包括基于所述選擇修改所述顯示數(shù)據(jù)。7、根據(jù)方案I所述的方法,其還包括捕獲所述乘員的所述圖像數(shù)據(jù)。
8、一種用于車輛的控制系統(tǒng),其包括
第一模塊,所述第一模塊基于圖像數(shù)據(jù)確定所述車輛的乘員的焦點,其中,使用圖像處理器從所述乘員捕獲所述圖像數(shù)據(jù);以及
第二模塊,所述第二模塊基于所述乘員的所述焦點生成用戶指令,以控制車輛系統(tǒng)。9、根據(jù)方案8所述的系統(tǒng),其還包括第三模塊,所述第三模塊分析所述圖像數(shù)據(jù),以從所述圖像數(shù)據(jù)確定眼睛數(shù)據(jù)和面部數(shù)據(jù)中的至少一個。10、根據(jù)方案9所述的系統(tǒng),其中,所述第一模塊基于眼睛數(shù)據(jù)和面部數(shù)據(jù)中的所述至少一個來確定所述乘員的所述焦點。11、根據(jù)方案8所述的系統(tǒng),其還包括第四模塊,所述第四模塊生成用于顯示與所述車輛系統(tǒng)相關(guān)聯(lián)的用戶界面的顯示數(shù)據(jù)。
12、根據(jù)方案11所述的系統(tǒng),其中,所述第二模塊基于相對于所述用戶界面的所述焦點確定所述乘員的選擇,其中,所述第二模塊基于所述選擇生成所述用戶指令。13、根據(jù)方案12所述的系統(tǒng),其中,所述第四模塊基于所述選擇修改所述顯示數(shù)據(jù)。14、根據(jù)方案8所述的系統(tǒng),其還包括所述圖像處理器,所述圖像處理器捕獲所述乘員的所述圖像數(shù)據(jù)。15、一種車輛,所述車輛包括
圖像處理器,所述圖像處理器捕獲所述車輛的乘員的圖像數(shù)據(jù);
人機界面模塊,所述人機界面模塊處理所述圖像數(shù)據(jù)并基于所述圖像數(shù)據(jù)生成用戶指令;以及
車輛系統(tǒng),所述車輛系統(tǒng)接收所述用戶指令并基于所述用戶指令控制所述車輛系統(tǒng)的功能。16、根據(jù)方案15所述的車輛,其還包括顯示系統(tǒng),所述顯示系統(tǒng)在所述乘員的視線內(nèi)顯示用戶界面。17、根據(jù)方案16所述的車輛,其中,所述人機界面模塊相對于所述用戶界面處理所述圖像數(shù)據(jù)。18、根據(jù)方案16所述的車輛,其中,所述人機界面模塊基于所述用戶指令將界面數(shù)據(jù)傳輸?shù)剿鲲@示系統(tǒng)。19、根據(jù)方案15所述的車輛,其中,所述人機界面模塊基于所述確定所述圖像數(shù)據(jù)的所述車輛的焦點;并基于所述乘員的所述焦點生成所述用戶指令。根據(jù)結(jié)合附圖進行的本發(fā)明的以下詳細(xì)描述,本發(fā)明的以上特征和優(yōu)點以及其它特征和優(yōu)點將更加明顯。
其它特征、優(yōu)點和細(xì)節(jié)在實施例的以下詳細(xì)描述中僅通過舉例方法呈現(xiàn),參照附圖進行了詳細(xì)描述,附圖中
圖I是示出根據(jù)示例性實施例的包括駕駛員注視控制系統(tǒng)的車輛的功能框 圖2是示出根據(jù)示例性實施例的駕駛員注視控制模塊的數(shù)據(jù)流圖示;以及 圖3是示出根據(jù)示例性實施例的駕駛員注視控制方法的流程圖。
具體實施例方式下面的描述本質(zhì)上僅是示例性的并且決不是要限制本發(fā)明、其應(yīng)用或用途。應(yīng)當(dāng)理解的是,在整個附圖中,相應(yīng)的附圖標(biāo)記指示相同的或相應(yīng)的部件和特征。如這里所使用的,術(shù)語模塊是指專用集成電路(ASIC)、電子電路、執(zhí)行一個或多個軟件程序或固件程序的處理器(共用的、專用的、或成組的)和存儲器、組合邏輯電路、和/或提供所描述功能的其它適合組件。根據(jù)示例性實施例,總體上用10示出的基于注視的控制系統(tǒng)被示為包括在車輛12內(nèi)?;谧⒁暤目刂葡到y(tǒng)10處理車輛12的駕駛員13或其他乘員的視網(wǎng)膜信息,并基于此生成用于控制車輛系統(tǒng)16a-16n的功能的控制信號。例如,這些車輛系統(tǒng)16a_16n可以包括、但不限于娛樂系統(tǒng)、導(dǎo)航系統(tǒng)、遠(yuǎn)程信息處理系統(tǒng)和/或車輛內(nèi)的任何其它系統(tǒng)??梢哉J(rèn)識到,控制信號可以通過車輛網(wǎng)絡(luò)20(如總體上用22示出的)傳輸?shù)脚c車輛系統(tǒng)16a-16n
相關(guān)聯(lián)的控制模塊18a-18n,和/或可以直接傳輸?shù)杰囕v系統(tǒng)16η’ (如總體上用24示出的)。在各個實施例中,基于注視的控制系統(tǒng)10包括捕獲駕駛員13的圖像數(shù)據(jù)的圖像處理器26和處理捕獲的圖像數(shù)據(jù)的人機界面(HMI)模塊28。基于處理的圖像數(shù)據(jù),HMI模塊28生成控制信號以控制車輛系統(tǒng)16a-16n中的一個或多個。在各個實施例中,HMI模塊與顯示系統(tǒng)30通信。顯示系統(tǒng)30顯示與將被控制的車輛系統(tǒng)16a-16n對應(yīng)的用戶界面。在各個實施例中,在駕駛員13的視線內(nèi)或附近顯示用戶界面。例如,用戶界面可以通過平視顯示器(HUD)系統(tǒng)顯示在車輛12的擋風(fēng)玻璃(未示出)上。HMI模塊28處理與顯示的用戶界面有關(guān)的圖像數(shù)據(jù)?,F(xiàn)在參照圖2,數(shù)據(jù)流圖示出了根據(jù)各個實施例的HMI模塊28。可以認(rèn)識到,根據(jù)本發(fā)明,HMI模塊28的各個實施例可以包括任何數(shù)量的子模塊。在圖2中示出的子模塊可以組合和/或進一步劃分,從而類似地識別用戶的注視,并基于此來控制一個或多個車輛系統(tǒng)16a-16n’(圖I)的功能。對HMI模塊28的輸入可以從車輛12 (圖I)的一個或多個感測輸入來接收,從車輛12 (圖I)內(nèi)的其它模塊(未示出)來接收,由HMI模塊28內(nèi)的其它模塊(未示出)來確定/建模,和/或通過網(wǎng)絡(luò)(例如,因特網(wǎng))從外部源接收。在圖2的示例中,HMI模塊28包括圖像處理模塊32、注視分析模塊34、顯示模塊36和指令模塊38。圖像處理模塊32接收作為輸入的圖像數(shù)據(jù)40。圖像處理模塊32處理圖像數(shù)據(jù)40,以區(qū)分駕駛員13(圖I)的面部和眼睛,并基于此生成眼睛數(shù)據(jù)42和面部數(shù)據(jù)44。可以認(rèn)識到,圖像處理模塊32可以執(zhí)行各種分析方法,以從圖像數(shù)據(jù)40區(qū)分眼睛和面部。這樣的分析方法可以包括、但不限于對眼睛使用紅外線照明,以生成在瞳孔和面部的其它部分之間產(chǎn)生高對比度的亮瞳效應(yīng),從而提供眼睛跟蹤穩(wěn)健性和精確性。使用Viola-Jones目標(biāo)檢測框架來執(zhí)行面部檢測。注視分析模塊34接收作為輸入的眼睛數(shù)據(jù)42和面部數(shù)據(jù)44。注視分析模塊34基于眼睛數(shù)據(jù)42和/或面部數(shù)據(jù)44確定駕駛員13 (圖I)的焦點,并基于此生成焦點數(shù)據(jù)46。可以認(rèn)識到,注視分析模塊34可以執(zhí)行各種分析方法,以確定駕駛員13 (圖I)的焦點。這樣的分析方法可以包括、但不限于使用來自注視分析模塊的駕駛員的自對準(zhǔn)靜息狀態(tài)數(shù)據(jù)(self calibrated resting stated data)并確定相對的眼睛(瞳孔)和面部位置,駕駛員聚焦算法能夠確定駕駛員的焦點。
在各個實施例中,注視分析模塊34可以使用分析方法分析面部數(shù)據(jù)44,以確定面部的位置。然后,注視分析模塊34可以使用分析方法并基于面部位置分析眼睛數(shù)據(jù)42,以確定眼睛的焦點。在各個實施例中,眼睛的焦點可以由例如一般位置或二維平面內(nèi)的X、y坐標(biāo)表示。顯示模塊36接收作為輸入的系統(tǒng)數(shù)據(jù)48。系統(tǒng)數(shù)據(jù)48可以由將被控制的車輛系統(tǒng)16a-16n (圖I)生成,并可以指示車輛系統(tǒng)16a_16n (圖I)的當(dāng)前狀態(tài)?;谙到y(tǒng)數(shù)據(jù)48,顯示模塊36管理將經(jīng)由顯示數(shù)據(jù)50顯示的用戶界面。例如,顯示模塊36可以生成可由顯示系統(tǒng)30使用的顯示數(shù)據(jù)50,以顯示與將被控制的車輛系統(tǒng)16a-16n (圖I)相關(guān)聯(lián)的用戶界面的特定屏幕或通知。然后,顯示模塊36使得顯示數(shù)據(jù)或其它顯示/功能數(shù)據(jù)52對于指令模塊38可用。顯示/功能數(shù)據(jù)52指示與正被顯示的特定屏幕或通知相關(guān)聯(lián)的任何功能和功能到顯示有用戶界面的二維平面的映射。例如,功能X、y和z由正被顯示的屏幕提供。功能X被映射到用戶界面的坐標(biāo)((a,b)、(c,d)、(e, f )等);功能Y被映射到用戶界面的坐標(biāo)((g,h)、(i, j)、(k, I)等);功能z被映射到用戶界面的坐標(biāo)((m, n)、(o,p)、(q, r)等)。在各個實施例中,顯示模塊36還接收作為輸入的選擇54。如將關(guān)于指令模塊38更詳細(xì)地討論的,當(dāng)選擇的功能與用戶界面的新的屏幕或通知相關(guān)聯(lián)時,可以生成選擇54。基于選擇54,顯示模塊36可以修改顯示數(shù)據(jù)50 (例如,以顯示新的屏幕或通知)和顯示/功能數(shù)據(jù)52。指令模塊38接收作為輸入的顯示/功能數(shù)據(jù)52和焦點數(shù)據(jù)46?;谳斎?6、52,指令模塊38確定駕駛員的選擇54,并在一些情況下基于此生成用戶指令56。例如,指令模塊38將焦點數(shù)據(jù)46的坐標(biāo)映射到顯示/功能數(shù)據(jù)52的坐標(biāo),并確定與坐標(biāo)相關(guān)聯(lián)的功能。然后,指令模塊38確定用于該功能的適當(dāng)指令,并基于此生成用戶指令56。用戶指令56可以由車輛系統(tǒng)16a_16n’接收,以控制系統(tǒng)特征。用戶指令可以返回提供給顯示模塊,以引發(fā)用戶界面的改變?,F(xiàn)在參照圖3,并繼續(xù)參照圖2,流程圖示出了根據(jù)本發(fā)明的可以由基于注視的控制系統(tǒng)執(zhí)行的基于注視的控制方法。根據(jù)本發(fā)明可以認(rèn)識到,方法內(nèi)的操作的順序不限于如在圖3中示出的順序執(zhí)行,而是如果適用且根據(jù)本發(fā)明可以一種或多種不同的次序執(zhí)行。可以進一步認(rèn)識到,在不改變方法的精神的情況下,可以添加或去除一個或多個步驟。在各個實施例中,方法可以被調(diào)度以基于預(yù)定的事件運行,和/或可以在車輛12(圖I)的操作期間連續(xù)地運行(如所示)。在一個示例中,方法可以在100開始。在110確定基于注視的控制是否是活躍的(例如,由駕駛員選擇開關(guān),以激活基于注視的控制系統(tǒng))。如果在110,基于注視的控制是活躍的,則在130基于控制系統(tǒng)數(shù)據(jù)和任何選擇確定用戶界面。在140,基于系統(tǒng)數(shù)據(jù)和任何指令數(shù)據(jù)生成顯示數(shù)據(jù),以例如通過HUD顯示用戶界面。在150分析來自圖像處理器的圖像數(shù)據(jù),以確定眼睛數(shù)據(jù)和/或面部數(shù)據(jù)。在160分析眼睛數(shù)據(jù)和/或面部數(shù)據(jù),以確定焦點。在170,基于焦點和與正在顯示的當(dāng)前用戶界面(如由顯示/功能數(shù)據(jù)指示的)相關(guān)聯(lián)的功能來確定選擇。可選地,在180,可以通過來自用戶界面的提示來確認(rèn)選擇。如果在180確認(rèn)選擇,則在190基于選擇和與選擇相關(guān)聯(lián)的功能生成用戶指令。然后,該方法在110繼續(xù)監(jiān)測基于注視的控制系統(tǒng)是否是活躍的。然而,如果基于注視的控制系統(tǒng)不是活躍的,或者基于注視的控制系統(tǒng)變成了非活躍(例如,隨后被切斷),則該方法可以在120結(jié)束。盡管已經(jīng)參照示例性實施例描述了本發(fā)明,但是本領(lǐng)域技術(shù)人員將理解,在不脫離本發(fā)明的范圍的情況下,可以做出各種改變,并且等價物可以代替其元件。另外,在不脫 離本發(fā)明的實質(zhì)范圍的情況下,可以進行許多修改,以使具體的情形或材料適應(yīng)本發(fā)明的教導(dǎo)。因此,本發(fā)明并不意圖局限于所公開的具體實施例,而是本發(fā)明將包括落在當(dāng)前應(yīng)用的范圍內(nèi)的所有實施例。
權(quán)利要求
1.一種控制車輛的車輛系統(tǒng)的方法,其包括 接收從所述車輛的乘員捕獲的圖像數(shù)據(jù); 基于所述圖像數(shù)據(jù)確定所述車輛的所述乘員的焦點;以及 基于所述乘員的所述焦點生成用戶指令,以控制所述車輛系統(tǒng)。
2.根據(jù)權(quán)利要求I所述的方法,其還包括分析所述圖像數(shù)據(jù),以從所述圖像數(shù)據(jù)確定眼睛數(shù)據(jù)和面部數(shù)據(jù)中的至少一個。
3.根據(jù)權(quán)利要求2所述的方法,其中,確定所述乘員的所述焦點是基于眼睛數(shù)據(jù)和面部數(shù)據(jù)中的所述至少一個。
4.根據(jù)權(quán)利要求I所述的方法,其還包括生成用于顯示與所述車輛系統(tǒng)相關(guān)聯(lián)的用戶界面的顯示數(shù)據(jù)。
5.根據(jù)權(quán)利要求4所述的方法,其還包括基于相對于所述用戶界面的焦點確定所述乘員的選擇,其中,所述生成所述用戶指令基于所述選擇。
6.根據(jù)權(quán)利要求5所述的方法,其還包括基于所述選擇修改所述顯示數(shù)據(jù)。
7.根據(jù)權(quán)利要求I所述的方法,其還包括捕獲所述乘員的所述圖像數(shù)據(jù)。
8.一種用于車輛的控制系統(tǒng),其包括 第一模塊,所述第一模塊基于圖像數(shù)據(jù)確定所述車輛的乘員的焦點,其中,使用圖像處理器從所述乘員捕獲所述圖像數(shù)據(jù);以及 第二模塊,所述第二模塊基于所述乘員的所述焦點生成用戶指令,以控制車輛系統(tǒng)。
9.根據(jù)權(quán)利要求8所述的系統(tǒng),其還包括第三模塊,所述第三模塊分析所述圖像數(shù)據(jù),以從所述圖像數(shù)據(jù)確定眼睛數(shù)據(jù)和面部數(shù)據(jù)中的至少一個。
10.一種車輛,所述車輛包括 圖像處理器,所述圖像處理器捕獲所述車輛的乘員的圖像數(shù)據(jù); 人機界面模塊,所述人機界面模塊處理所述圖像數(shù)據(jù)并基于所述圖像數(shù)據(jù)生成用戶指令;以及 車輛系統(tǒng),所述車輛系統(tǒng)接收所述用戶指令并基于所述用戶指令控制所述車輛系統(tǒng)的功能。
全文摘要
本發(fā)明涉及將注視位置映射到車輛中的信息顯示器的方法,具體地提供了一種控制車輛的車輛系統(tǒng)的方法。所述方法包括接收從所述車輛的乘員捕獲的圖像數(shù)據(jù);基于所述圖像數(shù)據(jù)確定所述車輛的所述乘員的焦點;以及基于所述乘員的所述焦點生成用戶指令,以控制所述車輛系統(tǒng)。
文檔編號B60R16/02GK102887121SQ201210250329
公開日2013年1月23日 申請日期2012年7月19日 優(yōu)先權(quán)日2011年7月19日
發(fā)明者A.J.卡爾霍斯, F.阿爾-阿明, J.曹, N.J.維格特 申請人:通用汽車環(huán)球科技運作有限責(zé)任公司