使用頭戴式顯示器執(zhí)行頭部姿勢(shì)和動(dòng)作的估計(jì)的制作方法
【技術(shù)領(lǐng)域】
[0001]本公開的各方面總體上涉及使用車輛駕駛員穿戴的頭戴式顯示裝置來執(zhí)行頭部姿勢(shì)和動(dòng)作的估計(jì)。
【背景技術(shù)】
[0002]駕駛員可能需要將他或她的視線集中在道路上以及車輛的各種顯示器和控制器上。例如，諸如信息娛樂、電話集成、安全警報(bào)、導(dǎo)航顯示以及駕駛效率的內(nèi)容可被顯示在遍布于車廂的各種顯示屏幕中。在一些情況下，駕駛員可能會(huì)變得疲勞，并且可能不會(huì)看著道路或車輛的顯示器(所述顯示器提供對(duì)駕駛員可能有用的信息)。

【發(fā)明內(nèi)容】

[0003]在第一個(gè)示意性的實(shí)施例中，一種系統(tǒng)包括處理器，所述處理器被配置為:接收頭部姿勢(shì)指示，所述頭部姿勢(shì)指示根據(jù)運(yùn)動(dòng)數(shù)據(jù)被確定，所述運(yùn)動(dòng)數(shù)據(jù)來自車輛駕駛員穿戴的光學(xué)頭戴式顯示器的運(yùn)動(dòng)傳感器；根據(jù)頭部姿勢(shì)指示，確定駕駛員動(dòng)作特性，所述駕駛員動(dòng)作特性指示駕駛員頭部的運(yùn)動(dòng)的歷史；以及將駕駛員動(dòng)作特性發(fā)送至駕駛員可注意的車輛系統(tǒng)，所述駕駛員可注意的車輛系統(tǒng)被配置為基于駕駛員動(dòng)作特性調(diào)整駕駛員通知。
[0004]在第二個(gè)示意性的實(shí)施例中，一種系統(tǒng)包括處理器，所述處理器被配置為:從穿戴在車輛駕駛員頭部的光學(xué)頭戴式顯示器的運(yùn)動(dòng)傳感器接收原始運(yùn)動(dòng)數(shù)據(jù)；基于原始運(yùn)動(dòng)數(shù)據(jù)計(jì)算頭部速度數(shù)據(jù)；基于頭部速度數(shù)據(jù)計(jì)算頭部位移數(shù)據(jù)；以及當(dāng)確定頭部位移數(shù)據(jù)超過預(yù)定的閾值位移時(shí)，更新指示頭部位置的頭部姿勢(shì)指示。
[0005]所述處理器還被配置為:根據(jù)頭部姿勢(shì)指示確定駕駛員動(dòng)作特性，所述駕駛員動(dòng)作特性指示駕駛員頭部運(yùn)動(dòng)的歷史。所述處理器還被配置為:在計(jì)算頭部速度數(shù)據(jù)之前，對(duì)原始運(yùn)動(dòng)數(shù)據(jù)執(zhí)行高通濾波，以調(diào)整數(shù)據(jù)偏差。所述處理器還被配置為:在更新頭部姿勢(shì)指示之前，對(duì)頭部位移數(shù)據(jù)執(zhí)行高通濾波，以調(diào)整數(shù)據(jù)偏差。所述原始數(shù)據(jù)包括頭部位置的指示，并且頭部位移數(shù)據(jù)包括沿著頭部的X軸、頭部的1軸以及頭部的z軸的頭部位移的指示。所述預(yù)定的閾值位移包括沿著頭部的X軸的閾值位移、沿著頭部的1軸的閾值位移、以及沿著頭部的z軸的閾值位移中的至少一個(gè)。
[0006]在第三個(gè)示意性的實(shí)施例中，一種系統(tǒng)包括處理器，所述處理器被配置為:從穿戴在車輛駕駛員頭部的光學(xué)頭戴式顯示器的運(yùn)動(dòng)傳感器接收運(yùn)動(dòng)數(shù)據(jù)；根據(jù)運(yùn)動(dòng)數(shù)據(jù)確定頭部姿勢(shì)指示；根據(jù)頭部姿勢(shì)指示確定駕駛員動(dòng)作特性，所述駕駛員動(dòng)作特性指示頭部運(yùn)動(dòng)的歷史；以及根據(jù)駕駛員動(dòng)作特性調(diào)整在光學(xué)頭戴式顯示器中提供的內(nèi)容的顯示。所述處理器被配置為:從穿戴在車輛駕駛員頭部的光學(xué)頭戴式顯示器的運(yùn)動(dòng)傳感器接收運(yùn)動(dòng)數(shù)據(jù)；根據(jù)運(yùn)動(dòng)數(shù)據(jù)確定頭部姿勢(shì)指示；基于頭部姿勢(shì)指示的觀測(cè)歷史確定可能的駕駛員動(dòng)作特性；根據(jù)駕駛員動(dòng)作特性調(diào)整在光學(xué)頭戴式顯示器中提供的內(nèi)容的顯示。
[0007]所述駕駛員動(dòng)作特性指示駕駛員頭部的運(yùn)動(dòng)頻率和駕駛員頭部的運(yùn)動(dòng)幅度中的至少一個(gè)。所述頭部姿勢(shì)指示還根據(jù)從監(jiān)測(cè)駕駛員頭部的車內(nèi)攝像機(jī)接收的信息被確定。所述運(yùn)動(dòng)數(shù)據(jù)包括頭部位置的指示，并且頭部姿勢(shì)指示包括沿著頭部的X軸、頭部的1軸以及頭部的Z軸的頭部位置的指示。所述運(yùn)動(dòng)傳感器包括加速度傳感器和回轉(zhuǎn)傳感器中的至少一種。所述處理器被配置為:通過光學(xué)頭戴式顯示器和處理器之間的無線連接，從光學(xué)頭戴式顯示器的運(yùn)動(dòng)傳感器接收運(yùn)動(dòng)數(shù)據(jù)。
【附圖說明】
[0008]圖1示出了基于車輛的車輛計(jì)算系統(tǒng)的示例性的方框拓?fù)鋱D；
[0009]圖2示出了用于頭部姿勢(shì)估計(jì)和動(dòng)作跟蹤的系統(tǒng)的示例性框圖；
[0010]圖3示出了可被光學(xué)頭戴式顯示器的運(yùn)動(dòng)傳感器使用的坐標(biāo)系和示例性的頭部姿勢(shì)；
[0011]圖4示出了用于光學(xué)頭戴式顯示器的運(yùn)動(dòng)傳感器的三軸加速度計(jì)原始運(yùn)動(dòng)數(shù)據(jù)的示例；
[0012]圖5示出了用于穿戴光學(xué)頭戴式顯示器的駕駛員的頭部姿勢(shì)估計(jì)的示例性處理；
[0013]圖6示出了示例性的X軸上的頭部姿勢(shì)估計(jì)；
[0014]圖7示出了示例性的y軸上的頭部姿勢(shì)估計(jì)；
[0015]圖8示出了示例性的z軸上的頭部姿勢(shì)估計(jì)；
[0016]圖9示出了使用頭部姿勢(shì)估計(jì)將駕駛員的狀態(tài)通知給車輛的系統(tǒng)的示例性程序，頭部姿勢(shì)估計(jì)根據(jù)光學(xué)頭戴式顯示器的運(yùn)動(dòng)傳感器被確定。
【具體實(shí)施方式】
[0017]根據(jù)需要，在此公開本發(fā)明的實(shí)施例。然而，應(yīng)理解的是，所公開的實(shí)施例僅為本發(fā)明的示例，并且可被體現(xiàn)為各種可替代形式。附圖不必按比例繪制；可夸大或最小化一些特征以示出特定部件的細(xì)節(jié)。因此，在此公開的具體結(jié)構(gòu)和功能細(xì)節(jié)不應(yīng)被解釋為限制，而僅為用于教導(dǎo)本領(lǐng)域技術(shù)人員以多種形式采用實(shí)施例的代表性基礎(chǔ)。
[0018]由于駕駛員的頭部姿勢(shì)可被用于推斷駕駛員的目光方向，因此駕駛員的頭部位置可能是車輛駕駛員的視線和狀態(tài)的有用的線索。因此，車輛系統(tǒng)可利用駕駛員的頭部姿勢(shì)作為駕駛員的注意力估計(jì)的測(cè)量。
[0019]車輛系統(tǒng)可被配置為以非侵?jǐn)_方式或侵?jǐn)_方式測(cè)量駕駛員頭部姿勢(shì)。非侵?jǐn)_測(cè)量技術(shù)可包括例如內(nèi)部攝像機(jī)以及基于捕獲的駕駛員頭部的圖像執(zhí)行的圖像處理。侵?jǐn)_方式可包括例如被配置為更直接地測(cè)量駕駛員的頭部的方向或位置的頭戴式裝置。測(cè)量駕駛員的視線的侵?jǐn)_方式通?？杀徽J(rèn)為是駕駛員不期望的。然而，對(duì)于利用引入的光學(xué)頭戴式顯示器(0HMD)的駕駛員，例如谷歌眼鏡裝置已經(jīng)被駕駛員穿戴，車輛系統(tǒng)可利用0HMD以進(jìn)行與車輛任務(wù)相關(guān)的頭部姿勢(shì)估計(jì)。
[0020]駕駛員頭部執(zhí)行的動(dòng)作(例如點(diǎn)頭、頻繁地看肩膀等)可被測(cè)量，并被車輛利用作為諸如駕駛員狀態(tài)和工作負(fù)荷估計(jì)系統(tǒng)的處理的輸入。這些動(dòng)作可被用于確定駕駛員的身體狀態(tài)(例如困倦水平)或駕駛員的工作負(fù)荷和意圖(例如變換車道)。作為另一示例，如在第14/263，197號(hào)美國專利申請(qǐng)(通過引用而將其全部?jī)?nèi)容并入于此)中所描述的，駕駛員頭部執(zhí)行的動(dòng)作可被利用，以將向車輛通知何種內(nèi)容提供給車輛顯示。
[0021 ] 0HMD可包括運(yùn)動(dòng)傳感器(例如加速度計(jì)、陀螺儀)，車輛系統(tǒng)可利用運(yùn)動(dòng)傳感器來提供信息，以用于估計(jì)頭部姿勢(shì)和駕駛員動(dòng)作。在一個(gè)示例中，車輛系統(tǒng)可利用OHMD的三軸加速度計(jì)來監(jiān)測(cè)安裝在駕駛員頭部上的OHMD的運(yùn)動(dòng)(例如，在谷歌眼鏡的情況下，運(yùn)動(dòng)傳感器位于裝置的右側(cè)拐角)。然后，測(cè)量的加速度可被轉(zhuǎn)換為旋轉(zhuǎn)運(yùn)動(dòng)并被用于估計(jì)駕駛員的頭部姿勢(shì)。在另一個(gè)例子中，車輛系統(tǒng)可利用OHMD的陀螺儀來更直接測(cè)量駕駛員頭部的旋轉(zhuǎn)運(yùn)動(dòng)。進(jìn)一步的，駕駛員的頭部姿勢(shì)和方向估計(jì)可通過利用來自加速度計(jì)和回轉(zhuǎn)傳感器的軟件傳感器被確定。
[0022]車輛系統(tǒng)可被配置為通過與引入的駕駛員的0HMD進(jìn)行交互來估計(jì)駕駛員的頭部姿勢(shì)和動(dòng)作。因此，這將允許車輛系統(tǒng)在不要求車輛包括非侵?jǐn)_的測(cè)量裝置的情況下執(zhí)行駕駛員估計(jì)，或允許車輛系統(tǒng)與其他非侵?jǐn)_的測(cè)量裝置組合作為補(bǔ)充的測(cè)量來執(zhí)行駕駛員估計(jì)。
[0023]圖1示出用于車輛31的基于車輛的計(jì)算系統(tǒng)(VCS) 1的示例框式拓?fù)鋱D。這種基于車輛的計(jì)算系統(tǒng)1的示例為由福特汽車公司制造的SYNC系統(tǒng)。設(shè)置有基于車輛的計(jì)算系統(tǒng)的車輛可包含位于車輛中的可視前端界面4。如果所述界面設(shè)置有例如觸摸敏感屏幕，則用戶可還能夠與所述界面進(jìn)行交互。在另一示意性實(shí)施例中，通過按鈕按壓、具有自動(dòng)語音識(shí)別和語音合成的口語對(duì)話系統(tǒng)來進(jìn)行交互。
[0024]在圖1所示的示意性實(shí)施例1中，處理器3控制基于車輛的計(jì)算系統(tǒng)的至少一部分操作。設(shè)置在車輛內(nèi)的處理器允許對(duì)命令和程序進(jìn)行車載處理。另外，處理器連接到非持久性存儲(chǔ)器5和持久性存儲(chǔ)器7兩者。在此示意性實(shí)施例中，非持久性存儲(chǔ)器是隨機(jī)存取存儲(chǔ)器(RAM)，持久性存儲(chǔ)器是硬盤驅(qū)動(dòng)器(HDD)或閃存。一般說來，持久性(非暫時(shí)性)存儲(chǔ)器可包括當(dāng)計(jì)算機(jī)或其他裝置掉電時(shí)保持?jǐn)?shù)據(jù)的所有形式的存儲(chǔ)器。這些存儲(chǔ)器包括但不限于:HDD、⑶、DVD、磁帶、固態(tài)驅(qū)動(dòng)器、便攜式USB驅(qū)動(dòng)器和任何其他適當(dāng)形式的持久性存儲(chǔ)器。