車載人機交互系統(tǒng)及方法
【專利摘要】本發(fā)明提供一種車載人機交互系統(tǒng)，包括：前視雙目攝像頭與激光雷達，對車外信息進行采集；下視雙目攝像頭，對車主的手勢進行采集；存儲器，存儲車主的指定手勢或手勢運動軌跡及對應的操作；處理器，對所述前視雙目攝像頭與激光雷達所采集的車外信息進行處理，計算出車外的環(huán)境信息，并給予安全提醒，還根據(jù)所述存儲器對下視雙目攝像頭所采集的手勢進行識別，并當識別到指定手勢或手勢運動軌跡后通知執(zhí)行模塊執(zhí)行所對應的操作；執(zhí)行模塊，以聲光電之一者或結合給出提醒信息、以及執(zhí)行手勢對應操作。還提供了一種車載系統(tǒng)的人機交互方法。通過本系統(tǒng)及方法，對車外狀況進行安全提示，還可以接受車內(nèi)駕駛人的手勢控制，提供更加人性化服務。
【專利說明】車載人機交互系統(tǒng)及方法
【技術領域】
[0001]本發(fā)明涉及一種車載系統(tǒng)，尤其涉及一種車載人機交互系統(tǒng)及方法。
【背景技術】
[0002]由于車輛越來越多，且交通規(guī)則越來越嚴苛，而忙碌的工作和生活導致車主在駕駛時由于疲勞或視覺死角等問題，導致違章，甚至交通慘劇的發(fā)生。因此，就需要車載系統(tǒng)能為車主提供更多的人性化設計。

【發(fā)明內(nèi)容】

[0003]本發(fā)明針對此問題，提供了一種車載人機交互系統(tǒng)及方法，可以對車外狀況進行安全提示，還可以接受車內(nèi)駕駛人的手勢控制，提供更加人性化服務。
[0004]本發(fā)明的車載人機交互系統(tǒng)，包括:前視雙目攝像頭，用于對車外信息進行采集；激光雷達，安裝于車前用于配合所述前視雙目攝像頭對車外信息進行采集；下視雙目攝像頭，用于對車主的手勢進行采集；存儲器，用于存儲車主的指定手勢或手勢運動軌跡及對應的操作；處理器，用于對所述前視雙目攝像頭與所述激光雷達所采集的車外信息進行處理，計算出車外的環(huán)境信息，并給予安全提醒，還用于結合對車主手勢的采集通過三維重建確定手指位置，并根據(jù)指定手勢或手勢運動軌跡通知執(zhí)行模塊執(zhí)行所對應的操作；執(zhí)行模塊，用于以聲光電之一者或結合給出提醒信息、以及執(zhí)行所述手勢對應的操作。
[0005]優(yōu)選地，系統(tǒng)的一部分集成或粘貼或卡扣在后視鏡上。
[0006]優(yōu)選地，所述前視雙目攝像頭，拼接后形成的可視廣角范圍在150-170度之間。
[0007]優(yōu)選地,所述激光雷達所形成第一道激光面與地面平行高度400mm?500mm,第二道激光面與第一道激光面成I?2度的仰角。
[0008]優(yōu)選地，所述前視雙目攝像頭與所述激光雷達用于對在不安全距離內(nèi)的行人與汽車進行監(jiān)視。
[0009]本發(fā)明的車載系統(tǒng)的人機交互方法，用于對車外與車內(nèi)的視覺信息進行識別并提供安全提醒或輔助操作，執(zhí)行所述方法的系統(tǒng)包括:前視雙目攝像頭、激光雷達、下視雙目攝像頭、存儲器、處理器；所述方法包括:
[0010]I)對車外:將所述前視雙目攝像頭的坐標與所述激光雷達所獲得的坐標進行聯(lián)合標定；將所述激光雷達的圖像數(shù)據(jù)聚類，去除噪點；通過算法檢測聚類后的圖像中的行人和汽車，并將檢測結果的區(qū)域標記感興趣區(qū)域；雙目攝像頭在感興趣區(qū)域內(nèi)通過算法檢測行人和汽車，并對其運動軌跡做出預判，以提醒駕駛員；
[0011]2)對車內(nèi):所述下視雙目攝像頭獲得手勢信息，由所述處理器通過三維重建確定手指位置，并根據(jù)指定手勢或手勢運動軌跡發(fā)出相應指令。
[0012]優(yōu)選地，所述坐標聯(lián)合標定包括如下步驟:所述激光雷達進行激光束掃描，并將獲得的極坐標轉換到直角坐標系中；所述前視雙目攝像頭獲得內(nèi)參數(shù)矩陣與外參數(shù)矩陣；將車的位置設為世界坐標的原點，通過旋轉矩陣和平移向量將所述參數(shù)矩陣與所述直角坐標系進行轉換，并獲得三維的所述世界坐標。
[0013]優(yōu)選地，所述圖形數(shù)據(jù)聚類包括如下步驟:通過劃分規(guī)則，將空間點集劃分為多個子集雷達數(shù)據(jù)點；利用形狀規(guī)則，將可能屬于同一物體的雷達數(shù)據(jù)點聚類；將聚類后得到的雷達數(shù)據(jù)點通過距離變換矩陣投影到圖像中。
[0014]優(yōu)選地，所述下視雙目攝像頭確定手指位置的步驟包括:所述下視雙目攝像頭的獲取手指區(qū)域的重疊部分；所述處理器在手指區(qū)域的重疊部分中確定唯一的橢圓形；所述處理器通過所述雙目攝像頭的光心計算所述橢圓形的中心；根據(jù)所述重疊部分、切線、下視雙目攝像頭光心、及橢圓形的中心在三維空間中唯一確定手指的橫截面的幾何圖形。
[0015]本發(fā)明的車載人機交互系統(tǒng)及方法，通過前視雙目攝像頭與激光雷達，對車外狀況進行監(jiān)視并進行安全提示，還通過下視雙目攝像頭接受車內(nèi)駕駛人的手勢控制，提供更加人性化服務。
【專利附圖】

【附圖說明】
[0016]圖1是本發(fā)明中車載人機交互系統(tǒng)的結構框圖。
[0017]圖2是本發(fā)明中車載系統(tǒng)的人機交互方法種車外激光雷達探測模擬圖。
[0018]圖3是本發(fā)明中車載人機中攝像頭與后視鏡的安裝位置的示例圖。
[0019]圖4是本發(fā)明中與后視鏡卡扣部分的實物示例圖。
[0020]圖5是本發(fā)明中實現(xiàn)車外信息安全提醒的工作流程圖。
[0021]圖6是本發(fā)明中激光雷達的激光束的掃描方式及坐標系的形成示意圖。
[0022]圖7是本發(fā)明中激光雷達的聚類示例圖。
[0023]圖8是本發(fā)明中車輛聚類點示例圖。
[0024]圖9是本發(fā)明中行人聚類點示例圖。
[0025]圖10是雙目攝像頭的工作原理圖。
[0026]圖11本發(fā)明中獲取與識別手指橫截面的步驟。
[0027]圖12是本發(fā)明中獲取與識別手指橫截面的過程演示圖。
【具體實施方式】[0028]【人機交互系統(tǒng)的結構框圖及部分實體示例圖】
[0029]如圖1所示，為一種車載人機交互系統(tǒng)10的結構框圖。該系統(tǒng)10的一部分集成或粘貼或卡扣在后視鏡上。車載人機交互系統(tǒng)10王要包括:如視雙目攝像頭11、激光雷達12、下視雙目攝像頭13、存儲器14、處理器15以及執(zhí)行模塊16。
[0030]其中，前視雙目攝像頭11與激光雷達12用于采集車外信息，主要是對在不安全距離內(nèi)的行人與汽車進行監(jiān)視。此處，不安全距離是指在此距離內(nèi)進行剎車、轉彎等變化相對不充裕的距離，該不安全距離可以根據(jù)車速信息進行實時計算，也可以根據(jù)通常情況進行日常監(jiān)視。通常情況下不安全距離小于50米。
[0031]前視雙目攝像頭11安裝后位于后視鏡背面位置，通過雙目拼接形成的可視廣角范圍在150-170度之間，較佳為160度。安裝方便且視角廣闊。
[0032]且，存儲器14還可以保存前視雙目攝像頭11拼接后的圖像結果，亦可作為超廣角的行車記錄儀使用。[0033]激光雷達12安裝于車前，激光雷達12所形成第一道激光面與地面平行高度400mm-500mm，第二道激光面與第一道激光面成I-2度的仰角。結合圖2的激光雷達12探測模擬圖，通過實踐可知，此仰角與激光面的設置方便掃描到50m以內(nèi)人的膝蓋以上的部位及普通車的部分側面輪廓，即能對不安全距離內(nèi)出現(xiàn)的行人與車輛進行探測。當然，此處的仰角、高度略微調(diào)整也應在本發(fā)明的精髓之內(nèi)。
[0034]下視雙目攝像頭13用于對車主的手勢進行采集，結合圖3的安裝位置示意圖與圖4與后視鏡21卡扣部分的示例圖。以卡扣為例安裝在后視鏡21上，前視雙目攝像頭11方便通過前擋風玻璃22采集信息。此位置的好處是系統(tǒng)的集成度較高，可以將前視雙目攝像頭11與下視雙目攝像頭13等具信息采集功能的模塊集成在一起。在其他實施方式中，亦可將下視雙目攝像頭13集成或安裝于車內(nèi)的任意方便觀察車主手勢的位置。
[0035]存儲器14用于存儲車主的指定手勢或手勢運動軌跡及對應的操作。比如，在車內(nèi)設備控制界面，兩指畫圓手勢為開啟車內(nèi)空調(diào)等。
[0036]處理器15用于對前視雙目攝像頭11與激光雷達12所采集的車外信息進行處理，計算出車外的環(huán)境信息，并給予安全提醒；還用于結合下視雙目攝像頭13對車主手勢的采集通過三維重建確定手指位置，并根據(jù)指定手勢或手勢運動軌跡通知執(zhí)行模塊16執(zhí)行存儲器14中所對應的操作。
[0037]目前采用的是TI的TMS320DM8168開發(fā)平臺，提供處理器15的處理與執(zhí)行功能，作為視頻圖像處理的中心、人機交互的主體。其他具有同等能力及更高級能力的平臺或其他處理器亦可。
[0038]執(zhí)行模塊16用于給出安全提醒信息、以及執(zhí)行手勢對應操作。其中包含提醒模塊160，以聲光電之一者或結合給出安全提醒，例如警報聲或語音提示。
[0039]【雙目攝像頭工作原理簡介】
[0040]請參閱圖10，此處簡單介紹下雙目攝像頭的工作原理，為文中前視或下視雙目攝像頭中出現(xiàn)的改進的地方提供支持。
[0041]雙目攝像頭獲取圖像序列，并對圖像進行分割，對特征點進行提取，并對特征點進行匹配，再通過攝像機自標定方法計算出攝像機矩陣，聯(lián)合匹配數(shù)據(jù)計算出空間點的三維坐標。
[0042]【車外信息安全提醒的實現(xiàn)方法】
[0043]請參閱圖5，所示為實現(xiàn)車外信息安全提醒的工作流程。
[0044]在步驟S501中，將前視雙目攝像頭的坐標與激光雷達的坐標進行聯(lián)合標定。
[0045]在步驟S502中，將激光雷達的圖像數(shù)據(jù)聚類，去除噪點。
[0046]在步驟S503中，通過算法檢測聚類后的圖像中的行人和汽車并將檢測結果的區(qū)域標記感興趣區(qū)域；
[0047]在步驟S504中，雙目攝像頭在感興趣區(qū)域內(nèi)通過算法檢測行人和汽車，并對其運動軌跡做出預判，輸出執(zhí)行，以提醒駕駛員。
[0048]下面具體對各步驟中的具體流程進行說明:
[0049]一、前視雙目攝像頭和激光雷達的坐標聯(lián)合標定
[0050]利用激光雷達和前視雙目攝像頭聯(lián)合標定的方法對行人及車輛進行檢測、標定，得到兩個坐標系之間的透視變換關系，并可通過激光雷達返回距離信息和汽車當前的速度信息檢測或推測目標的速度。
[0051]請參閱圖6，所示為激光雷達的激光束的掃描方式及坐標系的形成示意圖。激光雷達能夠較準確的將周圍環(huán)境中的障礙物探測出來，并由處理器將極坐標(r，Θ)變換到直角坐標系(x，y)中，方便處理。圖6中，已將激光束掃描所獲得的點云數(shù)據(jù)的極坐標轉化成直角坐標。其中點云數(shù)據(jù)是激光雷達通過激光點快速旋轉掃描形成，通過數(shù)據(jù)配準而形成極坐標的形式。
[0052]這里第二道激光面的有向上I?2度的仰角是為了在50m左右的距離內(nèi)可以多道激光檢測以提高反射精度降低誤檢率。由于第二道激光面的仰角α已知，激光雷達反射距離d已知，則轉換到世界坐標系下車與物體的距離D為:D=d*C0S α，以轉換到世界坐標系下。其中描述現(xiàn)實場景中攝像機或任意物體位置的坐標系稱為世界坐標系，世界坐標系也由三個方向軸組成，X、Y、Z0通過旋轉矩陣和平移向量可以對世界坐標系和攝像機坐標系進行轉換。對檢測物體做統(tǒng)一的標注。
[0053]前視雙目攝像頭通過內(nèi)參數(shù)矩陣和外參數(shù)矩陣來確定其與世界坐標的關系。這里將車的位置設為世界坐標的原點，激光雷達和雙目攝像頭都安裝在車上，并分別與世界坐標標定從而實現(xiàn)激光雷達和雙目攝像頭的聯(lián)合標定。
[0054]二、將檢檢測點聚類:
[0055]由于激光的激光面掃描頻率約為37.5Hz，即相鄰兩幀間距離為0.026s。所以有效數(shù)據(jù)中通過照射到同一物體的相鄰幾幀激光雷達束之間的距離相似，角度也相似。
[0056]請參閱圖7所示的激光雷達的聚類示例圖，通過劃分規(guī)則，將空間點集劃分為多個子集雷達數(shù)據(jù)點，使每個子集中的點在劃分規(guī)則下是相似的；利用形狀規(guī)則，將可能屬于同一物體的雷達數(shù)據(jù)點聚類；將聚類后得到的雷達數(shù)據(jù)點通過距離變換矩陣投影到圖像中。
[0057]在圖7中，以得到4個聚類為例，其中每個聚類都可能是車輛或行人等障礙物，待后面繼續(xù)分析。
[0058]三、在感興趣區(qū)域內(nèi)搜索車輛和行人的特征
[0059]利用透視變換將聚類投影到圖像上得到感興趣區(qū)域，利用車輛形狀對聚類的圖像判定和點云分析等算法將更加接近車輛和行人模型的聚類作為興趣區(qū)域。前視雙目攝像頭再根據(jù)感興趣區(qū)域結合視覺算法進行檢測跟蹤。
[0060]1.車輛的一般特征
[0061]前視雙目攝像頭結合實施反饋的激光雷達信號，利用全局特征的方法，如車的陰影，車的對稱性，車的紋理、角點特征等進一步對車輛進行檢測跟蹤，降低車輛的誤檢率。
[0062]請參閱圖8，其中車輛的聚類點一般分為“L”型，“I”型和“U”型。
[0063]2.行人的一般特征
[0064]①聚類點的寬度在200mm?800mm (第二道激光雷達的高度大約在人的大腿至上半身之間形成一個200mm?800mm左右的聚類圖形)
[0065]②形如圖9，兩個聚類點a、b之間的距離在800mm之內(nèi)，(由于掃射的高度在500mm處和500mm至1.5m處。500mm左右為膝蓋的位置。如看到的就是兩個形如a、b的聚類點，且其距離在800mm之內(nèi)?？梢曰九卸橐粋€物體。同理C、d為一個物體)加上第二道激光面數(shù)據(jù)的判斷以進一步判斷哪些聚類點為一個物體。[0066]③通過汽車的速度計算物體的移動速度，人正常的移動速度在lOkm/s以下將滿足以上特征的聚類點作為感興趣區(qū)域，再通過行人特征和分類器等圖像計算的方法結合激光雷達連續(xù)的圖像反饋來進行進一步檢測跟蹤。如果檢測到是一群人或者無法剔除的噪點的時候也將其設為感興趣區(qū)域，以避免漏檢的情況。
[0067]四、輸出執(zhí)行
[0068]最終將對行人和車輛的分析結果在圖像上標記出來，進行安全警示，甚至在緊急的時刻主動干預剎車，避免交通事故的產(chǎn)生。
[0069]【車內(nèi)手勢識別的實現(xiàn)方法】
[0070]請參閱圖10，所示為雙目攝像頭的工作原理圖，此處，下視攝像頭的主要發(fā)明點在于特征點匹配后的圖像通過本文所述的方法確定手指的位置，即，在手勢識別過程中，對手指橫截面信息的捕獲算法，故，此處僅對該步驟進行描述。
[0071]請參閱圖11，所示為獲取與識別手指橫截面的步驟。同時參閱圖12，所示為獲取與識別手指橫截面的過程演示圖。
[0072]SlOl中，下視雙目攝像頭的獲取手指區(qū)域的重疊部分，大致是四邊形。結合圖12，手指出現(xiàn)在3維相機的重疊部分，左邊攝像頭看到手指的區(qū)域與右邊攝像頭看到的手指區(qū)域的重疊部分剛好是一個四邊形A。
[0073]在步驟S102中，處理器在手指區(qū)域的重疊部分的四邊形中模擬得到2個相切的橢圓，由于已知橢圓形的長軸不大于短軸長度的2倍，因此，可確定唯一的橢圓，排除C，如B所
/Jn ο
[0074]在步驟S103`中，處理器通過雙目攝像頭光心計算橢圓形的中心。
[0075]具體而言，參照圖12，通過雙目攝像頭之a(chǎn)找到切點c與切點i，通過雙目攝像頭b找到切點d和切點h，確定四個切點C、1、h、d的相應坐標，由此，通過構建ci與hd兩條直線方程我們就能求出其交點ο的坐標位置，這里我們近似的認為ο為橢圓的中心，即手指的坐標。需要說明的是這點并不是橢圓數(shù)學概念中的實際中心，只是近似可以看成橢圓的中心，這種方式計算量小，求解較方便，且可以達到確定大致位置的目的。
[0076]在步驟S104中，根據(jù)所述重疊部分、切線及橢圓形的中心，就可以在三維空間中唯一確定手指的橫截面的幾何圖形。
[0077]通過這種原理就可以獲取手指的信息，從而實現(xiàn)本文中手勢識別與控制的目的。
[0078]實現(xiàn)功能:
[0079]①前視雙目攝像頭通過雙目拼接及視頻算法實現(xiàn)道路行人檢測提醒及輔助剎車、變線超車狀態(tài)提醒、將要經(jīng)過路口提醒、車輛跟蹤、自動泊車等功能。
[0080]②前視雙目攝像頭能保存實時保存拼接后的圖像結果，亦可作為超廣角的行車記錄儀使用。
[0081]③裝在后視鏡下方的下視雙目攝像頭近距離捕捉手部圖像，通過上述算法快速準確計算出手指的三維空間信息，發(fā)出相應的控制指令。
[0082]以上所述僅是本發(fā)明的優(yōu)選實施方式，應當指出，對于本【技術領域】的普通技術人員，在不脫離本發(fā)明原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應視為本發(fā)明的保護范圍。
【權利要求】
1.一種車載人機交互系統(tǒng),其特征在于,所述車載人機交互系統(tǒng)包括: 前視雙目攝像頭，用于對車外信息進行采集； 激光雷達，安裝于車前用于配合所述前視雙目攝像頭對車外信息進行采集； 下視雙目攝像頭，用于對車主的手勢進行采集； 存儲器，用于存儲車主的指定手勢或手勢運動軌跡及對應的操作； 處理器，用于對所述前視雙目攝像頭與所述激光雷達所采集的車外信息進行處理，計算出車外的環(huán)境信息，并給予安全提醒，還用于結合對車主手勢的采集通過三維重建確定手指位置，并根據(jù)指定手勢或手勢運動軌跡通知執(zhí)行模塊執(zhí)行所對應的操作； 執(zhí)行模塊，用于以聲光電之一者或結合給出提醒信息、以及執(zhí)行所述手勢對應的操作。
2.如權利要求1所述的車載人機交互系統(tǒng)，其特征在于，系統(tǒng)的一部分集成或粘貼或卡扣在后視鏡上。
3.如權利要求 1所述的車載人機交互系統(tǒng)，其特征在于，所述前視雙目攝像頭，拼接后形成的可視廣角范圍在150-170度之間。
4.如權利要求1所述的車載人機交互系統(tǒng)，其特征在于，所述激光雷達所形成第一道激光面與地面平行高度400mm-500mm，第二道激光面與第一道激光面成I-2度的仰角。
5.如權利要求1所述的車載人機交互系統(tǒng)，其特征在于，所述前視雙目攝像頭與所述激光雷達用于對在不安全距離內(nèi)的行人與汽車進行監(jiān)視。
6.一種車載系統(tǒng)的人機交互方法，用于對車外與車內(nèi)的視覺信息進行識別并提供安全提醒或輔助操作，執(zhí)行所述方法的系統(tǒng)包括:前視雙目攝像頭、激光雷達、下視雙目攝像頭、存儲器、處理器；其特征在于，所述方法包括: 1)對車外: 將所述前視雙目攝像頭的坐標與所述激光雷達所獲得的坐標進行聯(lián)合標定； 將所述激光雷達的圖像數(shù)據(jù)聚類，去除噪點； 通過算法檢測聚類后的圖像中的行人和汽車，并將檢測結果的區(qū)域標記感興趣區(qū)域；雙目攝像頭在感興趣區(qū)域內(nèi)通過算法檢測行人和汽車，并對其運動軌跡做出預判，以提醒駕駛員； 2)對車內(nèi): 所述下視雙目攝像頭獲得手勢信息，由所述處理器通過三維重建確定手指位置，并根據(jù)指定手勢或手勢運動軌跡發(fā)出相應指令。
7.如權利要求6所述的車載系統(tǒng)的人機交互方法，其特征在于，所述坐標聯(lián)合標定包括如下步驟: 所述激光雷達進行激光束掃描，并將獲得的極坐標轉換到直角坐標系中； 所述前視雙目攝像頭獲得內(nèi)參數(shù)矩陣與外參數(shù)矩陣； 將車的位置設為世界坐標的原點，通過旋轉矩陣和平移向量將所述參數(shù)矩陣與所述直角坐標系進行轉換，并獲得三維的所述世界坐標。
8.如權利要求6所述的車載系統(tǒng)的人機交互方法，其特征在于，所述圖形數(shù)據(jù)聚類包括如下步驟: 通過劃分規(guī)則，將空間點集劃分為多個子集雷達數(shù)據(jù)點； 利用形狀規(guī)則，將可能屬于同一物體的雷達數(shù)據(jù)點聚類；將聚類后得到的雷達數(shù)據(jù)點通過距離變換矩陣投影到圖像中。
9.如權利要求6所述的車載系統(tǒng)的人機交互方法，其特征在于，所述下視雙目攝像頭確定手指位置的步驟包括: 所述下視雙目攝像頭的獲取手指區(qū)域的重疊部分； 所述處理器在手指區(qū)域的重疊部分中確定唯一的橢圓形； 所述處理器通過所述雙目攝像頭光心的位置關系計算所述橢圓形的中心； 根據(jù)所述重疊部分、切線、下視雙目攝像頭光心、及橢圓形的中心在三維空間中唯一確定手指的橫截面的幾何圖 形。
【文檔編號】G06K9/20GK103455144SQ201310370303
【公開日】2013年12月18日 申請日期:2013年8月22日 優(yōu)先權日:2013年8月22日
【發(fā)明者】程俊, 王鵬 申請人:深圳先進技術研究院