專利名稱：基于avm俯視圖的停車輔助系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及基于全景監(jiān)測(cè)(AVM)俯視圖的停車輔助系統(tǒng)，且更具體地，涉及一種基于AVM俯視圖的停車輔助系統(tǒng)，其通過使用安裝在車輛的前、后、左、右部的AVM攝像機(jī)拍攝車輛周圍的圖像，并將所拍攝的圖像轉(zhuǎn)換成俯視圖模式，以便識(shí)別車輛周圍的停車分隔標(biāo)記，并且通過連續(xù)圖像記錄來識(shí)別可用停車位以及車輛的移動(dòng)軌跡，而根據(jù)停車軌跡向駕駛者提供最佳停車位置。
背景技術(shù)：
通常，乘坐在車輛內(nèi)部的駕駛者的視野被配置成主要面向前側(cè)。因此，由于相當(dāng)大部分的駕駛者兩側(cè)和后側(cè)的視野被車身覆蓋，所以兩側(cè)和后側(cè)的視野受到限制。
為了解決上述問題，已普遍使用包括鏡子的視野輔助裝置(例如，后視鏡)，來補(bǔ)充駕駛者有限的視野范圍，并且近年來，包括有拍攝車輛的外部圖像并將所拍攝的外部圖像提供至駕駛者端的攝像機(jī)裝置的技術(shù)已應(yīng)用于車輛。
在這些技術(shù)當(dāng)中，目前存在通過安裝環(huán)繞車輛的多個(gè)攝像機(jī)而顯示環(huán)繞車輛的360°，即所有方向的圖像的全景監(jiān)測(cè)(AVM)系統(tǒng)。已知的技術(shù)配置成通過安裝用于拍攝車輛周圍區(qū)域的多個(gè)攝像機(jī)，并將由多個(gè)攝像機(jī)拍攝的環(huán)繞車輛的全向圖像提供給駕駛者，來解決車輛周圍的死區(qū)問題。
然而，AVM系統(tǒng)僅提供將車輛周圍的圖像顯示給駕駛者的功能，并且因?yàn)轳{駛者在停車時(shí)，應(yīng)根據(jù)經(jīng)AVM系統(tǒng)提供的圖像直接判斷停車情況，所以AVM系統(tǒng)無法輔助停車。
在本背景技術(shù)部分中所公開的信息僅用于增強(qiáng)對(duì)本發(fā)明一般背景的理解，而不應(yīng)被視為承認(rèn)或以任何形式暗示該信息形成本領(lǐng)域技術(shù)人員已知的現(xiàn)有技術(shù)。發(fā)明內(nèi)容
本發(fā)明的不同方面涉及提供一種使用安裝在車輛的前、后、左、右部的全景監(jiān)測(cè)(AVM)攝像機(jī)的停車輔助系統(tǒng)，且更具體地，涉及一種基于AVM俯視圖的停車輔助系統(tǒng)，其使用安裝在車輛上的四個(gè)攝像機(jī)獲得車輛周圍的圖像，通過將所獲得的圖像轉(zhuǎn)換成俯視圖(鳥瞰圖)而識(shí)別停車環(huán)境下的周圍停車分隔標(biāo)記，并且通過當(dāng)時(shí)記錄連續(xù)的圖像而識(shí)別可用停車位以及車輛的移動(dòng)軌跡，從而通過考慮停車軌跡向駕駛者提供最佳停車位置。
在本發(fā)明的一方面，使用AVM的基于AVM (全景監(jiān)測(cè))俯視圖的停車輔助系統(tǒng)可包括:攝像機(jī)單元，其包括AVM并且使用AVM拍攝并獲得車輛周圍的圖像，且將所獲得的圖像轉(zhuǎn)換并合成為俯視圖像；停車位識(shí)別單元，其通過周期性地接收由攝像機(jī)單元產(chǎn)生的俯視圖像，并且使用圖像識(shí)別技術(shù)比較按順序連續(xù)的俯視圖像，而識(shí)別停車位；控制單元，其接收來自車輛的各傳感器的車輛行駛信息，并且基于車輛行駛信息，關(guān)于由停車位識(shí)別單元識(shí)別的停車位，確定并產(chǎn)生停車路徑；以及停車輔助單元，其接收車輛的轉(zhuǎn)向信息，并將控制單元中產(chǎn)生的停車路徑的顯示轉(zhuǎn)換成與轉(zhuǎn)向信息對(duì)應(yīng)。
基于AVM俯視圖的停車輔助系統(tǒng)還可包括超聲波傳感器單元，其包括超聲波傳感器并且通過超聲波傳感器識(shí)別停車位，其中超聲波傳感器單元與停車位識(shí)別單元互鎖，并且其中停車位識(shí)別單元還將超聲波傳感器單元的數(shù)據(jù)用于識(shí)別停車位。
停車位識(shí)別單元使用圖像識(shí)別技術(shù)提取連續(xù)圖像的特征點(diǎn)，匹配兩幅連續(xù)圖像的特征點(diǎn)，刪除不匹配的特征點(diǎn)，并且匹配有效特征點(diǎn)以識(shí)別停車位。
控制單元通過將車輛行駛信息與由停車位識(shí)別單元識(shí)別的停車位相匹配，通過考慮停車軌跡和前后移動(dòng)的次數(shù)，來確定停車位置。
控制單元通過判斷周期性地接收到的俯視圖像中的差異，來確定在停車位內(nèi)是否存在障礙物。
根據(jù)本發(fā)明的示例性實(shí)施例，使用AVM系統(tǒng)獲得車輛周圍的圖像，并將圖像轉(zhuǎn)換成俯視圖像，從而實(shí)時(shí)地識(shí)別車輛周圍的情況，并且識(shí)別車輛周圍甚至任何方向的停車位。
此外，連續(xù)地拍攝和記錄車輛周圍的圖像，并將連續(xù)的圖像相互比較以識(shí)別停車位和停車線，而且示出車輛通過的路徑，并基于此顯示最佳停車位，從而提高停車的可靠性并提高準(zhǔn)確性。
另外，向駕駛者提供基于俯視圖的圖像，并提供且可視化停車過程，從而提高停車輔助系統(tǒng)的穩(wěn)定性。
本發(fā)明的方法和裝置具有其他特征和優(yōu)點(diǎn)，這些特征和優(yōu)點(diǎn)從文中結(jié)合的附圖和以下具體實(shí)施方式
中將清晰可見或在其中得以更詳細(xì)地闡明，附圖和具體實(shí)施方式
共同用于說明本發(fā)明的特定原理


圖1是示出根據(jù)本發(fā)明的示例性實(shí)施例的基于AVM俯視圖的停車輔助系統(tǒng)的配置的框圖。
圖2示出由AVM拍攝的車輛周圍的圖像。
圖3是示出將車輛周圍的圖像轉(zhuǎn)換成俯視型圖像的虛擬建模的模擬圖。
圖4示出通過虛擬攝像機(jī)建模的轉(zhuǎn)換和合成所獲得的俯視型圖像。
圖5至圖8示出停車位識(shí)別單元的停車位識(shí)別過程。
圖9是示出通過重復(fù)步驟而搜索和設(shè)定停車位的結(jié)構(gòu)的平面圖。
圖10示出圖9的搜索和設(shè)定停車位的示例性實(shí)施例。
圖11示出本發(fā)明的另一示例性實(shí)施例。
應(yīng)當(dāng)理解的是，附圖不必要按比例繪制，而是呈現(xiàn)出說明本發(fā)明的基本原理的各種特征的某種程度的簡化表現(xiàn)形式。本文中所公開的包括例如具體尺寸、方向、位置和形狀的本發(fā)明的具體設(shè)計(jì)特征將部分地由特定預(yù)期的應(yīng)用和使用環(huán)境來確定。
在圖中，貫穿附圖的多幅圖中，相同的附圖標(biāo)記表示本發(fā)明的相同或等同的部件。
具體實(shí)施方式
現(xiàn)在將詳細(xì)參考本發(fā)明的各種實(shí)施方式，其實(shí)例在附圖中示出并在以下予以說明。盡管將結(jié)合示例性實(shí)施方式說明本發(fā)明，然而將會(huì)理解的是，本說明并非意在將本發(fā)明限制于這些示例性實(shí)施方式。相反地，本發(fā)明意在不僅涵蓋這些示例性實(shí)施方式，而且涵蓋可包括在由所附權(quán)利要求所限定的本發(fā)明的精神和范圍內(nèi)的各種替換形式、改型、等效形式和其他實(shí)施方式。
以下，將參照附圖詳細(xì)說明本發(fā)明的示例性實(shí)施例。
圖1是示出根據(jù)本發(fā)明的示例性實(shí)施例的基于AVM俯視圖的停車輔助系統(tǒng)的配置的框圖，并且圖2示出由AVM拍攝的車輛周圍的圖像。
根據(jù)本發(fā)明的示例性實(shí)施例的基于AVM俯視圖的停車輔助系統(tǒng)包括用于識(shí)別車輛周圍的停車位的攝像機(jī)單元10。
根據(jù)本發(fā)明的示例性實(shí)施例的攝像機(jī)單元10可包括公知的全景監(jiān)測(cè)儀(AVM)。
如圖2中所示，AVM是提供以下優(yōu)勢(shì)的公知的裝置:其通過安裝多個(gè)攝像機(jī)裝置，通過在車輛的所有方向上拍攝車輛周圍的區(qū)域而獲得圖像，并將通過多個(gè)攝像機(jī)裝置拍攝的圖像提供給駕駛者，而確保環(huán)繞車輛的視野并且解決駕駛者難以看到的死區(qū)的問題。
在本發(fā)明的示例性實(shí)施例中，AVM可優(yōu)選地包括公知的廣角攝像機(jī)。因此，可通過AVM在所有方向上，即360°視角拍攝車輛周圍的圖像。
同時(shí)，如上所述，通過AVM拍攝的車輛周圍的圖像，由控制AVM的控制單元30 (可包括在AVM內(nèi))進(jìn)行圖3中所示的虛擬攝像機(jī)建模，并被轉(zhuǎn)換和合成為俯視圖，即鳥瞰圖，以便轉(zhuǎn)換成圖4中所示的2D平面圖像。
因此，AVM的控制單元30可通過對(duì)車輛周圍區(qū)域的圖像進(jìn)行圖像處理，通過觀看從車輛上方觀看的視野內(nèi)的車輛周圍的圖像，而獲得俯視型圖像。
根據(jù)本發(fā)明的示例性實(shí)施例的停車輔助系統(tǒng)使用如上所述獲得的俯視型圖像，來識(shí)別停車位置并輔助停車。
當(dāng)通過攝像機(jī)單元10獲得車輛周圍的俯視圖像時(shí)，停車位識(shí)別單元20通過俯視圖像識(shí)別停車位。
圖5至圖8中示出停車位識(shí)別單元20的停車位識(shí)別過程。
如圖5中所示，控制單元30將AVM所拍攝的圖像轉(zhuǎn)換成俯視型，以連續(xù)并周期性地獲得車輛周圍的俯視圖像?？刂茊卧?0將如上所述獲得的車輛周圍的俯視圖像相互比較。
在此情況下，停車位識(shí)別單元20將周期性輸入的圖像當(dāng)中的兩幅連續(xù)的圖像相互比較，以識(shí)別停車位并識(shí)別車輛軌跡。這里，使用公知的圖像識(shí)別技術(shù)。
公知的角點(diǎn)檢測(cè)技術(shù)可用于比較兩幅連續(xù)的圖像。在圖像識(shí)別過程中，作為提取并識(shí)別包括在圖像中的物體的角點(diǎn)的公知技術(shù)的角點(diǎn)檢測(cè)技術(shù)，被用于判斷連續(xù)圖像之間的差異。
具體地，因?yàn)榻屈c(diǎn)信息在例如圖像處理和識(shí)別領(lǐng)域中的形狀或跟蹤領(lǐng)域內(nèi)是重要的參考點(diǎn)，所以根據(jù)本發(fā)明的示例性實(shí)施例，使用角點(diǎn)檢測(cè)技術(shù)提取主特征點(diǎn)，以便識(shí)別連續(xù)拍攝的車輛周圍的俯視型圖像。
在本發(fā)明的示例性實(shí)施例中，可使用角點(diǎn)檢測(cè)技術(shù)中最具代表性的Harris角點(diǎn)檢測(cè)技術(shù)。然而，顯然本發(fā)明的示例性實(shí)施例并不限于此。
如圖6中所示，當(dāng)提取了兩幅連續(xù)圖像的主特征點(diǎn)時(shí)，控制單元30相互匹配并比較兩個(gè)連續(xù)的特征點(diǎn)。
公知的歸一化互相關(guān)(NCC)技術(shù)用于匹配兩個(gè)連續(xù)的特征點(diǎn)。
NCC技術(shù)是將兩幅要相互比較的、根據(jù)環(huán)境可發(fā)生改變的圖像歸一化，以便相互比較兩幅圖像的技術(shù)，并且本發(fā)明的控制單元30使用NCC技術(shù)，以便歸一化并且比較通過車輛移動(dòng)而發(fā)生改變的兩幅連續(xù)的圖像。
在這種情況下，優(yōu)選地，控制單元30使用兩幅連續(xù)圖像的特征點(diǎn)周圍的7 X 7的四邊形區(qū)域內(nèi)的像素的亮度值作為特征點(diǎn)的描述符，且通過使用NCC技術(shù)將圖像歸一化而將各特征點(diǎn)相互匹配，并可測(cè)量兩幅圖像之間的相似性。
如上所述，當(dāng)兩幅連續(xù)的歸一化圖像的各特征點(diǎn)相互匹配時(shí)，如圖7中所示，執(zhí)行刪除不匹配特征點(diǎn)的步驟。
在這種情況下，執(zhí)行通過相似變換模型提取兩幅連續(xù)圖像之間的位移差異和角度差異，并且通過隨機(jī)抽樣一致性(RANSAC)技術(shù)刪除不匹配的特征點(diǎn)以便僅比較有效的特征點(diǎn)的步驟。RANSAC技術(shù)是通過重復(fù)操作，從包括虛假信息(本發(fā)明的示例性實(shí)施例中的不匹配的特征點(diǎn))的一系列數(shù)據(jù)的集中預(yù)測(cè)數(shù)學(xué)模型因子的公知技術(shù)，并且根據(jù)本發(fā)明的示例性實(shí)施例的控制單元30可通過RANSAC技術(shù)識(shí)別并刪除不匹配的特征點(diǎn)。
當(dāng)如上所述刪除不匹配的特征點(diǎn)并選擇有效的特征點(diǎn)時(shí)，如圖8中所示，執(zhí)行基于預(yù)測(cè)的有效特征點(diǎn)匹配圖像的步驟。即，在連續(xù)執(zhí)行圖5至圖7的步驟的同時(shí)，隨著車輛的移動(dòng)，持續(xù)匹配連續(xù)的圖像，從而識(shí)別車輛的移動(dòng)軌跡并估算車輛的位置。
圖9是示出通過重復(fù)步驟而搜索和設(shè)定停車位的結(jié)構(gòu)的平面圖，并且圖10示出圖9的搜索和設(shè)定停車位的示例性實(shí)施例。
如上所述，當(dāng)采用根據(jù)本發(fā)明的示例性實(shí)施例的基于AVM俯視圖的停車輔助系統(tǒng)的車輛在停車場(chǎng)中移動(dòng)時(shí)，通過實(shí)時(shí)地拍攝俯視型圖像而比較連續(xù)的圖像，以便識(shí)別停車位。在這種情況下，如圖9中所示，當(dāng)在車輛的俯視圖像的范圍內(nèi)識(shí)別出停車位時(shí)，停車位識(shí)別單元20基于連續(xù)記錄的圖像識(shí)別車道，以計(jì)算道路寬度和停車區(qū)域。
在這種情況下，控制單元30可從車輛內(nèi)設(shè)置的各種傳感器接收車輛行駛信息，以便產(chǎn)生停車軌跡。在這種情況下，所接收的信息可包括，例如，車速、車輪脈動(dòng)、SAS等等。
當(dāng)如圖9中所示連續(xù)地記錄所拍攝的圖像時(shí)，根據(jù)車輛的移動(dòng)軌跡記錄圖像，并且如圖10中所示，停車位識(shí)別單元20基于圖像識(shí)別車道，并且控制單元30計(jì)算停車區(qū)域。在這種情況下，可使用不同的圖像來判斷停車位內(nèi)的障礙物，并且控制單元30可通過考慮車輛位置與所識(shí)別的停車位的相對(duì)位置來選擇合適的停車位，并向駕駛者顯示最佳停車位置且提供所顯示的最佳停車位置。即，控制單元30在被選作停車位的候選停車位當(dāng)中，通過考慮停車軌跡和前后移動(dòng)的次數(shù)，來計(jì)算最佳停車位置，并且通過下述停車輔助單元40向駕駛者顯示并提供所計(jì)算的位置，從而輔助駕駛者停車。
圖1中的停車輔助單元40通過如上所述的人機(jī)界面(HMI)向駕駛者提供來自控制單元30的停車路徑集。
即，如圖中所示，停車輔助單元40用于通過接收各種車輛行使信息，即關(guān)于檔位、車速、MDPS扭矩、SPAS開關(guān)等的信息，將如上所述來自控制單元30的停車路徑集轉(zhuǎn)換并顯示為與行駛信息相對(duì)應(yīng)。
因此，停車輔助單元40可向駕駛者顯示并提供，通過由控制單元30計(jì)算的停車路徑，從當(dāng)前車輛位置至最佳停車位的車輛移動(dòng)軌跡，即停車路徑。
圖11示出本發(fā)明的另一示例性實(shí)施例。
在本發(fā)明的另一示例性實(shí)施例中，如圖中所示，停車位識(shí)別單元20可與包括有使用公知的超聲波傳感器的SPAS系統(tǒng)的超聲波傳感器單元50互鎖。換言之，當(dāng)與超聲波傳感器單元互鎖時(shí)，在搜索停車位和識(shí)別停車位內(nèi)的障礙物時(shí)，超聲波傳感器單元的數(shù)據(jù)被用于識(shí)別可用的停車分隔以及識(shí)別障礙物，從而提高準(zhǔn)確性和快速性。在本示例性實(shí)施例中，控制單元和停車輔助單元被配置成執(zhí)行與圖1中的控制單元30和停車輔助單元40相同的功能。
雖然已詳細(xì)說明了根據(jù)本發(fā)明的示例性實(shí)施例的基于AVM俯視圖的停車輔助系統(tǒng)，但是僅給出了用以幫助理解本發(fā)明的特定實(shí)例，而并不意在限制本發(fā)明的范圍。除了本文中公開的示例性實(shí)施例以外，對(duì)于本發(fā)明相關(guān)領(lǐng)域的技術(shù)人員而言，顯然還能夠做出基于本發(fā)明的精神的其他變型例。
為了例示和說明的目的，已經(jīng)給出了關(guān)于本發(fā)明的具體示例性實(shí)施例的前述說明。該說明并非意在窮舉或?qū)⒈景l(fā)明限制于所公開的確切形式，而且在上述教導(dǎo)的啟示之下，顯然多種改型和變化是可能的。選擇和說明示例性實(shí)施例是為了解釋本發(fā)明的特定原理及其實(shí)際應(yīng)用，從而使本領(lǐng)域技術(shù)人員能夠?qū)崿F(xiàn)和利用本發(fā)明的各種示例性實(shí)施例及其各種替代形式和改型。意在由所附權(quán)利要求及其等效形式來限定本發(fā)明的范圍。
權(quán)利要求
1.一種使用AVM (全景監(jiān)測(cè))的基于AVM俯視圖的停車輔助系統(tǒng)，包栝: 攝像機(jī)單元，其包括所述AVM并且使用所述AVM拍攝并獲得車輛周圍的圖像，并且將所獲得的圖像轉(zhuǎn)換并合成為俯視圖像； 停車位識(shí)別單元，其通過周期性地接收由所述攝像機(jī)單元產(chǎn)生的俯視圖像，并且使用圖像識(shí)別技術(shù)比較按順序連續(xù)的俯視圖像，來識(shí)別停車位； 控制單元，其接收來自車輛的各傳感器的車輛行駛信息，并且基于所述車輛行駛信息，關(guān)于由所述停車位識(shí)別單元識(shí)別的所述停車位，確定并產(chǎn)生停車路徑；以及 停車輔助單元，其接收車輛的轉(zhuǎn)向信息，并將所述控制單元中產(chǎn)生的所述停車路徑的顯示轉(zhuǎn)換成與所述轉(zhuǎn)向信息對(duì)應(yīng)。
2.根據(jù)權(quán)利要求1所述的基于AVM俯視圖的停車輔助系統(tǒng)，還包括: 超聲波傳感器單元，其包括超聲波傳感器，并且通過所述超聲波傳感器識(shí)別所述停車位， 其中所述超聲波傳感器單元與所述停車位識(shí)別單元互鎖，并且 其中所述停車位識(shí)別單元還將所述超聲波傳感器單元的數(shù)據(jù)用于識(shí)別所述停車位。
3.根據(jù)權(quán)利要求1所述的基于AVM俯視圖的停車輔助系統(tǒng)，其中所述停車位識(shí)別單元使用圖像識(shí)別技術(shù)提取連續(xù)圖像的特征點(diǎn)，匹配兩幅連續(xù)圖像的特征點(diǎn)，刪除不匹配的特征點(diǎn)，并且匹配有效特征點(diǎn)以識(shí)別所述停車位。
4.根據(jù)權(quán)利要求1所述的基于AVM俯視圖的停車輔助系統(tǒng)，其中所述控制單元通過將所述車輛行駛信息與由所述停車位識(shí)別單元識(shí)別的所述停車位相匹配，通過考慮停車軌跡和前后移動(dòng)的次數(shù)，來確定停車位置。
5.根據(jù)權(quán)利要求4所述的基于AVM俯視圖的停車輔助系統(tǒng)，其中所述控制單元通過判斷周期性地接收到的俯視圖像中的差異，來確定在所述停車位內(nèi)是否存在障礙物。
全文摘要
本發(fā)明涉及一種使用AVM(全景監(jiān)測(cè))的基于AVM俯視圖的停車輔助系統(tǒng)，可包括攝像機(jī)單元，其包括AVM并且使用AVM拍攝并獲得車輛周圍的圖像，且將所獲得的圖像轉(zhuǎn)換并合成為俯視圖像；停車位識(shí)別單元，其通過周期性地接收由攝像機(jī)單元產(chǎn)生的俯視圖像，并且使用圖像識(shí)別技術(shù)比較可按順序連續(xù)的俯視圖像，而識(shí)別停車位；控制單元，其接收來自車輛的各傳感器的車輛行駛信息，并且基于車輛行駛信息，關(guān)于由停車位識(shí)別單元識(shí)別的停車位，確定并產(chǎn)生停車路徑；以及停車輔助單元，其接收車輛的轉(zhuǎn)向信息，并將控制單元中產(chǎn)生的停車路徑的顯示轉(zhuǎn)換成與轉(zhuǎn)向信息對(duì)應(yīng)。
文檔編號(hào)B60W30/06GK103171552SQ201210434218
公開日2013年6月26日 申請(qǐng)日期2012年11月2日 優(yōu)先權(quán)日2011年12月23日
發(fā)明者尹大仲, 崔在燮 申請(qǐng)人:現(xiàn)代自動(dòng)車株式會(huì)社