車載環(huán)境識(shí)別裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及使用車載相機(jī)的本車輛的車載環(huán)境識(shí)別裝置。
【背景技術(shù)】
[0002]近年來，進(jìn)行圖像識(shí)別的車載相機(jī)中，同時(shí)執(zhí)行多個(gè)應(yīng)用程序的多應(yīng)用正在成為主流。車載相機(jī)中，使用圖像識(shí)別專用的相機(jī)的系統(tǒng)以往是主流，但近年來兼用對(duì)用戶提示影像用的相機(jī)和圖像識(shí)別用的相機(jī)的系統(tǒng)正在增加。專利文獻(xiàn)I是其一例。
[0003]作為同時(shí)執(zhí)行多個(gè)應(yīng)用程序的多應(yīng)用的車載相機(jī)，有時(shí)將安裝在車室外的相機(jī)用于圖像識(shí)別，因此，檢測(cè)臟污和雨滴等、判斷當(dāng)前的相機(jī)的狀態(tài)是否為能夠用于圖像識(shí)別的狀態(tài)的技術(shù)是必要的。
[0004]現(xiàn)有技術(shù)文獻(xiàn)
[0005]專利文獻(xiàn)
[0006]專利文獻(xiàn)1:日本特開2008-282067號(hào)公報(bào)

【發(fā)明內(nèi)容】

[0007]發(fā)明要解決的技術(shù)問題
[0008]以往，通過判別車載相機(jī)的鏡頭上的臟污，來判別單體的圖像識(shí)別應(yīng)用程序的放棄狀態(tài)。但是，該現(xiàn)有方法中，雖然能夠判別鏡頭狀態(tài)對(duì)圖像識(shí)別而言在多應(yīng)用中同為不適合的狀態(tài)，但難以進(jìn)行考慮了多應(yīng)用的因各應(yīng)用而異的耐污性能的應(yīng)對(duì)。
[0009]于是，本發(fā)明的目的在于提供一種車載環(huán)境識(shí)別裝置，其能夠在對(duì)各應(yīng)用程序而言最佳的時(shí)刻，對(duì)于是否執(zhí)行參數(shù)調(diào)整、使用硬件進(jìn)行的除污、故障的判斷，根據(jù)圖像進(jìn)行自診斷。
[0010]用于解決問題的方法
[0011]為了解決上述問題，本發(fā)明的車載環(huán)境識(shí)別裝置，特征在于，包括:拍攝部，其取得由拍攝裝置所拍攝的圖像；圖像自診斷部，其對(duì)由所述拍攝部所取得的圖像進(jìn)行所述拍攝裝置的鏡頭的臟污診斷；應(yīng)用執(zhí)行部，其執(zhí)行選自規(guī)定的應(yīng)用程序組中的應(yīng)用程序；和故障判斷部，其基于所述圖像自診斷部的診斷結(jié)果，判斷鏡頭的臟污狀態(tài)是否在所述應(yīng)用程序的容錯(cuò)范圍內(nèi)，如果在所述容錯(cuò)范圍內(nèi)，則將所述應(yīng)用執(zhí)行部執(zhí)行的應(yīng)用程序的動(dòng)作設(shè)定為抑制模式，如果在所述容錯(cuò)范圍外，則進(jìn)行除污控制，或者進(jìn)行所述應(yīng)用程序的故障判斷。
[0012]發(fā)明的效果
[0013]能夠提供一種車載環(huán)境識(shí)別裝置，在對(duì)各應(yīng)用程序而言最佳的時(shí)刻，對(duì)于是否執(zhí)行參數(shù)調(diào)整、使用硬件進(jìn)行的除污、故障的判斷，根據(jù)圖像進(jìn)行自診斷。
[0014]本說明書包括作為本申請(qǐng)優(yōu)先權(quán)的基礎(chǔ)的日本特許出愿2012-148977號(hào)說明書和/或附圖中記載的內(nèi)容。
【附圖說明】
[0015]圖1是表示本發(fā)明的實(shí)施方式的車載環(huán)境識(shí)別裝置的結(jié)構(gòu)的說明圖。
[0016]圖2是表示本發(fā)明的實(shí)施方式的圖像自診斷部的結(jié)構(gòu)的說明圖。
[0017]圖3是用模塊表示各應(yīng)用故障判斷部300的結(jié)構(gòu)的圖。
[0018]圖4是應(yīng)用執(zhí)行部的結(jié)構(gòu)圖。
[0019]圖5表示本發(fā)明的車載環(huán)境識(shí)別裝置的整體處理流程。
[0020]圖6是鏡頭狀態(tài)映射圖和評(píng)分的說明圖。
[0021]圖7是圖像自診斷輸出表的說明圖。
[0022]圖8是車道識(shí)別的映射圖評(píng)分使用方法的說明圖。
[0023]圖9是車輛檢測(cè)的映射圖評(píng)分使用方法的說明圖。
[0024]圖10是行人檢測(cè)的映射圖評(píng)分使用方法的說明圖。
[0025]圖11是標(biāo)志檢測(cè)的映射圖評(píng)分使用方法的說明圖。
[0026]圖12表示車道識(shí)別故障判斷表的一例。
[0027]圖13表示車輛檢測(cè)故障判斷表的一例。
[0028]圖14表示行人檢測(cè)故障判斷表的一例。
[0029]圖15表示標(biāo)志檢測(cè)故障判斷表的一例。
【具體實(shí)施方式】
[0030]對(duì)于本發(fā)明的實(shí)施方式的一例，參考附圖在以下說明。
[0031]圖1用模塊表示了本發(fā)明的實(shí)施方式的車載環(huán)境識(shí)別裝置10的結(jié)構(gòu)。拍攝部100從車載相機(jī)(省略圖示)取得圖像，在圖像自診斷部200中使用該圖像，檢測(cè)鏡頭水滴、鏡頭白濁、鏡頭反射、低能見度區(qū)域、臟污檢測(cè)、路面反射、路面水膜、路面污泥、光源環(huán)境、天氣等。這些結(jié)果在執(zhí)行多應(yīng)用時(shí)，用于判斷是否易于發(fā)生誤檢測(cè)、未檢測(cè)等的狀況，決定之后的應(yīng)對(duì)方法。圖像自診斷部200也可以取得由CAN通信得到的本車輛行駛信息(車速、舵角、橫擺角速度、雨刷、外部氣溫等)、和從車輛導(dǎo)航系統(tǒng)得到的本車輛的GPS位置和公路地圖等信息作為判斷材料。此外，也可以從服務(wù)器取得天氣信息和氣溫信息，或者使用毫米波雷達(dá)、車間通信、路車間通信等，用作提高圖像診斷精度的信息。
[0032]各應(yīng)用故障判斷部300根據(jù)由圖像自診斷部200檢測(cè)到的鏡頭水滴、鏡頭白濁、鏡頭反射、低能見度區(qū)域、臟污檢測(cè)、路面反射、路面水膜、路面污泥、光源環(huán)境、天氣等信息，按各應(yīng)用判斷作為系統(tǒng)要如何應(yīng)對(duì)。例如，鏡頭上附著了水滴的情況下，根據(jù)圖像上的哪個(gè)區(qū)域附著了何種程度的水滴，變更其應(yīng)對(duì)方法。
[0033]首先，在多應(yīng)用的車道識(shí)別和車輛檢測(cè)中，因?yàn)樘幚韰^(qū)域不同，所以取決于何處附著了水滴，受到影響與否會(huì)變化。通過按各應(yīng)用分別考慮受到何種程度的影響，能夠僅對(duì)影響大的應(yīng)用程序判斷停止識(shí)別處理等，不一定需要使影響小的應(yīng)用程序的工作停止。
[0034]此外，在某個(gè)應(yīng)用程序的識(shí)別精度顯著降低這樣的情況下，也可以考慮實(shí)施除去水滴的硬件的起動(dòng)。在當(dāng)前處于實(shí)時(shí)工作狀況下的應(yīng)用程序中，通過與識(shí)別性能最早降低的應(yīng)用程序相應(yīng)地實(shí)施除去水滴的硬件的起動(dòng)，能夠不必提早實(shí)施硬件起動(dòng)，而是在維持識(shí)別性能所必需的時(shí)刻實(shí)施硬件起動(dòng)。
[0035]此外，因?yàn)槟軌虬锤鲬?yīng)用分別考慮受到何種程度的影響，也能夠動(dòng)態(tài)地變更軟件處理的參數(shù)，或者進(jìn)入使誤檢測(cè)抑制處理追加工作等的用于抑制誤檢測(cè)的抑制模式，這是也容易用于在起動(dòng)硬件或判斷故障之前強(qiáng)化應(yīng)用側(cè)的容錯(cuò)性的結(jié)構(gòu)。
[0036]多應(yīng)用執(zhí)行部400接收各應(yīng)用故障判斷部300的結(jié)果，按各應(yīng)用分別執(zhí)行參數(shù)調(diào)整、因臟污而停止工作等適當(dāng)?shù)膽?yīng)對(duì)，或者在判斷為通常鏡頭狀態(tài)的情況下執(zhí)行通常執(zhí)行等的多應(yīng)用程序。
[0037]圖2是表示本發(fā)明的實(shí)施方式的圖像自診斷部200及其具備的檢測(cè)部的整體結(jié)構(gòu)的一例的說明圖。此處，判斷是否便于對(duì)由多應(yīng)用執(zhí)行部400執(zhí)行的車道識(shí)別和車輛檢測(cè)等進(jìn)行圖像識(shí)別的鏡頭狀況、行駛道路環(huán)境、光源環(huán)境、天氣等。此處，首先，作為前置處理，不考慮各應(yīng)用程序地檢測(cè)鏡頭整體的狀態(tài)處于何種臟污狀況、處于何種環(huán)境中等。
[0038]因?yàn)榕c鏡頭的臟污種類、環(huán)境的種類相應(yīng)地，之后的系統(tǒng)的應(yīng)對(duì)會(huì)變化，應(yīng)用容錯(cuò)性也會(huì)變化，所以對(duì)于鏡頭狀況和環(huán)境也存在各種檢測(cè)部。例如，因路面積雪產(chǎn)生的雪車轍等，在道路上大量存在白色噪聲主因，所以對(duì)于車道識(shí)別而言是容易誤檢測(cè)的狀況，容錯(cuò)性低，但是對(duì)于車輛檢測(cè)而言不是識(shí)別性能會(huì)大幅降低的狀況，容錯(cuò)性高。
[0039]相反，因?yàn)殓R頭附著水滴等而使圖像紊亂這樣的狀況的情況下，如果是檢測(cè)車輛在圖像上移動(dòng)的車輛檢測(cè)方法，則水滴起到檢測(cè)車輛的特征點(diǎn)移動(dòng)時(shí)的噪聲主因的作用，所以容錯(cuò)性低，但對(duì)于車道識(shí)別而言，即使出現(xiàn)一部分白線特征量、也不會(huì)成為直線狀的作為噪聲主因的水滴，不會(huì)成為性能大幅降低的主因，容錯(cuò)性高。因此，通過與各種類相應(yīng)地把握臟污狀況，作為系統(tǒng)，能夠在適當(dāng)?shù)臅r(shí)刻執(zhí)行抑制模式、除污硬件的控制、故障判斷等。
[0040]圖像自診斷部200中的各檢測(cè)部，設(shè)定了與其性質(zhì)相應(yīng)的處理周期。例如，考慮時(shí)時(shí)刻刻都在變化的相鄰車輛的頭燈等，關(guān)于反射檢測(cè)部206，如果不是與多應(yīng)用執(zhí)行部400的應(yīng)用相同或者與應(yīng)用執(zhí)行部中處理周期最快的應(yīng)用相等的處理周期，則會(huì)提供時(shí)間延遲的反射位置等，難以用于抑制誤檢測(cè)，所以反射檢測(cè)部206設(shè)為與應(yīng)用執(zhí)行部周期相等。關(guān)于路面水膜檢測(cè)部207也同樣設(shè)為與應(yīng)用執(zhí)行部周期相等的100msec。
[0041]另一方面，關(guān)于鏡頭水滴檢測(cè)部201、鏡頭白濁檢測(cè)部202、低能見度檢測(cè)部204、行駛道路環(huán)境檢測(cè)部208、光源環(huán)境檢測(cè)部209和天氣檢測(cè)部210，因?yàn)闋顟B(tài)并不是立刻變化，所以不需要每個(gè)周期處理。因此，為了減輕處理負(fù)荷，將處理周期設(shè)為500msec，在不進(jìn)行處理的期間中使用過去的判斷結(jié)果，從而效率良好地把握鏡頭狀況。
[0042]各應(yīng)用程序并不是在500msec中的某個(gè)10msec的期間內(nèi)全部工作，利用多應(yīng)用執(zhí)行部400的剩余時(shí)間，多應(yīng)用執(zhí)行部按每10msec輪轉(zhuǎn)地在剩余時(shí)間中起動(dòng)能夠起動(dòng)的自診斷部中的檢測(cè)部，例如在最初的100msec周期中，調(diào)用反射檢測(cè)部、路面水膜檢測(cè)部、鏡頭水滴檢測(cè)部、鏡頭白濁檢測(cè)部，在下一個(gè)100msec周期內(nèi)，在反射檢測(cè)部、路面水膜檢測(cè)部之外，還調(diào)用低能見度檢測(cè)部，這樣在剩余時(shí)間中良好地實(shí)施圖像自診斷。
[0043]鏡頭水滴檢測(cè)部201檢測(cè)包括鏡頭上附著的水滴、雨天時(shí)的雨滴、從潮濕路面因輪胎彈跳而附著在相機(jī)鏡頭上的水滴、霧、露等鏡頭上附著的水滴的狀況。成為鏡頭上有水滴附著的狀態(tài)時(shí)，難以在與通常相同的性能下執(zhí)行多應(yīng)用，所以根據(jù)水滴檢測(cè)的狀態(tài)，執(zhí)行抑制模式、除污硬件、故障的判斷。
[0044]水滴檢測(cè)方法是，如果是車載相機(jī)，則在發(fā)現(xiàn)與背景向遠(yuǎn)方移動(dòng)無關(guān)地在幾乎同一位置上持續(xù)一定時(shí)間以上比周圍亮度高的場(chǎng)所時(shí)，認(rèn)為其為鏡頭上附著的白色發(fā)光的水滴的可能性高而抽出。
[0045]作為圖像自診斷部200中的輸出，生成如圖6所示將圖像上劃分為格子狀的映射圖，在該映射圖上，示出發(fā)現(xiàn)了比周圍亮度高的場(chǎng)所的位置，和對(duì)于每個(gè)該位置通過表示水滴附著的可能性的大小的評(píng)分而表示鏡頭的水滴附著程度的評(píng)分。利用該映射圖上示出的水滴評(píng)分，按各應(yīng)用分別在各應(yīng)用故障判斷部中判斷水滴附著時(shí)的應(yīng)對(duì)方法。
[0046]車載相機(jī)例如在長(zhǎng)時(shí)間行駛之后，其鏡頭上因?yàn)檩p微附著的臟污而白濁化，拍攝的圖像變得模糊，成為不能夠清晰拍攝的狀況。鏡頭白濁檢測(cè)部202推測(cè)這樣的白濁的程度和可靠度，也對(duì)是均勻地白濁還是斑點(diǎn)、白濁水平等進(jìn)行檢測(cè)。
[0047]鏡頭白濁狀態(tài)下，難以在與通常相同的性能下執(zhí)行多應(yīng)用。因此，根據(jù)鏡頭白濁檢測(cè)的狀態(tài)，用于已知模式、除污硬件、故障的判斷。
[0048]白濁檢測(cè)方法有兩種方法，有以整體地檢測(cè)畫面為前提，檢測(cè)鏡頭的起霧狀態(tài)的方法，在白天以地平線上的邊緣強(qiáng)度、在夜間以后方車輛的頭燈的亮度變化的銳度為指標(biāo)使鏡頭白濁狀態(tài)的程度數(shù)值化，并且使用時(shí)間方向的數(shù)據(jù)計(jì)算可靠度。
[0049]用于車道識(shí)別應(yīng)用程序單體的方法，是通過在時(shí)間方向上分析作為檢測(cè)對(duì)象的車道的邊緣強(qiáng)度，而確定用于車道識(shí)別的車道標(biāo)記特征量抽出量的邊緣閾值，從而通過與路面狀態(tài)、鏡頭狀態(tài)相應(yīng)的閾值調(diào)整抑制誤識(shí)別，同時(shí)成功地確保高識(shí)別率。
[0050]但是，用車輛和行人作為檢測(cè)對(duì)象的情況下，不能夠如白線一般以總是存在為前提，難以分析畫面上的車輛和行人以何種邊緣強(qiáng)度存在。于是，著眼于畫面上總是存在的邊緣是地平線，通過分析地平線附近的邊緣強(qiáng)度能夠用于穩(wěn)定地推測(cè)畫面上的檢測(cè)對(duì)象物的邊緣強(qiáng)度。
[0051]關(guān)于白天，對(duì)于畫面上的地平線附近，劃分為左右、中央3個(gè)區(qū)域?qū)嵤┻吘墢?qiáng)度分析。這是為了大幅