目標(biāo)識別系統(tǒng)和目標(biāo)識別方法
【專利摘要】一種目標(biāo)識別系統(tǒng)和目標(biāo)識別方法。目標(biāo)識別系統(tǒng)（200）操作性地連接至立體圖像設(shè)備（101）以捕捉目標(biāo)識別系統(tǒng)（200）前面區(qū)域的立體圖像，包括：視差計算器（203），計算包括兩個捕捉到的圖像的立體圖像的視差；目標(biāo)候選檢測器（204），基于一個捕捉到的圖像的亮度圖像來檢測識別目標(biāo)區(qū)域（A,B,C,D,E,F）的候選集；和目標(biāo)識別處理器（206），基于視差計算器（203）所計算的視差，將由目標(biāo)候選檢測器（204）檢測的識別目標(biāo)區(qū)域（A,B,C,D,E,F）的候選集限制到識別目標(biāo)區(qū)域的候選集中預(yù)先設(shè)置的特征閾值的范圍內(nèi)，以提取并且輸出一個或者多個識別目標(biāo)（A,C,D）。
【專利說明】目標(biāo)識別系統(tǒng)和目標(biāo)識別方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及用于對表示將要臨近的汽車和行人的識別目標(biāo)區(qū)域的進行識別的目標(biāo)識別系統(tǒng)，以及由目標(biāo)識別系統(tǒng)所執(zhí)行的識別方法。
【背景技術(shù)】
[0002]目前，安裝在車輛中的識別系統(tǒng)基于所捕捉的車輛前面的圖像來識別障礙物，該識別系統(tǒng)被廣泛地用于例如自適應(yīng)巡航控制(ACC)的駕駛員支持系統(tǒng)中，用于減少駕駛員的負(fù)擔(dān)。駕駛員支持系統(tǒng)提供各種功能，包括用于警示駕駛員采取矯正動作用于避免碰撞或者減少碰撞的影響的剎車控制以及報警功能、用于維持車輛之間的最小安全距離的駕駛速度調(diào)整功能、以及用于阻止車輛偏離到另ー車道的偏離阻止功能。
[0003]在JP-2008-146549-A中，公開了ー種駕駛員支持系統(tǒng),該系統(tǒng)基于由成像設(shè)備所捕捉的車輛前面的場景的圖像來識別目標(biāo)，試圖減輕車輛的駕駛員的負(fù)擔(dān)。為了識別所捕捉的圖像中所示的目標(biāo)，從所捕捉的圖像中檢測目標(biāo)的顏色和空間頻率。通過將所檢測的空間頻率進行積分以生成空間頻率的分布，檢測出空間頻率的特性。接著，通過將所檢測的目標(biāo)顏色和空間頻率特性與預(yù)定的目標(biāo)顏色和空間頻率特性進行比較，識別出識別目標(biāo)。
[0004]為了實現(xiàn)駕駛員支持系統(tǒng)，有必要精確地并且立即識別出車輛道路中的障礙物。然而，在上面所提出的例子中，駕駛員支持系統(tǒng)除了道路也檢測不太可能是障礙物的各種目標(biāo)，例如建筑物。因為這些建筑物不被認(rèn)為是像行人和車輛一祥的障礙物，所以檢測道路上除行人和車輛之外的目標(biāo)是毫無意義的。因此，識別道路上的真實障礙物變得緩慢。
[0005]此外，檢測并且積分空間頻率所需要的處理時間取決于存儲器處理能力，并且該處理時間可能是漫長的。結(jié)果是，延遲了在車輛在行進過程中檢測真實障礙物的識別處理，很難適當(dāng)?shù)貙崿F(xiàn)駕駛員支持系統(tǒng)。此外，如上所述的駕駛員支持系統(tǒng)在背景的前面識別出錯誤目標(biāo)，該錯誤目標(biāo)不太可能用作為識別目標(biāo)的真實障礙物。因此，系統(tǒng)可能將背景目標(biāo)錯誤地識別成識別目標(biāo)。

【發(fā)明內(nèi)容】

[0006]在本公開的ー個示例性實施例中，提供了ー種目標(biāo)識別系統(tǒng)，用于識別一個或者多個識別目標(biāo)，操作性地連接至立體成像設(shè)備以捕捉所述目標(biāo)識別系統(tǒng)前面區(qū)域的立體圖像。所述目標(biāo)識別系統(tǒng)包括視差計算器、目標(biāo)候選檢測器、以及目標(biāo)識別處理器。所述視差計算器計算立體圖像的視差，所述立體圖像包括由所述立體成像設(shè)備所獲取的兩個捕捉到的圖像。所述目標(biāo)候選檢測器基于其中ー個捕捉到的圖像的亮度圖像來檢測識別目標(biāo)區(qū)域的候選集。所述目標(biāo)識別處理器基于由所述視差計算器所計算的視差，將由所述目標(biāo)候選檢測器所檢測的識別目標(biāo)區(qū)域的候選集限制到識別目標(biāo)區(qū)域的候選集中預(yù)先設(shè)置的特征閾值的范圍內(nèi)，以提取并且輸出一個或者多個識別目標(biāo)。
[0007]在本公開的另一方面，提供了一種由目標(biāo)識別系統(tǒng)所執(zhí)行的目標(biāo)識別方法，其計算立體圖像的視差，所述立體圖像包括由立體成像設(shè)備所獲取的兩個捕捉到的圖像；基于其中ー個捕捉到的圖像的亮度圖像來檢測識別目標(biāo)區(qū)域的候選集；基于所述視差，將識別目標(biāo)區(qū)域的候選集限制到識別目標(biāo)區(qū)域的候選集中預(yù)先設(shè)置的特征閾值的范圍內(nèi)；以及提取并且輸出一個或者多個識別目標(biāo)。
【專利附圖】

【附圖說明】
[0008]當(dāng)結(jié)合附圖并參考以下的【具體實施方式】，可以更全面地理解本公開并了解本公開的所帯來的效果，其中:
[0009]圖1是示出根據(jù)本公開的包括目標(biāo)識別系統(tǒng)的車載控制系統(tǒng)的示意圖；
[0010]圖2是示出圖1中的成像単元和圖像分析単元的配置的示意圖；
[0011]圖3是示出從與光學(xué)傳輸方向正交的方向看到的圖2中所示的濾光片的示意性的擴展圖；
[0012]圖4是示出目標(biāo)識別系統(tǒng)的配置的方框圖；
[0013]圖5是由目標(biāo)識別系統(tǒng)所執(zhí)行的目標(biāo)識別過程的流程圖；
[0014]圖6是立體圖像的ー個例子；
[0015]圖7是示出在圖1所示的立體照相機中查找的范圍的基本示意圖；
[0016]圖8是包括多個矩形塊的圖像；
[0017]圖9A至圖9D示出在矩形塊中的特征圖案的例子；
[0018]圖10是示出包括層級的目標(biāo)識別處理器的配置的示意圖；
[0019]圖11是所捕捉的圖像的ー個例子，該所捕捉的圖像包括所檢測的識別目標(biāo)區(qū)域的候補集；
[0020]圖12是包括所檢測的識別目標(biāo)區(qū)域的候補集的圖像的一個例子；
[0021]圖13是表示與視差平均值相關(guān)的識別目標(biāo)區(qū)域的最小寬度、最大寬度、最小高度以及最大聞度的表格；
[0022]圖14是由目標(biāo)識別系統(tǒng)所執(zhí)行的另一目標(biāo)識別過程的流程圖；以及
[0023]圖15是示出立體照相機系統(tǒng)的硬件配置的方框圖。
【具體實施方式】
[0024]在附圖示出的較佳實施例的記載中，使用特定術(shù)語是為了清楚。然而，本說明書所揭露的內(nèi)容并不意欲限于所選擇的特定術(shù)語。應(yīng)該明白的是，每ー特定元件均包括所有具有等同功能、以相似方式操作及實現(xiàn)相似結(jié)果的等同技木?，F(xiàn)在參考附圖，其中在全部視圖中用相同的參考標(biāo)記表示相同的或者對應(yīng)的部分，并且尤其對于圖1至圖15，將描述根據(jù)本公開所說明的實施例的目標(biāo)識別系統(tǒng)。
[0025]首先，安裝到車輛的控制系統(tǒng)包括如車載系統(tǒng)的目標(biāo)識別系統(tǒng)。應(yīng)注意的是，根據(jù)本公開的目標(biāo)識別系統(tǒng)不限于車載控制系統(tǒng)，因此例如目標(biāo)識別系統(tǒng)可以用于基于所捕捉的圖像來檢測對象的對象檢測設(shè)備。
[0026]圖1是示出根據(jù)本公開的包括目標(biāo)識別系統(tǒng)200的車載控制系統(tǒng)106的示意圖。車載控制系統(tǒng)106使用由安裝在車輛100中的成像單元101所獲取的車輛前面的所捕捉到的道路圖像，根據(jù)目標(biāo)的識別來控制車輛100 (例如，小汽車)中的各種設(shè)備。
[0027]在圖1中，車載控制系統(tǒng)106包括成像単元101、圖像分析単元102以及車輛駕駛控制單元104。提供成像單元101作為捕捉設(shè)備，用于捕捉在行進方向上的車輛前面區(qū)域的圖像。例如，在接近車輛100的擋風(fēng)玻璃103的后視鏡的附近，提供成像單元101。各種數(shù)據(jù)(例如，由成像単元101所獲取的捕捉數(shù)據(jù))被輸入至作為圖像處理器的圖像分析単元102。圖像分析単元102分析從成像単元101傳輸?shù)臄?shù)據(jù)，計算位置、方向、到車輛100前面的另ー車輛的距離，并且檢測作為車道邊界的分隔線。當(dāng)檢測到了另ー車輛(領(lǐng)先的車輛、將要臨近的汽車)時，基于亮度圖像，檢測到作為道路上的識別目標(biāo)的另一車輛。
[0028]此外，將圖像分析単元102的計算結(jié)果傳輸給車輛駕駛控制単元104。車輛駕駛控制単元104基于識別目標(biāo)(例如，另ー車輛和行人)的檢測，執(zhí)行駕駛支持控制以用于發(fā)出警報并且控制車輛100的方向盤和剎車。車輛駕駛控制単元104實現(xiàn)各種功能，包括:剎車控制以及報警功能，其警示駕駛員采取矯正的行為來避免碰撞或者減少碰撞的影響；以及駕駛速度調(diào)整功能，用于通過使用控制設(shè)備(例如，剎車和方向盤)來維持車輛之間的最小安全距離。
[0029]圖2是示出成像單元101和圖像分析單元102的配置的示意圖。成像單元101是立體照相機系統(tǒng)，包括兩個照相機IlOA和110B，并且兩個照相機IlOA和IlOB具有相似的配置。照相機IlOA和IlOB分別包括捕捉透鏡11IA和111B、濾光片112A和112B、以及圖像傳感器113A和113B，將圖像收集元件ニ維地排列在圖像傳感器上。成像單元101輸出亮度數(shù)據(jù)。
[0030]此外，成像単元101包括由現(xiàn)場可編程門陣列(FPGA)構(gòu)成的處理硬件単元120。處理硬件単元120包括用于計算在所捕捉的圖像之間對應(yīng)的部分中的視差值的視差計算器121，用于基于分別從成像単元IlOA和IlOB輸出的亮度圖像數(shù)據(jù)，獲取視差數(shù)據(jù)。在此，當(dāng)由成像設(shè)備IlOA和IlOB中的一個所獲取的ー個捕捉圖像是參考圖像并且由成像設(shè)備IlOA和IlOB中的另ー個所獲取的另ー捕捉圖像是對比圖像時，計算用于特定區(qū)域的視差值，該視差值作為與參考圖像中的特定圖像區(qū)域相關(guān)的對比圖像中的特定圖像區(qū)域的位置偏差。使用三角測量的基本原理，從立體照相機系統(tǒng)到圖像區(qū)域中的相同對象的距離基于所計算的視差值。
[0031]圖像分析單元102包括存儲器130和微處理器(MPU) 140。存儲器130存儲從成像単元101輸出的亮度圖像數(shù)據(jù)和視差圖像數(shù)據(jù)。MPU140使用存儲在存儲器130中的亮度圖像數(shù)據(jù)和視差圖像數(shù)據(jù)，執(zhí)行識別處理以識別目標(biāo)并且控制視差計算。
[0032]圖3是示出從與光學(xué)傳輸方向正交的方向看到的濾光片112A和112B以及圖像傳感器113A和113B的示意性的擴展圖。圖像傳感器113A和113B中的每個均由例如電荷耦合元件(CXD)和互補金屬氧化物半導(dǎo)體(CMOS)所組成，并且成像元件(受光元件)是由光電ニ極管113a所形成。將光電ニ極管113a進行ニ維排列，用于圖像傳感器113A和113B中的每個成像像素。為了提高聚焦效率，在光電ニ極管113a的入射側(cè)提供微透鏡113b。通過按照線路結(jié)合方法所結(jié)合的印刷線路板(PWB)，將圖像傳感器113A和113B進行連接，從而形成傳感器基板114A和114B。
[0033]接著，以下描述根據(jù)本公開的特征的識別過程。圖4是示出目標(biāo)識別系統(tǒng)200的配置的方框圖。在圖4中，目標(biāo)識別系統(tǒng)200包括立體圖像輸入?yún)g元201、亮度圖像輸入單元202、視差圖像計算器203、識別目標(biāo)候選區(qū)域檢測器204、識別候選參考器205、目標(biāo)識別處理器206以及目標(biāo)識別結(jié)果輸出単元207。立體圖像輸入?yún)g元201從包括成像単元IlOA和IlOB的立體照相機接收立體圖像，成像單元IIOA和IlOB包含位于立體照相機的兩側(cè)的成像透鏡和圖像傳感器。
[0034]亮度圖像輸入單元202從立體圖像輸入單元201接收立體圖像的左側(cè)圖像或者右側(cè)圖像的亮度圖像。輸入的立體圖像和亮度圖像存儲在立體照相機系統(tǒng)的存儲器130中。視差圖像計算器203計算所捕捉的目標(biāo)的視差(視差圖像)，該視差是右側(cè)圖像和左側(cè)圖像之間的聚焦位置的差異。識別目標(biāo)候選區(qū)域檢測器204檢測識別目標(biāo)區(qū)域的候選集，展示了示出車輛100前面的所捕捉的圖像的角落。識別候選參考器205是預(yù)先使用目標(biāo)識別的圖像樣本學(xué)習(xí)數(shù)據(jù)，由機器學(xué)習(xí)方法(例如，支持向量機(SVM)方法)所生成的。形成識別候選參考器205用于每個識別目標(biāo)。目標(biāo)識別處理器206執(zhí)行識別處理。目標(biāo)識別處理器206使用識別候選參考器205用于識別所述識別目標(biāo)。目標(biāo)檢測結(jié)果輸出単元207輸出識別目標(biāo)的識別結(jié)果。
[0035]在此，以下描述目標(biāo)識別處理器206中的識別過程。首先，目標(biāo)識別處理器206計算識別目標(biāo)區(qū)域的候選集的視差平均值。視差平均值是通過將在特定像素的視差值相加并且然后除以總數(shù)而獲取的值，或者通過在識別目標(biāo)區(qū)域的候選集中使用中心值(中間)濾波而獲取的值。可選的是，將可以將視差值設(shè)置成在識別目標(biāo)候選區(qū)域之中的最高頻率值。目標(biāo)識別處理器206基于視差平均值，計算識別目標(biāo)區(qū)域的候選集與立體照相機系統(tǒng)101之間的距離。目標(biāo)識別處理器206使用到立體照相機系統(tǒng)101的距離以及在所捕獲的圖像上的識別目標(biāo)候選區(qū)域的大小，計算識別目標(biāo)區(qū)域的真實候選集的大小。
[0036]當(dāng)識別目標(biāo)區(qū)域的候選集的水平大小和垂直大小超過了作為預(yù)定識別目標(biāo)而設(shè)定的閾值范圍大小吋，將該識別認(rèn)為是錯誤的識別，并且去除識別目標(biāo)區(qū)域的多余候選集。接著，將包含在識別目標(biāo)區(qū)域的候選集的閾值范圍大小之中的識別目標(biāo)輸出作為目標(biāo)識別結(jié)果。
[0037]對于這些過程，能夠提高識別目標(biāo)區(qū)域的候選集的準(zhǔn)確性。在此，閾值范圍大小保存在立體照相機101的存儲器130中。
[0038]接著，以下參考圖5將描述目標(biāo)識別系統(tǒng)200的操作流。圖5是由目標(biāo)識別系統(tǒng)200所執(zhí)行的目標(biāo)識別過程的流程圖。在步驟SlOl中，將立體圖像輸入至立體圖像輸入單元201 (見圖4)。更具體地，從立體照相機201輸入立體圖像。圖6是立體圖像的ー個例子。立體圖像中的相同對象在左側(cè)圖像和右側(cè)圖像中位于不同的成像位置。
[0039]接著，在步驟S102中，亮度圖像輸入單元202輸出左側(cè)圖像或者右側(cè)圖像的亮度圖像。輸入的立體圖像和亮度圖像保存在立體照相機102的存儲器516中。
[0040]在步驟S103中，視差圖像計算器203使用從立體圖像輸入單元201輸入的立體圖像，計算視差值，該視差值是在立體圖像的對象中的左側(cè)圖像和右側(cè)圖像的圖像形成位置之間的差異。更具體地，使用塊匹配方法，基于由左側(cè)圖像透鏡IllA和右側(cè)圖像透鏡IllB所形成的左側(cè)圖像和右側(cè)圖像之間的相同區(qū)域，計算視差圖像，其中將視差值作為像素值而處理。
[0041]塊匹配方法是將右側(cè)圖像和左側(cè)圖像劃分為多個塊并基于多個塊來計算視差值的方法，在多個塊中，右側(cè)圖像和左側(cè)圖像之間的相似度是最大的并且右側(cè)圖像和左側(cè)圖像之間的塊是匹配的。例如，將具有1280X960像素的圖像分成5X5像素大小的塊。接著，使用各自的塊計算視差值。通過實驗調(diào)整來設(shè)定塊大小的最佳值。[0042]在圖7所示出的一個例子中，A I和A2表示從圖像中心位置到左側(cè)圖像和右側(cè)圖像中的實際圖像位置(在捕捉的目標(biāo)中用點0示出)的距離。因此，可以通過將距離Al和距離A 2相加，獲取視差值A(chǔ)。(A = Al+A 2)。視差圖像在對應(yīng)的像素位置處具有視差值。
[0043]在步驟S104中，識別目標(biāo)候選區(qū)域檢測器204使用從亮度圖像輸入?yún)g元202輸入的亮度圖像，檢測識別目標(biāo)區(qū)域(例如，車輛和行人)的候選集。在步驟S105中，目標(biāo)識別處理器206計算從亮度圖像所識別的識別目標(biāo)區(qū)域的候選集的視差平均值。在步驟S106中，目標(biāo)識別處理器206從視差平均值計算識別目標(biāo)區(qū)域的候選集與立體照相機之間的距離。在步驟S107中，目標(biāo)識別處理器206使用到立體照相機的距離以及在圖像上的識別目標(biāo)區(qū)域的候選集的大小，計算識別目標(biāo)區(qū)域r的候選集的真實大小。
[0044]在步驟S108中，目標(biāo)識別處理器206將識別目標(biāo)區(qū)域的候選集的真實大小與對應(yīng)于識別目標(biāo)區(qū)域的候選集的閾值范圍大小進行比較。當(dāng)識別目標(biāo)區(qū)域的候選集的真實大小處于閾值范圍大小之中時(步驟S108中的“是”)，目標(biāo)識別處理器206使用亮度圖像執(zhí)行識別處理，并且在步驟S109中輸出目標(biāo)識別結(jié)果。當(dāng)識別目標(biāo)區(qū)域的候選集的真實大小在閾值范圍大小之外時(步驟S108中的“否”)，目標(biāo)識別處理器206執(zhí)行識別處理以用于去除多余圖像，并且在步驟SllO中將識別目標(biāo)區(qū)域的多余候選集識別作為錯誤檢測。
[0045]在此，以下將描述根據(jù)本公開的用于識別所述識別目標(biāo)的識別過程的細(xì)節(jié)。首先，如圖8中所示的，為了識別所述識別目標(biāo)，將矩形或者方形塊與所捕捉的圖像中的目標(biāo)圖像相關(guān)聯(lián)。由矩形的左上坐標(biāo)(Xs，Ys)和右下坐標(biāo)(Xe，Ye)，來確定所捕捉的圖像中的矩形塊的位置和大小。接著，使用大矩形塊1，掃描所捕捉的圖像，并且提取目標(biāo)圖像使得矩形塊I的大小幾乎與目標(biāo)的大小相匹配，并且將矩形塊I設(shè)定為所提取的目標(biāo)圖像。
[0046]在設(shè)定矩形塊I之后，使用小矩形塊2，掃描所捕捉的圖像，并且接著提取目標(biāo)圖像使得矩形塊2的大小幾乎與小目標(biāo)的大小相匹配，并且將矩形塊2設(shè)定為所提取的小目標(biāo)圖像。因此，將矩形塊設(shè)定為對應(yīng)的目標(biāo)圖像。矩形塊與識別目標(biāo)區(qū)域的候選集相關(guān)聯(lián)。
[0047]接著，目標(biāo)識別處理器206使用識別候選參考器205，識別所述識別目標(biāo)。在此，以下將描述用于識別所針對的識別目標(biāo)的識別候選參考器205。
[0048]如圖9A至圖9D所示的，目標(biāo)識別處理器206基于僅由白像素所組成的矩形范圍301和僅由黑像素所組成的矩形范圍302，計算評估目標(biāo)的矩形塊中的特征數(shù)目，該特征數(shù)目是由包含在圖9A中所示的矩形塊300中的陰影部分所表示。目標(biāo)識別處理器206計算評估目標(biāo)矩形塊中的像素與矩形范圍301的白像素之間的差異以及評估目標(biāo)矩形塊中的像素與矩形范圍302的黑像素之間的差異，并且因此將各總合的差異設(shè)定為矩形塊300中的特征數(shù)目h(x)。
[0049]在圖9A至圖9D所示的特征圖案A、B、C和D幾乎完全覆蓋了任何目標(biāo)的特征。在特征圖案A中，矩形范圍301和矩形范圍302是邊挨邊相鄰，并且矩形范圍都處于矩形塊300的中心的左上位置。在特征圖案B中，矩形范圍301和矩形范圍302是上下相鄰，并且矩形范圍都處于矩形塊300的中心的左上位置。在特征圖案C中，矩形范圍302是夾在兩個矩形范圍301之間，并且矩形范圍都處于矩形塊300的中心的上方位置。在特征圖案D中，矩形范圍301和矩形范圍302處于對角，并且矩形范圍都處于矩形塊300的中心的左側(cè)位置。[0050]接著，使用如公式I所示的評估功能，基于如公式I所示的的評估功能等來計算識別目標(biāo)區(qū)域的候選集的評估權(quán)重值f (X)。通過計算矩形塊t (I至T)中整個像素T中的特征數(shù)目ht(x) (T:用于評估的圖案的數(shù)目)，通過乘以附加到每個矩形塊的權(quán)重系數(shù)a,，計算出權(quán)重評估值f (X)。
[0051]在此，通過收集用于識別目標(biāo)的圖像的學(xué)習(xí)數(shù)據(jù)并且通過利用學(xué)習(xí)數(shù)據(jù)，獲取特征數(shù)目ht(x)和權(quán)重系數(shù)ato通過計算用于如上所述的特征圖案A至D的權(quán)重評估值，識別候選參考器205基于所計算的權(quán)重評估值，將特征圖案和權(quán)重系數(shù)成對保存。

r
[0052]fix)=2>A(4-4)
[0053]在此，目標(biāo)識別處理器206包括多個層級400-1至400_n(n;自然整數(shù))。在各自的層級400-1至400-n中， 使用由公式(I)表示的評估功能的權(quán)重評估值來評估目標(biāo)。
[0054]在各自的層級400-1至400-n中，使用用于每個識別目標(biāo)的唯一特征圖案或者用于每個識別目標(biāo)的多個特征圖案以及與特征圖案相關(guān)的權(quán)重系數(shù)，基于公式(I)執(zhí)行評估。通常，從400-1至400-n的層級變化，所使用的圖案的數(shù)目也逐漸增加。因此，可以提升識別速度。例如，在層級400-1中，當(dāng)矩形塊比預(yù)先設(shè)定的閾值范圍小時，確定所針對的識別目標(biāo)不在矩形塊中。接著，不評估矩形塊，塊被作為非目標(biāo)塊400-1而處理。對于各自的層級400-2至400-n (n:自然整數(shù))執(zhí)行類似的確定。在最后的層級400_n中的識別目標(biāo)不是識別目標(biāo)的情況下，確定矩形塊是在其中存在所針對的識別目標(biāo)的圖像的矩形塊。
[0055]當(dāng)計算了特征數(shù)目吋，額外乘以識別加權(quán)。因此，當(dāng)將道路區(qū)域中的識別加權(quán)設(shè)定為I并且將其他區(qū)域中的識別加權(quán)設(shè)定為0時；即，當(dāng)?shù)缆穮^(qū)域之外的整個區(qū)域的權(quán)重系數(shù)是0時，執(zhí)行用于道路區(qū)域的識別過程并且不執(zhí)行用于道路區(qū)域之外的區(qū)域的識別過程?？蛇x的是，將對應(yīng)于識別加權(quán)的權(quán)重系數(shù)設(shè)定為小數(shù)，并且對于各自的區(qū)域可以設(shè)定不同的權(quán)重系數(shù)。在這種情況下，甚至當(dāng)所針對的識別目標(biāo)存在于將權(quán)重系數(shù)設(shè)置成小值以及將權(quán)重系數(shù)設(shè)置成較大值的各區(qū)域中時，權(quán)重系數(shù)小的區(qū)域的權(quán)重評估值小，確定其不是識別目標(biāo)的圖像。
[0056]因此，權(quán)重系數(shù)小的區(qū)域的識別目標(biāo)的識別結(jié)果是不好的，并且可以去除與識別目標(biāo)的圖像相似的目標(biāo)的圖像，從而減少了錯誤識別的發(fā)生。
[0057]在此，通過使用將識別目標(biāo)和非識別目標(biāo)分類的學(xué)習(xí)后的圖像，獲取特征數(shù)目、權(quán)重系數(shù)以及用于計算目標(biāo)識別處理器206的各層級的評估值的評估閾值。圖11和圖12示出圖像中的所檢測的識別目標(biāo)區(qū)域的候選集。在圖11和圖12中，由粗線所包圍的區(qū)域表示識別目標(biāo)區(qū)域的候選集。
[0058]接著，目標(biāo)識別處理器206使用包含由視差圖像計算器203所計算的視差值的視差圖像，從由識別目標(biāo)候選區(qū)域檢測器204所檢測的識別目標(biāo)區(qū)域的候選集中，去除錯誤地檢測到的識別目標(biāo)區(qū)域的候選集。此時，目標(biāo)識別處理器206計算從亮度圖像所識別的識別目標(biāo)區(qū)域的候選集的視差平均值。
[0059]接著，目標(biāo)識別處理器206基于視差平均值，計算識別目標(biāo)區(qū)域的候選集到立體照相機的距離。更具體地，通過下面的公式2表示識別目標(biāo)區(qū)域的候選集到立體照相機的距離Z與視差平均值A(chǔ)之間的關(guān)系(見圖7)。
[0060]A:f = D:Z...(2)[0061]在公式(2)中，f表示立體照相機系統(tǒng)中的兩個成像透鏡IllA和IllB之間的焦距，D表示兩個照相機之間的差異。因此，可以由下面的公式(3)計算識別目標(biāo)區(qū)域的候選集到立體照相機的距離Z。
[0062]Z = DXf/A...(3)
[0063]在計算了識別目標(biāo)區(qū)域的候選集到立體照相機的距離Z之后，可以計算識別目標(biāo)區(qū)域的候選集的真實大小。在此，由下面的公式(4)來表示:在捕捉的圖像中的識別目標(biāo)區(qū)域的候選集的虛擬大小s與識別目標(biāo)區(qū)域的候選集的真實大小S之間的關(guān)系。
[0064]S: Z = s: f...(4)
[0065]因此，可以由下面的公式(5)計算識別目標(biāo)區(qū)域的候選集的真實大小S
[0066]S = sXZ/f...(5)
[0067]通過將對應(yīng)于識別目標(biāo)區(qū)域的候選集的識別范圍大小與由公式(5)所獲取的識別目標(biāo)區(qū)域的候選集的真實大小S進行比較，可以從識別目標(biāo)區(qū)域的候選集的列表中去除錯誤地檢測到的識別目標(biāo)區(qū)域的候選集。
[0068]例如,可以將識別目標(biāo)區(qū)域的候選集的最小寬度Wmin、最大寬度Wmax、最小高度Hmin以及最大高度Hmax設(shè)定為以下的值。當(dāng)識別目標(biāo)是行人時，可以將閾值范圍大小設(shè)定為這樣的范圍:最小高度Hmin為0.5m、最大高度Hmax為2.5m、最小寬度Wmin為0.lm、最大寬度Wmax為1.0m0當(dāng)識別目標(biāo)是小汽車時，可以將閾值范圍大小設(shè)定為這樣的范圍:最小高度Hmin為1.0m、最大高度Hmax為5.0m、最小寬度Wmin為4.0m、最大寬度Wmax為3.0m。接著，基于Wmin、Wmax、Hmin以及Hmax的范圍來確定是否錯誤地檢測了識別目標(biāo)區(qū)域的候選集。即，可以由在公式(6)和(7)所表示的范圍之中來設(shè)定識別目標(biāo)區(qū)域的候選集的寬度Ws和高度Hs。
[0069]W min < Ws < W max...(6)
[0070]H min < Hs < H max...(7)
[0071]可以由實際收集的識別目標(biāo)的實驗數(shù)據(jù)來確定，識別目標(biāo)區(qū)域的各自的候選集Wmin、Wmax、Hmin 以及 Hmax 的值。
[0072]在這個配置中，當(dāng)所檢測的識別目標(biāo)區(qū)域的候選集處于多余寬度區(qū)域(6)或者多余高度區(qū)域(7)吋，目標(biāo)識別處理器206檢測到錯誤地檢測了識別目標(biāo)區(qū)域的候選集。或者，當(dāng)所檢測的識別目標(biāo)區(qū)域的候選集處于多余寬度區(qū)域(6)和多余高度區(qū)域(7)吋，目標(biāo)識別處理器206檢測到錯誤地檢測了識別目標(biāo)區(qū)域的候選集。
[0073]使用這些計算，將如圖12所示的矩形塊B、D和F作為要被去除的識別目標(biāo)區(qū)域的候選集的錯誤的結(jié)果而檢測出。
[0074]圖14是由目標(biāo)識別系統(tǒng)200所執(zhí)行的另一目標(biāo)識別過程的流程圖。在如14中所示的目標(biāo)識別操作的步驟S201至S207與圖5中的步驟SlOl至S107相類似。
[0075]以下將描述與圖5的不同。在步驟S208中，目標(biāo)識別處理器206將對應(yīng)于識別目前區(qū)域的候選集的閾值范圍大小與識別目標(biāo)區(qū)域的候選集的真實大小進行比較。當(dāng)識別目標(biāo)區(qū)域的候選集的真實大小等于或者小于閾值范圍大小時(步驟S208中的“是”)，目標(biāo)識別處理器206使用亮度圖像執(zhí)行識別過程，并且在步驟S209和S210中輸出目標(biāo)識別結(jié)果。
[0076]相反地，當(dāng)識別目標(biāo)區(qū)域的候選集的真實大小大于閾值范圍大小時(步驟S208中的“否”)，目標(biāo)識別處理器206確定所檢測的目標(biāo)不是識別目標(biāo)，不執(zhí)行識別過程并且將過程修改為步驟S204的視差計算過程，并且在后續(xù)的步驟中再次檢測識別目標(biāo)區(qū)域的候選集。對于這些處理，可以進ー步地減少錯誤識別。
[0077]以下結(jié)合圖15描述用于識別所述識別目標(biāo)的車載立體照相機成像設(shè)備的硬件配置。圖15是表示立體照相機的硬件結(jié)構(gòu)的一個例子的方框圖。在圖15中，將從對象反射的光通過立體照相機中的成像透鏡501和502 (112A和112B)輸入至與圖像傳感器112A和112B對應(yīng)的互補金屬氧化物半導(dǎo)體(CM0S)503和504 (參見圖4)。CM0S503和504將在捕捉的圖像上形成的光圖像轉(zhuǎn)換為用于作為模擬圖像數(shù)據(jù)輸出的電信號。接著，信號處理器114A和114B包括:相關(guān)雙采樣(CDS)電路505和506、摸-數(shù)(A/D)轉(zhuǎn)換器507和508、以及圖像處理電路509和510。每個處理硬件單元120和MPU140包括:中央處理器(CPU)511、同步動態(tài)隨機訪問存儲器(DRAM) 512、壓縮擴展電路513、只讀存儲器(ROM) 516、隨機訪問存儲器(RAM)517和定時信號生成器電路518。⑶S電路505和506移除從CM0S503和504輸出的模擬圖像數(shù)據(jù)的噪聲，并由A/D轉(zhuǎn)換器507和508將噪聲移除后的圖像數(shù)據(jù)轉(zhuǎn)換為數(shù)字信號，以輸出至圖像處理電路509和510。
[0078]利用暫時保存圖像數(shù)據(jù)的SDRAM512，圖像處理電路509和510執(zhí)行各種圖像處理，例如亮度-色調(diào)(YcrCb)轉(zhuǎn)換、白平衡控制處理、對比度校正處理和邊緣強化處理。在圖像處理過程中，圖像信息的陰影可以在白平衡處理中被調(diào)整，圖像信息的對比度可以在對比度校正處理中被調(diào)整，圖像信息的銳度可以在邊緣強化處理中被調(diào)整，并且圖像信息的色彩可以在色彩轉(zhuǎn)換處理中被調(diào)整。
[0079]另外，將執(zhí)行了信號處理和圖像處理的圖像信息經(jīng)由壓縮擴展電路513存儲在存儲卡514中。壓縮擴展電路513壓縮從圖像處理電路509和510輸出的圖像信息并且擴展從存儲卡514讀出的圖像信息，以將壓縮和擴展的信息輸出到圖像處理電路。CM0S503和504、⑶S電路505和506以及A/D轉(zhuǎn)換器507和508的定時由CPU511經(jīng)由生成定時信號的定時信號生成器電路518來控制。而且，CPU511還控制圖像處理電路509和510、壓縮擴展電路513和存儲卡514。
[0080]在立體照相機系統(tǒng)中，CPU511根據(jù)目標(biāo)識別程序執(zhí)行各種計算。CPU511安裝專用于存儲圖像處理程序的R0M516和可讀存儲器RAM517，可讀存儲器包括用于各種處理的エ作區(qū)域和各種數(shù)據(jù)存儲區(qū)域。R0M516和RAM517通過總線519連接。利用該配置，立體照相機由模塊配置組成，該模塊配置包括處理功能，用于執(zhí)行在車載立體照相機系統(tǒng)中執(zhí)行的視差計算、利用亮度圖像檢測識別目標(biāo)區(qū)域的候選集、執(zhí)行目標(biāo)識別功能來消除識別目標(biāo)區(qū)域的候選集的錯誤檢測。作為實際硬件配置，CPU511從R0M516讀出圖像處理程序，將各個處理加載在主存儲器中并且輸出目標(biāo)識別結(jié)果。
[0081]可以將實現(xiàn)根據(jù)如上所述的實施例的目標(biāo)識別系統(tǒng)的功能的計算機程序，配置成安裝在連接到網(wǎng)絡(luò)(例如，互聯(lián)網(wǎng))的計算機中，并且經(jīng)由網(wǎng)絡(luò)被下載提供?？梢詫崿F(xiàn)根據(jù)本實施例的圖像處理的計算機程序，配置成經(jīng)由網(wǎng)絡(luò)(例如，互聯(lián)網(wǎng))而提供或者發(fā)布?？梢詫崿F(xiàn)根據(jù)本實施例的計算機程序，預(yù)先配置成被安裝在ROM中等而提供。
[0082]由根據(jù)本實施例的圖像處理裝置執(zhí)行的計算機程序可以通過作為可安裝格式或可執(zhí)行格式的文件記錄在計算機可讀記錄介質(zhì)如⑶-ROM、FD、⑶-R和DVD中來提供。
[0083]以下將說明由根據(jù)如上所述的實施例和變形例的圖像處理裝置所處理的圖像數(shù)據(jù)的典型文件結(jié)構(gòu)。[0084]根據(jù)上述教導(dǎo)許多附加的修改和變化也是可能的。因而需要理解的是，在所附權(quán)利要求的范圍內(nèi)，可以與本文具體描述不同的方式來實施本發(fā)明說明書的披露。
【權(quán)利要求】
1.ー種目標(biāo)識別系統(tǒng)，用于識別一個或者多個識別目標(biāo)，操作地連接至立體成像設(shè)備以捕捉所述目標(biāo)識別系統(tǒng)前面區(qū)域的立體圖像， 所述目標(biāo)識別系統(tǒng)包括: 視差計算器，用于計算立體圖像的視差，所述立體圖像包括由所述立體成像設(shè)備所獲取的兩個捕捉到的圖像； 目標(biāo)候選檢測器，用于基于其中ー個捕捉到的圖像的亮度圖像來檢測識別目標(biāo)區(qū)域的候選集；以及 目標(biāo)識別處理器，用于基于由所述視差計算器所計算的視差，將由所述目標(biāo)候選檢測器所檢測的識別目標(biāo)區(qū)域的候選集限制到識別目標(biāo)區(qū)域的候選集中預(yù)先設(shè)置的特征閾值的范圍內(nèi)，以提取并且輸出一個或者多個識別目標(biāo)。
2.如權(quán)利要求1所述的目標(biāo)識別系統(tǒng)，其中，所述目標(biāo)識別處理器用于: 基于由所述視差計算器所計算的視差，計算由所述目標(biāo)候選檢測器所檢測的識別目標(biāo)區(qū)域的候選集的視差平均值； 使用所計算的視差平均值，計算從成像設(shè)備到由所述目標(biāo)候選檢測器所檢測的識別目標(biāo)區(qū)域的候選集的距離； 使用所計算的視差平 均值和到所述成像設(shè)備的距離，計算識別目標(biāo)區(qū)域的候選集的大??；并且 從由所述目標(biāo)候選檢測器所檢測的識別目標(biāo)區(qū)域的候選集中，提取并且輸出一個或者多個識別目標(biāo)，以便將基于所計算的距離區(qū)域所提取的識別目標(biāo)區(qū)域的候選集的真實大小限制到識別目標(biāo)區(qū)域的候選集中預(yù)先設(shè)置的特征閾值的范圍內(nèi)。
3.一種由目標(biāo)識別系統(tǒng)所執(zhí)行的目標(biāo)識別方法，用于識別一個或者多個識別目標(biāo)，所述目標(biāo)識別系統(tǒng)操作地連接至立體成像設(shè)備以捕捉所述目標(biāo)識別系統(tǒng)前面區(qū)域的立體圖像， 所述方法包括以下步驟: 計算立體圖像的視差，所述立體圖像包括由所述立體成像設(shè)備所獲取的兩個捕捉到的圖像； 基于其中ー個捕捉到的圖像的亮度圖像來檢測識別目標(biāo)區(qū)域的候選集； 基于所述視差，將識別目標(biāo)區(qū)域的候選集限制到識別目標(biāo)區(qū)域的候選集中預(yù)先設(shè)置的特征閾值的范圍內(nèi)；以及 提取并且輸出一個或者多個識別目標(biāo)。
4.如權(quán)利要求3所述的目標(biāo)識別方法，進ー步包括: 基于由視差計算器所計算的視差，計算由目標(biāo)候選檢測器所檢測的識別目標(biāo)區(qū)域的候選集的視差平均值； 使用所計算的視差平均值，計算從成像設(shè)備到由所述目標(biāo)候選檢測器所檢測的識別目標(biāo)區(qū)域的候選集的距離； 使用所計算的視差平均值和到所述成像設(shè)備的距離，計算識別目標(biāo)區(qū)域的候選集的大??；以及 從由所述目標(biāo)候選檢測器所檢測的識別目標(biāo)區(qū)域的候選集中，提取并且輸出一個或者多個識別目標(biāo)，以便將基于所計算的距離區(qū)域所提取的識別目標(biāo)區(qū)域的候選集的真實大小限制到識別 目標(biāo)區(qū)域的候選集中預(yù)先設(shè)置的特征閾值的范圍內(nèi)。
【文檔編號】G08G1/16GK103448650SQ201310213107
【公開日】2013年12月18日 申請日期:2013年5月31日 優(yōu)先權(quán)日:2012年6月1日
【發(fā)明者】關(guān)?？? 申請人:株式會社理光