特征提取裝置、特征提取程序、以及圖像處理裝置制造方法
【專利摘要】本發(fā)明提供特征提取裝置，該特征提取裝置能夠在抑制物體檢測精度降低且抑制處理負荷增加的狀態(tài)下根據更多的像素生成局部二值模式。該特征提取裝置包括對關注像素設定多個子區(qū)域的子區(qū)域設定單元(433)、以及對每個關注像素生成表示與各子區(qū)域之間的像素值比較的局部二值模式的二值模式生成單元(434)，子區(qū)域設定單元(433)至少將由多個像素構成的區(qū)域設定為子區(qū)域且該多個像素包含從關注像素離開的像素，二值模式生成單元(434)對每個子區(qū)域計算代表值（437），生成表示該代表值相對于關注像素的像素值的差值（438）是否在規(guī)定閾值以上的局部二值模式（439）。
【專利說明】特征提取裝置、特征提取程序、以及圖像處理裝置
【技術領域】
[0001]本發(fā)明涉及從圖像數據提取圖像特征的特征提取裝置、特征提取程序、以及使用特征提取裝置的圖像處理裝置。
【背景技術】
[0002]以往，廣泛進行從圖像數據中提取圖像特征以檢測或識別在圖像中包含的物體(以下稱為“物體檢測”)的處理。作為物體檢測的一種方法，例如非專利文獻I中記載了使用局部二值模式(LBP)的技術。
[0003]局部二值模式是對每個關注像素將與該關注像素的周圍附近的各像素之間的像素值差值進行二值化并排列而得到的二值模式。能夠根據局部二值模式，提取圖像中包含的灰度模式。
[0004]非專利文獻I以及非專利文獻2中記載的技術(以下稱為“第一以往技術”)中，對于作為識別對象的圖像(以下稱為“對象圖像”)的某個區(qū)域所包含的全部或部分像素計算局部二值模式。而且，第一以往技術生成局部二值模式的值的直方圖作為圖像特征。另外，第一以往技術基于根據包含規(guī)定物體的圖像和不包含規(guī)定物體的圖像(以下總稱為“學習圖像”)同樣地生成的直方圖，生成識別器并預先存儲。并且，第一以往技術使用識別器評價對象圖像的直方圖，判斷對象圖像中是否包含規(guī)定物體。
[0005]局部二值模式的直方圖與亮度梯度方向直方圖(HOG:Histograms of OrientedGradients)等圖像特征相比，能夠更高精度地表現紋理的差異和灰度模式，并且能夠以較少的處理負荷進行計算。因此，第一以往技術這種使用局部二值模式的物體檢測可望應用于各種領域。
[0006] 作為局部二值模式的運算對象的區(qū)域一般是以關注像素為中心的3像素X3像素的區(qū)域。然而，根據圖像種類或作為檢測對象的物體的種類不同，更寬地設定作為該運算對象的區(qū)域，根據更多的像素生成局部二值模式，從而存在想要使用更寬范圍的特征的共現性的要求。
[0007]因此，例如在專利文獻I中記載了如下的技術(以下稱為“第二以往技術”，即，將更寬的5像素X5像素的區(qū)域或只將該區(qū)域的外周部作為運算對象的技術。根據這樣的技術，能夠更寬地設定作為局部二值模式的運算對象的區(qū)域。
[0008]現有技術文獻
[0009]專利文獻
[0010]專利文獻1:日本特開2009-211179號公報
[0011]非專利文獻
[0012]非專利文獻1:Timo Ojala, Matti Pietikainen and Topi Maenpaa^Multiresolution Gray-Scale and Rotation Invariant Texture ClassificationWith Local Binary Patterns〃IEEE，Pattern Analysis and Machine Intelligencevol.24n0.7，pp.971-978，July2002o[0013]非專利文獻2:Xiaoyu Wang, Tony X.Han and Shuicheng Yan，"An HOG-LBP HumanDetector with Partial Occlusion Handling, 〃IEEE International Conference onComputer Vision(ICCV2009)，Kyoto, 2009。

【發(fā)明內容】

[0014]發(fā)明要解決的問題
[0015]但是，在第二以往技術中，作為運算對象的區(qū)域越寬，局部二值模式的比特數越增大。例如，在將上述的3像素X 3像素的區(qū)域作為運算對象的情況下，該比特數為8比特，相對于此，在將上述的5像素X5像素的區(qū)域作為運算對象的情況下，即使只使用其外周部，也成為一倍的16比特。若局部二值模式的比特數增加，則直方圖的維數增加，識別器生成和使用識別器的物體檢測時的處理負荷增加。
[0016]另一方面，如果拉開作為運算對象的像素間隔，則能夠抑制局部二值模式的比特數，但是，相應地，物體檢測的精度降低。
[0017]S卩，第二以往技術存在若將更寬的區(qū)域作為局部二值模式的運算對象則檢測精度降低或處理負荷增加的問題。
[0018]本發(fā)明的目的在于，提供能夠在抑制物體檢測精度降低且抑制處理負荷增加的狀態(tài)下根據更多的像素生成局部二值模式的特征提取裝置、特征提取程序、以及圖像處理裝置。
[0019]解決問題的方案
[0020]本發(fā)明的特征提取裝置包括:子區(qū)域設定單元，其對圖像的全部或部分像素中的每個像素，以該像素為關注像素，對該關注像素設定多個子區(qū)域；以及二值模式生成單元，其對每個所述關注像素，生成利用比特值表示與所設定的所述多個子區(qū)域的每個子區(qū)域之間的像素值比較的局部二值模式，所述子區(qū)域設定單元至少將由多個像素構成的區(qū)域設定為所述子區(qū)域，且該多個像素包含從所述關注像素離開的像素，所述二值模式生成單元對每個所述子區(qū)域計算代表構成該子區(qū)域的一個或多個像素的像素值組的代表值，生成利用比特值表示該代表值相對于所述關注像素的像素值的差值是否在規(guī)定閾值以上的比特數據，作為所述局部二值模式。
[0021]本發(fā)明的圖像處理裝置包括:權利要求1所述的特征提取裝置，其還具有直方圖生成單元，該直方圖生成單元生成表示根據所述圖像生成的所述局部二值模式的分布的直方圖；以及識別單元，其使用用于識別規(guī)定物體的識別器，根據由所述特征提取裝置生成的所述直方圖，判斷所述圖像是否包含所述規(guī)定物體。
[0022]本發(fā)明的特征提取程序使計算機執(zhí)行以下處理:對圖像的全部或部分像素中的每個像素，以該像素為關注像素，對該關注像素設定多個子區(qū)域的處理；以及對每個所述關注像素，生成利用比特值表示與所設定的所述多個子區(qū)域的每個子區(qū)域之間的像素值比較的局部二值模式的處理，設定所述子區(qū)域的處理中，至少將由多個像素構成的區(qū)域設定為所述子區(qū)域，且該多個像素包括從所述關注像素離開的像素，生成所述局部二值模式的處理包括:對每個所述子區(qū)域計算代表構成該子區(qū)域的一個或多個像素的像素值組的代表值的處理；以及生成利用比特值表示該代表值相對于所述關注像素的像素值的差值是否在規(guī)定閾值以上的比特數據，作為所述局部二值模式的處理。[0023]發(fā)明效果
[0024]根據本發(fā)明，能夠在抑制物體檢測精度降低且抑制處理負荷增加的狀態(tài)下使用更多的像素生成局部二值模式。
【專利附圖】

【附圖說明】
[0025]圖1是表示一例本發(fā)明實施方式I的特征提取裝置的結構的方框圖。
[0026]圖2是表示一例包含本發(fā)明實施方式2的特征提取裝置的物體檢測系統(tǒng)的結構的方框圖。
[0027]圖3是表示本發(fā)明實施方式2的特征提取單元的詳細結構的方框圖。
[0028]圖4是表示一例本發(fā)明實施方式2的物體檢測裝置的動作的流程圖。
[0029]圖5是表示一例本發(fā)明實施方式2中的圖像掃描的情形的示意圖。
[0030]圖6是表示一例本發(fā)明實施方式2中的附近區(qū)域的移位情形的示意圖。
[0031]圖7是表示一例本發(fā)明實施方式2中的照相機的空間頻率特性的曲線圖。
[0032]圖8是表示本發(fā)明實施方式2中的子區(qū)域配置的第一例的示意圖。
[0033]圖9是表示直至本發(fā)明實施方式2中的局部二值模式反映于直方圖為止的處理的一例的概要的示意圖。
[0034]圖10是表不一例本發(fā)明實施方式2中的直方圖的歸一化情形的圖。
[0035]圖11是表示本發(fā)明實施方式2中的子區(qū)域配置的第二例的圖。
[0036]圖12是表示本發(fā)明實施方式2中的子區(qū)域配置的第三例的圖。
[0037]圖13是表示本發(fā)明實施方式2中的子區(qū)域配置的第四例的圖。
[0038]圖14是表示本發(fā)明實施方式2中的子區(qū)域配置的第五例的圖。
[0039]圖15是表示本發(fā)明實施方式2中的子區(qū)域配置的第四例以及第五例的性能評價的實驗結果的圖。
[0040]圖16是表示本發(fā)明實施方式2中的子區(qū)域配置的第六例的圖。
[0041]圖17是表示本發(fā)明實施方式2中的子區(qū)域配置的第七例的圖。
[0042]圖18是表示本發(fā)明實施方式2中的子區(qū)域配置的第六例以及第七例的性能評價的實驗結果的圖。
[0043]標號說明
[0044]10 特征提取裝置
[0045]100物體檢測系統(tǒng)
[0046]200識別器學習裝置
[0047]210學習用數據存儲單元
[0048]220特征提取單元
[0049]240 學習單元
[0050]300識別器存儲裝置
[0051]400物體檢測裝置
[0052]410照相機
[0053]420圖像輸入單元
[0054]430特征提取單元[0055]431特征提取區(qū)域獲取單元
[0056]432區(qū)域掃描單元
[0057]433子區(qū)域設定單元
[0058]434二值模式生成單元
[0059]435附近區(qū)域獲取單元
[0060]436子區(qū)域設定單元
[0061]437區(qū)域代表值計算單元
[0062]438子區(qū)域差值計算單元 [0063]439二值模式計算單元
[0064]440直方圖生成單元
[0065]450識別單元
【具體實施方式】
[0066]以下參照附圖對本發(fā)明的各實施方式詳細進行說明。
[0067](實施方式I)
[0068]本發(fā)明實施方式I是一例本發(fā)明的基本形態(tài)。
[0069]圖1是表示一例本實施方式的特征提取裝置的結構的方框圖。
[0070]在圖1中，特征提取裝置10具有子區(qū)域設定單元433以及二值模式生成單元434。
[0071]子區(qū)域設定單元433對圖像的全部或部分像素中的每個像素，以該像素為關注像素，對該關注像素設定多個子區(qū)域。這時，子區(qū)域設定單元433至少將由多個像素構成的區(qū)域設定為子區(qū)域，該多個像素包含從關注像素離開的像素。
[0072]二值模式生成單元434對每個關注像素，生成利用比特值表示與所設定的多個子區(qū)域的每個子區(qū)域之間的像素值比較的局部二值模式。這時，二值模式生成單元434對每個子區(qū)域，計算代表構成該子區(qū)域的一個或多個像素的像素值組的代表值。而且，二值模式生成單元434生成利用比特值表示該代表值相對于關注像素的像素值的差值是否在規(guī)定閾值以上的比特數據，作為局部二值模式。
[0073]此外,特征提取裝置10例如可以采用包含CPU(central processing unit,中央處理單元)以及RAM (random access memory,隨機存取存儲器)等存儲介質等的計算機的結構。在這種情況下，特征提取裝置10通過由CPU執(zhí)行存儲的控制程序來工作。
[0074]這樣的特征提取裝置10能夠在使局部二值模式的運算對象中包含從關注像素離開的像素的同時，根據多個像素的像素值的代表值生成局部二值模式。由此，特征提取裝置10能夠在抑制物體檢測精度降低且抑制處理負荷增加的狀態(tài)下使用更多的像素生成局部二值模式。
[0075](實施方式2)
[0076]本發(fā)明實施方式2是一例將本發(fā)明適用于物體檢測系統(tǒng)的情況下的具體的方式。
[0077]首先，說明包含本實施方式的特征提取裝置的物體檢測系統(tǒng)的結構。
[0078]圖2是表示一例包含本實施方式的特征提取裝置的物體檢測系統(tǒng)的結構的方框圖。
[0079]在圖2中，物體檢測系統(tǒng)100包括識別器學習裝置200、識別器存儲裝置300、以及物體檢測裝置400。識別器學習裝置200以及物體檢測裝置400例如能夠通過互聯(lián)網等通信網絡分別與識別器存儲裝置300連接。
[0080]本實施方式中，作為識別器學習裝置200使用的機器學習方法的一個例子，采用Boosting (提升)法。識別器學習裝置200預先根據被歸一化為學習用的圖像，學習用于檢測作為檢測對象的物體(以下稱為“檢測對象物體”)的識別器，將作為學習結果的識別器存儲到識別器存儲裝置300中。
[0081]識別器學習裝置200包括學習用數據存儲單元210、包含本發(fā)明的特征提取裝置的特征提取單元220、以及學習單元240。
[0082]學習用數據存儲單元210預先存儲包含檢測對象物體的多個學習圖像(正樣本)、不包含檢測對象物體的多個學習圖像(負樣本)、以及特征提取區(qū)域信息的候選。
[0083]特征提取單元220對學習用數據存儲單元210中存儲的每個學習圖像獲取特征提取區(qū)域，并從所獲取的特征提取區(qū)域提取圖像特征。
[0084]所謂特征提取區(qū)域，是作為圖像特征的提取對象的圖像區(qū)域。例如，在檢測對象是人物的臉部的情況下，特征提取區(qū)域可以是包含人的臉部器官例如眼或鼻等的隨機配置的多個圖像區(qū)域。另外，在檢測對象是人的全身的情況下，特征提取區(qū)域例如可以是包含頭部、胳膊、腳等的隨機配置的多個圖像區(qū)域。
[0085]特征提取單元220對每個特征提取區(qū)域，提取其圖像特征，并輸出到學習單元240。更具體而言，特征提取單元220首先對特征提取區(qū)域的全部或部分像素中的每個像素，以該像素為關注像素生成局部二值模式。而且，特征提取單元220生成表示所生成的局部二值模式的分布的直方圖(以下簡稱為“直方圖”)，作為該特征提取區(qū)域的圖像特征。
[0086]所謂局部二值模式，是利用比特值表示關注像素與多個子區(qū)域中的每個子區(qū)域之間的像素值比較的信息。關于子區(qū)域的設定方法、以及關注像素與各子區(qū)域之間的像素值比較方法，將后述。
[0087]學習單元240生成一個或多個識別器，該一個或多個識別器用于基于由正樣本得到的直方圖群、和由負樣本得到的直方圖群，區(qū)分包含檢測對象物體的圖像和不包含檢測對象物體的圖像。即，學習單元240生成特征提取區(qū)域信息與對應于特征提取區(qū)域信息的識別信息，作為識別器。并且，學習單元240將所生成的識別信息與特征提取區(qū)域信息一起發(fā)送給識別器存儲裝置300，與特征提取區(qū)域信息組合而進行存儲。
[0088]所謂特征提取區(qū)域信息，是表示特征提取區(qū)域的范圍的信息，例如包含特征提取區(qū)域的位置以及尺寸。所謂識別信息，是用于對對象圖像的特征提取區(qū)域的直方圖進行評價，判定對象圖像中是否包含規(guī)定物體的信息。
[0089]物體檢測裝置400獲取識別器存儲裝置300中存儲的識別器，進行對對象圖像的物體檢測。
[0090]物體檢測裝置400包括照相機410、圖像輸入單元420、包含本發(fā)明的特征提取裝置的特征提取單元430、以及識別單元450。
[0091]照相機410進行對象圖像的拍攝，將對象圖像輸出到圖像輸入單元420。
[0092]圖像輸入單元420用尺寸預先決定了的窗掃描對象圖像，將掃描出的各個圖像區(qū)域(以下稱為“窗區(qū)域”)輸出到特征提取單元430。
[0093]特征提取單元430對每個窗區(qū)域，獲取該窗區(qū)域中的、識別器存儲裝置中存儲的特征提取區(qū)域信息所示的范圍作為特征提取區(qū)域。
[0094]而且，特征提取單元430對每個特征提取區(qū)域提取其圖像特征，并輸出到識別單元450。更具體而言，特征提取單元430對特征提取區(qū)域的每個像素生成局部二值模式，并生成局部二值模式的直方圖，作為其特征提取區(qū)域的圖像特征。
[0095]此外，特征提取單元430對窗區(qū)域進行的處理與上述的識別器學習裝置200中的特征提取單元220對學習圖像進行的處理類似。即，識別器學習裝置200中的特征提取單元220例如獲取作為候選區(qū)域預先準備的大量區(qū)域的全部區(qū)域，作為特征提取區(qū)域。相對于此，特征提取單元430從識別器存儲裝置300只獲取已經由學習單元240選擇的特征提取區(qū)域信息所示的區(qū)域，作為特征提取區(qū)域。因此，以下，適當地，在說明一方的結構以及動作的基礎上，省略另一方的結構以及動作的說明。
[0096]圖3是表示特征提取單元430的詳細結構的方框圖。
[0097]在圖3中，特征提取單元430包括特征提取區(qū)域獲取單元431、區(qū)域掃描單元432、子區(qū)域設定單元433、二值模式生成單元434、以及直方圖生成單元440。
[0098]特征提取區(qū)域獲取單元431對從圖像輸入單元420輸入的每個窗區(qū)域，獲取該窗區(qū)域中的、識別器存儲裝置300中存儲的特征提取區(qū)域信息所示的范圍，將其作為特征提取區(qū)域。而且，將所獲取的特征提取區(qū)域輸出到區(qū)域掃描單元432。
[0099]區(qū)域掃描單元432以預先決定的間隔掃描從特征提取區(qū)域獲取單元431輸入的特征提取區(qū)域，并將掃描出的像素作為關注像素輸出到子區(qū)域設定單元433。
[0100]子區(qū)域設定單元433對從區(qū)域掃描單元432輸入的特征提取區(qū)域的全部或部分像素中的每個像素，以該像素為關注像素，對該關注像素設定多個子區(qū)域。
[0101]子區(qū)域設定單元433包括附近區(qū)域獲取單元435以及子區(qū)域設定單元436。
[0102]附近區(qū)域獲取單元435對從區(qū)域掃描單元432輸入的關注像素，設定以關注像素為中心的附近區(qū)域，并獲取各像素的像素值。這時，附近區(qū)域獲取單元435將由包含從關注像素離開的像素的多個像素構成的區(qū)域設定為附近區(qū)域。而且，附近區(qū)域獲取單元435對每個關注像素，將所設定的附近區(qū)域和所獲取的多個像素值輸出到子區(qū)域設定單元436。
[0103]子區(qū)域設定單元436根據從附近區(qū)域獲取單元435輸入的附近區(qū)域設定多個子區(qū)域。而且，子區(qū)域設定單元436對每個關注像素，將關注像素的像素值(以下稱為“關注像素值”)和各子區(qū)域的各像素的像素值輸出到二值模式生成單元434。這時，子區(qū)域設定單元436設定至少一個由包含從關注像素離開的像素的多個像素構成的子區(qū)域。此外，這時，子區(qū)域設定單元436根據照相機410的空間頻率特性設定子區(qū)域。對于基于照相機410的空間頻率特性的子區(qū)域設定方法，將在后面描述。
[0104]二值模式生成單元434對每個關注像素生成利用比特值表示與所設定的多個子區(qū)域的每個子區(qū)域之間的像素值比較的局部二值模式。
[0105]二值模式生成單元434包括區(qū)域代表值計算單元437、子區(qū)域差值計算單元438、以及二值模式計算單元439。
[0106]區(qū)域代表值計算單元437對每個子區(qū)域計算代表構成該子區(qū)域的一個或多個像素的像素值組的代表值(以下稱為“區(qū)域代表值”)。而且，區(qū)域代表值計算單元437對每個子區(qū)域將關注像素值和計算出的區(qū)域代表值輸出到子區(qū)域差值計算單元438。
[0107]在本實施方式中，對于由一個像素構成的子區(qū)域，區(qū)域代表值計算單元437將該像素的像素值設為區(qū)域代表值，對于由多個像素構成的子區(qū)域，區(qū)域代表值計算單元437將該多個像素的像素值的平均設為區(qū)域代表值。
[0108]子區(qū)域差值計算單元438對每個關注像素，計算從區(qū)域代表值計算單元437輸入的各區(qū)域代表值相對于關注像素值的差值。而且，子區(qū)域差值計算單元438對每個關注像素，將計算出的各相鄰子區(qū)域的差值輸出到二值模式計算單元439。
[0109]二值模式計算單元439對每個關注像素，判斷從子區(qū)域差值計算單元438輸入的各子區(qū)域的差值是否在規(guī)定閾值以上。而且，對每個關注像素，生成表示各子區(qū)域的差值是否在規(guī)定閾值以上的局部二值模式，并輸出到直方圖生成單元440。
[0110]直方圖生成單元440對每個特征提取區(qū)域，根據從二值模式計算單元439輸入的局部二值模式，生成表示特征提取區(qū)域的局部二值模式的分布的直方圖。而且，直方圖生成單元440對每個特征提取區(qū)域，將所生成的直方圖輸出到圖2的識別單元450。
[0111]圖2的識別單元450獲取識別器存儲裝置300存儲的識別信息。識別單元450使用所獲取的識別信息，根據從特征提取單元430輸入的直方圖，計算對象圖像中是否包含檢測對象物體的器官的得分。而且，識別單元450根據識別器存儲裝置300存儲的全部特征提取區(qū)域的得分計算總得分，利用所述總得分判斷對象圖像中是否包含檢測對象物體。而且，識別單元450將判斷結果例如通過圖像表示裝置或語音輸出裝置(未圖示)通知給用戶。
[0112]此外，識別器學習裝置200以及物體檢測裝置400例如可以分別采用包括CPU以及RAM等存儲介質等的計算機結構。在這種情況下，識別器學習裝置200以及物體檢測裝置400通過CPU執(zhí)行存儲的控制程序分別進行工作。另外，物體檢測裝置400也可以是只進行其計算的專用芯片。另外，識別器存儲裝置300例如是包含半導體存儲器或硬盤等存儲介質的網絡服務器。
[0113]為了高精度地提取學習圖像的特征或對象圖像的特征，希望將更寬的區(qū)域、即更多的像素作為局部二值模式的運算對象。然而，如上所述，在只增加附近區(qū)域的像素數的情況下，處理負荷變高，并且含有噪聲的可能性變高，檢測精度有可能降低。
[0114]因此，物體檢測系統(tǒng)100設定由多個像素構成的子區(qū)域，對子區(qū)域的像素值進行統(tǒng)計處理，來計算區(qū)域代表值。而且，物體檢測系統(tǒng)100將區(qū)域代表值用于特征提取中。由此，物體檢測系統(tǒng)100不只能夠減少局部二值模式的比特數，還能夠降低二值模式中的以像素為單位的噪聲。在使用這樣的二值模式的直方圖進行物體檢測的情況下，能夠削減運算成本，能夠進行對噪聲具有魯棒性的物體檢測。
[0115]因此，物體檢測系統(tǒng)100能夠在抑制物體檢測精度降低且抑制處理負荷增加的狀態(tài)下根據更多的像素生成局部二值模式。即，物體檢測系統(tǒng)100在對圖像進行物體檢測時，對于在低照度等環(huán)境下拍攝到的噪聲多的圖像，可以使用能夠進行高速且魯棒性好的物體檢測的圖像特征。
[0116]以上結束對物體檢測系統(tǒng)100的結構的說明。
[0117]下面，對包含本發(fā)明的特征提取裝置的物體檢測裝置400的動作進行說明。此外，識別器學習裝置200中的特征提取單元220的動作與物體檢測裝置400中的特征提取單元430的動作相同，因此省略其說明。
[0118]圖4是表示一例物體檢測裝置400的動作的流程圖。[0119]首先，在步驟SllOO中，圖像輸入單元420用尺寸預先決定了的窗掃描對象圖像。
[0120]圖5表不圖像掃描的情形的一例的不意圖。
[0121]如圖5所示，圖像輸入單元420用尺寸預先決定了的窗511掃描對象圖像510的全體，從各位置獲取窗區(qū)域512。窗511的尺寸例如是64像素X 128像素。
[0122]接著，在圖4的步驟S1200中，圖3的特征提取單元430的特征提取區(qū)域獲取單元431獲取一個通過識別器學習裝置200的學習得到的、并存儲在識別器存儲裝置中的特征提取區(qū)域的信息(位置、尺寸等)。特征提取區(qū)域獲取單元431例如如圖5所示那樣獲取包含人的頭部的矩形狀的區(qū)域作為特征提取區(qū)域520。
[0123]而且，在步驟S1300中，特征提取單元430的區(qū)域掃描單元432選擇特征提取區(qū)域520的一個像素作為關注像素。
[0124]接著，在步驟S1400中，附近區(qū)域獲取單元435設定以在步驟S1300中掃描出的關注像素為中心的附近區(qū)域。區(qū)域掃描單元432在每次通過后述的步驟S1900的判斷處理返回到步驟S1300時，選擇未選擇的像素，其結果是使附近區(qū)域逐漸移位。
[0125]圖6是表示附近區(qū)域的移位情形的一例的示意圖。
[0126]如圖6所示，區(qū)域掃描單元432通過在特征提取區(qū)域520的全體使關注像素521移位，來使以關注像素521為中心的附近區(qū)域522逐漸移位。
[0127]在本實施方式中，如圖6所示，附近區(qū)域獲取單元435對每個關注像素521設定以關注像素521為中心的11像素X 11像素的區(qū)域，作為附近區(qū)域522。S卩，附近區(qū)域獲取單元435設定121個像素作為附近區(qū)域。
[0128]接著，在圖4的步驟S1500中，特征提取單元430的子區(qū)域設定單元436從關注像素的附近區(qū)域設定子區(qū)域。這時，子區(qū)域設定單元436根據照相機410的空間頻率特性設定子區(qū)域。
[0129]圖7是表示一例照相機410的空間頻率特性的曲線圖。在圖7中，橫軸表示空間頻率，縱軸表示從照相機410輸出的信號(對比度的再現率)。
[0130]如圖7所示，在照相機410的輸出523中，較高的空間頻率被濾掉。即，照相機410的透鏡具有與低通濾波器相似的MTF (Modulation Transfer Function,調制傳遞函數)特性。根據該特性，照相機410拍攝到的圖像的像素值在相鄰的像素間平滑地變化，在比與在照相機410中可再現的空間頻率的最大值相當的像素數短的長度，沒有較大的亮度值的變化。
[0131]因此，子區(qū)域設定單元436設定子區(qū)域，以使得子區(qū)域的尺寸為能夠視為其長度方向中的全部像素值均等地接近的大小(以下稱為“等像素值長”)。在此，子區(qū)域的尺寸，指的是子區(qū)域的寬度、長度、與關注像素之間的間隔、以及與其他子區(qū)域之間的間隔中的至少一者。由此，子區(qū)域設定單元436能夠設定使區(qū)域代表值高精度地反映附近區(qū)域的特征那樣的子區(qū)域。例如，在兩個像素的間隔(像素數)為與空間頻率的最大值的倒數相當的像素數以下的情況下，能夠將該兩個像素設為同樣的亮度進行處理。即，在多個像素彼此的間隔為與空間頻率的最大值的倒數相當的像素數以下的情況下，由該多個像素構成子區(qū)域。
[0132]根據照相機的種類不同，MTF特性也不同。另外，對于通常的照相機，為了提高分辨率，較高地設定對于成像元件的空間頻率。這時，不用為了在對細致的條紋進行拍攝時也不產生混疊噪聲引起的偽條紋圖形，而將空間頻率設定為成像元件的像素的間隔倒數以上。即，在由照相機410拍攝到的圖像中相鄰的間隔2到3個像素的像素彼此的像素值與照相機的種類無關而為相同程度。因此，希望將子區(qū)域的尺寸設定為2個像素或3個像素。這是因為，在相鄰的2個像素或3個像素之間，像素值之差較小，將它們作為一個信息進行處理的情況下，信息量的損失較少，能夠抑制特征提取的運算量以及特征維數。此外，在照相機410的MTF特性為低頻的窄帶低通濾波器特性的情況(即，急劇衰減的情況)下，也可以將子區(qū)域的尺寸設為4像素以上。
[0133]圖8是表示一例子區(qū)域配置的示意圖。
[0134]如圖8所示，在本實施方式中，子區(qū)域設定單元436將附近區(qū)域522中的、與關注像素521相鄰的8個像素(用編號11~18表示)的每個像素設定為子區(qū)域524。另外，子區(qū)域設定單元436將如下的8個區(qū)域(用編號21~28表示)的每個區(qū)域設定為子區(qū)域524,該8個區(qū)域為,將與關注像素521間隔2個像素的24個像素組分成每3個像素為一個區(qū)域而得到的8個區(qū)域。進而，子區(qū)域設定單元436將如下的8個區(qū)域(用編號31~38表示)的每個區(qū)域設定為子區(qū)域524，該8個區(qū)域為，與關注像素521間隔4個像素的40個像素組中的、相對于關注像素521為等角度間隔且每3個像素構成一個區(qū)域而得到的8個區(qū)域。即，子區(qū)域設定單元436將距關注像素的像素距離不同的8個X3組的區(qū)域設定為子區(qū)域524。
[0135]接著，在圖4的步驟S1600中，區(qū)域代表值計算單元437對每個子區(qū)域組求子區(qū)域的像素值平均，作為區(qū)域代表值。接著，子區(qū)域差值計算單元438計算各區(qū)域代表值與關注像素之間的差值。
[0136]在本實施方式中，將距關注像素的距離不同的8個X3組的區(qū)域設定為子區(qū)域。因此，區(qū)域代表值計算單元437對每個關注像素，生成3組8個差值的集合。
[0137]而且，在步驟S1700`中，二值模式計算單元435通過與規(guī)定閾值比較將差值二值化，來生成局部二值模式。
[0138]在本實施方式中，二值模式計算單元435將“O”設為上述的規(guī)定閾值。而且，二值模式計算單元435對差值為規(guī)定閾值以上的子區(qū)域計算出值為“1”，對差值小于規(guī)定閾值的子區(qū)域，計算出值為“O”。
[0139]即，例如用以下的式(I)表示局部二值模式LBPP，K。這里，g。為關注像素的像素值，P為子區(qū)域的數量(本實施方式中為8)。另外，P為子區(qū)域的順序，gp為第P個子區(qū)域的像素平均值(即代表值)，R為與子區(qū)域和關注像素的距離相當的像素數(本實施方式中為1、
3、3)。
【權利要求】
1.特征提取裝置，包括: 子區(qū)域設定單元，對圖像的全部或部分像素中的每個像素，以該像素為關注像素，對該關注像素設定多個子區(qū)域；以及 二值模式生成單元，對每個所述關注像素，生成利用比特值表示與所設定的所述多個子區(qū)域的每個子區(qū)域之間的像素值比較的局部二值模式， 所述子區(qū)域設定單元至少將由多個像素構成的區(qū)域設定為所述子區(qū)域，且該多個像素包含從所述關注像素離開的像素， 所述二值模式生成單元對每個所述子區(qū)域計算代表構成該子區(qū)域的一個或多個像素的像素值組的代表值，生成利用比特值表示該代表值相對于所述關注像素的像素值的差值是否在規(guī)定閾值以上的比特數據，作為所述局部二值模式。
2.如權利要求1所述的特征提取裝置， 所述圖像是利用照相機得到的拍攝圖像， 所述子區(qū)域設定單元根據所述照相機的空間頻率特性設定所述子區(qū)域。
3.如權利要求2所述的特征提取裝置， 所述子區(qū)域設定單元設定所述子區(qū)域，以使得所述子區(qū)域的寬度、長度、與所述關注像素之間的間隔、以及與其他所述子區(qū)域之間的間隔中的至少一者，為從所述照相機的空間頻率特性來看能夠視為其長度方向上的全部像素值均等地接近的大小。
4.如權利要求1所述的特征提取裝置， 所述子區(qū)域設定單元以距所述關注像素為等距離的方式設定所述多個子區(qū)域。
5.如權利要求1所述的特征提取裝置， 所述子區(qū)域設定單元以相互不重疊的方式設定所述多個子區(qū)域。
6.如權利要求1所述的特征提取裝置， 所述子區(qū)域設定單元以相互離開的方式設定所述多個子區(qū)域。
7.如權利要求1所述的特征提取裝置， 所述子區(qū)域設定單元以相對于所述關注像素為等角度間隔的方式設定所述多個子區(qū)域。
8.如權利要求1所述的特征提取裝置， 所述子區(qū)域設定單元至少將與所述關注像素相鄰的多個像素的每個像素、以及由從所述關注像素分別離開兩個像素以上的距離的多個像素構成的區(qū)域，設定為所述子區(qū)域。
9.圖像處理裝置，包括: 權利要求1所述的特征提取裝置，其還具有直方圖生成單元，該直方圖生成單元生成表示根據所述圖像生成的所述局部二值模式的分布的直方圖；以及 識別單元，其使用用于識別規(guī)定物體的識別器，根據由所述特征提取裝置生成的所述直方圖，判斷所述圖像是否包含所述規(guī)定物體。
10.特征提取程序， 使計算機執(zhí)行以下處理: 對圖像的全部或部分像素中的每個像素，以該像素為關注像素，對該關注像素設定多個子區(qū)域的處理；以及 對每個所述關注像素，生成利用比特值表示與所設定的所述多個子區(qū)域的每個子區(qū)域之間的像素值比較的局部二值模式的處理， 設定所述子區(qū)域的處理中，至少將由多個像素構成的區(qū)域設定為所述子區(qū)域，且該多個像素包含從所述關注像素離開的像素， 生成所述局部二值模式的處理包括: 對每個所述子區(qū)域計算 代表構成該子區(qū)域的一個或多個像素的像素值組的代表值的處理；以及 生成利用比特值表示該代表值相對于所述關注像素的像素值的差值是否在規(guī)定閾值以上的比特數據，作為所述局部二值模式的處理。
【文檔編號】G06T7/00GK103733224SQ201280038798
【公開日】2014年4月16日 申請日期:2012年7月31日 優(yōu)先權日:2011年8月11日
【發(fā)明者】曹蕓蕓, 西村洋文, S.普拉納塔, Z.H.牛 申請人:松下電器產業(yè)株式會社