專利名稱：由排他性分類器進行的一般物體的圖像識別裝置及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理及計算機視覺(vision)，尤其涉及一般物體的圖像識別及索引。
背景技術(shù)：
近年 來，廣泛開展了圖像分類/識別的研究，尤其是大量開發(fā)了使用關(guān)聯(lián)(context)(即人的行動或?qū)ο蟮膱鏊@樣的、依存于現(xiàn)實世界的狀況或狀態(tài)的概念。例如，共現(xiàn)關(guān)系、相對位置關(guān)系、相對比例、背景和前景的關(guān)系等屬于此類。)信息來提高一般物體的圖像識別的性能及可靠性的方法(參照非專利文獻I_4)。在先技術(shù)文獻非專利文獻非專利文獻I :Serhat S. Bucak et al, Efficient Multi-label Ranking forMulti-class Learning !Application to Object Recognition. , ICCV2009非專利文獻2 Chaitanya Desai et al, Discriminative Models forMulti-class Object Layout, ICCV2009非專利文獻3 H. Liu and S. Yan, Robust graph mode seeking by graph shift.,ICML 2010非專利文獻 4 P. Tseng, On accelerated proximal gradient methods forconvex-concave optimization. , Submitted to SIAM Journal of Optimization 2008發(fā)明的概要發(fā)明所要解決的技術(shù)課題但是，圖像識別的可靠性尚未達到人類的能力水平，還要求進ー步的提高。

發(fā)明內(nèi)容
本申請的目的在于，提供ー種比以往更能夠提高一般物體的圖像識別的可靠性的一般物體的圖像識別裝置。解決技術(shù)問題所采用的技術(shù)手段為解決上述課題，本發(fā)明是進行一般物體識別的圖像識別裝置，其具備種類確定単元，參照表示多種物體各自的圖像特征性的特征信息，計算在輸入圖像中I個以上的物體的存在概率，基于所述存在概率，確定存在的物體的種類；以及信息儲存單元，存儲排他性關(guān)系信息，該排他性關(guān)系信息表示被估計為不共存于同一圖像內(nèi)的不同種物體的組合；所述種類確定單元使用所述排他性關(guān)系信息來調(diào)整各物體的存在概率。發(fā)明的效果本發(fā)明的圖像識別裝置通過具備上述結(jié)構(gòu)，在各物體的存在概率的計算過程中，調(diào)整存在概率，以使錯誤的可能性較高的、被估計為不共存于同一圖像內(nèi)的物體不會成為共存的結(jié)果，所以對于各物體，計算出錯誤的存在概率的可能性降低，能夠提高一般物體的識別的可靠性。


圖I是表示本發(fā)明的ー實施方式的、對輸入圖像賦予物體標(biāo)簽的處理(分類時處理)的整體的流程圖。圖2是表示本發(fā)明的ー實施方式的、基于排他性分類器的一般物體的圖像識別裝置的結(jié)構(gòu)的框圖。圖3是表示本發(fā)明的ー實施方式的排他性標(biāo)簽組的提取處理的圖。圖4是表示本發(fā)明的ー實施方式的、手動地賦予了標(biāo)簽的收集圖像的一例的圖。圖5是表示本發(fā)明的ー實施方式的排他性標(biāo)簽組的集合的例的圖。圖6是表示本發(fā)明的ー實施方式的圖像語句構(gòu)筑處理的流程圖。圖7是用于說明本發(fā)明的ー實施方式的圖像語句構(gòu)筑的基本概念的圖。圖8是本發(fā)明的ー實施方式的圖像直方圖生成處理的一例的流程圖。圖9是用于說明本發(fā)明的ー實施方式的各收集圖像的特征量的圖。圖10是表示由排他性分類器進行的一般物體的圖像識別的概念的圖。
具體實施例方式I.實施的形態(tài)以下說明用于實施本發(fā)明的形態(tài)。本發(fā)明的ー實施方式的圖像識別裝置對輸入圖像中出現(xiàn)的一般物體進行圖像識另Ij，將表示該識別的一般物體的標(biāo)簽(物體標(biāo)簽)附加在輸入圖像上。本圖像識別裝置在進行該圖像識別時，利用圖像中出現(xiàn)的物體的排他性關(guān)聯(lián)信息(排他性關(guān)系信息)，提高一般物體的圖像識別的可靠性和性能。作為排他性關(guān)聯(lián)信息的一例，對于幾乎不會一起出現(xiàn)在同一圖像中的物體，使用將表示這些物體的物體標(biāo)簽作為組的排他性標(biāo)簽組。
圖I是表示對輸入圖像附加物體標(biāo)簽的處理(分類時處理)的整體的流程圖。首先，取得輸入圖像(SI)，并將輸入圖像變換為標(biāo)準(zhǔn)尺寸(S2)。然后，對于輸入圖像提取多個描述符群(S3)。各描述符表示輸入圖像中的局部區(qū)域的特征量。接著，對與提取的描述符分別對應(yīng)的圖像語句進行投票，生成表現(xiàn)輸入圖像的直方圖(輸入圖像的特征量)(S4)。在此，圖像語句是代表特征量較近的多個描述符的描述符。該圖像語句是在分類時處理之前進行的、對多個收集圖像學(xué)習(xí)特征量的學(xué)習(xí)時處理中生成的。接著，通過排他性分類器，比較在S4中生成的輸入圖像的特征量和學(xué)習(xí)時處理的學(xué)習(xí)結(jié)果，或使用排他性標(biāo)簽組，計算與輸入圖像有關(guān)的可信性得分(輸入圖像中的各個物體的存在概率)(S5)。然后，基干與輸入圖像有關(guān)的可信性得分，分配I個以上的物體標(biāo)簽(S6)。接著，詳細說明圖像識別裝置。圖2是表示本發(fā)明的ー實施方式的、基于排他性分類器的一般物體的圖像識別裝置I的結(jié)構(gòu)的框圖。圖像識別裝置I包括圖像儲存部11、學(xué)習(xí)圖像輸入?yún)g元12、圖像特征量計算單元
13、排他性標(biāo)簽組提取單元14、分類詞表生成単元15、分類模型信息儲存單元16、分類圖像輸入單元17、圖像特征量計算單元18、分類單元19、及圖像分類信息儲存單元20。學(xué)習(xí)時處理由學(xué)習(xí)圖像輸入單元12、圖像特征量計算單元13、排他性標(biāo)簽組提取單元14、分類詞表生成単元15、及分類模型信息儲存單元16執(zhí)行，基于學(xué)習(xí)結(jié)果對輸入圖像中出現(xiàn)的物體進行實際分類的分類時處理由作為種類確定單元的分類圖像輸入單元17、圖像特征量計算単元18、分類單元19、及圖像分類信息儲存單元20執(zhí)行。圖像儲存部11是儲存在學(xué)習(xí)時處理中使用的作為學(xué)習(xí)用圖像的收集圖像、及實際作為物體識別的對象的輸入圖像的儲存器件。在本實施方式中，作為收集圖像，使用包含在PASCAL Visual Object ClassesChallenge 2010 (V0C2010)學(xué)習(xí)用數(shù)據(jù)組中的帶標(biāo)簽圖像。V0C2010學(xué)習(xí)用數(shù)據(jù)組由包含有屬于20個類(class)的某ー個的“物體”(人物、動物、車輛、家具)的多個(作為一例，I萬張左右)圖像構(gòu)成。對各收集圖像附加有表示在圖像中出現(xiàn)的物體的類的標(biāo)簽。與20個類對應(yīng)的標(biāo)簽，具體來說是“貓”、“飛機”、“自行車”、“鳥”、“船”、“瓶子”、“巴土”、“汽車”、“椅子”、“餐桌”、“狗”、“馬”、“摩托車”、“人物”、“植物”、“羊”、“火車”、“TV組”、“牛”、“沙發(fā)”，但是當(dāng)然不限于此。此外，對于類也不限于20個。I·
圖4是收集圖像的一例，作為標(biāo)簽賦予了 “椅子”、“餐桌”、“TV組”。接著，說明與學(xué)習(xí)時處理的動作有關(guān)的學(xué)習(xí)圖像輸入單元12、圖像特征量計算單元13、排他性標(biāo)簽組提取單元14、分類詞表生成単元15、及分類模型信息儲存單元16。學(xué)習(xí)圖像輸入單元12從圖像儲存部11依次讀出收集圖像，并輸出到排他性標(biāo)簽組提取単元14和圖像特征量計算單元13。圖像特征量計算單元13從輸入的圖像計算特征量，并生成圖像語句。圖6是表示圖像特征量計算單元13的圖像語句構(gòu)筑處理的流程圖。圖7是用于說明使用輸入的圖像構(gòu)筑的圖像語句的概念的圖。圖像特征量計算單元13首先取得收集圖像(作為一例，如圖7的收集圖像111)(S21)，計算圖像上的以一定間隔存在的柵格點(以下稱為密點。作為一例，如圖像112所示的配置為柵格狀的點。)和特征性的離散點(以下稱為離散點。作為一例，如圖像113所示的點。)(S22)。特征性的離散點是亮度和形狀急劇變化的特征性的點，例如表示貓的眼睛的一部分和耳朵的前端的點等屬于此類。另外，以下有時將密點和離散點統(tǒng)稱為特征點。接著，圖像特征量計算單元13在特征點及其周邊提取描述符(S23)。描述符的提取作為一例，使用已知的SIFT (Scale Invariant Feature Trans form)算法。SIFT決定特征點的代表亮度坡度方向，以該方向為基準(zhǔn)，制作其他方向的亮度坡度直方圖，以多維矢量來記述特征量。由此，具有對旋轉(zhuǎn) 比例變化 照明變化較靈敏的特征。圖7的圖像114示意性地表示提取的描述符。在此，上述描述符是表示I張圖像內(nèi)的局部區(qū)域的特征的局部描述符，但是作為描述符，也可以使用表示圖像整體區(qū)域的特征(例如圖像整體的色相分布等)的整體描述符。此外，也可以將局部描述符和整體描述符的兩者組合使用。接著，圖像特征量計算單元13將提取的描述符全部放入描述符池(pool)。圖7的圖像115是示意性地表示密點的描述符池的圖，圖像116是示意性地表示離散點的描述符池的圖。然后，圖像特征量計算單元13從各描述符池隨機地選擇描述符并構(gòu)筑圖像語句。圖像語句如前所述，是代表特征量較近的多個描述符的描述符。作為圖像語句，可以使用將各描述符矢量量子化后的數(shù)據(jù)。圖像117示意性地表示對“貓”生成的圖像語句，包括包含從密點的描述符池選擇的描述符的圖像語句(圖像118中示出一例)、以及包含從密點的描述符池選擇的描述符的圖像語句(圖像119中示出一例)。接著，圖像特征量計算單元13對收集圖像分別生成圖像語句的直方圖。圖8是表示圖像直方圖生成處理的流程圖。圖像特征量計算單元13首先取得收集圖像(S31)，對于收集圖像計算特征點(S32)，提取特征點及其周邊的描述符(S33)。到該S31 S33為止的處理是與作為上述 S21 S23說明的處理相同的動作。然后，通過對與收集圖像的各描述符最近似的圖像語句進行投票，導(dǎo)出表現(xiàn)各收集圖像的直方圖(S34)。以下將表現(xiàn)圖像的直方圖稱為圖像的特征量。圖9是用于說明各收集圖像的特征量的圖。圖9的特征量211示意性地表示基于向以圖7說明的方法構(gòu)筑的圖像語句的投票結(jié)果計算的收集圖像的特征量。在此，也可以在圖像的特征量中追加圖像中的空間信息。作為一例，也可以將圖像在空間上4等分、3等分等，并分別生成直方圖(圖9的圖像221等)。另外，表現(xiàn)收集圖像及輸入圖像的多個圖像直方圖可以通過bag-of-words模型來表現(xiàn)。排他性標(biāo)簽組提取單元14進行排他性標(biāo)簽組的提取。圖5表示排他性標(biāo)簽組的集合的例。如上所迷，“火車”、“TV組”分別是標(biāo)簽，作為標(biāo)簽的集合的{火車、TV組、船、餐桌}是I個排他性標(biāo)簽組。I個排他性標(biāo)簽組表示在I個圖像中不會同時出現(xiàn)的物體的組合。如果是排他性標(biāo)簽組{火車、TV組、羊、船、餐桌}的情況，在I圖像中出現(xiàn)“火車”時，在該圖像中不會出現(xiàn)TV組、羊、船、餐桌的任ー個。這樣的排他性標(biāo)簽組可以手動地(根據(jù)人的經(jīng)驗導(dǎo)出)決定，也可以從收集圖像等通過統(tǒng)計的方法來提取。在本實施方式中，排他性標(biāo)簽組提取單元14預(yù)先保持已知的排他性標(biāo)簽組。關(guān)于通過統(tǒng)計方法來提取的例，在后面作為變形例來說明。此外，排他性標(biāo)簽組越充實，則越能提高將物體分類的效果，所以可以手動地制作被推測為對分類有效的排他性標(biāo)簽組，或者制作僅關(guān)注了特別想要分類的項目的排他性標(biāo)簽組。分類詞表生成単元15將各收集圖像的特征量和排他性標(biāo)簽組作為分類詞表，儲存在分類模型信息儲存單元16中。接著，說明與分類時處理有關(guān)的分類圖像輸入單元17、圖像特征量計算單元18、分類單元19、及圖像分類信息儲存單元20。分類圖像輸入單元17從圖像儲存部11讀出作為物體標(biāo)簽賦予的對象的圖像(輸入圖像)，并供給至圖像特征量計算單元18。圖像特征量計算單元18對于輸入圖像計算表現(xiàn)輸入圖像的特征量。該計算特征量的處理與使用圖8及圖9說明的圖像特征量計算單元13的處理相同，所以省略說明。分類單元19具有排他性分類器，由排他性分類器進行一般物體的圖像識別處理。分類單元19基于由圖像特征量計算單元18生成的輸入圖像的特征量和通過學(xué)習(xí)時處理計算出的各收集圖像的特征量，計算輸入圖像中包含的各物體的可信性得分，基于可信性得分，確定輸入圖像中存在的物體的種類。本實施方式中的排他性分類器是使用排他性關(guān)聯(lián)信息，并利用 LASSO(Least Absolute Shrinkage and Selection Operator/最小絕對收縮和選擇算子)估計的類型的分類器。以往，在LASSO框架中，最優(yōu)化的對象由表示復(fù)原錯誤值及復(fù)原系數(shù)w的正則值這2個值的項目構(gòu)成。復(fù)原錯誤值用于測定輸入圖像的特征量和根據(jù)全收集圖像的特征量使用復(fù)原系數(shù)線性復(fù)原的特征量的差(復(fù)原的特征量的妥當(dāng)性)，妥當(dāng)性越低則復(fù)原錯誤值越高。對此，在本實施方式中，定義與使用了排他性標(biāo)簽組的復(fù)原系數(shù)對應(yīng)的新的正則化條件。與使用了該新的正則化條件的、具有特征量y e Rm的輸入圖像有關(guān)的標(biāo)簽排他性線性表現(xiàn)模型如下所示。
權(quán)利要求
1.ー種圖像識別裝置，進行一般物體識別，其特征在于，具備 種類確定單元，參照表示多種物體各自的圖像特征的特征信息，計算在輸入圖像中I個以上的物體的存在概率，基于所述存在概率，確定存在的物體的種類；以及 信息儲存單元，存儲排他性關(guān)系信息，該排他性關(guān)系信息表示被估計為不共存于同一圖像內(nèi)的不同種物體的組合； 所述種類確定單元使用所述排他性關(guān)系信息來調(diào)整各物體的存在概率。
2.如權(quán)利要求I所述的圖像識別裝置，其特征在干， 所述調(diào)整使與通過所述排他性關(guān)系信息表示的組合相對應(yīng)的物體的存在概率降低。
3.如權(quán)利要求2所述的圖像識別裝置，其特征在干， 所述存在概率的計算使用LASSO來估計， 所述存在概率的降低通過對LASSO正則化項賦予罰值來進行。
4.如權(quán)利要求3所述的圖像識別裝置，其特征在干， 所述排他性關(guān)系信息規(guī)定多個不同種物體的組合， 將計算出所述規(guī)定概率以上的存在概率的各物體分別組合規(guī)定個數(shù)時，與通過所述排他性關(guān)系信息規(guī)定的組合相對應(yīng)的數(shù)量越多，所述罰值被賦予越大的值。
5.如權(quán)利要求2所述的圖像識別裝置，其特征在干， 所述調(diào)整使用下式進行， y G Rm是輸入圖像的特征量，X G Rmxn是各收集圖像的特征量，n是學(xué)習(xí)用的圖像即收集圖像的數(shù)量，m是描述符的維數(shù)，w G Rn是對輸入圖像評價的、與所有物體類有關(guān)的線性復(fù)原系數(shù)，Gi是排他性標(biāo)簽組，uM是使與Gi相對應(yīng)的物體的存在概率降低的罰值。
6.如權(quán)利要求I所述的圖像識別裝置，其特征在干， 使用統(tǒng)計的方法，從圖像內(nèi)存在的物體為已知的學(xué)習(xí)用的圖像群來決定所述排他性關(guān)系信息。
7.如權(quán)利要求I所述的圖像識別裝置，其特征在干， 使用曲線平移法從圖像內(nèi)存在的物體為已知的學(xué)習(xí)用的圖像群來決定所述排他性關(guān)系信息。
8.ー種圖像識別方法，在進行一般物體識別的圖像識別裝置中使用，其特征在于，包括以下步驟 信息儲存步驟，存儲排他性關(guān)系信息，該排他性關(guān)系信息表示被估計為不共存于同一圖像內(nèi)的不同種物體的組合；以及 種類確定步驟，參照表示多種物體各自的圖像特征的特征信息，計算在輸入圖像中I個以上的物體的存在概率，基于所述存在概率，確定存在的物體的種類； 在所述種類確定步驟中，在計算所述存在概率時，使用所述排他性關(guān)系信息來調(diào)整各物體的存在概率。
9.一種計算機程序，在進行一般物體識別的圖像識別裝置中使用，其特征在干，使計算機執(zhí)行 信息儲存步驟，存儲排他性關(guān)系信息，該排他性關(guān)系信息表示被估計為不共存于同一圖像內(nèi)的不同種物體的組合；以及 種類確定步驟，參照表示多種物體各自的圖像特征的特征信息，計算在輸入圖像中I個以上的物體的存在概率，基于所述存在概率，確定存在的物體的種類； 在所述種類確定步驟中，在計算所述存在概率時，使用所述排他性關(guān)系信息來調(diào)整各物體的存在概率。
10.ー種集成電路，在進行一般物體識別的圖像識別裝置中使用，其特征在于，具備 種類確定單元，參照表示多種物體各自的圖像特征的特征信息，計算在輸入圖像中I個以上的物體的存在概率，基于所述存在概率，確定存在的物體的種類；以及 信息儲存單元，存儲排他性關(guān)系信息，該排他性關(guān)系信息表示被估計為不共存于同一圖像內(nèi)的不同種物體的組合； 所述種類確定單元使用所述排他性關(guān)系信息來調(diào)整各物體的存在概率。
全文摘要
提供一種圖像識別裝置，能夠提高一般物體的圖像識別的性能和可靠性。圖像識別裝置(1)為，圖像分類信息儲存單元(20)存儲有通過學(xué)習(xí)時處理得到的表示多種物體各自的圖像特征的特征信息，在對輸入圖像進行分類時，圖像特征量計算單元(18)從輸入圖像提取表示特征量的描述符，對于描述符對應(yīng)的圖像語句進行投票，分類單元(19)基于投票的結(jié)果，計算1個以上的物體的存在概率，基于所述存在概率，確定存在的物體的種類，在計算各物體的存在概率時，通過排他性分類器，使用排他性關(guān)系信息來調(diào)整存在概率，該排他性信息表示被估計為不共存于同一圖像內(nèi)的多個不同種物體(物體標(biāo)簽)的組合。
文檔編號G06T7/00GK102667859SQ201180004489
公開日2012年9月12日 申請日期2011年9月9日 優(yōu)先權(quán)日2010年9月10日
發(fā)明者華揚, 川西亮一, 申省梅, 顏水成, 黃仲陽 申請人:松下電器產(chǎn)業(yè)株式會社