本發(fā)明涉及圖像識別領(lǐng)域，特別是涉及一種圖像中目標(biāo)物體的主顏色識別方法。

背景技術(shù)：

顏色是目標(biāo)物體自身的一個主要屬性，它是機器和人類區(qū)別不同目標(biāo)物體的主要因素之一。識別圖像中目標(biāo)物體的顏色，可以用來更精確的區(qū)分同類別物體，還可以應(yīng)用在機器學(xué)習(xí)中的數(shù)據(jù)準(zhǔn)備過程中，大幅提升數(shù)據(jù)標(biāo)注的速度，節(jié)省人工標(biāo)注的時間和人力成本。按照材料是否能夠抵抗變形，可以將目標(biāo)物體分為剛性物體和柔性物體兩種。對于目標(biāo)物體，特別是對于由多種材質(zhì)、多種元素構(gòu)成的柔性物體而言，一方面由于目標(biāo)物體或者其背景自身顏色豐富的特點導(dǎo)致目標(biāo)物體在圖像中會呈現(xiàn)出多種顏色；另一方面，目標(biāo)物體的顏色受物體自身形變、周圍環(huán)境光、圖像拍攝角度、相機曝光參數(shù)等因素的影響也很大，即使是同一種顏色在圖像中也會呈現(xiàn)出多種在視覺上有差別的顏色。另外，顏色空間巨大，顏色值數(shù)量十分豐富，真實環(huán)境里顏色值分布很分散等特點也給目標(biāo)物體的主顏色的識別和標(biāo)注帶來很大困難。

圖像中目標(biāo)物體主顏色的識別是指對于給定的一組圖像序列，提取出圖像序列中每張圖像內(nèi)目標(biāo)物體的主要顏色信息并在某特定的顏色空間中指定其所屬的顏色類別，其中目標(biāo)物體的主要顏色是指目標(biāo)物體中像素數(shù)量占比最大的顏色。特別說明，圖像的感興趣區(qū)域是指圖像中目標(biāo)物體所在的區(qū)域，該區(qū)域可通過人工或機器檢測定位出來。

目前，現(xiàn)有的主顏色識別與標(biāo)注方法可以分為人工標(biāo)注、八叉樹歸并法和顏色距離匹配法三種方法，下面將對現(xiàn)有方法進行詳細介紹：

1人工標(biāo)注；

人工標(biāo)注是指借助人的識別能力，通過人工標(biāo)注系統(tǒng)由標(biāo)注人員人工指定目標(biāo)物體所屬的顏色類別。該方法的核心思想是，事先通過人工大概統(tǒng)計待標(biāo)注圖像序列中目標(biāo)物體的顏色屬性的數(shù)量分布，從中選擇數(shù)種常見的顏色類別作為待選顏色類別；標(biāo)注過程中由標(biāo)注系統(tǒng)將每張圖像的感興趣區(qū)域的縮略圖展現(xiàn)給標(biāo)注人員，由標(biāo)注人員通過主觀判斷，從上述確定的待選顏色類別中選擇與圖像中目標(biāo)物體主顏色最為相近的顏色類別作為該目標(biāo)物體的主顏色類別。該方法在小規(guī)模的數(shù)據(jù)集和顏色區(qū)分度大數(shù)據(jù)集上尚可接受，但是由于完全由人工操作，在現(xiàn)今的大數(shù)據(jù)環(huán)境下毫無疑問存在以下缺點：

(1)數(shù)據(jù)規(guī)模大的時候，人工標(biāo)注周期長、成本高；

(2)需要事先知道待標(biāo)注數(shù)據(jù)集中目標(biāo)物體的顏色分布，對數(shù)據(jù)本身以及標(biāo)注前的準(zhǔn)備工作要求過高；統(tǒng)計的失誤會大大影響標(biāo)注的質(zhì)量；

(3)容易出現(xiàn)標(biāo)注錯誤。當(dāng)圖像縮小到很小的時候，人工標(biāo)注很容易受圖像中目標(biāo)物體周圍的背景顏色的影響，而誤把不是目標(biāo)物體主顏色的顏色標(biāo)注為目標(biāo)物體的主顏色。

(4)標(biāo)注的標(biāo)準(zhǔn)不一，結(jié)果可能存在互相矛盾。當(dāng)圖像目標(biāo)物體包含多種顏色的時候，標(biāo)注人員很難確定主顏色是哪一種；即便是顏色單一的物體，不同的人標(biāo)注的結(jié)果也可能不一樣。整個標(biāo)注過程中標(biāo)注人員的主觀性較大，標(biāo)注結(jié)果不可控。

2八叉樹歸并法

該方法的主要思路是首先選取好數(shù)據(jù)集要標(biāo)注的顏色種類的準(zhǔn)確數(shù)目。然后對于每一張圖像，通過一定的方法定位出目標(biāo)物體所在的大致區(qū)域，通過計算這塊圖像區(qū)域在rgb空間的顏色直方圖，將出現(xiàn)頻率最高的顏色作為圖像中目標(biāo)物體的主顏色。僅僅考慮顏色粒度為256*256*256的rgb空間，就有16777216種顏色值，這樣標(biāo)注出來的主顏色在如此大的顏色空間中的分布顯然會很稀疏。為了給顏色指定顏色類別，該方法利用八叉樹的特性，將所有圖像的主顏色在八叉樹中自下而上進行歸并，直到最后的顏色類別數(shù)量趨近目標(biāo)顏色類別數(shù)量為止。這樣每個顏色在八叉樹中自下而上都可以找到一個屬于自己的顏色類別。

該方法主要優(yōu)點是思路簡潔，易于實現(xiàn)。但是存在以下缺點:

(1)主顏色類別標(biāo)注的標(biāo)準(zhǔn)和數(shù)據(jù)集相關(guān)。在八叉樹中進行顏色歸并的時候，不能事前確定顏色的類別，只有等到歸并完成后才能確定。于是顏色的類別就與數(shù)據(jù)集的顏色的分布密切相關(guān)，即使是同一標(biāo)注任務(wù)不同批次數(shù)據(jù)集的顏色類別劃分的標(biāo)準(zhǔn)也全然不同。

(2)相同類別不同批次的標(biāo)注結(jié)果不能簡單合并。由于主顏色類別與數(shù)據(jù)集相關(guān)，不同批次的數(shù)據(jù)集的顏色標(biāo)注結(jié)果不能直接合并。要想合并數(shù)據(jù)集，就需要重新把所有的數(shù)據(jù)標(biāo)注一遍，這給數(shù)據(jù)集的增量擴充帶來很多不便。

(3)八叉樹容易造成顏色類別的粒度不均勻。當(dāng)數(shù)據(jù)集中某一類顏色出現(xiàn)的頻率很高時，這類顏色粒度會被劃分得很細；而出現(xiàn)頻率不高的顏色粒度則被劃分得很粗，導(dǎo)致同一圖像在不同數(shù)據(jù)集的標(biāo)注結(jié)果差異很大。

3顏色距離匹配法

顏色距離匹配法的主要思路如下：首先選取一些常見的顏色類別作為待選顏色，然后對于每一張圖像，定位出目標(biāo)物體大致的位置，在某特定顏色空間中，計算出該目標(biāo)物體的顏色直方圖，將出現(xiàn)頻率最高的顏色作為該物體的主顏色類別。之后在某一特定顏色空間中，計算物體的主顏色與事先選好的每一個顏色類別之間的顏色距離作為分數(shù)，取分數(shù)最小的顏色類別作為該物體的主顏色的類別。

該算法的標(biāo)準(zhǔn)統(tǒng)一，不同數(shù)據(jù)集的標(biāo)注結(jié)果可以通用，很方便數(shù)據(jù)集標(biāo)注結(jié)果的融合。但是存在以下缺點：

(1)顏色空間中顏色跳變區(qū)域的顏色的類別容易指定出錯。雖然顏色空間中的相近的顏色之間的距離確實很小，但實際上在任何顏色空間里，顏色距離小并不能得出顏色相似的結(jié)論。任意兩個顏色的距離由于沒有考慮顏色空間整體的分布，使得在一些臨界條件下，比如顏色突變區(qū)域，通過小距離選取的顏色類別與實際主顏色相差甚遠。

(2)顏色類別的數(shù)量、覆蓋度和粒度均不易事先確定。人工在確定待標(biāo)注顏色類別時，存在較大的主觀性，極其容易出現(xiàn)顏色分布不全，顏色粒度不均勻等問題。

簡而言之，現(xiàn)有的復(fù)雜目標(biāo)物體的主顏色識別技術(shù)存在一些不可回避的缺點。復(fù)雜目標(biāo)物體的主顏色識別問題的特點是顏色空間巨大但是數(shù)據(jù)集圖像顏色分布不確定，圖像中的目標(biāo)物體顏色種類復(fù)雜且目標(biāo)物體所在區(qū)域的主顏色和非主顏色分布不確定，圖像光照變化多樣，主顏色的標(biāo)注顏色類別不易確定等。

聚類算法是對于統(tǒng)計數(shù)據(jù)分析的一門技術(shù)，在許多領(lǐng)域受到廣泛應(yīng)用。聚類是以相似性為基礎(chǔ)，把相似的對象通過靜態(tài)分類的方法分成不同的組別或者更多的子集，這樣讓在同一個子集中的成員對象都有相似的一些屬性。目前聚類算法在圖像的顏色量化上有應(yīng)用，比如將圖像的像素聚集為若干個類別。

卷積神經(jīng)網(wǎng)絡(luò)是一種前饋神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)中的人工神經(jīng)元可以響應(yīng)周圍單元，主要包括卷積層和池化層，擁有很好的非線性擬合能力，目前在物體檢測、分類和識別中擁有廣泛的應(yīng)用。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的是為克服已有技術(shù)的不足之處，提出一種圖像中目標(biāo)物體的主顏色識別方法。該方法與現(xiàn)有方法相比具有良好的易用性，在顏色識別的準(zhǔn)確度、顏色標(biāo)注的可擴展性以及整體的效率上都有很大的提升。

本發(fā)明提出的一種圖像中目標(biāo)物體的主顏色識別方法，其特征在于，包括以下步驟：

1)生成顏色映射表；具體步驟如下：

1-1)根據(jù)對顏色敏感程度的要求，確定rgb顏色空間顏色值劃分的類別數(shù)x，其中0<x<16777216，16777216為rgb顏色空間中顏色值的總數(shù)；

1-2)將rgb顏色空間16777216個顏色值利用聚類方法聚為x個不同的顏色類別；

1-3)根據(jù)步驟1-2)聚類的結(jié)果，將聚類后x個顏色類別中每個類別包含的顏色值和各個類別的名稱進行一一映射，生成一組16777216個顏色值到x個顏色類別的不完全映射關(guān)系，生成顏色值與顏色類別的顏色映射表ω；

2)選出指定數(shù)據(jù)集中的任意一張圖像，定位出目標(biāo)物體在圖像中的區(qū)域，即目標(biāo)物體所在的區(qū)域；

3)將步驟2)中確定的目標(biāo)物體所在的區(qū)域的圖像通過顏色空間轉(zhuǎn)換方法轉(zhuǎn)換到hsv空間，通過聚類算法聚得c個顏色類別后再將該圖像轉(zhuǎn)換回rgb空間，其中c代表目標(biāo)物體的顏色種類，0＜c≤16；

4)對于步驟3)聚類完成的圖像，根據(jù)目標(biāo)物體處在步驟2)中確定的目標(biāo)物體所在區(qū)域內(nèi)的位置分布的統(tǒng)計規(guī)律，為目標(biāo)物體所在的區(qū)域中每個不同位置(x,y)的像素點賦予相應(yīng)的不同權(quán)重f(x,y)；

5)對步驟3)聚類完成的圖像的像素點進行遍歷，根據(jù)顏色值出現(xiàn)的頻率和步驟4)中對每個像素點賦予的權(quán)重，計算得到一個含有c個矩形的目標(biāo)物體所在區(qū)域的加權(quán)顏色直方圖，每個矩形分別對應(yīng)步驟3)聚類得到的一個顏色類別；對加權(quán)顏色直方圖進行計算，取直方圖中最高矩形對應(yīng)的顏色作為識別得到的當(dāng)前圖像目標(biāo)物體的主顏色ω；

6)在步驟1)得到的顏色映射表ω中查找主顏色ω對應(yīng)的顏色類別φ并記錄結(jié)果；

7)重復(fù)步驟2)至步驟6)，完成對指定數(shù)據(jù)集中的所有圖像中目標(biāo)物體的主顏色識別。

本發(fā)明的特點及有益效果在于：

1目標(biāo)物體主顏色受顏色值失真和光照等外部因素的影響明顯減少。將感興趣區(qū)域的圖像轉(zhuǎn)換到了hsv空間再做處理，使得光照對圖像的影響大大減小；使用聚類的方法使得圖像上本來相同的顏色由于各種因素導(dǎo)致視覺上不同的像素也能聚在一起，成為一類顏色。

2目標(biāo)物體的顏色更加突出。感興趣區(qū)域可以分為目標(biāo)物體分布密集和分布稀疏的部分，本發(fā)明通過給予在目標(biāo)物體分布密集的區(qū)域內(nèi)的顏色信息更高的重要度，使得在整個加權(quán)的顏色直方圖里面，靠近目標(biāo)物體分布密集的區(qū)域的顏色更加突出，亦即目標(biāo)物體的顏色更突出。

3顏色粒度可控，覆蓋面全。本發(fā)明可以根據(jù)實際的顏色標(biāo)注的需求，設(shè)定不同的聚類的數(shù)目。聚類的數(shù)目越多，顏色的區(qū)分度越明顯；聚類數(shù)目少的時候，每類也可以包含更多的相對更相近的顏色。不論顏色粒度如何，所有顏色類別都是覆蓋完全整個顏色空間的。

4顏色類別的劃分是顏色空間的最優(yōu)解，劃分客觀，與數(shù)據(jù)集無關(guān)。劃分顏色的種類的時候采用聚類的方法，考慮了顏色空間顏色之間的相互關(guān)系。聚類這樣一個迭代的過程得到的是一種全局的最優(yōu)解，使得每一簇聚在一起的顏色都比其他簇中聚在一起的顏色在視覺上更接近。這樣的劃分是依據(jù)顏色空間的客觀存在，沒有人為干預(yù)和不確定因素。

5具有良好的可擴展性，有利于數(shù)據(jù)集的分階段的擴充。顏色類別劃分標(biāo)準(zhǔn)一致，不同批次的標(biāo)注結(jié)果在粒度相同的情況下可以直接合并，在粒度不同的時候也可以通過顏色類別的映射關(guān)系進行合并。

6標(biāo)注效率高。整個標(biāo)注的過程沒有人工的參與，在對每張圖像聚類數(shù)目x＝8時，平均每張圖像的標(biāo)注只需要0.259s，測試平臺為intelcorei7-4790cpu,centos7系統(tǒng)。多進程可以使得標(biāo)注效率更高。

附圖說明

圖1是本發(fā)明方法的流程圖。

圖2是本發(fā)明實施例的效果示意圖。

具體實施方式

本發(fā)明提出的一種圖像中目標(biāo)物體的主顏色識別方法，下面結(jié)合附圖和具體實施例對本發(fā)明進一步詳細說明如下。本發(fā)明所述的實施例是示例性的，僅用于解釋本發(fā)明，而不能解釋為對本發(fā)明的限制。

本發(fā)明提出的一種圖像中目標(biāo)物體的主顏色識別方法，流程如圖1所示，該方法包括以下步驟：

1)生成顏色映射表；具體步驟如下：

1-1)根據(jù)對顏色敏感程度的要求，確定rgb顏色空間顏色值劃分的類別數(shù)x，其中0<x<16777216，16777216為rgb顏色空間中顏色值的總數(shù)；

具體地，當(dāng)對顏色敏感程度要求很高的時候，可以取x＝10000，此時紅色可以被分為深紅和淺紅等等不同顏色等級的類別；當(dāng)對顏色敏感程度要求不高的時候，可以取x＝500，主要是區(qū)分紅色和綠色等。

1-2)將rgb顏色空間利用聚類方法聚為x個不同的顏色類別；

具體地，把rgb顏色空間總共256*256*256＝16777216個顏色值進行聚類。聚類時，考慮聚類的速度和準(zhǔn)確性，可以選取不同的聚類算法和選擇不同的初始化簇中心的方法。本實施例選擇kmeans算法，采用kmeansplusplus方法初始化聚類的簇中心，這樣聚類得到的不同的顏色類別包含的顏色值數(shù)量很均勻。

1-3)根據(jù)步驟1-2)聚類的結(jié)果生成顏色值與顏色類別的顏色映射表ω；

具體地，根據(jù)聚類的結(jié)果，將聚類后x個顏色類別中每個類別包含的顏色值和各個類別的名稱進行一一映射，生成一組16777216個顏色值到x個顏色類別的不完全映射關(guān)系。這樣對于某一個顏色值，就可以通過映射關(guān)系得到該顏色值對應(yīng)的顏色類別。

2)選出指定數(shù)據(jù)集中的任意一張圖像，定位出目標(biāo)物體在圖像中的區(qū)域，即目標(biāo)物體所處的感興趣區(qū)域。指定數(shù)據(jù)集是指采用本方法進行顏色識別和標(biāo)注的一組圖片序列，數(shù)據(jù)集中圖片數(shù)量不限；

具體地，目標(biāo)物體所處感興趣區(qū)域的定位方法可以采用現(xiàn)有的物體檢測算法。本實施例使用基于深度卷積神經(jīng)網(wǎng)絡(luò)的物體檢測算法，可以快速準(zhǔn)確地定位到目標(biāo)物體在圖像中的位置。

3)將步驟2)中確定的目標(biāo)物體所處的感興趣區(qū)域的圖像通過顏色空間轉(zhuǎn)換方法轉(zhuǎn)換到hsv空間，通過聚類算法聚得c個顏色類別后再將該圖像轉(zhuǎn)換回rgb空間，其中0＜c≤16；

具體地，顏色空間轉(zhuǎn)換方法可以采用現(xiàn)有的算法，本實施例顏色空間轉(zhuǎn)換使用opencv的顏色空間轉(zhuǎn)換算法。由于hsv空間將光照單獨作為了一個通道，這樣的轉(zhuǎn)換大大減少了光照對圖像的影響?？紤]到一張圖像所表達的顏色數(shù)目有限，我們選擇聚類數(shù)c在1-16之間。若c太大，則不能起到將相近的顏色聚在一起的效果。通過將圖像的感興趣區(qū)域的顏色在hsv空間中進行聚類，區(qū)域內(nèi)相近的顏色值聚在一起，聚為c個類。實際上這些相近的顏色值中很多像素本來就是同一顏色值，只是受到各種因素的影響導(dǎo)致顏色值在顏色空間發(fā)生微小的偏移而變成不同的顏色。我們通過聚類的方法大大減少了因為這些因素的影響導(dǎo)致的顏色信息錯誤和顏色信息雜亂的問題。

4)對于步驟3)聚類完成的圖像，根據(jù)目標(biāo)物體處在步驟2)中確定的感興趣區(qū)域內(nèi)的位置分布的統(tǒng)計規(guī)律，為感興趣區(qū)域中每個不同位置(x,y)的像素點賦予相應(yīng)的不同權(quán)重f(x,y)。

具體地，我們認為目標(biāo)物體的顏色為感興趣主顏色。目標(biāo)物體的位置統(tǒng)計規(guī)律是指目標(biāo)物體在感興趣區(qū)域內(nèi)的位置總體上的分布規(guī)律，可以通過基于統(tǒng)計的方法確定，不同的位置分布的統(tǒng)計規(guī)律對最后的識別和標(biāo)注結(jié)果有不同的影響。本實施例中的位置分布的統(tǒng)計規(guī)律由人工確定后調(diào)整得來。由于本實施例中目標(biāo)物體所在的感興趣區(qū)域是由機器檢測出來的，所以目標(biāo)物體一般處于感興趣區(qū)域中央，于是感興趣主顏色主要分布在感興趣區(qū)域的靠近中央的位置，換言之本實施例的目標(biāo)物體的位置分布的統(tǒng)計規(guī)律為區(qū)域中央密集、四周稀疏。通過給位于感興趣區(qū)域中央的像素點賦予更高的權(quán)重，給感興趣區(qū)域邊緣的像素點賦予更低的權(quán)重，使得感興趣區(qū)域中目標(biāo)物體的顏色值更加突出，大大減少了由于感興趣區(qū)域邊緣的顏色信息的影響導(dǎo)致物體主顏色的誤標(biāo)注。

5)對步驟3)聚類完成的圖像的像素點進行遍歷，考慮顏色值出現(xiàn)的頻率和步驟4)對每個像素點賦予的權(quán)重，計算得到一個含有c個矩形的感興趣區(qū)域的加權(quán)顏色直方圖，每個矩形分別對應(yīng)步驟3)聚類得到的一個顏色類別；對加權(quán)顏色直方圖進行計算，取直方圖中最高矩形對應(yīng)的顏色作為識別得到的當(dāng)前圖像目標(biāo)物體的主顏色ω。

6)在步驟1)得到的顏色映射表ω中查找主顏色ω對應(yīng)的顏色類別φ并記錄結(jié)果。

具體地，通過步驟1)建立的映射關(guān)系表，可以直接找到目標(biāo)物體的主顏色ω所對應(yīng)的顏色類別φ。然后記錄該圖像的目標(biāo)物體主顏色的顏色類別φ以及圖像的目標(biāo)物體的主顏色ω。記錄其主顏色主要是考慮到后續(xù)的數(shù)據(jù)集合并的時候，當(dāng)兩個數(shù)據(jù)集的顏色粒度不同的時候，可以直接建立新的映射關(guān)系將圖像的目標(biāo)物體的主顏色映射到新的顏色粒度下的顏色類別。

7)重復(fù)步驟2)至步驟6)，完成對指定數(shù)據(jù)集中的所有圖像中目標(biāo)物體的主顏色識別。

本發(fā)明的一個具體實施例，效果示意圖如圖2所示。本發(fā)明實施例的測試圖片中目標(biāo)物體所在區(qū)域(感興趣區(qū)域)共有8個顏色類別，直方圖中不同顏色的矩形指代不同的顏色類別,按照數(shù)量從高到低的順序依次排列。圖2(a)是經(jīng)過步驟3)處理之后的實施例測試圖像中感興趣區(qū)域的顏色直方圖，圖2(a)中，矩形從高到低依次排列為顏色1至顏色8，此時的主顏色為顏色1；圖2(b)是圖2(a)的直方圖經(jīng)過步驟4)處理之后的加權(quán)顏色直方圖，處理后，各個矩形從高到低的排列順序變?yōu)椋?-1-5-4-2-8-6-7，此時的主顏色為顏色3。從圖中可以看出，實施例測試圖片中真實的目標(biāo)物體的主顏色在圖2(a)中排在第3位，不被認為是目標(biāo)物體的主顏色，識別錯誤；而真實的目標(biāo)物體的主顏色在圖2(b)中排在第1位，被認為是目標(biāo)物體的主顏色，識別正確。