本發(fā)明涉及一種結(jié)合深度學(xué)習(xí)與稀疏表示的室內(nèi)場(chǎng)景識(shí)別方法，屬于圖像處理技術(shù)的技術(shù)領(lǐng)域。

背景技術(shù)：

隨著信息技術(shù)和智能機(jī)器人的發(fā)展與普及，場(chǎng)景識(shí)別作為重要的研究?jī)?nèi)容，已成為計(jì)算機(jī)視覺(jué)和模式識(shí)別領(lǐng)域的重要研究問(wèn)題。場(chǎng)景圖像分類是依據(jù)一組給定的語(yǔ)義標(biāo)簽來(lái)對(duì)圖像數(shù)據(jù)集進(jìn)行自動(dòng)分類。場(chǎng)景識(shí)別模型主要分為三大塊：基于低級(jí)特征、基于中級(jí)特征、基于視覺(jué)詞匯。所謂低級(jí)特征，即對(duì)場(chǎng)景圖像提取全局或者分塊的紋理、顏色等特征對(duì)場(chǎng)景圖像進(jìn)行分類，比如Valiaya和Szumme等人的研究，但是這種提取底層特征的方法只適用于比較簡(jiǎn)單的場(chǎng)景或者場(chǎng)景差別較大的圖像場(chǎng)景(沙灘和藍(lán)天、室內(nèi)和室外等)，因而人們又繼續(xù)進(jìn)行探索，David G^[6]提出了一種基于尺度空間的、具有圖像縮放、旋轉(zhuǎn)和仿射不變形的圖像局部特征描述算子SIFT，Dalal等人提出了HOG圖像局部特征，得到了高性能的底層特征。隨著人們對(duì)圖像識(shí)別研究領(lǐng)域的深入，人們逐漸發(fā)現(xiàn)僅僅提取底層特征不能有效解決語(yǔ)義鴻溝問(wèn)題，因此構(gòu)建中層特征作為一個(gè)新的研究思路，引起了廣大研究者們的關(guān)注，其中最具代表性的是視覺(jué)詞袋模型(Bag of visual Words,BoW)，但它是將圖像表示成了一個(gè)無(wú)序局部特征集的特征包方法，忽略了所有的關(guān)于圖像塊的位置信息，為了解決這個(gè)問(wèn)題，Lazebnik等人提出一種基于空間金字塔匹配(Spatial Pyramid Matching,SPM)的方法來(lái)改進(jìn)傳統(tǒng)的BoW模型，取得了較好的識(shí)別效果。

當(dāng)把上述方法應(yīng)用在室內(nèi)場(chǎng)景識(shí)別時(shí)，識(shí)別效果顯著下降，究其原因是室內(nèi)場(chǎng)景主要存在類內(nèi)差異大類間差異小、遮擋、尺度、角度變化等原因，比如同是書(shū)店，有可能只有書(shū)柜和書(shū)，也有可能只有書(shū)，而書(shū)店和圖書(shū)館兩個(gè)場(chǎng)景同時(shí)有書(shū)柜和書(shū)。為此，Vogel和Schiele^[12]最早提出了采用局部區(qū)域目標(biāo)來(lái)對(duì)自然場(chǎng)景進(jìn)行建模的方法。因此，基于目標(biāo)的高層圖像表示方法被相繼提出，如Li-feifei等提出的目標(biāo)銀行模型，這些方法將目標(biāo)作為圖像的基本元素，通過(guò)分析圖像中所包含的一系列目標(biāo)來(lái)進(jìn)一步分類場(chǎng)景圖像，但是由于室內(nèi)場(chǎng)景圖像較復(fù)雜，目前并沒(méi)有一種特別好的解決室內(nèi)場(chǎng)景圖像識(shí)別效果差的方法，其識(shí)別仍然普遍偏低，無(wú)法滿足現(xiàn)實(shí)的需求。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問(wèn)題在于克服現(xiàn)有技術(shù)的不足，提供一種結(jié)合深度學(xué)習(xí)與稀疏表示的室內(nèi)場(chǎng)景識(shí)別方法，解決由于目前室內(nèi)場(chǎng)景類內(nèi)差異大類間差異小、遮擋、尺度、角度變化等原因，造成了目前室內(nèi)場(chǎng)景識(shí)別相比較于室外場(chǎng)景識(shí)別來(lái)說(shuō)其復(fù)雜度和困難性更大，因而識(shí)別效果差的問(wèn)題，以提高室內(nèi)場(chǎng)景識(shí)別算法的識(shí)別率和魯棒性。

本發(fā)明具體采用以下技術(shù)方案解決上述技術(shù)問(wèn)題：

一種結(jié)合深度學(xué)習(xí)與稀疏表示的室內(nèi)場(chǎng)景識(shí)別方法，包括以下步驟：

步驟A、從室內(nèi)場(chǎng)景庫(kù)中隨機(jī)挑選若干張室內(nèi)場(chǎng)景圖像作為訓(xùn)練樣本，及將室內(nèi)場(chǎng)景庫(kù)中剩余的室內(nèi)場(chǎng)景圖像作為測(cè)試樣本；

步驟B、利用Fast-RCNN算法對(duì)所述訓(xùn)練樣本和測(cè)試樣本進(jìn)行物體類別判別和檢測(cè)，得到訓(xùn)練樣本和測(cè)試樣本中每張室內(nèi)場(chǎng)景圖像中包含的物體類別、位置和分值信息，以構(gòu)建得到每張室內(nèi)場(chǎng)景圖像的底層特征；

步驟C、利用詞袋模型根據(jù)所述訓(xùn)練樣本和測(cè)試樣本中每張室內(nèi)場(chǎng)景圖像的底層特征，構(gòu)建得到每張室內(nèi)場(chǎng)景圖像的中層特征；

步驟D、對(duì)所述訓(xùn)練樣本中的每張室內(nèi)場(chǎng)景圖像的中層特征進(jìn)行糅合，構(gòu)建得到稀疏字典；

步驟E、利用所述稀疏字典對(duì)輸入的測(cè)試樣本進(jìn)行稀疏表示，及根據(jù)求解出的稀疏解與所輸入的測(cè)試樣本計(jì)算得到殘差，并根據(jù)殘差的大小判斷測(cè)試樣本所屬的物體類別；

步驟F、將判斷得到測(cè)試樣本所屬的物體類別輸出。

進(jìn)一步地，作為本發(fā)明的一種優(yōu)選技術(shù)方案：所述步驟A還包括對(duì)每個(gè)室內(nèi)場(chǎng)景圖像進(jìn)行歸一化尺寸處理。

進(jìn)一步地，作為本發(fā)明的一種優(yōu)選技術(shù)方案：所述步驟C構(gòu)建得到每張室內(nèi)場(chǎng)景圖像的中層特征，具體包括步驟：

步驟C1、將每張室內(nèi)場(chǎng)景圖像劃分成若干層，每個(gè)層劃分得到若干個(gè)子塊；

步驟C2、對(duì)各層中每個(gè)子塊內(nèi)的每個(gè)像素點(diǎn)進(jìn)行物體類別的判別，及結(jié)合判斷出的物體類別所對(duì)應(yīng)的位置和分值信息獲得每個(gè)子塊的直方圖特征；

步驟C3、將所有層的所有子塊的直方圖特征串聯(lián)組成一個(gè)特征向量，以獲得室內(nèi)場(chǎng)景圖像的中層特征。

進(jìn)一步地，作為本發(fā)明的一種優(yōu)選技術(shù)方案：所述步驟D所構(gòu)建得到過(guò)完備的稀疏字典。

進(jìn)一步地，作為本發(fā)明的一種優(yōu)選技術(shù)方案：所述步驟E根據(jù)殘差最小值判斷測(cè)試樣本所屬的物體類別。

本發(fā)明采用上述技術(shù)方案，能產(chǎn)生如下技術(shù)效果：

本發(fā)明提供一種結(jié)合深度學(xué)習(xí)與稀疏表示的室內(nèi)場(chǎng)景識(shí)別方法，所述方法在國(guó)際上公開(kāi)的MIT-67室內(nèi)場(chǎng)景庫(kù)上進(jìn)行檢測(cè)，使用基于深度學(xué)習(xí)的Fast-RCNN算法準(zhǔn)確識(shí)別出每張室內(nèi)場(chǎng)景圖片中物體的類別、位置、分值信息，通過(guò)這些信息去構(gòu)建去相關(guān)、低維度的底層特征，并利用這些信息改進(jìn)傳統(tǒng)的詞袋模型，得到一個(gè)反應(yīng)場(chǎng)景圖像的空間信息的中層特征，再利用這些中層特征構(gòu)建稀疏字典，最后通過(guò)稀疏表示的方法進(jìn)行分類。

本發(fā)明在特征提取階段使用基于深度學(xué)習(xí)的Fast-RCNN算法，可以精準(zhǔn)的得到去相關(guān)、低維度的底層特征，精準(zhǔn)地得到了原圖的局部信息，解決了傳統(tǒng)的特征提取方法存在維數(shù)災(zāi)難的問(wèn)題；并采用改進(jìn)詞袋模型，將室內(nèi)場(chǎng)景圖像中的空間信息考慮在內(nèi)，較好的得到了室內(nèi)場(chǎng)景圖像的語(yǔ)義特征，解決了“語(yǔ)義鴻溝”問(wèn)題，提高了室內(nèi)場(chǎng)景的識(shí)別正確率；以及，采用稀疏表示算法進(jìn)行分類，解決了室內(nèi)場(chǎng)景圖像中特征提取方面丟失的一些特征信息以及室內(nèi)場(chǎng)景圖像存在的遮擋等噪聲問(wèn)題，提高了系統(tǒng)的識(shí)別率和對(duì)遮擋的魯棒性。

因此，本發(fā)明能夠以工程實(shí)踐應(yīng)用為目標(biāo)，結(jié)合深度學(xué)習(xí)和稀疏表示算法，提出一種中層特征構(gòu)建算法，有效提高室內(nèi)場(chǎng)景識(shí)別的準(zhǔn)確率，以及提高室內(nèi)場(chǎng)景識(shí)別算法的識(shí)別率和魯棒性，具有很高的實(shí)用性能，可以更加接近工程實(shí)踐的要求。

附圖說(shuō)明

圖1為本發(fā)明結(jié)合深度學(xué)習(xí)與稀疏表示的室內(nèi)場(chǎng)景識(shí)別方法的流程示意圖。

具體實(shí)施方式

下面結(jié)合說(shuō)明書(shū)附圖對(duì)本發(fā)明的實(shí)施方式進(jìn)行描述。

如圖1所示，本發(fā)明設(shè)計(jì)了一種結(jié)合深度學(xué)習(xí)與稀疏表示的室內(nèi)場(chǎng)景識(shí)別方法，其包括底層特征提取、中層特征構(gòu)建和分類器設(shè)計(jì)三大步驟，具體包括以下步驟：

步驟A、從室內(nèi)場(chǎng)景庫(kù)中隨機(jī)挑選若干張室內(nèi)場(chǎng)景圖像作為訓(xùn)練樣本，及將室內(nèi)場(chǎng)景庫(kù)中剩余的室內(nèi)場(chǎng)景圖像作為測(cè)試樣本。

由于本發(fā)明應(yīng)用于室內(nèi)場(chǎng)景圖像，為了檢測(cè)算法的有效性，應(yīng)挑選國(guó)際上公開(kāi)的室內(nèi)場(chǎng)景庫(kù)中的圖片，本例中選取了典型的MIT-67室內(nèi)場(chǎng)景庫(kù)，該場(chǎng)景庫(kù)中的圖片并不是統(tǒng)一尺寸的，所以優(yōu)選地先對(duì)其進(jìn)行歸一化尺寸處理，并保證每一類室內(nèi)場(chǎng)景圖像數(shù)目也應(yīng)該是相同的，且隨機(jī)挑選其中歸一化后的90％的室內(nèi)場(chǎng)景圖像作為訓(xùn)練樣本，剩下歸一化后的10％的室內(nèi)場(chǎng)景圖像作為測(cè)試樣本。

步驟B、利用Fast-RCNN算法對(duì)所述訓(xùn)練樣本和測(cè)試樣本中的每張室內(nèi)場(chǎng)景圖像進(jìn)行物體類別判別和檢測(cè)，得到每張室內(nèi)場(chǎng)景圖像中包含的物體類別、位置和分值信息，以構(gòu)建得到每張室內(nèi)場(chǎng)景圖像的底層特征。即：在對(duì)室內(nèi)場(chǎng)景圖像底層特征提取前，必須先確定室內(nèi)場(chǎng)景圖像中對(duì)判別有一定作用的物體類別，然后從ImageNet上下載相對(duì)應(yīng)的物體訓(xùn)練庫(kù)，送入Fast-RCNN算法中進(jìn)行訓(xùn)練，然后再用Fast-RCNN算法對(duì)室內(nèi)場(chǎng)景庫(kù)中的訓(xùn)練和測(cè)試樣本進(jìn)行物體檢測(cè)，得到每張室內(nèi)場(chǎng)景圖像中包含的物體類別、位置和分值score信息，構(gòu)建去相關(guān)、低維度的底層特征。

步驟C、利用詞袋模型根據(jù)所述訓(xùn)練樣本和測(cè)試樣本中每張室內(nèi)場(chǎng)景圖像的底層特征，通過(guò)改進(jìn)傳統(tǒng)的詞袋模型，構(gòu)建得到每張室內(nèi)場(chǎng)景圖像的中層特征。具體如下：

步驟C1、將每張室內(nèi)場(chǎng)景圖像劃分成i個(gè)level層，第i個(gè)level層將得到4ⁱ個(gè)子塊，其中i為1以上的自然數(shù)，則總共將得到若干個(gè)子塊。及l(fā)evel 0表示室內(nèi)場(chǎng)景圖像原圖，level1表示室內(nèi)場(chǎng)景圖像劃分的第一個(gè)level層，level2表示室內(nèi)場(chǎng)景圖像劃分的第二個(gè)level層。由此，level 0層所代表的原圖存在1個(gè)子塊，level1層所代表的第一層存在4個(gè)子塊，level2層所代表的第二層存在16個(gè)子塊。

步驟C2、對(duì)各層中每個(gè)子塊內(nèi)的每個(gè)像素點(diǎn)進(jìn)行物體類別的判別，及結(jié)合判斷出的物體類別所對(duì)應(yīng)的位置和分值信息獲得每個(gè)子塊的直方圖特征。即：對(duì)原室內(nèi)場(chǎng)景圖像level 0進(jìn)行判別，根據(jù)步驟B得到的原室內(nèi)場(chǎng)景圖像中所包含的物體的類別、位置和score信息，對(duì)原圖片level 0的每個(gè)像素點(diǎn)進(jìn)行類別判別，若像素點(diǎn)存在物體類別信息，則取出該物體類別對(duì)應(yīng)的分值，反之則忽略。若像素點(diǎn)存在類別重疊則判別類別是否相同，如是相同類別，則取該類別對(duì)應(yīng)的分值的最高值與其他被判別為該類的像素點(diǎn)的分值相加；如是不同的類別，則分別取對(duì)應(yīng)類別對(duì)應(yīng)的分值的最高值與其他被判別為該類的像素點(diǎn)的分值相加，最終將Fast-RCNN算法得到的每張場(chǎng)景圖中所包含的物體的類別、位置和分值信息考慮在內(nèi)的第一個(gè)子塊的直方圖特征。

步驟C3、將所有層的所有子塊的直方圖特征串聯(lián)組成一個(gè)特征向量，以獲得室內(nèi)場(chǎng)景圖像帶有空間信息的中層特征。即：對(duì)level 1層和level 2層用上述相同的方法統(tǒng)計(jì)室內(nèi)場(chǎng)景圖片在不同level層下的每個(gè)子塊的直方圖特征，最后將所有l(wèi)evel層的子塊的直方圖特征串聯(lián)起來(lái)組成一個(gè)特征向量vector,以構(gòu)建帶有空間信息、魯棒性較強(qiáng)的中層特征，完成中層特征構(gòu)建。

步驟D、對(duì)所述訓(xùn)練樣本中的每張室內(nèi)場(chǎng)景圖像的中層特征進(jìn)行糅合，構(gòu)建得到稀疏字典；即：利用步驟C得到的每張室內(nèi)場(chǎng)景圖像的中層特征，即一個(gè)維度Nx1的特征向量，然后將M張訓(xùn)練樣本所得到的中層特征進(jìn)行簡(jiǎn)單的糅合，得到過(guò)完備的稀疏字典A，其中稀疏字典A的維度為NM，且N<M。

步驟E、利用所述稀疏字典對(duì)輸入的測(cè)試樣本進(jìn)行稀疏表示，及根據(jù)用₁范數(shù)求解出的稀疏解與所輸入的測(cè)試樣本計(jì)算得到殘差，并根據(jù)殘差的大小判斷測(cè)試樣本所屬的物體類別，其中₁范數(shù)是指向量中各個(gè)元素絕對(duì)值之和。具體為：利用步驟D得到的稀疏字典對(duì)測(cè)試樣本中的室內(nèi)場(chǎng)景圖像進(jìn)行稀疏表示，稀疏表示公式：

y＝Ax

其中，y表示測(cè)試樣本，A表示由訓(xùn)練樣本中層特征構(gòu)建的稀疏字典，x表示稀疏系數(shù)。這里用₁范數(shù)進(jìn)行稀疏求解，求解公式:x₁＝argmin||x||₁subject to Ax＝y(tǒng)，通過(guò)求解出的稀疏解與原始測(cè)試樣本進(jìn)行求殘差，并根據(jù)殘差的大小，判斷樣本所屬的類別。

所述計(jì)算殘差公式：

min r_i(y)＝||y-Aδ_i(x₁)||₂

公式中，δ_i為i類中非零向量構(gòu)成的新向量。

其中，該過(guò)程將稀疏表示算法應(yīng)用于室內(nèi)場(chǎng)景識(shí)別，來(lái)提升室內(nèi)場(chǎng)景識(shí)別的正確率和魯棒性?？蓛?yōu)選根據(jù)步驟E中計(jì)算出的殘差最小值判斷得出最終的分類結(jié)果。

步驟F、將判斷得到測(cè)試樣本所屬的物體類別輸出。

綜上，本發(fā)明在特征提取階段使用基深度學(xué)習(xí)的Fast-RCNN算法，可以精準(zhǔn)的得到去相關(guān)、低維度的底層特征，并采用改進(jìn)詞袋模型，將室內(nèi)場(chǎng)景圖像中的空間信息考慮在內(nèi)，較好的得到了室內(nèi)場(chǎng)景圖像的語(yǔ)義特征，解決了“語(yǔ)義鴻溝”問(wèn)題，提高了室內(nèi)場(chǎng)景的識(shí)別正確率；以及，采用稀疏表示算法進(jìn)行分類，解決了室內(nèi)場(chǎng)景圖像中特征提取方面丟失的一些特征信息以及室內(nèi)場(chǎng)景圖像存在的遮擋等噪聲問(wèn)題，提高了系統(tǒng)的識(shí)別率和對(duì)遮擋的魯棒性。

上面結(jié)合附圖對(duì)本發(fā)明的實(shí)施方式作了詳細(xì)說(shuō)明，但是本發(fā)明并不限于上述實(shí)施方式，在本領(lǐng)域普通技術(shù)人員所具備的知識(shí)范圍內(nèi)，還可以在不脫離本發(fā)明宗旨的前提下做出各種變化。