專(zhuān)利名稱(chēng)：基于譜圖分析的圖像集合的場(chǎng)景分類(lèi)方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域，特別涉及一種基于譜圖分析的圖像集合的場(chǎng)景分類(lèi)方法及裝置。
背景技術(shù)：
場(chǎng)景分類(lèi)的目標(biāo)是得到輸入圖像的符合人類(lèi)普遍認(rèn)知的宏觀(guān)語(yǔ)義信息，是計(jì)算機(jī)視覺(jué)中的圖像理解技術(shù)的重要組成內(nèi)容。它需要建立底層圖像視覺(jué)特征(如顏色、邊緣、紋理等)和高層場(chǎng)景語(yǔ)義概念的聯(lián)系，得到一些基本的場(chǎng)景類(lèi)別信息(如森林、城市、海岸、天空、室內(nèi)等等)。隨著數(shù)字圖像獲取技術(shù)的不斷發(fā)展，圖像數(shù)據(jù)庫(kù)的內(nèi)容越來(lái)越龐大，傳統(tǒng)的人工手工標(biāo)注變得越來(lái)越困難，所以利用計(jì)算機(jī)自動(dòng)標(biāo)注符合人類(lèi)認(rèn)知的語(yǔ)義信息就成為了研究的焦點(diǎn)。它不僅表示了人們對(duì)圖像的整體認(rèn)識(shí)，而且也能為圖像中的目標(biāo)識(shí)別提供環(huán)境，從而提高算法的準(zhǔn)確率。
近幾年來(lái)，在文本識(shí)別中的特征包(bag-of-features)的方法被引入到場(chǎng)景分類(lèi)中，取得了重要的研究成果，并成為了主流技術(shù)?，F(xiàn)有基于特征包的場(chǎng)景分類(lèi)方法的缺點(diǎn)在于碼字分配中，只利用每個(gè)SIFT特征和碼字的歐式距離來(lái)確定它們之間的隸屬度。而它們均為分布是分布在高維(1 維)上的數(shù)據(jù)，直接使用歐式距離會(huì)丟失大量的非線(xiàn)性信息， 從而降低分類(lèi)的效果。發(fā)明內(nèi)容
本發(fā)明旨在至少解決上述技術(shù)問(wèn)題之一。
為此，本發(fā)明的一個(gè)目的在于提出一種基于譜圖分析的圖像集合的場(chǎng)景分類(lèi)方法。該方法通過(guò)譜圖分析最終確定的隸屬度更加精確，避免非線(xiàn)性數(shù)據(jù)的丟失，進(jìn)而提高分類(lèi)結(jié)果的準(zhǔn)確性。
本發(fā)明的另一目的在于提出一種基于譜圖分析的圖像集合的場(chǎng)景分類(lèi)裝置。
為了實(shí)現(xiàn)上述目的，本發(fā)明第一方面實(shí)施例提出的基于譜圖分析的圖像集合的場(chǎng)景分類(lèi)方法，包括以下步驟A 提取所述圖像集合中的SIFT特征集合，并得到所述SIFT特征集合的K個(gè)聚類(lèi)和K個(gè)碼字，其中，所述K任意整數(shù)，所述SIFT特征集合中SIFT特征的個(gè)數(shù)為N ；B 根據(jù)所述SIFT特征集合中任意圖像的SIFT特征和所述K個(gè)碼字建立所述任意圖像的有權(quán)譜圖G= (V, E)，其中，所述V為由所述任意圖像的全部SIFT特征和每個(gè)所述碼字組成的節(jié)點(diǎn)集合，E為相鄰的所述每?jī)蓚€(gè)節(jié)點(diǎn)連線(xiàn)所組成的邊的集合，其中，所述任意圖像的全部SIFT特征的個(gè)數(shù)為Nl，且m小于或等于N ;C 計(jì)算所述節(jié)點(diǎn)集合V中任意一節(jié)點(diǎn)與其它節(jié)點(diǎn)之間的歐氏距離，并根據(jù)所述歐式距離確定與所述任意一節(jié)點(diǎn)的歐式距離最近的K’個(gè)節(jié)點(diǎn)，其中K’為預(yù)定閾值；D 根據(jù)全部所述任意一節(jié)點(diǎn)與所述任意一節(jié)點(diǎn)的歐氏距離最近的所述K’個(gè)節(jié)點(diǎn)得到所述節(jié)點(diǎn)集合V對(duì)應(yīng)的權(quán)重矩陣W，其中權(quán)重矩陣W 的行數(shù)和列數(shù)均為所述節(jié)點(diǎn)集合V的節(jié)點(diǎn)個(gè)數(shù)N ；E 根據(jù)所述權(quán)重矩陣W獲得所述有權(quán)譜圖G的散度算子對(duì)角矩陣D ；F 根據(jù)所述權(quán)重矩陣W和所述散度算子對(duì)角矩陣D得到拉普拉斯算子矩陣L ；G 基于隨機(jī)游走模型對(duì)所述拉普拉斯算子矩陣L進(jìn)行運(yùn)算以得到所述任意圖像的每一個(gè)SIFT特征與所述K個(gè)碼字的每一個(gè)碼字之間的交互時(shí)間，并根據(jù)所述交互時(shí)間確定所述每一個(gè)SIFT特征與所述K個(gè)碼字之間的隸屬度；以及H 根據(jù)所述隸屬度確定碼字分配結(jié)果，并根據(jù)所述分配結(jié)果對(duì)所述任意圖像中的場(chǎng)景進(jìn)行分類(lèi)。
根據(jù)本發(fā)明實(shí)施例的基于譜圖分析的圖像集合的場(chǎng)景分類(lèi)方法，通過(guò)建立圖像的有權(quán)譜圖，并對(duì)有權(quán)譜圖譜進(jìn)行分析，然后計(jì)算SIFT特征和碼字在譜圖上基于隨機(jī)游走模型的交互時(shí)間，并根據(jù)交互時(shí)間確定SIFT特征和碼字之間的相似度，接著通過(guò)SIFT特征和碼字之間的相似度得到SIFT特征關(guān)于每個(gè)碼字的隸屬度，該方法充分利用SIFT特征和碼字分布在高維空間上的流性特征計(jì)算隸屬度，從而避免了直接通過(guò)SIFT特征和碼字之間的歐氏距離計(jì)算得到兩者之間的隸屬度所帶來(lái)的丟失大量的非線(xiàn)性數(shù)據(jù)，導(dǎo)致隸屬度不準(zhǔn)確的發(fā)生。進(jìn)而提高場(chǎng)景分類(lèi)的準(zhǔn)確性。
另外，根據(jù)本發(fā)明的基于譜圖分析的圖像集合的場(chǎng)景分類(lèi)方法還可以具有如下附加的技術(shù)特征
在本發(fā)明的一個(gè)實(shí)施例中，所述步驟A進(jìn)一步包括提取所述圖像的SIFT特征集合，并根據(jù)K-means算法對(duì)所述SIFT特征集合進(jìn)行聚類(lèi)以得到K個(gè)聚類(lèi)和K個(gè)碼字，其中， 所述K為(0，N)之間的預(yù)定整數(shù)，N為所述SIFT特征集合中SIFT特征的個(gè)數(shù)，所述K個(gè)碼字為所述K個(gè)聚類(lèi)對(duì)應(yīng)的K個(gè)聚類(lèi)中心。
在本發(fā)明的一個(gè)實(shí)施例中，所述步驟C進(jìn)一步包括C1 計(jì)算所述節(jié)點(diǎn)集合V中節(jié)點(diǎn)Vx與所述節(jié)點(diǎn)集合V中剩余節(jié)點(diǎn)的每一個(gè)節(jié)點(diǎn)之間的歐氏距離，其中χ為[1，N1+K]之間的任意整數(shù)；C2 對(duì)所述節(jié)點(diǎn)Vi與所述節(jié)點(diǎn)集合V中剩余節(jié)點(diǎn)的全部歐式距離按從小到大的順序進(jìn)行排序以得到排序集合；以及C3 在所述排序集合中從所述歐氏距離最小的一端依次提取K’個(gè)歐氏距離，并根據(jù)所述K’個(gè)歐式距離對(duì)應(yīng)的K’節(jié)點(diǎn)確定與所述節(jié)點(diǎn)Vi 的歐式距離最近的所述K’個(gè)節(jié)點(diǎn)。
在本發(fā)明的一個(gè)實(shí)施例中，在所述步驟D中，根據(jù)如下公式計(jì)算所述權(quán)重矩陣W的元素值，其中所述公式為
_ ι,如果評(píng)P/為近鄰關(guān)系 Wy =io,其他，
其中，i為元素值Wij的行號(hào)，j為元素值Wij的列號(hào)，且i和j均在
的范圍內(nèi)。
在本發(fā)明的一個(gè)實(shí)施例中，所述步驟E計(jì)算得到散度算子對(duì)角矩陣D的元素值Clii 的計(jì)算公式如下
dti =2^]=l Wy。
在本發(fā)明的一個(gè)實(shí)施例中，所述步驟F中拉普拉斯算子矩陣L為所述權(quán)重矩陣W 與所述散度算子對(duì)角矩陣D做減法運(yùn)算得到，如下
L = D_W。
在本發(fā)明的一個(gè)實(shí)施例中，所述步驟G進(jìn)一步包括G1 基于所述隨機(jī)游走模型獲得所述SIFT特征集合中任意一個(gè)SIFT特征Vi,與所述K個(gè)碼字中任意一個(gè)碼字cn,之間的隨機(jī)游走時(shí)間t(V，cn,)和t(cn,，V )，其中，i'為[1，N1]之間的任意整數(shù)，η'為[1，K]之間的任意整數(shù)；G2 基于所述隨機(jī)游走時(shí)間t (Vi,，cn,)和t(cn,，Vi,)并根據(jù)如下公式計(jì)算所述特征Vi,與所述碼字cn,之間的在所述有權(quán)譜圖G上的交互時(shí)間，其中所述公式為
Cti, n, = t (Vi,，Cn, ) +t (Cn,，Vi,)，
其中，Cti, n,為特征Vi,與所述碼字cn,之間的在所述有權(quán)譜圖G上的交互時(shí)間； G3 根據(jù)所述交互時(shí)間Cti, n,和預(yù)設(shè)的負(fù)指數(shù)函數(shù)獲得所述特征Vi,到所述碼字cn,的隸屬度，其中，所述隸屬度通過(guò)如下公式進(jìn)行
as (Vi, , cn, ) = exp ("Cti- ),
其中，as (ν，(V )為特征Vi,到所述碼字cn,的隸屬度，exp O為預(yù)設(shè)的負(fù)指數(shù)函數(shù)。
根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述步驟G還包括G4:對(duì)所述隸屬度as(Vi,，cn,)進(jìn)行歸一化以得到歸一化后的隸屬度。
根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述步驟H進(jìn)一步包括根據(jù)所述特征Vi,的隸屬度 i(4，c ,)對(duì)所述特征V進(jìn)行碼字分配以得到碼字分配結(jié)果；根據(jù)所述碼字分配結(jié)果獲得所述任意圖像的直方圖向量；通過(guò)支持向量機(jī)對(duì)所述直方圖向量進(jìn)行學(xué)習(xí)，以得到所述每一類(lèi)場(chǎng)景類(lèi)別的判斷模型；根據(jù)所述判斷模型和所述直方圖向量確定場(chǎng)景分類(lèi)結(jié)果。
本發(fā)明第二方面實(shí)施例提出的基于譜圖分析的圖像集合的場(chǎng)景分類(lèi)裝置，包括聚類(lèi)模塊，用于提取所述圖像集合的SIFT特征集合，并得到所述SIFT特征集合的K個(gè)聚類(lèi)和 K個(gè)碼字，其中，所述K任意整數(shù)，所述SIFT特征集合中SIFT特征的個(gè)數(shù)為N ；譜圖建立模塊，用于根據(jù)所述SIFT特征集合中任意圖像的SIFT特征和所述K個(gè)碼字建立所述任意圖像的有權(quán)譜圖G= (V, E)，其中，所述V為由所述任意圖像的全部SIFT特征和每個(gè)所述碼字組成的節(jié)點(diǎn)集合，E為相鄰的所述每?jī)蓚€(gè)節(jié)點(diǎn)連線(xiàn)所組成的邊的集合，其中，所述任意圖像的全部SIFT特征的個(gè)數(shù)為Ni，且附小于或等于N ；歐氏距離計(jì)算模塊，用于計(jì)算所述節(jié)點(diǎn)集合V中任意一節(jié)點(diǎn)與其它節(jié)點(diǎn)之間的歐氏距離，并根據(jù)所述歐式距離確定與所述任意一節(jié)點(diǎn)的歐式距離最近的K’個(gè)節(jié)點(diǎn)，其中K’為預(yù)定閾值；權(quán)重矩陣構(gòu)造模塊，用于根據(jù)全部所述任意一節(jié)點(diǎn)與所述任意一節(jié)點(diǎn)的歐氏距離最近的所述K’個(gè)節(jié)點(diǎn)得到所述節(jié)點(diǎn)集合V對(duì)應(yīng)的權(quán)重矩陣W，其中權(quán)重矩陣W的行數(shù)和列數(shù)均為所述節(jié)點(diǎn)集合V的節(jié)點(diǎn)個(gè)數(shù)N ； 散度算子對(duì)角矩陣構(gòu)造模塊，用于根據(jù)所述權(quán)重矩陣W獲得所述有權(quán)譜圖G的散度算子對(duì)角矩陣D ；拉普拉斯算子矩陣構(gòu)造模塊，用于根據(jù)所述權(quán)重矩陣W和所述散度算子對(duì)角矩陣 D得到拉普拉斯算子矩陣L ；隸屬度獲取模塊，用于基于隨機(jī)游走模型對(duì)所述拉普拉斯算子矩陣L進(jìn)行運(yùn)算以得到所述任意圖像的每一個(gè)SIFT特征與所述K個(gè)碼字的每一個(gè)碼字之間的交互時(shí)間，并根據(jù)所述交互時(shí)間確定所述每一個(gè)SIFT特征與所述K個(gè)碼字之間的隸屬度；以及分類(lèi)模塊，用于根據(jù)所述隸屬度確定碼字分配結(jié)果，并根據(jù)所述分配結(jié)果對(duì)所述任意圖像的場(chǎng)景進(jìn)行分類(lèi)。
根據(jù)本發(fā)明實(shí)施例的基于譜圖分析的圖像集合的場(chǎng)景分類(lèi)裝置，通過(guò)建立圖像的有權(quán)譜圖，并對(duì)有權(quán)譜圖譜進(jìn)行分析，然后計(jì)算SIFT特征和碼字在譜圖上基于隨機(jī)游走模型的交互時(shí)間，并根據(jù)交互時(shí)間確定SIFT特征和碼字之間的相似度，接著通過(guò)SIFT特征和碼字之間的相似度得到SIFT特征關(guān)于每個(gè)碼字的隸屬度，該方法充分利用SIFT特征和碼字分布在高維空間上的流性特征計(jì)算隸屬度，從而避免了直接通過(guò)SIFT特征和碼字之間的歐氏距離計(jì)算得到兩者之間的隸屬度所帶來(lái)的丟失大量的非線(xiàn)性數(shù)據(jù)，導(dǎo)致隸屬度不準(zhǔn)確的發(fā)生。進(jìn)而提高場(chǎng)景分類(lèi)的準(zhǔn)確性。另外，該裝置結(jié)構(gòu)簡(jiǎn)單，易于實(shí)現(xiàn)。
另外，根據(jù)本發(fā)明的基于譜圖分析的圖像集合的場(chǎng)景分類(lèi)裝置還可以具有如下附加的技術(shù)特征
在本發(fā)明的一個(gè)實(shí)施例中，所述聚類(lèi)模塊用于提取所述圖像的SIFT特征集合，并根據(jù)K-means算法對(duì)所述SIFT特征集合進(jìn)行聚類(lèi)以得到K個(gè)聚類(lèi)和K個(gè)碼字，其中，所述 K為(0，N)之間的預(yù)定整數(shù)，所述K個(gè)碼字為所述K個(gè)聚類(lèi)對(duì)應(yīng)的K個(gè)聚類(lèi)中心。
在本發(fā)明的一個(gè)實(shí)施例中，所述歐氏距離計(jì)算模塊首先計(jì)算所述節(jié)點(diǎn)集合V中節(jié)點(diǎn)Vx與所述節(jié)點(diǎn)集合V中剩余節(jié)點(diǎn)的每一個(gè)節(jié)點(diǎn)之間的歐氏距離，其中X為[1，N1+K]之間的任意整數(shù)，并對(duì)所述節(jié)點(diǎn)Vi與所述節(jié)點(diǎn)集合V中剩余節(jié)點(diǎn)的全部歐式距離按從小到大的順序進(jìn)行排序以得到排序集合，然后在所述排序集合中從所述歐氏距離最小的一端依次提取K’個(gè)歐氏距離，并根據(jù)所述K’個(gè)歐式距離對(duì)應(yīng)的K’節(jié)點(diǎn)確定與所述節(jié)點(diǎn)Vi的歐式距離最近的所述K’個(gè)節(jié)點(diǎn)。
在本發(fā)明的一個(gè)實(shí)施例中，權(quán)重矩陣構(gòu)造模塊根據(jù)如下公式計(jì)算所述權(quán)重矩陣W 的元素值，其中所述公式為
_ ι,如果評(píng)P/為近鄰關(guān)系 Wy =io,其他，
其中，i為元素值的行號(hào)，j為元素值的列號(hào)，且i和j均在W，Nl+k_l]的范圍內(nèi)。
在本發(fā)明的一個(gè)實(shí)施例中，所述散度算子對(duì)角矩陣構(gòu)造模塊通過(guò)如下公式計(jì)算得到散度算子對(duì)角矩陣D的元素值Clii，所述公式為
dti =2^]=l Wlj ,
在本發(fā)明的一個(gè)實(shí)施例中，所述拉普拉斯算子矩陣構(gòu)造模塊通過(guò)公式L = D-W計(jì)算得到所述拉普拉斯算子矩陣L。
在本發(fā)明的一個(gè)實(shí)施例中，所述隸屬度獲取模塊首先通過(guò)基于所述隨機(jī)游走模型獲得所述SIFT特征集合中任意一個(gè)SIFT特征Ni,與所述K個(gè)碼字中任意一個(gè)碼字cn,之間的隨機(jī)游走時(shí)間t(V ,cn,)和t(cn, ,Vi,)，其中，i'為[1，N1]之間的任意整數(shù)，η'為 [1，K]之間的任意整數(shù)，接著基于所述隨機(jī)游走時(shí)間t(Vi,，cn,)和t(cn,，Vi,)并根據(jù)如下公式計(jì)算所述特征V與所述碼字cn,之間的在所述有權(quán)譜圖G上的交互時(shí)間，其中所述公式為
Cti, n, = t (Vi,，Cn, ) +t (Cn,，Vi,)，
其中，Cti, n,為特征ν與所述碼字cn,之間的在所述有權(quán)譜圖G上的交互時(shí)間，
最后根據(jù)所述交互時(shí)間Cti, n,和預(yù)設(shè)的負(fù)指數(shù)函數(shù)獲得所述特征Vi,到所述碼字 cn,的隸屬度，其中，所述隸屬度通過(guò)如下公式進(jìn)行
as (Vi, , cn, ) = exp(_cti, ),
其中，as (ν，(V )為特征、到所述碼字cn,的隸屬度，expO為預(yù)設(shè)的負(fù)指數(shù)函數(shù)。
根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述隸屬度獲取模塊還用于對(duì)所述隸屬度as (Vi,，9cn,)進(jìn)行歸一化以得到歸一化后的隸屬度i(v,，c ,)。
根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述分類(lèi)模塊首先根據(jù)所述特征Vi,的隸屬度 i(4，c ,)對(duì)所述特征V進(jìn)行碼字分配以得到碼字分配結(jié)果，接著根據(jù)所述碼字分配結(jié)果獲得所述任意圖像的直方圖向量，然后通過(guò)支持向量機(jī)對(duì)所述直方圖向量進(jìn)行學(xué)習(xí)，以得到每一類(lèi)場(chǎng)景類(lèi)別的判斷模型，最后根據(jù)所述判斷模型和所述直方圖向量確定場(chǎng)景分類(lèi)結(jié)^ ο
本發(fā)明的附加方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過(guò)本發(fā)明的實(shí)踐了解到。


本發(fā)明的上述和/或附加的方面和優(yōu)點(diǎn)從結(jié)合下面附圖對(duì)實(shí)施例的描述中將變得明顯和容易理解，其中
圖1為本發(fā)明實(shí)施例的基于譜圖分析的圖像集合的場(chǎng)景分類(lèi)方法的流程圖2為本發(fā)明實(shí)施例的方法與其它傳統(tǒng)方法的比較圖；以及
圖3為本發(fā)明實(shí)施例的基于譜圖分析的圖像集合的場(chǎng)景分類(lèi)裝置。
具體實(shí)施方式
下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終相同或類(lèi)似的標(biāo)號(hào)表示相同或類(lèi)似的元件或具有相同或類(lèi)似功能的元件。下面通過(guò)參考附圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對(duì)本發(fā)明的限制。
在本發(fā)明的描述中，需要說(shuō)明的是，除非另有明確的規(guī)定和限定，術(shù)語(yǔ)“安裝”、“相連”、“連接”應(yīng)做廣義理解，例如，可以是固定連接，也可以是可拆卸連接，或一體地連接；可以是機(jī)械連接，也可以是電連接；可以是直接相連，也可以通過(guò)中間媒介間接相連，可以是兩個(gè)元件內(nèi)部的連通。對(duì)于本領(lǐng)域的普通技術(shù)人員而言，可以具體情況理解上述術(shù)語(yǔ)在本發(fā)明中的具體含義。
以下結(jié)合附圖1至2首先描述根據(jù)本發(fā)明實(shí)施例的基于譜圖分析的圖像場(chǎng)景分類(lèi)方法。
如圖1所示，為本發(fā)明實(shí)施例的基于譜圖分析的圖像集合的場(chǎng)景分類(lèi)方法的流程圖。根據(jù)本發(fā)明實(shí)施例的基于譜圖分析的圖像集合的場(chǎng)景分類(lèi)方法，包括如下步驟
步驟SlOl，提取所述圖像集合的SIFT特征集合，并得到所述SIFT特征集合的K個(gè)聚類(lèi)和K個(gè)碼字，其中，所述K任意整數(shù)，所述SIFT特征集合中SIFT特征的個(gè)數(shù)為N。本發(fā)明實(shí)施例的SIFT特征集合的SIFT特征可以為圖像集合上每個(gè)圖像每隔預(yù)定數(shù)目像素點(diǎn)的像素點(diǎn)通過(guò)SIFT特征提取方法確定的SIFT特征集合。例如，可以每隔5個(gè)像素點(diǎn)采集一個(gè)像素點(diǎn)，并對(duì)該像素點(diǎn)通過(guò)SIFT特征提取方法提取該像素點(diǎn)的SIFT特征。
在本發(fā)明的一些示例中，通過(guò)K-means算法對(duì)所述SIFT特征集合進(jìn)行聚類(lèi)，以得到K個(gè)聚類(lèi)和K個(gè)碼字，其中，所述K為(0，N)之間的預(yù)定整數(shù)，所述K個(gè)碼字為所述K個(gè)聚類(lèi)對(duì)應(yīng)的K個(gè)聚類(lèi)中心。每一個(gè)聚類(lèi)的聚類(lèi)中心為一個(gè)碼字。
步驟S102，根據(jù)所述SIFT特征集合中任意圖像的SIFT特征和所述K個(gè)碼字建立所述任意圖像的有權(quán)譜圖G= (V, E)，其中，所述V為由所述任意圖像的全部SIFT特征和每個(gè)所述碼字組成的節(jié)點(diǎn)集合，E為相鄰的所述每?jī)蓚€(gè)節(jié)點(diǎn)連線(xiàn)所組成的邊的集合，其中， 所述任意圖像的全部SIFT特征的個(gè)數(shù)為Ni，且m小于或等于N?？芍?jié)點(diǎn)集合V的個(gè)數(shù)為SIFT特征的個(gè)數(shù)m與K個(gè)碼字的和(N1+K)。
步驟S103，計(jì)算所述節(jié)點(diǎn)集合V中任意一節(jié)點(diǎn)與其它節(jié)點(diǎn)之間的歐氏距離，并根據(jù)所述歐式距離確定與所述任意一節(jié)點(diǎn)的歐式距離最近的K’個(gè)節(jié)點(diǎn)，其中K’為預(yù)定閾值。 歐式距離越小，表示該歐氏距離對(duì)應(yīng)的兩個(gè)節(jié)點(diǎn)越鄰近，歐式距離表示兩個(gè)節(jié)點(diǎn)在任意維數(shù)空間上的真實(shí)距離。這樣，可以保證任意一節(jié)點(diǎn)與之最鄰近的K’個(gè)節(jié)點(diǎn)的精度。另外， 在本發(fā)明的一個(gè)實(shí)施例中，例如K為10。
步驟S104，根據(jù)全部所述任意一節(jié)點(diǎn)與所述任意一節(jié)點(diǎn)的歐氏距離最近的所述 K’個(gè)節(jié)點(diǎn)得到所述節(jié)點(diǎn)集合V對(duì)應(yīng)的權(quán)重矩陣W，其中權(quán)重矩陣W的行數(shù)和列數(shù)均為所述節(jié)點(diǎn)集合V的節(jié)點(diǎn)個(gè)數(shù)N。在上述步驟中已經(jīng)得知節(jié)點(diǎn)集合ν的節(jié)點(diǎn)個(gè)數(shù)為m+κ個(gè)，因此節(jié)點(diǎn)集合ν對(duì)應(yīng)的權(quán)重矩陣w為行數(shù)和列數(shù)相同，均為(m+κ)行的矩陣。然后根據(jù)每一個(gè)節(jié)點(diǎn)和該節(jié)點(diǎn)對(duì)應(yīng)的K’個(gè)節(jié)點(diǎn)(歐氏距離最近的K’個(gè)節(jié)點(diǎn))這種關(guān)系確定權(quán)重矩陣中相應(yīng)行列位置的元素值。
在本發(fā)明的一個(gè)具體事例中，例如采用如下公式1計(jì)算所述權(quán)重矩陣W的元素值 Wij,其中所述公式1為 ι,如果評(píng)P/為近鄰關(guān)系1 [_] %=|0，其他式 1，
其中，i為元素值Wij的行號(hào)，j為元素值Wij的列號(hào)，且i和j均在
的范圍內(nèi)。在節(jié)點(diǎn)集合V中，如果第i個(gè)節(jié)點(diǎn)與之歐式距離最近的K’個(gè)節(jié)點(diǎn)中包括第j個(gè)節(jié)點(diǎn)，則可以理解為第i個(gè)節(jié)點(diǎn)與第j個(gè)節(jié)點(diǎn)為近鄰關(guān)系，因此，在式1中，如果i和j為近鄰關(guān)系，同樣表示第i個(gè)節(jié)點(diǎn)與第j個(gè)節(jié)點(diǎn)為近鄰關(guān)系，這樣，可以將權(quán)重矩陣W中對(duì)應(yīng)的矩陣元素Wij賦值為1，否則賦值為0。
步驟S105，根據(jù)所述權(quán)重矩陣W獲得所述有權(quán)譜圖G的散度算子對(duì)角矩陣D。
在本發(fā)明的一些實(shí)施例中，可以通過(guò)公式2獲得散度算子對(duì)角矩陣D的元素值Clii， 公式2如下
4 =Σ;=ι 14V式 2，
通過(guò)公式可知，散度算子對(duì)角矩陣D的每個(gè)元素值為權(quán)重矩陣W中對(duì)應(yīng)行的元素值之和。
步驟S106，根據(jù)所述權(quán)重矩陣W和所述散度算子對(duì)角矩陣D得到拉普拉斯算子矩 L(Laplace Operator Matrix)。
作為一個(gè)具體的示例，采用公式3得到拉普拉斯算子矩陣L，式3如下
L = D-W 式 3，
通過(guò)式3對(duì)散度算子對(duì)角矩陣D與權(quán)重矩陣W做減法得到拉普拉斯算子矩陣L。
步驟S107，基于隨機(jī)游走模型對(duì)所述拉普拉斯算子矩陣L進(jìn)行運(yùn)算以得到所述任意圖像的每一個(gè)SIFT特征與所述K個(gè)碼字的每一個(gè)碼字之間的交互時(shí)間，并根據(jù)所述交互時(shí)間確定所述每一個(gè)SIFT特征與所述K個(gè)碼字之間的隸屬度。在本發(fā)明的實(shí)施例中，如果交互時(shí)間越短，解釋為SIFT特征和碼字之間的相似度越高，反之則相反，根據(jù)以上理解，可11以通過(guò)交互時(shí)間確定相應(yīng)的SIFT特征和碼字之間的隸屬度。這樣，通過(guò)交互時(shí)間確定的隸屬度更為準(zhǔn)確，避免由于兩者之間的非線(xiàn)性，而直接通過(guò)歐氏距離確定兩者之間隸屬度的不準(zhǔn)確。
步驟S108，根據(jù)所述隸屬度確定碼字分配結(jié)果，并根據(jù)所述分配結(jié)果對(duì)所述任意圖像的場(chǎng)景進(jìn)行分類(lèi)。
根據(jù)本發(fā)明實(shí)施例的基于譜圖分析的圖像集合的場(chǎng)景分類(lèi)方法，通過(guò)建立圖像的有權(quán)譜圖，并對(duì)有權(quán)譜圖譜進(jìn)行分析，然后計(jì)算SIFT特征和碼字在譜圖上基于隨機(jī)游走模型的交互時(shí)間，并根據(jù)交互時(shí)間確定SIFT特征和碼字之間的相似度，接著通過(guò)SIFT特征和碼字之間的相似度得到SIFT特征關(guān)于每個(gè)碼字的隸屬度，該方法充分利用SIFT特征和碼字分布在高維空間上的流性特征計(jì)算隸屬度，從而避免了直接通過(guò)SIFT特征和碼字之間的歐氏距離計(jì)算得到兩者之間的隸屬度所帶來(lái)的丟失大量的非線(xiàn)性數(shù)據(jù)，導(dǎo)致隸屬度不準(zhǔn)確的發(fā)生。進(jìn)而提高場(chǎng)景分類(lèi)的準(zhǔn)確性。
在本發(fā)明的一個(gè)實(shí)施例中，步驟S103的具體實(shí)現(xiàn)過(guò)程如下
S31，計(jì)算所述節(jié)點(diǎn)集合V中節(jié)點(diǎn)Vx與所述節(jié)點(diǎn)集合V中剩余節(jié)點(diǎn)的每一個(gè)節(jié)點(diǎn)之間的歐氏距離，其中X為[I，m+K]之間的任意整數(shù)，通過(guò)迭代執(zhí)行該步驟，可以最終得到節(jié)點(diǎn)集合ν中全部節(jié)點(diǎn)中任意兩個(gè)節(jié)點(diǎn)之間的歐氏距離。
S32，對(duì)所述節(jié)點(diǎn)Vi與所述節(jié)點(diǎn)集合V中剩余節(jié)點(diǎn)的全部歐式距離按從小到大的順序進(jìn)行排序以得到排序集合，對(duì)于任意一個(gè)節(jié)點(diǎn)Vi,通過(guò)上述步驟可以確定節(jié)點(diǎn)集合V中剩余節(jié)點(diǎn)與該節(jié)點(diǎn)\的全部歐氏距離，然后對(duì)全部歐氏距離進(jìn)行從小到大的排序。
S33，在所述排序集合中從所述歐氏距離最小的一端依次提取K’個(gè)歐氏距離，并根據(jù)所述K’個(gè)歐式距離對(duì)應(yīng)的K’節(jié)點(diǎn)確定與所述節(jié)點(diǎn)Vi的歐式距離最近的所述K’個(gè)節(jié)點(diǎn) (近鄰節(jié)點(diǎn))，每個(gè)歐氏距離分別表示節(jié)點(diǎn)Vi與剩余其它節(jié)點(diǎn)的歐氏距離，這樣，通過(guò)每一個(gè)歐氏距離可以確定節(jié)點(diǎn)Vi與之對(duì)應(yīng)的一個(gè)節(jié)點(diǎn)，因此，可以得到與節(jié)點(diǎn)Vi歐氏距離最小的K’個(gè)節(jié)點(diǎn)(鄰近節(jié)點(diǎn))。
步驟S107的具體實(shí)現(xiàn)過(guò)程如下
S71，基于所述隨機(jī)游走模型獲得所述SIFT特征集合中任意一個(gè)SIFT特征V與所述K個(gè)碼字中任意一個(gè)碼字cn,之間的隨機(jī)游走時(shí)間t (ν，cn,)和t(cn,，Vi,)，其中， i'為[1，Ni]之間的任意整數(shù)，η'為[1，K]之間的任意整數(shù)；
S72，基于所述隨機(jī)游走時(shí)間t (ν，cn,)和t (cn,，Vi,)并根據(jù)公式4計(jì)算所述特征Vi,與所述碼字Cn,之間的在所述有權(quán)譜圖G上的交互時(shí)間，其中所述式4為
Cti, n, =t(Vi,，cn, )+t(cn,，Vi,) 式 4，
其中，Cti, n,為特征Vi,與所述碼字cn,之間的在所述有權(quán)譜圖G上的交互時(shí)間， Cti, n,衡量了特征Vi,和碼字Cn,之間在圖像上的相似程，其交互時(shí)間越短則表明特征V 和碼字Cn,之間相似程度越大，反之說(shuō)明相似程度越小。
S73，根據(jù)所述交互時(shí)間Cti, n,和預(yù)設(shè)的負(fù)指數(shù)函數(shù)獲得所述特征Vi,到所述碼字 cn,的隸屬度，其中，所述隸屬度通過(guò)如下公式5進(jìn)行
as (Vi, , cn, ) = exp (-Cti, ) 式 5,
其中，as (ν，(V )為特征、到所述碼字cn,的隸屬度，exp O為預(yù)設(shè)的負(fù)指數(shù)函數(shù)。由上可知，交互時(shí)間和相似度成反比，因此，為了不失一般性，在本發(fā)明實(shí)施例中選擇簡(jiǎn)單的負(fù)指數(shù)函數(shù)exp ()作為交互時(shí)間的懲罰函數(shù)，計(jì)算每一個(gè)SIFT特征到碼字的隸屬度。
根據(jù)上述的實(shí)施例，得到隸屬度as (V ,cn,)后，還可對(duì)隸屬度as (Vi,，cn,)進(jìn)行歸一化處理以得到歸一化后的隸屬度i(v,,c ,)，如通過(guò)公式6得到隸屬度
as(vv, cn,) = as(vv, cn,)式 6。
步驟S108的具體實(shí)現(xiàn)如下
S81，根據(jù)所述特征Yi,的隸屬度對(duì)所述特征Yi,進(jìn)行碼字分配以得到碼字分配結(jié)果。
S82，根據(jù)所述碼字分配結(jié)果獲得所述任意圖像的直方圖向量，如采用最大匯集 (Maximal Pooling)的方法，得到每幅圖的直方圖向量hi V，其最大匯集方法如式7:
his ' = max(as (V1, c ,))式 7，
接著通過(guò)公式W = /Ztom對(duì)直方圖向量hisn,進(jìn)行歸一化處理以得到得到的結(jié)果用于表示圖像的中層特征。
S83，通過(guò)支持向量機(jī)對(duì)所述直方圖向量進(jìn)行學(xué)習(xí)，以得到每一類(lèi)場(chǎng)景類(lèi)別的判斷模型。也就是說(shuō)，利用支持向量機(jī)算法對(duì)訓(xùn)練圖像的直方圖向量進(jìn)行學(xué)習(xí)，得到每個(gè)場(chǎng)景類(lèi)別的判斷模型。
S84，根據(jù)所述判斷模型和所述直方圖向量確定場(chǎng)景分類(lèi)結(jié)果。具體地，輸入圖像的直方圖向量，利用上述步驟S83中得到的判斷模型進(jìn)行投票，獲得票數(shù)最多的類(lèi)別即為場(chǎng)景分類(lèi)的結(jié)果。
如圖2所示，應(yīng)用本發(fā)明實(shí)施例的方法與其它傳統(tǒng)場(chǎng)景分類(lèi)方法分類(lèi)正確率的比較圖。其中橫坐標(biāo)是各個(gè)類(lèi)別圖像的標(biāo)簽，縱坐標(biāo)是正確率。四種方法為硬分配方法2A、基于歐氏距離的分配算法2B、基于置信度傳播的分配方法2C和本發(fā)明實(shí)施例的方法2D。明顯地，從圖2中能夠看出，應(yīng)用本發(fā)明實(shí)施例的方法在各種數(shù)據(jù)庫(kù)中的正確率都明顯高于其它方法的正確率。
根據(jù)本發(fā)明實(shí)施例的基于譜圖分析的圖像集合的場(chǎng)景分類(lèi)方法，通過(guò)建立圖像的有權(quán)譜圖，并對(duì)有權(quán)譜圖譜進(jìn)行分析，然后計(jì)算SIFT特征和碼字在譜圖上基于隨機(jī)游走模型的交互時(shí)間，并根據(jù)交互時(shí)間確定SIFT特征和碼字之間的相似度，接著通過(guò)SIFT特征和碼字之間的相似度得到SIFT特征關(guān)于每個(gè)碼字的隸屬度，該方法充分利用SIFT特征和碼字分布在高維空間上的流性特征計(jì)算隸屬度，從而避免了直接通過(guò)SIFT特征和碼字之間的歐氏距離計(jì)算得到兩者之間的隸屬度所帶來(lái)的丟失大量的非線(xiàn)性數(shù)據(jù)，導(dǎo)致隸屬度不準(zhǔn)確的發(fā)生。進(jìn)而提高場(chǎng)景分類(lèi)的準(zhǔn)確性。
以下結(jié)合附圖3描述根據(jù)本發(fā)明實(shí)施例的基于譜圖分析的圖像集合的場(chǎng)景分類(lèi)直ο
如圖3所示，根據(jù)本發(fā)明實(shí)施例的基于譜圖分析的圖像集合的場(chǎng)景分類(lèi)裝置300 包括聚類(lèi)模塊310、譜圖建立模塊320、歐氏距離計(jì)算模塊330、權(quán)重矩陣構(gòu)造模塊340、散度算子對(duì)角矩陣構(gòu)造模塊350、拉普拉斯算子矩陣構(gòu)造模塊360、隸屬度獲取模塊370和分類(lèi)模塊380。
其中，聚類(lèi)模塊310用于提取所述圖像集合的SIFT特征集合，并得到所述SIFT特征集合的K個(gè)聚類(lèi)和K個(gè)碼字，其中，所述K任意整數(shù)，所述SIFT特征集合中SIFT特征的13個(gè)數(shù)為N。在本發(fā)明的一些示例中，通過(guò)K-means算法對(duì)SIFT特征集合進(jìn)行聚類(lèi)，以得到K 個(gè)聚類(lèi)和K個(gè)碼字，其中，所述K為(0，N)之間的預(yù)定整數(shù)，所述K個(gè)碼字為所述K個(gè)聚類(lèi)對(duì)應(yīng)的K個(gè)聚類(lèi)中心。每ー個(gè)聚類(lèi)的聚類(lèi)中心為ー個(gè)碼字。譜圖建立模塊320用于根據(jù)所述SIFT特征集合中任意圖像的SIFT特征和所述 K個(gè)碼字建立所述任意圖像的有權(quán)譜圖G= (V, E)，其中，所述V為由所述任意圖像的全部 SIFT特征和每個(gè)所述碼字組成的節(jié)點(diǎn)集合，E為相鄰的所述每?jī)蓚€(gè)節(jié)點(diǎn)連線(xiàn)所組成的邊的集合，其中，所述任意圖像的全部SIFT特征的個(gè)數(shù)為Ni，且m小于或等于N?？芍?jié)點(diǎn)集合V的個(gè)數(shù)為SIFT特征的個(gè)數(shù)N與K個(gè)碼字的和(m+κ)。歐氏距離計(jì)算模塊330用于計(jì)算所述節(jié)點(diǎn)集合V中任意一節(jié)點(diǎn)與其它節(jié)點(diǎn)之間的歐氏距離，并根據(jù)所述歐式距離確定與所述任意ー節(jié)點(diǎn)的歐式距離最近的K’個(gè)節(jié)點(diǎn)，其中 K’為預(yù)定閾值。歐式距離越小，表示該歐氏距離對(duì)應(yīng)的兩個(gè)節(jié)點(diǎn)越鄰近，歐式距離表示兩個(gè)節(jié)點(diǎn)在任意維數(shù)空間上的真實(shí)距離。這樣，可以保證任意一節(jié)點(diǎn)與之最鄰近的K’個(gè)節(jié)點(diǎn)的精度。另外，在本發(fā)明的一個(gè)實(shí)施例中，例如K為10。權(quán)重矩陣構(gòu)造模塊340用于根據(jù)全部所述任意ー節(jié)點(diǎn)與所述任意ー節(jié)點(diǎn)的歐氏距離最近的所述K’個(gè)節(jié)點(diǎn)得到所述節(jié)點(diǎn)集合V對(duì)應(yīng)的權(quán)重矩陣W，其中權(quán)重矩陣W的行數(shù)和列數(shù)均為所述節(jié)點(diǎn)集合V的節(jié)點(diǎn)個(gè)數(shù)N。在本發(fā)明的ー個(gè)具體事例中，權(quán)重矩陣構(gòu)造模塊340采用如下公式計(jì)算所述權(quán)重矩陣W的元素值Wij，其中所述公式為
_ ι,如果評(píng)P/為近鄰關(guān)系 [0,其他’其中，i為元素值Wij的行號(hào)，j為元素值Wij的列號(hào)，且i和j均在
的范圍內(nèi)。在節(jié)點(diǎn)集合V中，如果第i個(gè)節(jié)點(diǎn)與之歐式距離最近的K’個(gè)節(jié)點(diǎn)中包括第j個(gè)節(jié)點(diǎn)，則可以理解為第i個(gè)節(jié)點(diǎn)與第j個(gè)節(jié)點(diǎn)為近鄰關(guān)系，因此，在式1中，如果i和j為近鄰關(guān)系，同樣表示第i個(gè)節(jié)點(diǎn)與第j個(gè)節(jié)點(diǎn)為近鄰關(guān)系，這樣，可以將權(quán)重矩陣W中對(duì)應(yīng)的矩陣元素Wu賦值為1，否則賦值為0。散度算子對(duì)角矩陣構(gòu)造模塊350，用于根據(jù)所述權(quán)重矩陣W獲得所述有權(quán)譜圖G的散度算子對(duì)角矩陣D。在本發(fā)明的一些實(shí)施例中，散度算子對(duì)角矩陣構(gòu)造模塊350通過(guò)公式獲得散度算子對(duì)角矩陣D的元素值Clii，公式如下dtiWlj ,通過(guò)公式可知，散度算子對(duì)角矩陣D的每個(gè)元素值為權(quán)重矩陣W中對(duì)應(yīng)行的元素值之和拉普拉斯算子矩陣構(gòu)造模塊360用于根據(jù)所述權(quán)重矩陣W和所述散度算子對(duì)角矩陣D得到拉普拉斯算子矩陣し作為ー個(gè)具體的示例，拉普拉斯算子矩陣構(gòu)造模塊360采用公式得到拉普拉斯算子矩陣L，式如下L = D-W,
通過(guò)式對(duì)散度算子對(duì)角矩陣D與權(quán)重矩陣W做減法得到拉普拉斯算子矩陣し隸屬度獲取模塊370用于基于隨機(jī)游走模型對(duì)所述拉普拉斯算子矩陣L進(jìn)行運(yùn)算以得到所述任意圖像的每ー個(gè)SIFT特征與所述K個(gè)碼字的每ー個(gè)碼字之間的交互時(shí)間，并根據(jù)所述交互時(shí)間確定所述每ー個(gè)SIFT特征與所述K個(gè)碼字之間的隸屬度。在本發(fā)明的實(shí)施例中，如果交互時(shí)間越短，解釋為SIFT特征和碼字之間的相似度越高，反之則相反，根據(jù)以上理解，可以通過(guò)交互時(shí)間確定相應(yīng)的SIFT特征和碼字之間的隸屬度。這樣，通過(guò)交互時(shí)間確定的隸屬度更為準(zhǔn)確，避免由于兩者之間的非線(xiàn)性，而直接通過(guò)歐氏距離確定兩者之間隸屬度的不準(zhǔn)確。分類(lèi)模塊380用于根據(jù)所述隸屬度確定碼字分配結(jié)果，井根據(jù)所述分配結(jié)果對(duì)所述任意圖像的場(chǎng)景進(jìn)行分類(lèi)。根據(jù)本發(fā)明實(shí)施例的基于譜圖分析的圖像集合的場(chǎng)景分類(lèi)裝置，通過(guò)建立圖像的有權(quán)譜圖，并對(duì)有權(quán)譜圖譜進(jìn)行分析，然后計(jì)算SIFT特征和碼字在譜圖上基于隨機(jī)游走模型的交互時(shí)間，并根據(jù)交互時(shí)間確定SIFT特征和碼字之間的相似度，接著通過(guò)SIFT特征和碼字之間的相似度得到SIFT特征關(guān)于每個(gè)碼字的隸屬度，該裝置充分利用SIFT特征和碼字分布在高維空間上的流性特征計(jì)算隸屬度，從而避免了直接通過(guò)SIFT特征和碼字之間的歐氏距離計(jì)算得到兩者之間的隸屬度所帯來(lái)的丟失大量的非線(xiàn)性數(shù)據(jù)，導(dǎo)致隸屬度不準(zhǔn)確的發(fā)生。進(jìn)而提高場(chǎng)景分類(lèi)的準(zhǔn)確性。另外，裝置結(jié)構(gòu)簡(jiǎn)単，易于實(shí)現(xiàn)。在本發(fā)明的一個(gè)實(shí)施例中，歐氏距離計(jì)算模塊330首先計(jì)算所述節(jié)點(diǎn)集合V中節(jié)點(diǎn)Vx與所述節(jié)點(diǎn)集合V中剩余節(jié)點(diǎn)的每ー個(gè)節(jié)點(diǎn)之間的歐氏距離，其中X為[1，N1+K]之間的任意整數(shù)，通過(guò)迭代執(zhí)行該步驟，可以最終得到節(jié)點(diǎn)集合V中全部節(jié)點(diǎn)中任意兩個(gè)節(jié)點(diǎn)之間的歐氏距離，接著對(duì)所述節(jié)點(diǎn)Vi與所述節(jié)點(diǎn)集合V中剩余節(jié)點(diǎn)的全部歐式距離按從小到大的順序進(jìn)行排序以得到排序集合，對(duì)于任意一個(gè)節(jié)點(diǎn)Vi,通過(guò)上述步驟可以確定節(jié)點(diǎn)集合V中剩余節(jié)點(diǎn)與該節(jié)點(diǎn)Vi的全部歐氏距離，然后對(duì)全部歐氏距離進(jìn)行從小到大的排序，并在所述排序集合中從所述歐氏距離最小的一端依次提取K’個(gè)歐氏距離，井根據(jù)所述 K’個(gè)歐式距離對(duì)應(yīng)的K’節(jié)點(diǎn)確定與所述節(jié)點(diǎn)Vi的歐式距離最近的所述K’個(gè)節(jié)點(diǎn)(近鄰節(jié)點(diǎn))，每個(gè)歐氏距離分別表示節(jié)點(diǎn)\與剰余其它節(jié)點(diǎn)的歐氏距離，這樣，通過(guò)每ー個(gè)歐氏距離可以確定節(jié)點(diǎn)Vi與之對(duì)應(yīng)的ー個(gè)節(jié)點(diǎn)，因此，可以得到與節(jié)點(diǎn)Vi歐氏距離最小的K’ 個(gè)節(jié)點(diǎn)(鄰近節(jié)點(diǎn))。在本發(fā)明的一個(gè)實(shí)施例中，隸屬度獲取模塊370首先基于所述隨機(jī)游走模型獲得所述SIFT特征集合中任意ー個(gè)SIFT特征與所述K個(gè)碼字中任意一個(gè)碼字cn,之間的隨機(jī)游走時(shí)間t(V，cn,)和t(cn,，ν )，其中，i'為[1，N1]之間的任意整數(shù)，η'為[1， K]之間的任意整數(shù)，接著基于所述隨機(jī)游走時(shí)間t(V，cn,)和t(Cn,，Vi,)并根據(jù)公式計(jì)算所述特征Vi,與所述碼字cn,之間的在所述有權(quán)譜圖G上的交互時(shí)間，其中所述式為Cti, n, = tOi,，cn, )+t(cn, , Vi,)，其中，Cti, n,為特征V與所述碼字cn,之間的在所述有權(quán)譜圖G上的交互時(shí)間， Cti, n,衡量了特征V和碼字cn,之間在圖像上的相似程，其交互時(shí)間越短則表明特征V 和碼字(V之間相似程度越大，反之說(shuō)明相似程度越小，最后根據(jù)所述交互時(shí)間Cti, n,和預(yù)設(shè)的負(fù)指數(shù)函數(shù)獲得所述特征V到所述碼字cn,的隸屬度，其中，所述隸屬度通過(guò)如下公式進(jìn)行
之間的任意整數(shù)；C2 對(duì)所述節(jié)點(diǎn)Vi與所述節(jié)點(diǎn)集合V中剩余節(jié)點(diǎn)的全部歐式距離按從小到大的順序進(jìn)行排序以得到排序集合；以及C3 在所述排序集合中從所述歐氏距離最小的一端依次提取K’個(gè)歐氏距離，并根據(jù)所述K’個(gè)歐式距離對(duì)應(yīng)的K’節(jié)點(diǎn)確定與所述節(jié)點(diǎn)Vi的歐式距離最近的所述K’個(gè)節(jié)點(diǎn)。
4.根據(jù)權(quán)利要求1所述的場(chǎng)景分類(lèi)方法，其特征在于，在所述步驟D中，根據(jù)如下公式計(jì)算所述權(quán)重矩陣W的元素值，其中所述公式為_(kāi) ι,如果評(píng)P/為近鄰關(guān)系 Wy =io,其他，其中，i為元素值Wij的行號(hào)，j為元素值Wij的列號(hào)，且i和j均在[o，m+K-i]的范圍內(nèi)。
5.根據(jù)權(quán)利要求1所述的場(chǎng)景分類(lèi)方法，其特征在于，所述步驟E計(jì)算得到散度算子對(duì)角矩陣D的元素值Clii的計(jì)算公式如下
6.根據(jù)權(quán)利要求1所述的場(chǎng)景分類(lèi)方法，其特征在于，所述步驟F中拉普拉斯算子矩陣 L為所述權(quán)重矩陣W與所述散度算子對(duì)角矩陣D做減法運(yùn)算得到，如下L = D-W。
7.根據(jù)權(quán)利要求1所述的場(chǎng)景分類(lèi)方法，其特征在于，所述步驟G進(jìn)一步包括Gl 基于所述隨機(jī)游走模型獲得所述SIFT特征集合中任意一個(gè)SIFT特征Vi,與所述 K個(gè)碼字中任意一個(gè)碼字Cn,之間的隨機(jī)游走時(shí)間t (ν ,cn,)和t(cn,，Vi,)，其中，i'為 [1，Ni]之間的任意整數(shù)，η'為[1，K]之間的任意整數(shù)；G2 基于所述隨機(jī)游走時(shí)間t (ν，cn,)和t(Cn,，Vi,)并根據(jù)如下公式計(jì)算所述特征 Vi,與所述碼字Cn,之間的在所述有權(quán)譜圖G上的交互時(shí)間，其中所述公式為Cti, = t (Vi, , Cn, ) +t (Cn, , Vi,),其中，Cti, n,為特征Vi,與所述碼字cn,之間的在所述有權(quán)譜圖G上的交互時(shí)間； G3 根據(jù)所述交互時(shí)間Cti, n,和預(yù)設(shè)的負(fù)指數(shù)函數(shù)獲得所述特征Vi,到所述碼字cn,的隸屬度，其中，所述隸屬度通過(guò)如下公式進(jìn)行as (Vi,，cn, ) =exp(-cti, n,),其中，as (Vi,，cn,)為特征、到所述碼字CV的隸屬度，exp()為預(yù)設(shè)的負(fù)指數(shù)函數(shù)。
8.根據(jù)權(quán)利要求7所述的場(chǎng)景分類(lèi)方法，其特征在于，所述步驟G還包括G4 對(duì)所述隸屬度as(V，cn,)進(jìn)行歸一化以得到歸一化后的隸屬度5(v,，c ,)。。
9.根據(jù)權(quán)利要求8所述的場(chǎng)景分類(lèi)方法，其特征在于，所述步驟H進(jìn)一步包括根據(jù)所述特征、的隸屬度i(v,,c ,)對(duì)所述特征Vi,進(jìn)行碼字分配以得到碼字分配結(jié)果；根據(jù)所述碼字分配結(jié)果獲得所述任意圖像的直方圖向量；通過(guò)支持向量機(jī)對(duì)所述直方圖向量進(jìn)行學(xué)習(xí)，以得到每一類(lèi)場(chǎng)景類(lèi)別的判斷模型；根據(jù)所述判斷模型和所述直方圖向量確定場(chǎng)景分類(lèi)結(jié)果。
10.一種基于譜圖分析的圖像集合的場(chǎng)景分類(lèi)裝置，其特征在于，包括聚類(lèi)模塊，用于提取所述圖像集合的SIFT特征集合，并得到所述SIFT特征集合的K個(gè)聚類(lèi)和K個(gè)碼字，其中，所述K任意整數(shù)，所述SIFT特征集合中SIFT特征的個(gè)數(shù)為N ；譜圖建立模塊，用于根據(jù)所述SIFT特征集合中任意圖像的SIFT特征和所述K個(gè)碼字建立所述任意圖像的有權(quán)譜圖G= (V, E)，其中，所述V為由所述任意圖像的全部SIFT特征和每個(gè)所述碼字組成的節(jié)點(diǎn)集合，E為相鄰的所述每?jī)蓚€(gè)節(jié)點(diǎn)連線(xiàn)所組成的邊的集合，其中，所述任意圖像的全部SIFT特征的個(gè)數(shù)為Ni，且附小于或等于N ；歐氏距離計(jì)算模塊，用于計(jì)算所述節(jié)點(diǎn)集合V中任意一節(jié)點(diǎn)與其它節(jié)點(diǎn)之間的歐氏距離，并根據(jù)所述歐式距離確定與所述任意一節(jié)點(diǎn)的歐式距離最近的K’個(gè)節(jié)點(diǎn)，其中K’為預(yù)定閾值；權(quán)重矩陣構(gòu)造模塊，用于根據(jù)全部所述任意一節(jié)點(diǎn)與所述任意一節(jié)點(diǎn)的歐氏距離最近的所述K’個(gè)節(jié)點(diǎn)得到所述節(jié)點(diǎn)集合V對(duì)應(yīng)的權(quán)重矩陣W，其中權(quán)重矩陣W的行數(shù)和列數(shù)均為所述節(jié)點(diǎn)集合V的節(jié)點(diǎn)個(gè)數(shù)N ；散度算子對(duì)角矩陣構(gòu)造模塊，用于根據(jù)所述權(quán)重矩陣W獲得所述有權(quán)譜圖G的散度算子對(duì)角矩陣D ；拉普拉斯算子矩陣構(gòu)造模塊，用于根據(jù)所述權(quán)重矩陣W和所述散度算子對(duì)角矩陣D得到拉普拉斯算子矩陣L ；隸屬度獲取模塊，用于基于隨機(jī)游走模型對(duì)所述拉普拉斯算子矩陣L進(jìn)行運(yùn)算以得到所述任意圖像的每一個(gè)SIFT特征與所述K個(gè)碼字的每一個(gè)碼字之間的交互時(shí)間，并根據(jù)所述交互時(shí)間確定所述每一個(gè)SIFT特征與所述K個(gè)碼字之間的隸屬度；以及分類(lèi)模塊，用于根據(jù)所述隸屬度確定碼字分配結(jié)果，并根據(jù)所述分配結(jié)果對(duì)所述任意圖像的場(chǎng)景進(jìn)行分類(lèi)。
11.根據(jù)權(quán)利要求10所述的場(chǎng)景分類(lèi)裝置，其特征在于，所述聚類(lèi)模塊用于提取所述圖像的SIFT特征集合，并根據(jù)K-means算法對(duì)所述SIFT特征集合進(jìn)行聚類(lèi)以得到K個(gè)聚類(lèi)和K個(gè)碼字，其中，所述K為(0，N)之間的預(yù)定整數(shù)，所述K個(gè)碼字為所述K個(gè)聚類(lèi)對(duì)應(yīng)的K個(gè)聚類(lèi)中心。
12.根據(jù)權(quán)利要求10所述的場(chǎng)景分類(lèi)裝置，其特征在于，所述歐氏距離計(jì)算模塊首先計(jì)算所述節(jié)點(diǎn)集合V中節(jié)點(diǎn)Vx與所述節(jié)點(diǎn)集合V中剩余節(jié)點(diǎn)的每一個(gè)節(jié)點(diǎn)之間的歐氏距離，其中X為[I，m+K]之間的任意整數(shù)，并對(duì)所述節(jié)點(diǎn)Vi與所述節(jié)點(diǎn)集合ν中剩余節(jié)點(diǎn)的全部歐式距離按從小到大的順序進(jìn)行排序以得到排序集合，然后在所述排序集合中從所述歐氏距離最小的一端依次提取K’個(gè)歐氏距離，并根據(jù)所述K’個(gè)歐式距離對(duì)應(yīng)的K’節(jié)點(diǎn)確定與所述節(jié)點(diǎn)Vi的歐式距離最近的所述K’個(gè)節(jié)點(diǎn)。
13.根據(jù)權(quán)利要求10所述的場(chǎng)景分類(lèi)裝置，其特征在于，權(quán)重矩陣構(gòu)造模塊根據(jù)如下公式計(jì)算所述權(quán)重矩陣W的元素值Wu，其中所述公式為
14.根據(jù)權(quán)利要求10所述的場(chǎng)景分類(lèi)裝置，其特征在于，所述散度算子對(duì)角矩陣構(gòu)造模塊通過(guò)如下公式計(jì)算得到散度算子對(duì)角矩陣D的元素值Clii，所述公式為
15.根據(jù)權(quán)利要求10所述的場(chǎng)景分類(lèi)裝置，其特征在于，所述拉普拉斯算子矩陣構(gòu)造模塊通過(guò)公式L = D-W計(jì)算得到所述拉普拉斯算子矩陣L。
16.根據(jù)權(quán)利要求10所述的場(chǎng)景分類(lèi)裝置，其特征在于，所述隸屬度獲取模塊首先通過(guò)基于所述隨機(jī)游走模型獲得所述SIFT特征集合中任意一個(gè)SIFT特征Vi,與所述K個(gè)碼字中任意一個(gè)碼字cn,之間的隨機(jī)游走時(shí)間t (Vi, ,cn,)和t(cn, ,Vi,)，其中，i'為[1，N1] 之間的任意整數(shù)，η'為[1，Κ]之間的任意整數(shù)，接著基于所述隨機(jī)游走時(shí)間t(Vi,，cn,)和 t(cn,，Vi,)并根據(jù)如下公式計(jì)算所述特征Vi,與所述碼字cn,之間的在所述有權(quán)譜圖G上的交互時(shí)間，其中所述公式為Cti, = t (Vi, , Cn, ) +t (Cn, , Vi,),其中，Cti, n,為特征Vi,與所述碼字cn,之間的在所述有權(quán)譜圖G上的交互時(shí)間，最后根據(jù)所述交互時(shí)間Cti, n,和預(yù)設(shè)的負(fù)指數(shù)函數(shù)獲得所述特征V到所述碼字Cn,的隸屬度，其中，所述隸屬度通過(guò)如下公式進(jìn)行as (Vi,，cn, ) =exp(-cti, n,),其中，as (Vi,，cn,)為特征、到所述碼字CV的隸屬度，exp()為預(yù)設(shè)的負(fù)指數(shù)函數(shù)。
17.根據(jù)權(quán)利要求16所述的場(chǎng)景分類(lèi)裝置，其特征在于，所述隸屬度獲取模塊還用于對(duì)所述隸屬度as(Vi,，cn,)進(jìn)行歸一化以得到歸一化后的隸屬度i(v,，c ,)。。
18.根據(jù)權(quán)利要求17所述的場(chǎng)景分類(lèi)裝置，其特征在于，所述分類(lèi)模塊首先根據(jù)所述特征V的隸屬度i(v,，c ,)對(duì)所述特征ν進(jìn)行碼字分配以得到碼字分配結(jié)果，接著根據(jù)所述碼字分配結(jié)果獲得所述任意圖像的直方圖向量，然后通過(guò)支持向量機(jī)對(duì)所述直方圖向量進(jìn)行學(xué)習(xí)，以得到每一類(lèi)場(chǎng)景類(lèi)別的判斷模型，最后根據(jù)所述判斷模型和所述直方圖向量確定場(chǎng)景分類(lèi)結(jié)果。
全文摘要
本發(fā)明提出一種基于譜圖分析的圖像集合的場(chǎng)景分類(lèi)方法及裝置，該方法包括如下步驟提取圖像集合的SIFT特征集合，并得到K個(gè)聚類(lèi)和K個(gè)碼字；根據(jù)任意圖像的SIFT特征和K個(gè)碼字建立有權(quán)譜圖G＝(V，E)；確定與所述任意一節(jié)點(diǎn)的歐式距離最近的K’個(gè)節(jié)點(diǎn)；得到所述節(jié)點(diǎn)集合V對(duì)應(yīng)的權(quán)重矩陣W；根據(jù)W獲得散度算子對(duì)角矩陣D；根據(jù)W和D得到拉普拉斯算子矩陣L；對(duì)L進(jìn)行運(yùn)算以得到任意圖像的每一個(gè)SIFT特征與K個(gè)碼字的之間的交互時(shí)間，根據(jù)交互時(shí)間確定隸屬度；以及根據(jù)隸屬度確定碼字分配結(jié)果，根據(jù)分配結(jié)果對(duì)場(chǎng)景進(jìn)行分類(lèi)。本方法通過(guò)交互時(shí)間確定的隸屬度更加精確，避免非線(xiàn)性數(shù)據(jù)的丟失，進(jìn)而提高分類(lèi)結(jié)果的準(zhǔn)確性。本發(fā)明的裝置結(jié)構(gòu)簡(jiǎn)單，易于實(shí)現(xiàn)。
文檔編號(hào)G06K9/62GK102542285SQ20111022140
公開(kāi)日2012年7月4日 申請(qǐng)日期2011年8月3日 優(yōu)先權(quán)日2011年8月3日
發(fā)明者戴瓊海, 錢(qián)彥君 申請(qǐng)人:清華大學(xué)