專利名稱：一種基于Wiki的圖像分類體系動(dòng)態(tài)演化方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于Wiki的圖像分類體系動(dòng)態(tài)演化方法。
背景技術(shù)：
圖像分類是Web數(shù)據(jù)挖掘領(lǐng)域的一個(gè)重要研究方向，是一種非常重要的圖像信息組織和管理手段。通過對(duì)圖像進(jìn)行合理的分類不僅可以將圖像按照類別信息建立相應(yīng)的信息資源庫，更好地提供圖像檢索和管理服務(wù)，方便科研人員進(jìn)行研究和利用，而且可以用來提高搜索引擎的搜索準(zhǔn)確性，便于普通用戶查找及使用，最大程度上滿足用戶的需求。關(guān)于圖像分類體系的構(gòu)建一般有兩種方式，一種是參照傳統(tǒng)的文獻(xiàn)分類法或主題詞分類法來進(jìn)行分類。如ImageNet，其是跟據(jù)WordNet的詞匯樹進(jìn)行分類的，是一種層次結(jié)構(gòu)。此結(jié)構(gòu)很方便用于信息的查詢和存儲(chǔ)，但由于其體系比較固定，不適應(yīng)網(wǎng)絡(luò)的動(dòng)態(tài)發(fā)展。另一種分類方式是i^olksonomy大眾分類法，即個(gè)人用戶為滿足自身檢索的需要，對(duì)信息或?qū)ο笞杂商砑訕?biāo)簽(Tag)的結(jié)果。如Flickr就是采用這種方法，允許用戶上傳照片， 添加標(biāo)簽，對(duì)所瀏覽的照片進(jìn)行評(píng)論，并進(jìn)行標(biāo)注。Folksonomy具有共享性、自由性、動(dòng)態(tài)性等特點(diǎn)。但由于R)lkS0n0my中標(biāo)引詞的模糊性、標(biāo)注的自由性及非規(guī)范性，導(dǎo)致其標(biāo)簽的組織與檢索缺乏效率。Wiki因其遵循“平等、開放、自由、共享”等理念[而廣泛應(yīng)用于知識(shí)管理、教學(xué)、軟件開發(fā)、語義網(wǎng)構(gòu)建[等領(lǐng)域。而其在圖像等非結(jié)構(gòu)化數(shù)據(jù)管理方面的應(yīng)用還比較少。

發(fā)明內(nèi)容
有鑒于此，本發(fā)明采用Wiki方式搜集用戶對(duì)圖像分類體系的反饋，并對(duì)用戶反饋進(jìn)行分析整理，實(shí)現(xiàn)分類體系的動(dòng)態(tài)演化。其特征在于在圖像所屬類別的動(dòng)態(tài)演化部分設(shè)計(jì)了一套機(jī)器自動(dòng)判定模型；在類別自身組織結(jié)構(gòu)的動(dòng)態(tài)演化部分，主要以Wiki方式搜集用戶對(duì)類別結(jié)構(gòu)的反饋，并且記錄反饋信息及對(duì)日志進(jìn)行挖掘，由系統(tǒng)管理員去決定類別關(guān)系的調(diào)整。其步驟如下(1)通過圖像分類器和語義關(guān)聯(lián)矩陣自動(dòng)產(chǎn)生相關(guān)的類別建議詞匯，得到圖像的初始類別標(biāo)注，包括主類別和副類別，主類別即圖像所屬的類別，副類別指圖像所屬的候選類別，即此圖像有可能屬于此類別，用來和主類別競(jìng)爭(zhēng)；其具體過程為，用戶在上傳圖像時(shí)，抽取圖像的底層SIFT特征，用特征向量X表示，將此特征向量與訓(xùn)練好的圖像SIFT特征集Y= {yl，y2，...yn}計(jì)算其相似度，Y中的每一個(gè)特征向量對(duì)應(yīng)著一個(gè)類別詞，將此圖像賦予與特征向量X最相似的向量yk的類別詞，將此類別詞提交給語義關(guān)聯(lián)推薦模塊，根據(jù)系統(tǒng)中維護(hù)的語義關(guān)系表，向用戶推薦類別詞，由用戶選擇主類別或者副類別，也允許用
戶添加未推薦的類別詞；這些由上傳圖像的用戶確定的圖像主類別Cmain和副類別
初始類別詞，作為圖像的初始類別標(biāo)注，構(gòu)成一個(gè)圖像所屬類別初始版本LO ；(2)基于維基(wiki)模式，即大規(guī)模的開放協(xié)作和資源共享模式，允許并鼓勵(lì)普通用戶大眾對(duì)大規(guī)模圖像數(shù)據(jù)管理系統(tǒng)的數(shù)據(jù)進(jìn)行類別更新操作，包括所屬類別判定，投票，標(biāo)簽添加以及語義描述等方式；(3)對(duì)于步驟2的更新操作，根據(jù)本發(fā)明提出的圖像所屬類別的動(dòng)態(tài)演化模型，進(jìn)行圖像所屬類別的判定；(4)對(duì)于步驟2的更新操作，根據(jù)本發(fā)明提出的類別自身組織結(jié)構(gòu)動(dòng)態(tài)演化模型， 調(diào)整類別組織結(jié)構(gòu)；(5)基于統(tǒng)計(jì)模型對(duì)用戶的操作進(jìn)行統(tǒng)計(jì)，用來調(diào)整步驟3和步驟4的演化模型的相關(guān)參數(shù)。根據(jù)本發(fā)明的又一個(gè)方面，所述的步驟(1)包括(La)圖像分類器的訓(xùn)練部分。訓(xùn)練部分過程主要包括采用如下算法提取訓(xùn)練圖像的SIFT特征(a. 1)生成圖像尺度空間。假設(shè)方差為δ的二位高斯函數(shù)為G(x，y)，其中
1χ2 + 2
G(x,>') = --rexp(-^—給定二維圖像I (χ，y)，在不同尺度下的尺度空間表示L(X，y， 2πο2ο
O
S)可由I(x，y)與高斯核G(x，y)卷積得到L(x，y，δ) = G (x，y)襯(x，y)。其中*表示卷積操作。(X，y)代表圖像像素的位置，δ稱為尺度空間因子。其值越小則表征該圖像被平滑的越少，相應(yīng)的尺度也就越小。(a. 2)建立圖像DOG金字塔。對(duì)尺度空間圖像序列進(jìn)行D0G(Difference of Gaussian)操作，找到具有穩(wěn)定尺度特征的關(guān)鍵點(diǎn)。定義高斯差分如下D(x，y，δ) = L(x, y，k δ)-L (χ, y，δ )，其中k為尺度因子比例系數(shù)，用來等比例地改變尺度空間的值。(a. 3)獲取關(guān)鍵點(diǎn)。在建立的DOG空間金字塔中，將相鄰尺度空間內(nèi)的極值點(diǎn)作為圖像的關(guān)鍵點(diǎn)。具體過程是通過將DOG尺度空間的每個(gè)像素點(diǎn)與同一層的相鄰的8個(gè)像素點(diǎn)、上一層的相鄰9個(gè)像素點(diǎn)和下一層的相鄰9個(gè)像素點(diǎn)共沈個(gè)像素點(diǎn)進(jìn)行比較，若其比相鄰的26個(gè)像素的DOG值都大或都小，則該點(diǎn)作為關(guān)鍵點(diǎn)。(a. 4)確定關(guān)鍵點(diǎn)主方向。以特征點(diǎn)為中心的鄰域窗口內(nèi)采樣，用梯度方向直方圖統(tǒng)計(jì)鄰域像素的梯度方向。梯度直方圖的范圍為0° 360°，其中每15°位一個(gè)方向單位，共計(jì)M個(gè)方向。梯度方向直方圖的峰值代表了該關(guān)鍵點(diǎn)處鄰域梯度的主方向，即作為該關(guān)鍵點(diǎn)的主方向。(a. 5)提取關(guān)鍵點(diǎn)特征向量。以關(guān)鍵點(diǎn)方向?yàn)樽鴺?biāo)軸χ軸方向，在二維平面內(nèi)提取關(guān)鍵點(diǎn)的特征描述。以關(guān)鍵點(diǎn)為中心取16X16的窗口，將該窗口按4X4劃分為16個(gè)種子點(diǎn)，在每個(gè)種子點(diǎn)上，通過其內(nèi)部16個(gè)像素點(diǎn)每個(gè)像素點(diǎn)的梯度方向及其長(zhǎng)度，以向量形式累加計(jì)算種子點(diǎn)8個(gè)方向的梯度方向直方圖。對(duì)一個(gè)關(guān)鍵點(diǎn)總共提取了 1 個(gè)數(shù)據(jù)，形成1 維的SIFT特征向量，并將其長(zhǎng)度歸一化。通過如上步驟，獲得了每幅訓(xùn)練圖像的SIFT特征，包括關(guān)鍵點(diǎn)數(shù)目及各關(guān)鍵點(diǎn)的位置、方向、尺度和特征向量信息。訓(xùn)練集中的每張圖片P可表示為(dotl, dot2. . . dotn, type)。其中type為圖片所屬的類別，η為關(guān)鍵點(diǎn)數(shù)目，doti表示第i個(gè)關(guān)鍵點(diǎn)的SIFT特征，其可表不為(position, rotation, scale，vector)，其中 position, rotation, scale 禾口 vector分別是關(guān)鍵點(diǎn)的位置、方向、尺度和1 維特征向量信息。最終獲得的訓(xùn)練圖片集中，每個(gè)類別包含5張具有代表性的圖片。(l.b)當(dāng)標(biāo)注人員上傳圖像后，通過抽取上傳的圖片P的SIFT特征，計(jì)算其與訓(xùn)練集中圖片PTrain的SIFT特征相似度S(P，PTrain)。找出前K張最相似的圖片。計(jì)算圖片 P屬于某一類別“ type”的可能性pro (P，type) = Σ S (P，Pi)，其中Pi為此K張圖片中屬于類別“type”的圖片。將pro(p，type)值最大的類別“type”作為主類別，其他類別詞為副類別。計(jì)算S(P，PTrain)的過程如下(b. 1)對(duì)于P的關(guān)鍵點(diǎn)i和Ptrain的關(guān)鍵點(diǎn)j，計(jì)算其SIFT特征向量的距離
權(quán)利要求
1.一種基于Wiki的圖像分類體系動(dòng)態(tài)演化方法，其特征與步驟如下(1)通過圖像分類器和語義關(guān)聯(lián)矩陣自動(dòng)產(chǎn)生相關(guān)的類別建議詞匯，得到圖像的初始類別標(biāo)注，包括主類別和副類別，主類別即圖像所屬的類別，副類別指圖像所屬的候選類別，即此圖像有可能屬于此類別，用來和主類別競(jìng)爭(zhēng)；其具體過程為，用戶在上傳圖像時(shí)，抽取圖像的底層SIFT特征，用特征向量X表示，將此特征向量與訓(xùn)練好的圖像SIFT特征集Y ={yl，y2，...yn}計(jì)算其相似度，Y中的每一個(gè)特征向量對(duì)應(yīng)著一個(gè)類別詞，將此圖像賦予與特征向量X最相似的向量yk的類別詞，將此類別詞提交給語義關(guān)聯(lián)推薦模塊，根據(jù)系統(tǒng)中維護(hù)的語義關(guān)系表，向用戶推薦類別詞，由用戶選擇主類別或者副類別，也允許用戶添加未推薦的類別詞；這些由上傳圖像的用戶確定的圖像主類別Cmain和副類別初始類別詞，作為圖像的初始類別標(biāo)注，構(gòu)成一個(gè)圖像所屬類別初始版本LO ；(2)基于維基wiki模式，即大規(guī)模的開放協(xié)作和資源共享模式，允許并鼓勵(lì)普通用戶大眾對(duì)大規(guī)模圖像數(shù)據(jù)管理系統(tǒng)的數(shù)據(jù)進(jìn)行類別更新操作，包括所屬類別判定，投票，標(biāo)簽添加以及語義描述方式；(3)對(duì)于步驟O)的更新操作，根據(jù)圖像所屬類別的動(dòng)態(tài)演化模型，進(jìn)行圖像所屬類別的判定；(4)對(duì)于步驟O)的更新操作，根據(jù)類別自身組織結(jié)構(gòu)動(dòng)態(tài)演化模型，調(diào)整類別組織結(jié)構(gòu)；(5)基于統(tǒng)計(jì)模型對(duì)用戶的操作進(jìn)行統(tǒng)計(jì)，用來調(diào)整步驟C3)和步驟的相關(guān)參數(shù)。
2.根據(jù)權(quán)利要求1所述的基于Wiki的圖像分類體系動(dòng)態(tài)演化方法，其特征在于，所述的步驟(2)包括如下行為(2. a)點(diǎn)擊查看行為；用戶輸入某一類別詞“type”，檢索到圖像P，并進(jìn)行點(diǎn)擊放大查看；(2.b)簡(jiǎn)單判定行為，用戶瀏覽圖像P時(shí)，可以簡(jiǎn)單判定其主類別“type”是否正確； (2. c)修改類別行為，用戶認(rèn)為圖像P不屬于其主類別，并且手動(dòng)編輯修改其類別為 "type"；(2. d)投票行為，用戶可以對(duì)圖像P所屬的各類別，即主類別和副類別投票； (2. e)添加標(biāo)簽行為；用戶在圖像的關(guān)鍵區(qū)域添加標(biāo)簽； (2. f)添加描述行為；用戶對(duì)圖像P添加語義描述。
3.根據(jù)權(quán)利要求1所述的基于Wiki的圖像分類體系動(dòng)態(tài)演化方法，其特征在于，所述的步驟⑶包括(3. a)計(jì)算圖像P屬于類別“ type”的信心值Cp, type,圖像屬于某一類別的信心值，即指此圖像屬于該類別的可能性，可能性越高，其信心值越大，信心值Cp, t-的計(jì)算主要包括如下方式(al)初始信心值計(jì)算，用戶在上傳圖像時(shí)，至少填寫此圖像屬于的主類別，選擇填寫1-6個(gè)副類別；對(duì)于主類別，系統(tǒng)賦予其信心值為Cmain,副類別系統(tǒng)賦予其信心值為 Cvice ；若“ type”為主類別，則C^yi3e =Cra-.若“type”為副類別，則C〗徹e =C*e. (a2)點(diǎn)擊查看行為信心值= Nh^type X Dm .其中，表示以類別詞“ type”查詢到圖像P，并點(diǎn)擊查看的總次數(shù)；Dhit表示該行為的權(quán)值，C^ype表示以類別詞“type”查詢到圖像P，并點(diǎn)擊查看獲得的信心值；(a3)簡(jiǎn)單判定行為信心值
4.根據(jù)權(quán)利要求1所述的基于Wiki的圖像分類體系動(dòng)態(tài)演化方法，其特征在于，所述的步驟⑷包括(4. a)增加新類別詞；對(duì)于出現(xiàn)的新的類別詞匯“newType”，將其放入待定集 preserve_set 中，當(dāng) “newType” 的使用頻度 fnewType 超過頻度閥值 ThresT，將“newType” 放入類別詞集中，由系統(tǒng)管理員將其加入到原組織結(jié)構(gòu)的某一結(jié)點(diǎn)中；新類別詞 "newType"的使用頻度fnewType的增加，包括以下三方面(al)用戶上傳圖像時(shí)使用“Word”進(jìn)行類別標(biāo)注，令其發(fā)生的次數(shù)為W1，其權(quán)值為G1 ； (a2)用戶通過修改某一圖像的類別時(shí)引入了類別詞“Word”，令其發(fā)生次數(shù)為W2，權(quán)值為& ；(a3)用戶使用“Word”進(jìn)行檢索，令其次數(shù)為W3，權(quán)值為( ；關(guān)于新類別詞的添加與否，主要依據(jù)其頻度值的大小，某一待定類別詞“Word”的頻度
5.根據(jù)權(quán)利要求3所述的圖像分類體系動(dòng)態(tài)演化方法，其特征在于，所述的步驟(5)包括(5. a)根據(jù)用戶的操作情況，統(tǒng)計(jì)用戶點(diǎn)擊查看行為總次數(shù)Chit，簡(jiǎn)單判定行為總次數(shù) Cjudge,修改類別行為總次數(shù)c。h，投票行為總次數(shù)Cv。te，添加標(biāo)簽行為總次數(shù)Ctag,添加描述4亍為總次數(shù) Cdes ；記錄乂，妙e , p,type,right , ρ,type,wrong ρ,type , ^ρ,type , Np typ擬及輝；(5. b)令d = (Dhit,Djudge,Dch,Dvote,DtagDdes) c = (CUt,Cjudge,Cch,Cvote,Ctag,CdJ ,設(shè)計(jì)函數(shù)F，使得3 =F(C);實(shí)現(xiàn)基于用戶行為反饋向量卩來調(diào)整權(quán)重參數(shù)向量 ;向量^的各分量與向量g的各分量成反比；若用戶簡(jiǎn)單評(píng)定的次數(shù)越多，即越大，則該行為的權(quán)重Djudge 越??；將函數(shù)設(shè)計(jì)為線性模型，即存在一個(gè)六維矩陣Md。，使得 = CXMdc
全文摘要
本發(fā)明公開了一種基于Wiki的圖像分類體系動(dòng)態(tài)演化方法(1)通過基于機(jī)器學(xué)習(xí)的分類器檢測(cè)，基于語義關(guān)聯(lián)矩陣的類別推薦以及人工標(biāo)注獲得初始類別版本L0；(2)基于維基(Wiki)模式，允許并鼓勵(lì)大眾直接或間接更新系統(tǒng)數(shù)據(jù)類別信息；(3)根據(jù)像所屬類別動(dòng)態(tài)演化模型，判定圖像所屬類別；(4)根據(jù)類別自身組織結(jié)構(gòu)動(dòng)態(tài)演化模型，調(diào)整類別組織結(jié)構(gòu)；(5)基于統(tǒng)計(jì)模型，統(tǒng)計(jì)用戶操作信息，調(diào)整步驟3和步驟4的相關(guān)參數(shù)。本發(fā)明利用維基模式的開放共享性和平等共創(chuàng)性，聚集眾多用戶獨(dú)立的決策來提高圖像分類的精確性，調(diào)整類別組織結(jié)構(gòu)，提高圖像檢索效果。
文檔編號(hào)G06F17/30GK102306298SQ201110201849
公開日2012年1月4日 申請(qǐng)日期2011年7月19日 優(yōu)先權(quán)日2011年7月19日
發(fā)明者李未, 郎波, 黃雷 申請(qǐng)人:北京航空航天大學(xué)