專利名稱：基于徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的多樣化圖像標注和檢索方法
技術(shù)領(lǐng)域：
本發(fā)明涉及多樣化圖像標注和檢索系統(tǒng)，特別涉及一種基于RBFNN(徑向基函數(shù)神經(jīng)網(wǎng)絡(luò))的多樣化圖像標注和檢索方法。
背景技術(shù)：
圖像檢索是隨著計算機科學(xué)技術(shù)的迅速發(fā)展而產(chǎn)生和發(fā)展起來的一門科學(xué)技術(shù)，在國防、社會安全、遙感、醫(yī)學(xué)、商業(yè)信息等領(lǐng)域都存在著非常重要的應(yīng)用前景。近年來，隨著諸如掃描儀、數(shù)碼相機、數(shù)碼攝像機等數(shù)字化設(shè)備的快速發(fā)展和普及使用，以及多媒體技術(shù)的提高和Internet的迅速普及，使得圖像數(shù)據(jù)呈現(xiàn)幾何級數(shù)的增長，于是出現(xiàn)了大容量的圖像及海量的視頻數(shù)據(jù)庫，面對日益龐大的信息海洋，如何有效地組織、管理和檢索大規(guī)模的圖像數(shù)據(jù)成為迫切需要解決的問題，如果能夠在檢索的過程中自動篩選有用信息，盡量可能避免向用戶提交雷同或者近似雷同的檢索結(jié)果，無疑會提高信息檢索和瀏覽的效率，節(jié)約大量的時間。圖像數(shù)據(jù)的規(guī)模和應(yīng)用范圍都在不斷擴張，從而對現(xiàn)有圖像檢索技術(shù)不斷提出新的挑戰(zhàn)和需求。多樣化圖像檢索，就是指在圖像檢索中使新穎的、獨特的、非重復(fù)冗余的圖像在檢索結(jié)果中排序靠前。多樣化圖像檢索系統(tǒng)的應(yīng)用領(lǐng)域主要包括圖像電子設(shè)備應(yīng)用、互聯(lián)網(wǎng)圖像搜索、醫(yī)學(xué)圖像檢索、商業(yè)信息檢索、遙感信息偵查等等。當前的圖像檢索技術(shù)都著重于提高檢索結(jié)果的“概念”相關(guān)性，并不注重結(jié)果的“新穎性”，致使檢索的結(jié)果產(chǎn)生大量的冗余信息，一個好的搜索引擎應(yīng)該能自動去除這些冗余信息，理想情況下，用戶所“關(guān)注”的檢索結(jié)果中排名靠前的圖像列表應(yīng)該是對“概念”的全面覆蓋，也就是說，能夠盡可能覆蓋檢索“概念”的所有“子概念”，這樣，當不同應(yīng)用背景的用戶輸入相同的檢索信息或者輸入的檢索信息比較模糊時，多樣化的檢索結(jié)果就更能滿足他們的潛在需求。目前，多樣化圖像檢索技術(shù)還不是特別成熟，檢索準確率比較低，如何設(shè)計出一個高效準確的多樣化檢索系統(tǒng)，是亟需解決的問題?；趦?nèi)容的多樣化圖像檢索中，由于受人工標記等客觀條件的約束，一般訓(xùn)練數(shù)據(jù)集所提供的圖像都具有“概念”標簽，但不具有“子概念”標簽，因此，機器學(xué)習(xí)過程是半監(jiān)督的，即圖像相關(guān)性的學(xué)習(xí)是有監(jiān)督的，而多樣性的學(xué)習(xí)是無監(jiān)督的，這是多樣化圖像檢索中需要解決的主要問題。目前的圖像多樣化檢索技術(shù)主要存在以下的缺點(I)目前圖像檢索系統(tǒng)中的數(shù)據(jù)普遍表現(xiàn)為非均衡分布的特征，正類(即與檢索“概念”相關(guān)的)數(shù)據(jù)往往要遠少于反類(即與檢索“概念”不相關(guān)的)數(shù)據(jù)，而且“概念”相關(guān)數(shù)據(jù)中各“子概念”的分布往往也是很不均衡的。這種正反類別分布不均衡的現(xiàn)象將使正類的學(xué)習(xí)被弱化，從而導(dǎo)致與“概念”相關(guān)的樣本的識別率降低，檢索結(jié)果的相關(guān)性降低；使非占優(yōu)“子概念”的學(xué)習(xí)被弱化，以致檢索結(jié)果中相應(yīng)“子概念”樣本缺失，從而對檢索多樣性產(chǎn)生很大影響。(2)目前的多樣化檢索技術(shù)一般都是獨立于相關(guān)性預(yù)檢索的“后序”處理方法，即相關(guān)性預(yù)檢索完成后，再利用某個無監(jiān)督學(xué)習(xí)算法對預(yù)檢索結(jié)果進行重新排序，以達到提高多樣性的目的，額外“后序”學(xué)習(xí)耗費將增加用戶在線等待的時間。本發(fā)明將針對上述問題提出解決方案，實現(xiàn)圖像相關(guān)性和多樣性標注和檢索的并行性，同時也解決檢索中非均衡數(shù)據(jù)分布問題，進而使得圖像檢索精度提高。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題在于針對現(xiàn)有多樣化圖像檢索技術(shù)的不足，提出一種基于RBFNN的多樣化圖像標注和檢索方法。該方法將RBFNN網(wǎng)絡(luò)模型，應(yīng)用到相關(guān)性與多樣性并行圖像標注和檢索中，不同隱中心的感受域能區(qū)別覆蓋和響應(yīng)不同的局域“子概念”。該方法不僅解決了傳統(tǒng)相關(guān)性和多樣性不能并行學(xué)習(xí)的問題，而且解決了非均衡數(shù)據(jù)學(xué)習(xí)問題，使得圖像多樣化標注和檢索的精度和效率得到提高。本發(fā)明是采用以下技術(shù)手段解決上述技術(shù)問題的一種基于徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)(RBFNN)的多樣化圖像標注和檢索方法，包括以下步驟 (I)構(gòu)建和學(xué)習(xí)RBFNN模型，構(gòu)建出能夠覆蓋圖像“子概念”的RBFNN模型；(2)根據(jù)步驟(I)構(gòu)建的RBFNN模型，將檢索資料庫預(yù)處理后的數(shù)據(jù)輸入到RBFNN模型中，對圖像庫中圖片進行多樣化標注，同時給圖像庫中圖片標注“概念”和“子概念”標簽;(3)根據(jù)檢索關(guān)鍵詞和步驟(2)的標注結(jié)果，對標注后的圖像庫進行多樣化檢索首先查找所有標注檢索關(guān)鍵詞的圖片，并根據(jù)“概念”相似度進行排序；然后，將分屬不同“子概念”的圖片按照“概念”相似度由高到低的順序置前；(4)輸出檢索結(jié)果。進一步的，所述步驟(I)具體包括首先輸入訓(xùn)練圖像樣本，并對圖像進行預(yù)處理，并提取特征，然后基于這些訓(xùn)練圖像樣本，采用如下步驟學(xué)習(xí)RBFNN模型I)基于檢索相關(guān)性和多樣性目標的RBF網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化首先對訓(xùn)練圖像樣本聚類，得到N。個聚類中心作為RBFNN初始化的候選隱中心，結(jié)合粒子群優(yōu)化PSO算法來對RBF網(wǎng)絡(luò)結(jié)構(gòu)中的隨機選取的隱中心位置、數(shù)目以及寬度參數(shù)進行并行優(yōu)化，采用離散和連續(xù)混合編碼形式，其中離散部分是對隱中心位置和數(shù)目的二進制編碼，長度為候選隱中心的個數(shù)，基因值為“ I”表示對應(yīng)的候選隱中心被選中，否則表示未被選中；而連續(xù)部分是對寬度參數(shù)的編碼。進一步的，所述基于檢索相關(guān)性和多樣性目標的RBF網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化的具體步驟如下①適應(yīng)度函數(shù)的設(shè)計使用代價學(xué)習(xí)誤差CE作為適應(yīng)度函數(shù)的自變量，使正類以及正類中“非占優(yōu)”“子概念”內(nèi)的樣本誤差代價增大，而其它樣本誤差代價減小，CE表示為Ecost = Σ β, Σ ( -y,j)"(I)
i=l J=I式中β i是各樣本的誤差代價，tuyij分別表示輸入第i個樣本時，網(wǎng)絡(luò)第j個輸出接點的期望輸出值和實際輸出值，N表示樣本總數(shù)，此外，采用“M交叉認證” M-FOLD-CV對網(wǎng)絡(luò)的泛化能力進行表達，并定義一種“M交叉認證”代價誤差為
權(quán)利要求
1.一種基于徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的多樣化圖像標注和檢索方法，其特征在于包括以下步驟(1)構(gòu)建和學(xué)習(xí)RBFNN模型，構(gòu)建出能夠覆蓋圖像“子概念”的RBFNN模型；(2)根據(jù)步驟(I)構(gòu)建的RBFNN模型，將檢索資料庫預(yù)處理后的數(shù)據(jù)輸入到RBFNN模型中，對圖像庫中圖片進行多樣化標注，同時給圖像庫中圖片標注“概念”和“子概念”標簽；(3)根據(jù)檢索關(guān)鍵詞和步驟(2)的標注結(jié)果，對標注后的圖像庫進行多樣化檢索首先查找所有標注檢索關(guān)鍵詞的圖片，并根據(jù)“概念”相似度進行排序；然后，將分屬不同“子概念”的圖片按照“概念”相似度由高到低的順序置前；(4)輸出檢索結(jié)果。
2.如權(quán)利要求1所述的基于徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的多樣化圖像標注和檢索方法，其特征在于所述步驟(I)具體包括首先輸入訓(xùn)練圖像樣本，并對圖像進行預(yù)處理，并提取特征，然后基于這些訓(xùn)練圖像樣本，采用如下步驟學(xué)習(xí)RBFNN模型I)基于檢索相關(guān)性和多樣性目標的RBF網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化首先對訓(xùn)練圖像樣本聚類，得到N。個聚類中心作為RBFNN初始化的候選隱中心，結(jié)合粒子群優(yōu)化PSO算法來對RBF網(wǎng)絡(luò)結(jié)構(gòu)中的隨機選取的隱中心位置、數(shù)目以及寬度參數(shù)進行并行優(yōu)化，采用離散和連續(xù)混合編碼形式，其中離散部分是對隱中心位置和數(shù)目的二進制編碼，長度為候選隱中心的個數(shù)，基因值為“I”表示對應(yīng)的候選隱中心被選中，否則表示未被選中；而連續(xù)部分是對寬度參數(shù)的編碼。
3.如權(quán)利要求2所述的基于徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的多樣化圖像標注和檢索方法，其特征在于所述基于檢索相關(guān)性和多樣性目標的RBF網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化的具體步驟如下①適應(yīng)度函數(shù)的設(shè)計使用代價學(xué)習(xí)誤差CE作為適應(yīng)度函數(shù)的自變量，使正類以及正類中“非占優(yōu)” “子概念”內(nèi)的樣本誤差代價增大，而其它樣本誤差代價減小，CE表示為
4.如權(quán)利要求3所述的基于徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的多樣化圖像標注和檢索方法，其特 征在于學(xué)習(xí)RBFNN模型的步驟還包括步驟1)之后的步驟2) RBFNN隱中心C和寬度參數(shù) o的快速、均衡微調(diào)，具體包括設(shè)計一種基于代價誤差的梯度下降法來計算C和o每次迭代的變化量，代價誤差CE 能修正由于正反類或正類各子概念樣本分布不均衡引起的梯度偏差，采用公式(2)中的 M-FOLD-CV-CE誤差，表示為如下形式
5.如權(quán)利要求4所述的基于徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的多樣化圖像標注和檢索方法，其特征在于學(xué)習(xí)RBFNN模型的步驟還包括步驟2)之后的步驟3):誤差代價β ,的計算與優(yōu)化， 具體包括網(wǎng)絡(luò)的學(xué)習(xí)誤差E由Ep和En兩部分組成，其中Ep，En分別表示正類樣本和反類樣本誤差，代價誤差的設(shè)計是基于使正類及正類中“非占優(yōu)”“子概念”誤差代價增大，反之誤差代價減小的思想，代價誤差函數(shù)定義為
6.如權(quán)利要求1至5任一項所述的基于徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的多樣化圖像標注和檢索方法，其特征在于所述步驟(2)中對圖像庫中圖片進行多樣化標注的具體過程如下
全文摘要
本發(fā)明公開了一種基于RBFNN的多樣化圖像標注和檢索方法，包括(1)構(gòu)建和學(xué)習(xí)RBFNN模型，構(gòu)建出能覆蓋圖像“子概念”的RBFNN模型；(2)將檢索資料庫預(yù)處理后的數(shù)據(jù)輸入步驟(1)構(gòu)建的RBFNN模型中，對圖像庫中圖片進行多樣化標注，同時給圖像庫中圖片標注“概念”和“子概念”標簽；(3)根據(jù)檢索關(guān)鍵詞和步驟(2)的標注結(jié)果，對標注后的圖像庫進行多樣化檢索首先查找所有標注檢索關(guān)鍵詞的圖片，并根據(jù)“概念”相似度進行排序；然后，將分屬不同“子概念”的圖片按照“概念”相似度由高到低的順序置前；(4)輸出檢索結(jié)果。本發(fā)明的優(yōu)點在于提高了圖像檢索精度，同時大大提高了圖像檢索結(jié)果多樣性，節(jié)約了檢索時間，具有較高的魯棒性和實用性。
文檔編號G06N3/08GK102999615SQ20121049909
公開日2013年3月27日 申請日期2012年11月29日 優(yōu)先權(quán)日2012年11月29日
發(fā)明者趙仲秋, 季海峰, 謝寶劍, 黃德雙, 吳信東 申請人:合肥工業(yè)大學(xué)