專利名稱：一種基于決策樹學(xué)習(xí)的自動圖像標(biāo)注與翻譯的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)字圖像檢索技術(shù)以及機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域，尤其涉及 一種基于決策樹學(xué)習(xí)的自動圖像標(biāo)注與翻譯的方法。
背景技術(shù)：
早期，人們是通過手工標(biāo)注的方式來實現(xiàn)圖像檢索的，但這項工 作耗時又費力，尤其面對大規(guī)模的網(wǎng)絡(luò)圖像時，顯然它已經(jīng)無法勝任。 因此，如何快速、有效地實現(xiàn)對圖像的自動語義標(biāo)注，變得十分有必 要。
自動圖像標(biāo)注是一個通過計算機(jī)系統(tǒng)以說明文字或關(guān)鍵字的形 式，給一幅數(shù)字圖像自動分配元數(shù)據(jù)的過程。這種計算機(jī)視覺應(yīng)用技 術(shù)用在圖像檢索中，來組織和查找到數(shù)據(jù)庫中用戶感興趣的圖像。這 種方法被稱之為一種多類圖像分類法，該分類法含有大量的類，它們 和一個詞匯表一樣大。其中最典型的就是圖像分析，它是以提取特征 向量和訓(xùn)練標(biāo)注文字的形式應(yīng)用于機(jī)器學(xué)習(xí)技術(shù)中，企圖自動地為新 圖像加以標(biāo)注。這種方法首先要學(xué)習(xí)圖像特征和訓(xùn)練標(biāo)注之間的相互 關(guān)系，然后開發(fā)使用機(jī)器翻譯來試著翻譯帶有"可視化內(nèi)容"的文本 詞匯表。
和傳統(tǒng)的基于內(nèi)容的圖像檢索CBIR (Content-based Image Retrieval)相比，自動圖像標(biāo)注的優(yōu)點在于用戶可以更自然地設(shè)定實 現(xiàn)査詢。自動圖像標(biāo)注的一個方向是采 用分類方法，每一個語義概念 被當(dāng)作一個類別進(jìn)行分類。代表方法有支持向量機(jī)(Support Vector Machine,簡稱SVM)方法，貝葉斯點機(jī)方法等等。這種方法當(dāng)語義 概念相當(dāng)多時會遇到困難。自動圖像標(biāo)注的另一個方向是建立圖像和 語義概念的統(tǒng)計概率模型。Duygulu等人提出的翻譯模型(Translation Modal，簡稱TM)，利用傳統(tǒng)的語言統(tǒng)計翻譯模型將語義概念翻譯為 blobs (區(qū)域聚類)。Jeon等人介紹了 一種交叉媒體相關(guān)模型 (Cross-media Relevance Modal,簡稱CMRM)，將圖像標(biāo)注問題看通過計算blobs和語義概念的聯(lián)合概率進(jìn)行 圖像標(biāo)注，獲得了比較好的效果。但是這類概率的方法對語義和圖像 特征的利用比較粗糙，兩者的結(jié)合不是很緊密。而且這類方法對圖像 區(qū)域聚類結(jié)果的好壞比較敏感。自動圖像標(biāo)注方法是圖像檢索發(fā)展的 一個新方向，也是熱門方向，同樣提出自動圖像標(biāo)注方法的有發(fā)明專 利公開號CN1920820A的發(fā)明，該發(fā)明考慮的是圖像區(qū)域子快的重 要性和訓(xùn)練集中文本的重要性次序，由此來解決詞頻畸形分布的問 題，而標(biāo)注后的訓(xùn)練集是否具有可擴(kuò)展性并未有涉及。

發(fā)明內(nèi)容
鑒于現(xiàn)有技術(shù)的以上不足，本發(fā)明考慮的目的是研究一種基于決 策樹學(xué)習(xí)的自動圖像標(biāo)注與翻譯的方法，使標(biāo)注后的訓(xùn)練集具有可擴(kuò) 展性及魯棒性，來解決訓(xùn)練圖像數(shù)據(jù)庫不適應(yīng)另一個未訓(xùn)練的圖像數(shù) 據(jù)庫的問題以及數(shù)據(jù)庫不完整和有噪聲數(shù)據(jù)的問題。本發(fā)明的目的是 通過如下的手段實現(xiàn)的。
一種基于決策樹(Decision Tree，簡稱DT)學(xué)習(xí)的自動圖像標(biāo)注 與翻譯的方法，以提取特征向量和訓(xùn)練標(biāo)注文字的形式使機(jī)器完成學(xué) 習(xí)后自動地為新圖像加以標(biāo)注，使用機(jī)器翻譯帶有可視化內(nèi)容的文本 詞匯表而實現(xiàn)圖像資料的機(jī)器檢索；包括訓(xùn)練標(biāo)注圖像集和圖像自動 標(biāo)注兩部分，其中
(1) 所述訓(xùn)練標(biāo)注圖像集包括如下步驟-
a) 利用圖像分割算法對訓(xùn)練圖像集分割成子塊區(qū)域，提取每個 子塊區(qū)域的底層視覺特征；將這些特征數(shù)據(jù)離散化，然后將訓(xùn)練標(biāo)注 圖像集基于底層特征離散值利用聚類算法進(jìn)行分類，并構(gòu)造出語義詞
b) 將所述底層特征離散值作為DT學(xué)習(xí)的輸入屬性，利用DT機(jī) 器學(xué)習(xí)法對已構(gòu)造的詞典，對應(yīng)預(yù)先設(shè)定的語義概念進(jìn)行自我訓(xùn)練學(xué) 習(xí)，生成決策樹并獲取相應(yīng)的決策規(guī)則；
(2) 所述圖像自動標(biāo)注包括如下步驟
a)對于圖像自動標(biāo)注，將待標(biāo)注的圖像通過相同的分割算法得 到多個區(qū)域；b)對每個區(qū)域進(jìn)行特征提取、特征值離散化，得到每個區(qū)域的特
征屬性值；
C)根據(jù)訓(xùn)練過程中生成的決策規(guī)則，將上一步得到的屬性值帶入 到規(guī)則中測試，得到對應(yīng)的語義概念，這個語義概念就作為該待標(biāo)注 圖像的標(biāo)注詞。
采用如上的方法后，利用DT機(jī)器學(xué)習(xí)法對已構(gòu)造的詞典，使用 DT學(xué)習(xí)技術(shù)，取代了算法復(fù)雜和應(yīng)用受限的貝葉斯模型學(xué)習(xí)技術(shù)。 對應(yīng)預(yù)先設(shè)定的語義概念進(jìn)行自我訓(xùn)練學(xué)習(xí)，生成決策樹并獲取相應(yīng) 的決策規(guī)則，使訓(xùn)練標(biāo)注圖像集具有可擴(kuò)展性和魯棒性，將其應(yīng)用于 語義圖像檢索中，能提高檢索的査全率和査準(zhǔn)率。


圖1為本發(fā)明方法的工作順序舉例框圖。
具體實施例方式
下面，結(jié)合附圖對本發(fā)明方法作進(jìn)一步的詳述。 如圖1所示，在流程圖中，先將訓(xùn)練圖像集進(jìn)行分割、底層特征 提取并將特征值離散化，將這些離散值作為訓(xùn)練DT的輸入屬性，同 種特征屬性形成相應(yīng)的語義詞典，然后根據(jù)預(yù)定義要訓(xùn)練的輸出結(jié)果 (也就是語義概念)，以詞典中的離散值作為訓(xùn)練的輸入進(jìn)行訓(xùn)練并 建立一棵決策樹，由此獲取對應(yīng)的決策規(guī)則(標(biāo)注規(guī)則)。在標(biāo)注過 程中，將待標(biāo)注的圖像進(jìn)行分割，提取該圖像子塊(區(qū)域)的特征并 離散化，將每個子塊的離散值作為輸入屬性帶入訓(xùn)練過程中已獲取的 決策規(guī)則，便能自動得到最終的語義概念，也就是每個子塊對應(yīng)的標(biāo) 注詞。
與現(xiàn)有技術(shù)(如發(fā)明專利公開號CN1920820A的發(fā)明)不同的是， 在訓(xùn)練過程中，無需計算標(biāo)注詞出現(xiàn)的概率，而是通過訓(xùn)練DT獲得 的決策規(guī)則，這樣一來,在標(biāo)注過程中，并不是像發(fā)明專利公開號(CN) 為1920820A的發(fā)明那樣選取最大概率的若干標(biāo)注詞作為待標(biāo)注圖像 的標(biāo)注詞，而是由決策規(guī)則自動將輸入屬性作為映射到相應(yīng)的語義概 念作為待標(biāo)注圖像的標(biāo)注詞。
本發(fā)明的具體步驟如下(l)訓(xùn)練標(biāo)注圖像集
a) 對訓(xùn)練圖像集分類并構(gòu)造出語義詞典(步驟101) 將訓(xùn)練圖像集分割成一個個區(qū)域(子塊)，提取每個區(qū)域的底層
視覺特征，包括顏色、紋理和形狀特征。在本發(fā)明的方法中不關(guān)注具 體采用哪種方式生成這些特征，只要這些特征能準(zhǔn)確地描述圖像相應(yīng) 的內(nèi)容和被有效地應(yīng)用于本發(fā)明中的圖像標(biāo)注方法即可。
然后將得到的這些特征數(shù)據(jù)離散化，本發(fā)明采用自適應(yīng)的矢量量 化(Vector Quantization,簡稱VQ)技術(shù)實現(xiàn)特征值離散化。對于 基于區(qū)域的特征，其維度常常是變化的，普通的求均值法無法計算特 征的聚類中心，而本發(fā)明采用的自適應(yīng)VQ通過合并與重新分布特征 的聚類來實現(xiàn)。為了解決訓(xùn)練標(biāo)注圖像數(shù)據(jù)庫在標(biāo)注過程中的可擴(kuò)展 性，首先估計特征分布，然后利用估計好的特征分布來控制聚類分裂 (splitting)和VQ算法的收斂性(convergence)。這樣一來，通過 VQ算法離散化的特征值構(gòu)造出的詞典大小適應(yīng)于整個圖像數(shù)據(jù)庫的 大小，而不是受限于預(yù)先確定的詞典大小。
b) 訓(xùn)練并建立DT,獲取決策規(guī)則(步驟102) 詞典創(chuàng)建好之后，我們需要在碼字(詞典中的離散值)與預(yù)先定
義的語義概念之間建立一個映射關(guān)系。其中語義概念指的是sky、 plane、 animal等等能被用戶所理解，而且在圖像檢索應(yīng)用中，可以 把這些語義概念作為關(guān)鍵詞進(jìn)行語義檢索。本發(fā)明采用DT機(jī)器學(xué)習(xí) 技術(shù)來建立這些映射關(guān)系。DT算法最大的特點就是它的語義翻譯能 力，這種能力可以很自然的模仿人類學(xué)習(xí)，和其它學(xué)習(xí)工具不同，DT 學(xué)習(xí)可以得到人類的理解規(guī)則。另外，由于修剪技術(shù)，對于不完整或 有噪音的數(shù)據(jù)，DT方法更簡單而且具有很強(qiáng)的魯棒性。使用DT方法 可以不用做任何一個預(yù)先的假定便可以適應(yīng)外界環(huán)境的多變性。
將詞典中的碼字進(jìn)行訓(xùn)練，并建立起一棵決策樹。由于每個圖像 子塊是由顏色、紋理及形狀特征共同表示的，那么其碼字也由這三個 特征的離散值組成，每種特征各自歸屬一個屬性，每個屬性的取值及 個數(shù)是由這些離散值所決定的。將其作為決策樹的輸入屬性，預(yù)定義 的語義概念作為決策樹的葉節(jié)點，通過不斷地的訓(xùn)練最終可以得到一張決策規(guī)則表，這張表是以IF-THEN的形式來表示的，它所表示的意 義就是輸入的特征屬性值與語義概念建立了對應(yīng)的映射關(guān)系，這個映 射關(guān)系也是圖像標(biāo)注階段中待標(biāo)注圖像進(jìn)行標(biāo)注所需的測試與驗證 的對象。
(2)圖像自動標(biāo)注
a) 待標(biāo)注圖像分割(步驟103)
對于輸入一個待標(biāo)注的圖像，首先要對其進(jìn)行圖像分割，使其分 割成一個個圖像子塊便于后續(xù)標(biāo)注。為了使DT標(biāo)注更為準(zhǔn)確，本發(fā) 明將現(xiàn)有的先進(jìn)分割技術(shù)結(jié)合由曲波變換得到的邊緣信息對采集的 圖像進(jìn)行最有效的分割。曲波變換可給出精確的邊緣信息，尤其在最 高尺度下可以生成完好的對象輪廓。這種精確的邊緣信息可以被用來 改進(jìn)現(xiàn)有的分割技術(shù)，以致被分割的區(qū)域更接近圖像中的語義對象， 而且這種技術(shù)可以有利于在離散化階段中VQ方法達(dá)到更好的自適應(yīng) 效果。
b) 提取圖像子塊的特征屬性值(步驟104) 待標(biāo)注圖像被分割之后，和提取訓(xùn)練圖像集一樣的方式提取該圖
像各個子塊的特征屬性值，在本發(fā)明的方法中不關(guān)注具體采用哪種方 式生成這些特征，只要這些特征能準(zhǔn)確地描述圖像相應(yīng)的內(nèi)容和被有 效地應(yīng)用于本發(fā)明中的圖像標(biāo)注方法即可。
c) 自動標(biāo)注(步驟105)
將得到的特征值帶入到訓(xùn)練過程中獲取的決策規(guī)則里進(jìn)行測試， 每個子塊便可以由此得到與之對應(yīng)的語義概念，這個語義概念就作為 該待標(biāo)注圖像的標(biāo)注詞。
實施例
給定5100張Corel數(shù)據(jù)庫圖像，其中選取19X30共570張圖像 作為本發(fā)明方法的訓(xùn)練圖像集，實施例對剩下的圖像進(jìn)行圖像自動標(biāo) 注。
(1)先對訓(xùn)練圖像集的所有圖像都進(jìn)行圖像分割，形成若干圖像 子塊(區(qū)域)，對圖像子塊提取顏色、紋理、形狀特征，分別得到特征數(shù)據(jù)XpA,...,Xi (L維顏色特征)，_yP>y2，...,_yM (M維紋理特征)， A，^...， (N維形狀特征)。
在自適應(yīng)VQ處理特征值離散化的階段，以顏色特征為例，第一 步首先計算初始聚類中心，令此中心為c,，然后設(shè)置初始聚類個數(shù) CN二1;第二步首先選擇超過L維顏色特征的聚類中心，令n為被選擇 的中心的個數(shù)，若『0則停止，否則將每個中心分裂成兩個，且設(shè)置 CN=CN+n，令所有CN個中心以c,，c,，…,Cc/";第三步首先設(shè)每個 聚類i為空(V^《w)，重新分布每維顏色特征x,到它的最近鄰的聚類 j ，設(shè)聚類 j=聚類 j u :c, ( V,—)，使得 y = argmin,. (distance( x, ， c,))， 然后重計算每個中心 。，(Vw)，如果。，=二<"則。=。目，并再次選擇聚類及分裂中 心，否則^、c,，且設(shè)置每個聚類i為空。最后便可以輸出顏色特 征離散值^ ...,^0^個中心顏色特征值)。類似地，可以得到紋理 特征離散值^f2,…，^和形狀特征離散值 A，…,s柳，且這三組值便可 以構(gòu)造出相應(yīng)的可供后續(xù)訓(xùn)練學(xué)習(xí)的詞典。由此可見，詞典中各種特 征的輸出個數(shù)適應(yīng)于整個圖像數(shù)據(jù)庫，而無需預(yù)先確定詞典大小。
(2)詞典創(chuàng)建好之后，為了建立輸入特征屬性值與語義概念的映 射關(guān)系，首先要人為預(yù)先定義與訓(xùn)練圖像集相關(guān)的語義概念，即Sky、 Plane、 Animal等19個語義概念(類名)，其中在訓(xùn)練圖像集中，給 每個類選擇了 30個模板。定義好語義概念之后，以三個特征屬性作 為DT的輸入屬性，其屬性取值由三組特征離散值決定，然后以語義 概念作為目標(biāo)進(jìn)行訓(xùn)練，訓(xùn)練后便可以生成一棵決策樹，獲取相應(yīng)的 決策規(guī)則。
對于決策樹的建立，其基本實現(xiàn)步驟如下
a) 初始化決策樹T為只含一個樹根(X， Q)，其中X是全體訓(xùn)練 集，^為全體屬性集。
b) if (T中所有葉節(jié)點(義'，Q')都滿足7屬于同一類或Q'為空) then算法停止；
c) else (任取一個不具有(b)中所述狀態(tài)的葉節(jié)點(義'，d) for每個Q'中的屬性A
do計算信息增益gain(A，義')；
e) 選擇具有最高信息增益的屬性B作為節(jié)點(Z'， ^')的測試屬
性；
f ) for每個B的取值^
do {從該節(jié)點(義'，g')伸出分支，代表測試輸出8=6,.; 求得Z中B值等于6,的子集《，并生成相應(yīng)的葉節(jié)點(A'， 2'-{B}); } g)轉(zhuǎn)(b); }
另外，對于不完整或有噪音的數(shù)據(jù)，本發(fā)明對DT方法進(jìn)行了剪 枝改進(jìn)，包括前剪枝和后剪枝。針對我們訓(xùn)練圖像集的數(shù)據(jù)分布特點， 對于前剪枝，將產(chǎn)生每層節(jié)點的類所擁有的模板數(shù)小于3的節(jié)點剪 掉-，對于后剪枝，主要是處理未知所屬類別的節(jié)點，將父節(jié)點分支下， 其子節(jié)點所擁有模板數(shù)最多的節(jié)點所屬類別作為該未知節(jié)點的類，如 果其子節(jié)點都同屬于一個類，那么這個父節(jié)點便為該類并變成葉節(jié) 點。這樣一來， 一棵復(fù)雜的決策樹便可以簡化為一棵簡潔明了的樹， 而且這樣的樹具有很強(qiáng)的魯棒性。
通過以上步驟，便可以獲取以IF-THEN的形式來表示的決策規(guī)則， 也是在標(biāo)注階段所需要進(jìn)行測試與驗證的標(biāo)注規(guī)則。
(3) 現(xiàn)在輸入一張未標(biāo)注的圖片，比如圖1中那張含有sky和 plane兩個語義概念(在訓(xùn)練階段已定義)的圖片，利用曲波變換技 術(shù)對整幅圖像進(jìn)行分割，使其分割的每個子塊對應(yīng)于一個易于人們理 解的語義對象。首先將輸入的待標(biāo)注圖像進(jìn)行曲波域上的變換得到一 組曲波系數(shù)，然后根據(jù)圖像噪聲的標(biāo)準(zhǔn)方差修正并利用此系數(shù)重構(gòu)圖 像，實現(xiàn)該圖像的對比度增強(qiáng)。最后利用JSEG分割工具對增強(qiáng)后的 圖像進(jìn)行分割，這樣就把輸入圖像分割成兩個圖像子塊， 一個是表示 sky語義的子塊，另一個是表示plane語義的子塊。
(4) 將上一步得到的兩個圖像子塊進(jìn)行特征提取，以顏色、紋理 和形狀特征三組數(shù)據(jù)共同表示各個圖像子塊，然后利用訓(xùn)練階段中的 自適應(yīng)VQ技術(shù)對各個子塊的特征值進(jìn)行離散化，最后每個子塊都含有顏色、紋理和形狀三個標(biāo)簽值(離散值)。
(5)將上述各個子塊得到的三個值帶入到訓(xùn)練過程中生成的決 策規(guī)則表，系統(tǒng)便依照這個規(guī)則表，自動標(biāo)注出每個子塊所對應(yīng)的語 義概念，也就是要標(biāo)注的詞。由于每個子塊都被一個語義概念所標(biāo)注， 那輸入的一幅未標(biāo)注的圖像便可以被自動地翻譯出它所包含的語義
概念o
將本發(fā)明的標(biāo)注方法應(yīng)用到語義圖像檢索中，利用圖像和關(guān)鍵詞 査詢圖像時，其平均查全率和平均查準(zhǔn)率都得到明顯提高。最大的特 點就是，當(dāng)往已標(biāo)注好的圖像庫中添加新圖像時，檢索系統(tǒng)同樣可以 將其檢索出來反饋給用戶，這使得該檢索系統(tǒng)具有很好的擴(kuò)展性，而 且當(dāng)用戶輸入的圖像含有噪聲時，該系統(tǒng)也能較好地將相關(guān)圖像檢索 出來，反映了系統(tǒng)具有很強(qiáng)的魯棒性。
權(quán)利要求
1、一種基于決策樹學(xué)習(xí)的自動圖像標(biāo)注與翻譯的方法，以提取特征向量和訓(xùn)練標(biāo)注文字的形式使機(jī)器完成學(xué)習(xí)后自動地為新圖像加以標(biāo)注，使用機(jī)器翻譯帶有可視化內(nèi)容的文本詞匯表而實現(xiàn)圖像資料的機(jī)器檢索，包括訓(xùn)練標(biāo)注圖像集和圖像自動標(biāo)注兩部分，其中(1)所述訓(xùn)練標(biāo)注圖像集包括如下步驟a)利用圖像分割算法對訓(xùn)練圖像集分割成子塊區(qū)域，提取每個子塊區(qū)域的底層視覺特征；將這些特征數(shù)據(jù)離散化，然后將訓(xùn)練標(biāo)注圖像集基于底層特征離散值利用聚類算法進(jìn)行分類，并構(gòu)造出語義詞典；b)將所述底層特征離散值作為決策樹學(xué)習(xí)的輸入屬性，利用決策樹機(jī)器學(xué)習(xí)法對已構(gòu)造的詞典，對應(yīng)預(yù)先設(shè)定的語義概念進(jìn)行自我訓(xùn)練學(xué)習(xí)，生成決策樹并獲取相應(yīng)的決策規(guī)則；(2)所述圖像自動標(biāo)注包括如下步驟a)對于圖像自動標(biāo)注，將待標(biāo)注的圖像通過相同的分割算法得到多個區(qū)域；b)對每個區(qū)域進(jìn)行特征提取、特征值離散化，得到每個區(qū)域的特征屬性值；c)根據(jù)訓(xùn)練過程中生成的決策規(guī)則，將上一步得到的屬性值帶入到規(guī)則中測試，得到對應(yīng)的語義概念，這個語義概念就作為該待標(biāo)注圖像的標(biāo)注詞。
2、根據(jù)權(quán)利要求1所述之基于決策樹學(xué)習(xí)的自動圖像標(biāo)注與翻譯的方法，其特征在于，所述特征值離散化采用自適應(yīng)的矢量量化技 術(shù)予以實現(xiàn)。
全文摘要
本發(fā)明公開了一種基于決策樹學(xué)習(xí)的自動圖像標(biāo)注與翻譯的方法，自動為新圖像加以標(biāo)注，使用機(jī)器翻譯帶有可視化內(nèi)容的文本詞匯表而實現(xiàn)圖像資料的機(jī)器檢索，包括訓(xùn)練標(biāo)注圖像集和圖像自動標(biāo)注。其中訓(xùn)練標(biāo)注圖像集利用圖像分割算法對訓(xùn)練圖像集分割成子塊區(qū)域，提取每個子塊區(qū)域的底層視覺特征；將這些特征數(shù)據(jù)離散化，然后將訓(xùn)練標(biāo)注圖像集基于底層特征離散值利用聚類算法進(jìn)行分類，并構(gòu)造出語義詞典；將所述底層特征離散值作為決策樹學(xué)習(xí)的輸入屬性；利用決策樹機(jī)器學(xué)習(xí)法對已構(gòu)造的詞典，對應(yīng)預(yù)先設(shè)定的語義概念進(jìn)行自我訓(xùn)練學(xué)習(xí)，生成決策樹并獲取相應(yīng)的決策規(guī)則。本發(fā)明的訓(xùn)練標(biāo)注圖像集具有可擴(kuò)展性和魯棒性，將其應(yīng)用于語義圖像檢索中，能提高檢索的查全率和查準(zhǔn)率。
文檔編號G06F17/30GK101620615SQ20091006024
公開日2010年1月6日 申請日期2009年8月4日 優(yōu)先權(quán)日2009年8月4日
發(fā)明者進(jìn) 侯, 張登勝 申請人:西南交通大學(xué)