本發(fā)明涉及肺結節(jié)征象識別，具體涉及一種基于視覺特征和征象標簽的超圖哈希圖像檢索實現(xiàn)肺結節(jié)征象識別的方法。

背景技術：

隨著肺部ct影像的爆炸式增長，需要有大量有經(jīng)驗的、不知疲倦的、狀態(tài)持續(xù)穩(wěn)定的醫(yī)生完成診斷。否則必然發(fā)生誤診和漏診情況。然而，目前人工診斷力量嚴重不足，亟需計算機強大的計算能力幫助醫(yī)師進行輔助診斷。醫(yī)學圖像檢索不僅減輕了醫(yī)生的工作負擔，提高了效率；另一方面，使得醫(yī)學圖像的診斷更加客觀化，增加了診斷的準確性。

技術實現(xiàn)要素：

本發(fā)明針對現(xiàn)有技術的不足提供一種基于視覺特征和征象標簽的超圖哈希圖像檢索實現(xiàn)肺結節(jié)征象識別的方法，既能檢索得到相似的肺結節(jié)圖像，同時對于區(qū)分不同病灶征象的肺結節(jié)圖像具有良好的識別和檢索效果，為醫(yī)師對查詢病灶的診斷提供決策支持，從客觀方面起到輔助診斷的作用。

本發(fā)明采用的技術方案為：

一種基于視覺特征和征象標簽的超圖哈希圖像檢索實現(xiàn)肺結節(jié)征象識別的方法，包括以下步驟：

步驟a，提取肺結節(jié)感興趣區(qū)域，截取以roi為中心的最小外接矩形區(qū)域，為之后提取表達肺結節(jié)征象信息的視覺特征以及檢索相似的肺結節(jié)圖像，進而識別查詢圖像所表現(xiàn)的醫(yī)學征象做準備；

步驟b，多視覺特征集合的構造，從形狀、灰度、紋理3個方面對結節(jié)提取共199維可靠視覺特征；

步驟c，用于實現(xiàn)相似的肺結節(jié)圖像檢索；利用視覺信息與征象標簽構造雙概率超圖，利用超圖學習哈希函數(shù)，將步驟b得到的視覺特征映射為簡潔的哈希碼；

步驟d，通過漢明距離的相似度衡量，從肺結節(jié)圖像庫中檢索出具有相似征象的肺結節(jié)圖像并對待檢索結節(jié)進行征象識別；

所述的方法，所述步驟b中視覺特征提取過程如下：

b1、提取roi的128維sift局部邊緣特征，標記為f1-f128；

b2、提取灰度均值、灰度熵、灰度方差3維特征f129-f131；

b3、提取7hu不變矩特征f132-f138；

b4、提取2維幾何形態(tài)特征f139-f140；

b5、提取59維lbp特征f141-f199；

所述的方法，所述步驟c具體過程如下：

c1、雙概率超圖的構建；

①構建視覺特征概率超圖：通過以下步驟來構建肺結節(jié)視覺特征概率超圖nodulehp：

step1確定頂點集vnodule＝{v1,v2,...,vn}：將lidc、liss數(shù)據(jù)庫中的每張肺結節(jié)圖像的視覺特征視為一個頂點，得到頂點集vnodule＝{v1,v2,...,vn}，vi代表頂點。

step2確定概率超邊集enodule＝{e1,e2,...,em}及關聯(lián)矩陣h。

step2.1令頂點vi和頂點vj之間的親和度為aij，通過計算aij。

step2.2根據(jù)計算的頂點集vnodule的|v|×|v|親和度矩陣a，構造概率超邊：依次視每個頂點為質心頂點并由質心頂點和其m-1個較親和的頂點一起形成一條包含m個頂點的概率超邊e，最終得到概率超邊集enodule＝{e1,e2,...,em}，ei代表超邊。

step2.3確定各頂點從屬于超邊的概率h(vi,ej)。當時，h(vi,ej)＝p(vi|ej)＝0。得到關聯(lián)矩陣h。

至此肺結節(jié)概率超圖nodulehp構建完畢。

②構建征象標簽概率超圖：肺結節(jié)征象標簽概率超圖noduletg的構建過程如下：對每一張屬于征象超邊ej的肺結節(jié)圖像vi均賦予0.75的值，如果某張肺結節(jié)圖像包含全部9種征象標簽(ggo，spiculation，lobulation，cavity&vacuolus，calcification，pleuraldragging，bronchialmucusplugs，obstructivepneumonia，airbronchogram)，就將其a(i,j)賦值為1，以表示較高的親和度。

c2、權重平衡方法設計：

為每條超邊賦予了權重：

將視覺特征概率超圖與征象標簽概率超圖結合起來需要考慮二者的平衡問題，因為二者都是對肺結節(jié)圖像特征的充分描述，所以加入了平衡參數(shù)λ∈[0,1]。權重參數(shù)可通過公式進行更新：

所述的方法，利用雙概率超圖即肺結節(jié)圖像中所含征象的類型標簽的標簽信息與視覺信息解決哈希函數(shù)的構造問題，詳細步驟如下：

第1步，k位光譜哈希的構造問題，可以轉化為在超圖中通過最小化損失函數(shù)，獲得k個獨立區(qū)域的問題。f表示n個頂點的二值碼，它是一個n×k矩陣，具體形式為：每個行向量對應一個頂點的k位哈希碼，第i個fi是一個n維列向量，包含n個頂點的第i位哈希碼值。從公式中的標準化的損失函數(shù)，可獲得此哈希算法的最優(yōu)目標函數(shù)，具體形式為：

第2步，由于這是一個np問題，但通過刪除約束條件f(i,j)∈{-1,1}，可轉化為超圖分割問題，其解為δ的k個最小非零特征值所對應的k個特征向量。通過為這些特征向量賦閾值可以獲得二值碼1和-1。

第3步，使用在f中生成的二值碼來訓練k個二元分類器。fi的第i個列向量看作第i個二元分類器lⁱ(x)的標簽向量，x是肺結節(jié)圖像的視覺特征與標簽特征。通過輸入肺結節(jié)圖像的特征進行有監(jiān)督學習后，可以獲得k個二元分類器l¹(x),l²(x),…,l^k(x)。將它們連接起來構成最終的哈希函數(shù)l(x)，用來生成k位哈希碼；

第4步，完成哈希函數(shù)的構造，然后使用構造的哈希函數(shù)將肺結節(jié)的圖像特征映射為哈希碼。

所述方法，其特征在于，所述步驟d具體步驟如下：

第1步，分別計算查詢圖像和檢索到的相似肺結節(jié)圖像之間的漢明距離；

第2步，升序排序漢明距離并選擇前k個肺結節(jié)圖像；

第3步，統(tǒng)計這k個肺結節(jié)圖像中各個混合征象類所出現(xiàn)的頻率；

第4步，出現(xiàn)頻率最高的混合征象即為查詢圖像所表現(xiàn)的醫(yī)學征象。

與現(xiàn)有技術相比，本發(fā)明的有益效果為：

1、本發(fā)明的方法基于視覺特征和征象標簽的超圖哈希圖像檢索，進而識別待檢索肺結節(jié)圖像所表現(xiàn)的征象類別，便于醫(yī)師判斷肺結節(jié)的良惡性程度，減少醫(yī)師對診斷經(jīng)驗的過度依賴；

2、通過使用本發(fā)明的技術，能夠從語義層面高效地檢索出相似的肺結節(jié)圖像，最大程度保證了肺結節(jié)征象的識別效果；

3、通過本發(fā)明檢索出相似的肺結節(jié)圖像，這些圖像的病灶特征和診斷方案等可以為醫(yī)師對肺部疾病的分析提供參考，起到輔助診斷的作用。

附圖說明

圖1是本發(fā)明對肺結節(jié)征象識別方法的框架圖。

圖2是本發(fā)明提取表達肺結節(jié)征象信息的肺結節(jié)特征的總體實現(xiàn)框圖。

圖3是多視覺特征提取與標簽碼本構造過程圖。

圖4是不同碼位下返回圖像張數(shù)分別為10張(a),20張(b),25張(c),30張(d)的檢索精度。

圖5是不同的近鄰數(shù)量下哈希碼位數(shù)分別為8位(a),16位(b),32位(c),64位(d)的檢索精度。

圖6是λ的不同取值對本發(fā)明算法精度的影響情況。

具體實施方式

以下結合具體實施例，對本發(fā)明進行詳細說明。

參照圖1、2、3，本發(fā)明方法的實現(xiàn)流程如下：

一種基于視覺特征和征象標簽的超圖哈希圖像檢索實現(xiàn)肺結節(jié)征象識別的方法，包括以下步驟：

步驟a，提取肺結節(jié)感興趣區(qū)域，截取以roi為中心的最小外接矩形區(qū)域，為之后提取表達肺結節(jié)征象信息的視覺特征以及檢索相似的肺結節(jié)圖像，進而識別查詢圖像所表現(xiàn)的醫(yī)學征象做準備；

步驟b，多視覺特征集合的構造，從形狀、灰度、紋理3個方面對結節(jié)提取共199維可靠視覺特征；

步驟c，用于實現(xiàn)相似的肺結節(jié)圖像檢索；利用視覺信息與征象標簽構造雙概率超圖，利用超圖學習哈希函數(shù)，將步驟b得到的視覺特征映射為簡潔的哈希碼；

步驟d，通過漢明距離的相似度衡量，從肺結節(jié)圖像庫中檢索出具有相似征象的肺結節(jié)圖像并對待檢索結節(jié)進行征象識別；

優(yōu)選的，所述步驟b中多視覺特征構造如下：

b1、提取roi的128維sift局部邊緣特征，標記為f1-f128；

b2、提取灰度均值、灰度熵、灰度方差3維特征f129-f131；

b3、提取7hu不變矩特征f132-f138；

b4、提取2維幾何形態(tài)特征f139-f140；

b5、提取59維lbp特征f141-f199；

優(yōu)選的方法，所述步驟c具體過程如下：

c1、雙概率超圖的構建；

①構建視覺特征概率超圖：通過以下步驟來構建肺結節(jié)視覺特征概率超圖nodulehp：

step1確定頂點集vnodule＝{v1,v2,...,vn}：將lidc、liss數(shù)據(jù)庫中的每張肺結節(jié)圖像的視覺特征視為一個頂點，得到頂點集vnodule＝{v1,v2,...,vn}，vi代表頂點。

step2確定概率超邊集enodule＝{e1,e2,...,em}及關聯(lián)矩陣h。

step2.1令頂點vi和頂點vj之間的親和度為aij，通過計算aij。

step2.2根據(jù)計算的頂點集vnodule的|v|×|v|親和度矩陣a，構造概率超邊：依次視每個頂點為質心頂點并由質心頂點和其m-1個較親和的頂點一起形成一條包含m個頂點的概率超邊e，最終得到概率超邊集enodule＝{e1,e2,...,em}，ei代表超邊。

step2.3確定各頂點從屬于超邊的概率h(vi,ej)。當時，h(vi,ej)＝p(vi|ej)＝0。得到關聯(lián)矩陣h。

至此肺結節(jié)概率超圖nodulehp構建完畢。

②構建征象標簽概率超圖：肺結節(jié)征象標簽概率超圖noduletg的構建過程如下：對每一張屬于征象超邊ej的肺結節(jié)圖像vi均賦予0.75的值，如果某張肺結節(jié)圖像包含全部9種征象標簽(ggo，spiculation，lobulation，cavity&vacuolus，calcification，pleuraldragging，bronchialmucusplugs，obstructivepneumonia，airbronchogram)，就將其a(i,j)賦值為1，以表示較高的親和度。

c2、權重平衡方法設計：

為每條超邊賦予了權重：

將視覺特征概率超圖與征象標簽概率超圖結合起來需要考慮二者的平衡問題，因為二者都是對肺結節(jié)圖像特征的充分描述，所以本發(fā)明加入了平衡參數(shù)λ∈[0,1]。權重參數(shù)可通過公式進行更新：

所述的方法，利用雙概率超圖即肺結節(jié)圖像中所含征象的類型標簽的標簽信息與視覺信息解決哈希函數(shù)的構造問題，詳細步驟如下：

第1步，k位光譜哈希的構造問題，可以轉化為在超圖中通過最小化損失函數(shù)，獲得k個獨立區(qū)域的問題。f表示n個頂點的二值碼，它是一個n×k矩陣，具體形式為：每個行向量對應一個頂點的k位哈希碼，第i個fi是一個n維列向量，包含n個頂點的第i位哈希碼值。從公式中的標準化的損失函數(shù)，可獲得此哈希算法的最優(yōu)目標函數(shù)，具體形式為：

st.f(i,j)∈{-1,1},f^t1＝0,f^tf＝i.

第2步，由于這是一個np問題，但通過刪除約束條件f(i,j)∈{-1,1}，可轉化為超圖分割問題，其解為δ的k個最小非零特征值所對應的k個特征向量。通過為這些特征向量賦閾值可以獲得二值碼1和-1。

第3步，使用在f中生成的二值碼來訓練k個二元分類器。fi的第i個列向量看作第i個二元分類器lⁱ(x)的標簽向量，x是肺結節(jié)圖像的視覺特征與標簽特征。通過輸入肺結節(jié)圖像的特征進行有監(jiān)督學習后，可以獲得k個二元分類器l¹(x),l²(x),…,l^k(x)。將它們連接起來構成最終的哈希函數(shù)l(x)，用來生成k位哈希碼；

第4步，完成哈希函數(shù)的構造，然后使用構造的哈希函數(shù)將肺結節(jié)的圖像特征映射為哈希碼。

優(yōu)選的，所述步驟d具體步驟如下：

第1步，分別計算查詢圖像和檢索到的相似肺結節(jié)圖像之間的漢明距離；

第2步，升序排序漢明距離并選擇前k個肺結節(jié)圖像；

第3步，統(tǒng)計這k個肺結節(jié)圖像中各個混合征象類所出現(xiàn)的頻率；

第4步，出現(xiàn)頻率最高的混合征象即為查詢圖像所表現(xiàn)的醫(yī)學征象。

圖4對比了不同哈希方法的最近鄰檢索精度。哈希碼位長r分別選取8，16，32，48，64，返回圖像張數(shù)m分別為10，20，25，30。評價標準為查準率很明顯，lsh與其他算法相比精度較低，并且隨著哈希碼位數(shù)的增加，收斂速率也表現(xiàn)較差。sh比lsh精度高，因為它是一種數(shù)據(jù)識別方法。hsh利用了超圖結構，因此比sh的精度更高。phh在檢索精度上較高，證明了本發(fā)明概率超圖模型的有效性。dphh比phh的精度更高是由于加入了平衡系數(shù)λ＝0.1，更新了超邊權重，被更新的超邊比標簽信息更敏感。

圖5對比了不同近鄰數(shù)量下各方法的精度曲線。很明顯,dphh和phh仍然比其他方法表現(xiàn)更優(yōu)，主要原因為在構建超圖時，同時考慮了頂點之間和超邊之間的親和關系。在哈希碼長為32位并且檢索近鄰數(shù)量為10時，可以達到最高精度90.18％。

圖6展示了通過對參數(shù)λ進行不同取值，進一步探索其對精度的影響?？傮w來說，隨著λ的增加，精度呈現(xiàn)先上升后下降的趨勢，在λ＝0.1時達到最大值。這是由于noduletg中的超邊包含很多語義信息，卻只用一個稀疏標簽碼本來表示，因此想要取得高精度的檢索性能就需要對此類超邊重新賦予更高的權重。但是，當λ＝0.05時，檢索精度比λ＝0.1時低，這是由于忽略了過多的視覺信息。當λ＝0.5時，dphh退化為phh。

應當理解的是，對本領域普通技術人員來說，可以根據(jù)上述說明加以改進或變換，而所有這些改進和變換都應屬于本發(fā)明所附權利要求的保護范圍。