基于多特征融合的無線膠囊內(nèi)窺鏡冗余圖像篩除方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種基于多特征融合的無線膠囊內(nèi)窺鏡冗余圖像篩除方法，屬于醫(yī)學(xué) 圖像處理技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002] 無線膠囊內(nèi)窺鏡（Wireless Capsule Endoscopy，WCE)是由無線傳輸模塊與微型 攝像機(jī)構(gòu)成，用以無創(chuàng)檢查人體腸胃器官的膠囊狀醫(yī)療儀器。在胃腸道疾病檢測過程中， WCE依靠胃腸道蠕動對人體消化道內(nèi)壁進(jìn)行拍攝，并通過膠囊中的無線發(fā)射裝置將圖片傳 輸至患者隨身攜帶的無線接收器中，最終由醫(yī)生從無線接收器中下載圖片進(jìn)行瀏覽診斷。 由于膠囊內(nèi)部的微型攝像機(jī)是以每秒2- 3幀的拍攝速度得到480X480像素的彩色圖片， 而無線膠囊內(nèi)窺鏡的工作時間可維持6-8小時，故單次檢查將會產(chǎn)生3萬一8萬張 WCE圖 片，從而使醫(yī)生診斷所需時間過長，可能造成醫(yī)生眼睛疲勞而產(chǎn)生漏診率高、工作強(qiáng)度大等 問題。
[0003] 經(jīng)臨床應(yīng)用表明，WCE圖像集中存在大量連續(xù)的圖像具有較高的相似性。其主要 原因是：WCE在消化道內(nèi)拍攝過程中，在某些時刻其前進(jìn)的速度比較緩慢，從而造成鄰近圖 像之間無較大差異，產(chǎn)生了相似度高的冗余圖片。
[0004] 因此，采用先進(jìn)的信息處理技術(shù)實現(xiàn)WCE圖像集進(jìn)行冗余幀篩除具有實際應(yīng)用 價值。文獻(xiàn)（Q. Zhao, M.Q.H.Meng, and B.P. Li, "WCE video clips segmentation based on abnormality, 〃in Robotics and Biomimetics(R0BI0), 2010IEEE International Conference on, pp. 442-447,2010.)融合了基于WCE圖像多特征融合以及非參數(shù)檢測 算法進(jìn)行關(guān)鍵幀提取的方法，實驗結(jié)果表明該方法能夠有效地檢測出具有突變特征的 WCE圖像作為關(guān)鍵幀圖像進(jìn)行提??；文獻(xiàn)（Y. Chen, Υ· H. Lan, and Η· Z. Ren, "Trimming the Wireless Capsule Endoscopic Video by Removing Redundant Frames,"in Wireless Communications,Networking and Mobile Computing (WiCOM)，20128th International Conference on, pp. 1-4, 2012.)在研究 WCE 冗余幀消除方面米用了高 斯-拉蓋爾變換（Gauss Laguerre Transform，GLT)篩除具有氣泡特征的無信息價值 WCE圖片，同時采用了 Canny算子提取圖像紋理的邊緣特征，并通過對比相鄰圖像的邊 緣特征與設(shè)定的固定閾值，來決策二者是否為相似圖像，該算法能夠較好地篩除部分氣 泡圖片與相似性圖片，其平均壓縮率大約為70%。文獻(xiàn)（￥^1111，0.1.1^，2.乂.1^11， &11(1 S.D. Liu, ^Unsupervised redundant image deletion for wireless capsule endoscopy examination, "Application Research of Computers, vol. 29, pp. 2393-6,2400,2012.) 通過對WCE圖像的HSV色彩空間進(jìn)行量化降維提取顏色特征，然后計算相鄰圖像的歸一 化互信息量與歸一化互相關(guān)系數(shù)表示相鄰圖像的相似性，最后根據(jù)由用戶決定的篩除比 例進(jìn)行迭代篩除冗余幀，實驗結(jié)果表明在按照70%的篩除比例情況下，可以得到100%的 病灶圖片保留率和較低的圖像誤刪率。文獻(xiàn)（J.S.Huo，Y.X. Zou，and L.Li，〃An advanced WCE video summary using relation matrix rank, 〃in Biomedical and Health Informatics(BHI), 2012IEEE-EMBS International Conference on, pp. 675-678, 2012.) 一方面在HSV顏色空間提取WCE圖像的顏色特征，另一方面通過水平和垂直Sobel算子提 取WCE圖像紋理特征，并將二者結(jié)合基于relation matrix rank進(jìn)行關(guān)鍵幀提取，該文通 過實驗表明在此方法的基礎(chǔ)上將閾值設(shè)定為5能夠保證有較好的篩除質(zhì)量，并對10組1000 張 WCE圖像片進(jìn)行冗余圖像篩除，其平均壓縮率為84. 65%，平均保真度為95%。
[0005] 但是，上述方法存在著一些未考慮到的問題：
[0006] 1) WCE圖像之間具有時間相關(guān)性，若兩張 WCE圖像的拍攝時間間隔較長，則其二者 的時間相關(guān)性較弱，即使它們在顏色特征與紋理特征具有相似性，但實際反映的是人體消 化道兩個不同位置的信息，應(yīng)被判斷為兩張非相似的WCE圖像；
[0007] 2)對于某些連續(xù)的WCE圖像存在漸變性的特點，相鄰WCE圖像之間進(jìn)行比較為相 似圖片，但是將第一張 WCE圖片與最后一張 WCE圖片比較，明顯發(fā)現(xiàn)有不同之處，故直接以 其中的第一張 WCE圖片或者最后一張 WCE圖片作為關(guān)鍵幀提取的方法將會導(dǎo)致丟失部分 重要信息；
[0008] 3)冗余幀篩除方法的魯棒性，由于不同的WCE圖像集具有不同的動態(tài)信息變化， 若采用固定閾值的方法判斷兩張 WCE圖像之間的相似性，將會導(dǎo)致方法缺乏自適應(yīng)性，使 得篩除效果的魯棒性較差。

【發(fā)明內(nèi)容】

[0009] 針對上述【背景技術(shù)】中所提到的目前有關(guān)WCE冗余幀篩除方法的不足之處，本發(fā)明 提出了一種基于多特征融合的無線膠囊內(nèi)窺鏡冗余圖像篩除方法，從而降低醫(yī)生的工作 量，提高工作效率。該方法包括如下步驟：
[0010] a)采用批處理的方式對無線膠囊內(nèi)窺鏡（Wireless Capsule Endoscopy, WCE)病 例圖像集進(jìn)行處理，每批處理500張 WCE圖像；
[0011] b)同時采用HSV顏色特征直方圖與灰度共生矩陣（Gray level co-occurrence matrix，GLCM)分別對每一張 WCE圖像提取其顏色特征向量與紋理特征向量；
[0012] c)對由b)步驟提取出每張 WCE圖像的顏色特征向量與紋理特征向量，通過計算相 鄰WCE圖像的顏色特征歸一化互信息量和紋理特征均方誤差分別作為顏色特征相似性測 度與紋理特征相似性測度；
[0013] d)考慮到不同批次的WCE圖像集具有不同的動態(tài)信息變化，為了方法的魯棒性， 提出了基于W參數(shù)的均值法設(shè)定自適應(yīng)相似性判斷閾值；
[0014] e)經(jīng)上述步驟，通過比較相鄰圖像的相似性測度與相似性判斷閾值，可將具有一 定時間相關(guān)性與顏色-紋理特征相似性的WCE圖像劃分到同一個子圖像片段中；
[0015] f)考慮到某些子圖像片段中的WCE圖像具有漸變性的特點，可對各子圖像片段采 用自適應(yīng)K均值聚類算法進(jìn)行關(guān)鍵幀提取，從而將其余WCE圖像作為冗余幀進(jìn)行篩除。
[0016] 本發(fā)明的有益效果在于：本發(fā)明所述的方法不僅具有較好的魯棒性，而且能夠有 效地篩除WCE圖像集中的冗余圖像。經(jīng)實驗測試表明，對該方法的篩除效果進(jìn)行評測的三 個指標(biāo)一Recall、Precision和Compression均可達(dá)到80%左右，意味著利用該方法的冗余 幀篩除的結(jié)果不僅與人工篩除的結(jié)果具有一定的一致性，而且可以將醫(yī)生分析瀏覽WCE圖 片的時間由6- 8小時壓縮至1 一 1. 5小時，從而提高了醫(yī)生的工作效率。
【附圖說明】
[0017] 圖1.相鄰WCE圖像顏色特征相似性測度（左）和紋理特征相似性測度（右）
[0018] 圖2.具有漸變特征的連續(xù)WCE圖像幀
[0019] 圖3.在不同W值情況下算法性能評價
[0020] 圖4.設(shè)定W = 3時，以Reacll和Precision指標(biāo)評價算法性能
[0021] 圖5設(shè)定W = 3時，以Compression指標(biāo)評價算法性能
【具體實施方式】
[0022] 下面結(jié)合附圖和【具體實施方式】對本發(fā)明作進(jìn)一步詳細(xì)描述。
[0023] 1.顏色特征向量的提取
[0024] 考慮到HSV顏色空間模型更符合人對色彩信息的視覺判斷，本發(fā)明所述方法將對 每一張 WCE圖像提取HSV顏色特征直方圖來描述WCE圖像顏色特征。HSV顏色特征直方圖 描述的是不同顏色在整幅圖像所占的比例，而沒有反應(yīng)各顏色的空間位置關(guān)系，所以對于 具有旋轉(zhuǎn)特征的兩張 WCE圖像，可以較準(zhǔn)確地判斷該兩張 WCE圖像為相似圖像。
[0025] 首先需要將480X480大小的WCE圖像由RGB空間轉(zhuǎn)換到HSV空間，于是可以得 到：
[0026]
.(1)
[0027] 由于人眼對顏色的分辨具有一定的局限性，并且為了減少計算的復(fù)雜性，本文所 述方法對h，s和v進(jìn)行了量化，其量化的方法如下： 、
(3)
[0030] 其中（X，y)為像素的索引。為了得到WCE圖像的顏色特征直方圖，需要將H，S和 V融合為一個矩陣L:
[0031] L = QsXQvXH+QvXS+V ⑷其中Q s= 4, Q v= 4分別表示S和V的量化 級數(shù)，則ε[?),255μ因此每張 WCE圖像的顏色特征向量的計算如下：
[0032]
(5)其中 4(帥=0，1，…:…，255)表示在矩陣L中像素值為i的概率。
[0033] 2.紋理特征向量的提取
[0034] 灰度共生矩陣（Gray level co-occurrence matrix，GLCM)是一種成熟有效地提 取圖像紋理特征的方法。對于每張 WCE圖像，本文所述方法需要首先將其從RGB空間轉(zhuǎn)換 為灰度空間，并進(jìn)行16級均勻量化；然后根據(jù)灰度共生矩陣的計算方法，分別計算4個方向 ( θ=〇°，45°，90°，135° )上的灰度共生矩陣，公式如下：
[0035]
C6)
[0036] 其中i和j表示灰度級數(shù)；d表示兩個像素之間的距離，設(shè)為1 ; Θ表示兩個像素 之間的方向。
[0037] 對于每個方向的灰度共生矩陣，提取出4個紋理特征值：
[0042] 其中L為灰度級數(shù)16。于是每張 WCE圖像的紋理特征向量可表示如下：
[0043]