本發(fā)明涉及一種膠囊內(nèi)窺鏡圖像高清顯示方法，屬于圖像處理。

背景技術(shù)：

1、傳統(tǒng)膠囊內(nèi)窺鏡由于尺寸和功耗的限制，拍攝的圖像分辨率相對(duì)較低。常見的分辨率范圍在320x320像素到640x640像素之間。并且由于膠囊內(nèi)窺鏡的鏡頭設(shè)計(jì)，拍攝的圖像通常具有魚眼效果，即圖像中央較清晰，但邊緣有明顯的扭曲和模糊。除此之外，圖像可能會(huì)有一定的顏色失真或不均勻性。膠囊內(nèi)窺鏡內(nèi)置的led光源雖然能提供必要的照明，但光照可能會(huì)不均勻，導(dǎo)致圖像某些區(qū)域存在過亮或過暗、圖像噪聲較多的問題。

2、膠囊內(nèi)窺鏡需要在有限的計(jì)算資源下進(jìn)行基本的圖像處理，如去噪、自動(dòng)曝光和自動(dòng)白平衡，以提高圖像質(zhì)量。在圖像傳輸?shù)酵獠吭O(shè)備后，通常需要進(jìn)一步處理，包括畸變校正、增強(qiáng)對(duì)比度和顏色校正，最終調(diào)整圖像為合適的分辨率大小，以便醫(yī)生更好地進(jìn)行診斷。

3、在膠囊內(nèi)窺鏡中進(jìn)行圖像處理雖然可以提高圖像質(zhì)量，但也存在一些潛在的弊端和挑戰(zhàn)，如功耗增加、影響實(shí)時(shí)性和整體效果、產(chǎn)生額外的熱量。同時(shí)，傳統(tǒng)的圖像插值方法雖然廣泛應(yīng)用于圖像放大、縮小和旋轉(zhuǎn)操作中，但也存在一些明顯的缺點(diǎn)：如產(chǎn)生鋸齒效應(yīng)、使圖像變得模糊、產(chǎn)生邊緣偽影、難以處理復(fù)雜的幾何變形。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種膠囊內(nèi)窺鏡圖像高清顯示方法，將膠囊內(nèi)窺鏡的圖像處理轉(zhuǎn)移到外部接收設(shè)備中，有效避免了在膠囊內(nèi)窺鏡中進(jìn)行圖像處理所帶來的系列弊端；且能夠生成任意分辨率圖像，可以更加精細(xì)地重建圖像細(xì)節(jié)，提升圖像質(zhì)量。

2、為解決上述技術(shù)問題，本發(fā)明所采用的技術(shù)方案如下：

3、一種膠囊內(nèi)窺鏡圖像高清顯示方法，包括如下步驟：

4、s1、將膠囊內(nèi)窺鏡拍攝到的原始圖像p1進(jìn)行jpeg壓縮得到圖像p2；

5、s2、將圖像p2通過膠囊內(nèi)窺鏡中的無線傳輸模塊傳輸?shù)酵獠拷邮諜C(jī)中得到圖像p3，從圖像p2到圖像p3不進(jìn)行任何圖像處理操作，也即圖像p3與圖像p2完全一樣；

6、s3、在外部接收機(jī)中，使用opencv工具對(duì)圖像p3進(jìn)行去噪、白平衡、對(duì)比度提升和顏色校正操作，得到圖像p4。

7、s4、使用基于深度學(xué)習(xí)的局部隱式圖像函數(shù)(liif)超分模型，對(duì)圖像p4進(jìn)行任意倍率(醫(yī)生希望看的倍率)的超分，得到最終在上位機(jī)中顯示的圖像p5。

8、上述s1中，jpeg壓縮可以大大減小原始圖像大小，極大地提升傳輸效率，此過程理論上不進(jìn)行任何圖像處理操作。

9、上述膠囊內(nèi)窺鏡圖像高清顯示方法，將膠囊內(nèi)窺鏡的圖像處理轉(zhuǎn)移到外部接收設(shè)備中，有效避免了在膠囊內(nèi)窺鏡中進(jìn)行圖像處理所帶來的系列弊端；且能夠生成任意分辨率圖像，可以更加精細(xì)地重建圖像細(xì)節(jié)，提升圖像質(zhì)量。

10、上述步驟s1中，原始圖像p1為通過膠囊內(nèi)窺鏡的cmos圖像傳感器直接拍攝得到的bayer格式的原始圖像，該格式的圖像占用的儲(chǔ)存空間較大，在拍攝完成后，通過膠囊內(nèi)窺鏡芯片中的燒錄的jpeg圖像壓縮算法進(jìn)行圖像壓縮得到圖像p2。

11、上述步驟s4中，基于深度學(xué)習(xí)的局部隱式圖像函數(shù)(liif)超分模型包括：

12、特征提取網(wǎng)絡(luò)，特征提取網(wǎng)絡(luò)使用resnet(卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu))來提取輸入低分辨率圖像的特征，cnn(卷積神經(jīng)網(wǎng)絡(luò))能夠捕捉圖像的局部和全局特征信息，為后續(xù)處理提供豐富的特征表示；

13、隱式函數(shù)網(wǎng)絡(luò)，其核心部分是一個(gè)多層感知器網(wǎng)絡(luò)，用于實(shí)現(xiàn)隱式函數(shù)的映射，多層感知器網(wǎng)絡(luò)(mlp)接收?qǐng)D像特征和查詢坐標(biāo)作為輸入，輸出對(duì)應(yīng)坐標(biāo)的顏色值，同時(shí)將圖像的每個(gè)像素坐標(biāo)作為輸入，結(jié)合從特征提取網(wǎng)絡(luò)獲得的局部特征，輸入到多層感知器網(wǎng)絡(luò)(mlp)中進(jìn)行處理；

14、坐標(biāo)編碼模塊，為了提高模型對(duì)高頻細(xì)節(jié)的表示能力，會(huì)對(duì)輸入的坐標(biāo)進(jìn)行編碼，使用傅里葉變換，將坐標(biāo)映射到高維空間；

15、特征融合模塊，使用特征拼接將局部圖像特征與經(jīng)過編碼的坐標(biāo)拼接在一起，作為多層感知器網(wǎng)絡(luò)(mlp)的輸入；

16、預(yù)測(cè)模塊，多層感知器網(wǎng)絡(luò)(mlp)網(wǎng)絡(luò)輸出對(duì)應(yīng)坐標(biāo)的rgb顏色值，生成高分辨率圖像像素，同時(shí)通過不同尺度的特征和坐標(biāo)輸入，生成不同分辨率的圖像，進(jìn)一步提升圖像細(xì)節(jié)；

17、注意力機(jī)制模塊，使用空間注意力機(jī)制可以幫助模型在特征圖的不同空間位置上自動(dòng)選擇性地關(guān)注重要區(qū)域，對(duì)于超分辨率任務(wù)，空間注意力機(jī)制可以讓模型更加關(guān)注邊緣、紋理等關(guān)鍵區(qū)域，從而生成更高質(zhì)量的細(xì)；

18、損失函數(shù)模塊，使用l1損失(mean?absolute?error,mae)計(jì)算生成圖像和真實(shí)圖像在像素值上的絕對(duì)差異。用于模型訓(xùn)練中計(jì)算損失函數(shù)。

19、為了提供高模型的適應(yīng)性和處理精度，制作基于深度學(xué)習(xí)的局部隱式圖像函數(shù)(liif)超分模型的訓(xùn)練數(shù)據(jù)集，并將訓(xùn)練數(shù)據(jù)集輸入基于深度學(xué)習(xí)的局部隱式圖像函數(shù)(liif)超分模型進(jìn)行訓(xùn)練，得到訓(xùn)練后的圖像超分模型，利用訓(xùn)練后的圖像超分模型對(duì)圖像p4進(jìn)行任意倍率(醫(yī)生希望看的倍率)的超分，得到最終在上位機(jī)中顯示的圖像p5。

20、上述訓(xùn)練數(shù)據(jù)集包括：開源數(shù)據(jù)集div2k、celebahq、1000張電子高清電子內(nèi)窺鏡拍攝的結(jié)腸部分圖像和1000張膠囊內(nèi)窺鏡拍攝的結(jié)腸部位圖像。

21、上述訓(xùn)練過程包括：

22、圖像降采樣：從高分辨率圖像(high-resolution?images,hr)通過降采樣獲得低分辨率圖像，降采樣過程中，圖像的空間分辨率降低，細(xì)節(jié)信息減少；

23、數(shù)據(jù)增強(qiáng)：對(duì)低分辨率圖像和高分辨率圖像同時(shí)進(jìn)行隨機(jī)裁剪、旋轉(zhuǎn)、翻轉(zhuǎn)和色彩調(diào)整操作，增加數(shù)據(jù)多樣性，防止模型過擬合，提高模型的泛化能力；

24、特征提?。旱头直媛蕡D像輸入預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)(resnet)，提取圖像的多尺度特征表示，提取的特征包含圖像的局部和全局信息，為后續(xù)的隱式函數(shù)網(wǎng)絡(luò)提供輸入；

25、生成坐標(biāo)編碼：將圖像坐標(biāo)進(jìn)行編碼，使用傅里葉變換進(jìn)行高維表示，以增強(qiáng)模型對(duì)空間信息的感知；

26、特征融合：將提取的圖像特征和編碼后的坐標(biāo)拼接，作為隱式函數(shù)網(wǎng)絡(luò)的輸入，將融合后的特征輸入多層感知器(mlp)網(wǎng)絡(luò)，通過多個(gè)全連接層與激活函數(shù)的堆疊，使得模型能夠?qū)W習(xí)到更復(fù)雜的函數(shù)關(guān)系，從而準(zhǔn)確地預(yù)測(cè)高分辨率圖像的像素值；

27、計(jì)算損失與反向傳播：計(jì)算生成圖像與真實(shí)高分辨率圖像之間的像素級(jí)差異，通過反向傳播算法計(jì)算損失函數(shù)相對(duì)于模型參數(shù)的梯度，更新模型參數(shù)，直到收斂，得到超分模型。

28、作為一種具體的實(shí)現(xiàn)方案，上述s4中，超分模型讀取步圖像p4，將其像素值歸一化成[0,1]之間的張量t，之后將張量t輸入到特征提取網(wǎng)絡(luò)resnet中，通過一系列的卷積、池化、歸一化后，于最后的全連接層前，提取出張量t的高層次的特征張量f；之后，隱函數(shù)網(wǎng)絡(luò)將圖像的特征圖與高分辨率坐標(biāo)結(jié)合起來，通過一個(gè)多層感知網(wǎng)絡(luò)(mlp)來生成高分辨率圖像的像素值；在坐標(biāo)編碼模塊中通過指定的分辨率調(diào)整倍率生成目標(biāo)高分辨率圖像p5坐標(biāo)(x_new,y_new)，在特征融合模塊中根據(jù)特征張量f提取與高分辨率圖像p5坐標(biāo)對(duì)應(yīng)的局部特征f2，最后將局部特征f2和高分辨率坐標(biāo)(x_new,y_new)輸入隱函數(shù)將圖像的局部特征映射到連續(xù)隱空間；最后，在預(yù)測(cè)模塊中，通過在高分辨率網(wǎng)絡(luò)上進(jìn)行查詢，將上述隱函數(shù)計(jì)算的數(shù)值解碼成對(duì)應(yīng)位置的高分辨率像素值，通過隱函數(shù)進(jìn)行插值，生成目標(biāo)高分辨率圖像，這個(gè)過程可以理解為從隱函數(shù)中“取樣”生成圖像的高分辨率細(xì)節(jié)。

29、本發(fā)明未提及的技術(shù)均參照現(xiàn)有技術(shù)。

30、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

31、1、將圖像處理部分轉(zhuǎn)移到外部接收設(shè)備中處理，可以降低功耗，膠囊內(nèi)窺鏡的內(nèi)部電池容量有限，通過減少內(nèi)部的圖像處理工作，可以顯著降低功耗，從而延長設(shè)備的工作時(shí)間，確保膠囊能夠完成整個(gè)消化道的檢查。減少膠囊內(nèi)的處理任務(wù)，可以減少電子元件的熱量產(chǎn)生，降低溫度升高對(duì)膠囊和人體的潛在影響。外部接收設(shè)備可以實(shí)時(shí)處理和分析接收到的圖像數(shù)據(jù)，并即時(shí)反饋給操作人員，幫助其在檢查過程中進(jìn)行調(diào)整。

32、2、使用基于liif超分模型進(jìn)行圖像分辨率的調(diào)整，能夠處理任意放大倍數(shù)的超分辨率任務(wù)，而不局限于預(yù)定義的固定放大倍數(shù)(如2x、4x)。由于能夠生成任意分辨率圖像，可以更加精細(xì)地重建圖像細(xì)節(jié)，提升至少40％的圖像分辨力。還可以提升圖像的整體質(zhì)量和視覺效果，能夠更好地處理圖像中的復(fù)雜幾何變形，如旋轉(zhuǎn)、縮放和透視變換，提供更加魯棒的圖像重建能力。最重要的是能夠保留和重建復(fù)雜的圖像結(jié)構(gòu)和細(xì)節(jié)，如紋理、邊緣和細(xì)小物體。

33、3、適應(yīng)性處理復(fù)雜的內(nèi)窺鏡圖像：膠囊內(nèi)窺鏡圖像通常具有復(fù)雜的背景和不規(guī)則的組織結(jié)構(gòu)。liif模型通過局部隱函數(shù)的方法可以更好地適應(yīng)這些復(fù)雜的場(chǎng)景。在處理內(nèi)窺鏡圖像時(shí)，liif可以從局部信息中提取更精細(xì)的特征，從而提升圖像的清晰度和細(xì)節(jié)表現(xiàn)。

34、4、增強(qiáng)細(xì)微結(jié)構(gòu)的分辨率：膠囊內(nèi)窺鏡圖像中的細(xì)微結(jié)構(gòu)(如粘膜紋理、微小病變、扁平息肉)對(duì)診斷至關(guān)重要。liif模型能夠通過隱式函數(shù)更精確地還原這些細(xì)節(jié)，特別是在需要高分辨率觀察的情況下，例如識(shí)別微小病變時(shí)，可以提供更高質(zhì)量的放大圖像。

35、5、多尺度信息融合：膠囊內(nèi)窺鏡圖像往往包含不同尺度的病變信息。liif模型的多分辨率支持能力允許在不同尺度下生成圖像，能夠幫助醫(yī)生更好地觀察并分析不同大小的病變，提升診斷的準(zhǔn)確性。

36、6、靈活適應(yīng)不同分辨率要求：在實(shí)際應(yīng)用中，不同的診斷場(chǎng)景可能需要不同的圖像分辨率。liif模型可以根據(jù)具體需求靈活調(diào)整圖像的分辨率，從而為不同的診斷任務(wù)提供最優(yōu)的圖像質(zhì)量。

37、7、提升圖像采集效率和降低存儲(chǔ)需求：膠囊內(nèi)窺鏡設(shè)備受限于尺寸和電池容量，通常圖像采集的分辨率和數(shù)量受到限制。通過應(yīng)用liif模型，可以在低分辨率圖像的基礎(chǔ)上生成高質(zhì)量的超分辨率圖像，減少原始圖像的采集需求，從而降低設(shè)備負(fù)擔(dān)，延長膠囊工作時(shí)間。

38、8、無監(jiān)督或弱監(jiān)督學(xué)習(xí)的潛力：膠囊內(nèi)窺鏡圖像通常難以獲得高質(zhì)量的標(biāo)注數(shù)據(jù)。liif的隱式表示方法為無監(jiān)督或弱監(jiān)督學(xué)習(xí)提供了潛力，能夠在缺乏高分辨率標(biāo)注數(shù)據(jù)的情況下仍然生成高質(zhì)量的超分辨率圖像。

39、9、在模型中加入了se注意力機(jī)制，提升了模型的魯棒性與泛化能力，是的模型在處理復(fù)雜圖像(膠囊內(nèi)窺鏡圖像)時(shí)，圖像中可能包含大量不相關(guān)的背景信息?？梢詼p少這些不重要區(qū)域的影響，突出重點(diǎn)區(qū)域，提升模型在關(guān)鍵區(qū)域的表現(xiàn)。