一種光學(xué)相干斷層圖像超分辨率重建方法和裝置的制造方法
【專利摘要】本發(fā)明提供了一種光學(xué)相干斷層圖像超分辨率重建方法和裝置，其中，該方法包括：獲取三維低分辨率OCT圖像；將三維低分辨率OCT圖像在時間維度劃分為多個相似幀組，并將多個相似幀組中的每幀OCT圖像分別劃分為多個膜層；將每幀OCT圖像劃分為多個重疊的圖像塊，并在每個圖像塊對應(yīng)的膜層內(nèi)確定每個圖像塊的多個相似圖像塊；根據(jù)確定的每個圖像塊的多個相似圖像塊，得到每個圖像塊的平均圖像塊；通過預(yù)先構(gòu)建的高?低分辨率字典對以及相應(yīng)的稀疏系數(shù)的映射方程，對得到的每個圖像塊的平均圖像塊進(jìn)行處理，得到三維低分辨率OCT圖像的高分辨率圖像。
【專利說明】
一種光學(xué)相干斷層圖像超分辨率重建方法和裝置
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，具體而言，涉及一種光學(xué)相干斷層（Optical Coherence Tomography，OCT)圖像超分辨率重建方法和裝置。
【背景技術(shù)】
[0002] 目前，光學(xué)相干斷層成像是一種重要的醫(yī)學(xué)成像技術(shù)，在眼科臨床中有著廣泛的 應(yīng)用。眼科0CT圖像中主要包含復(fù)雜的膜層結(jié)構(gòu)（如:視網(wǎng)膜有視神經(jīng)纖維層、色素上皮層、 內(nèi)外節(jié)層等多個膜層，且每個膜層內(nèi)包含玻璃膜疣、神經(jīng)血管等不同結(jié)構(gòu)）。眼科醫(yī)生通過 分析不同膜層的厚度和形變來對疾病進(jìn)行診斷。臨床診斷通常需要高分辨率的0CT圖像，以 準(zhǔn)確反映復(fù)雜的膜層病理結(jié)構(gòu)。但高分辨率圖像的獲取需采用很高的空間-時間采樣頻率， 從而延長成像時間，并造成病患成像過程中的痛楚。降低圖像采樣頻率，并用超分辨率技術(shù) 來重建是快速獲取高分辨率圖像的一種有效途徑。
[0003] 相關(guān)技術(shù)中，基于稀疏表示進(jìn)行超分辨率圖像重建的過程中，假設(shè)高-低分辨率圖 像在對應(yīng)字典的表示下具有相同的稀疏表示系數(shù)，通過聯(lián)合字典學(xué)習(xí)方式得到高-低分辨 率圖像字典對，然后將低分辨率測試圖像在低分辨率字典上進(jìn)行稀疏表示，結(jié)合低分辨率 圖像的稀疏表示系數(shù)和高分辨率字典來重建高分辨率圖像。
[0004] 在實現(xiàn)本發(fā)明過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)中至少存在如下問題：
[0005] 上述基于稀疏表示進(jìn)行超分辨率圖像重建方法僅利用二維圖像中單一圖像塊中 的局部信息，并未考慮光學(xué)相干斷層圖像膜層結(jié)構(gòu)中的非局部相似性和三維相鄰圖像間的 相關(guān)性，因而重建過程中易受噪聲干擾，重構(gòu)效果較差。

【發(fā)明內(nèi)容】

[0006] 有鑒于此，本發(fā)明實施例的目的在于提供一種光學(xué)相干斷層圖像超分辨率重建方 法和裝置，可以提升0CT圖像重建效率和質(zhì)量。
[0007] 第一方面，本發(fā)明實施例提供了一種光學(xué)相干斷層0CT圖像超分辨率重建方法，包 括：
[0008] 獲取三維低分辨率0CT圖像；
[0009] 將所述三維低分辨率0CT圖像在時間維度劃分為多個相似幀組，并將多個所述相 似幀組中的每幀0CT圖像分別劃分為多個膜層；
[0010] 將所述每幀0CT圖像劃分為多個重疊的圖像塊，并在每個所述圖像塊對應(yīng)的膜層 內(nèi)確定每個所述圖像塊的多個相似圖像塊；
[0011]根據(jù)確定的每個所述圖像塊的多個相似圖像塊，得到每個所述圖像塊的平均圖像 塊；
[0012] 通過預(yù)先構(gòu)建的高-低分辨率字典對以及相應(yīng)的稀疏系數(shù)的映射方程，對得到的 每個所述圖像塊的平均圖像塊進(jìn)行處理，得到所述三維低分辨率0CT圖像的高分辨率圖像。
[0013] 結(jié)合第一方面，本發(fā)明實施例提供了第一方面的第一種可能的實施方式，其中：所 述方法還包括：
[0014] 構(gòu)建多組相互匹配的高-低分辨率0CT圖像作為訓(xùn)練樣本；
[0015] 將所述多組高-低分辨率訓(xùn)練圖像中的每個訓(xùn)練圖像劃分為多個膜層；
[0016] 從劃分后的所述多個膜層中的每個膜層中抽取圖像塊，并根據(jù)抽取的所述圖像塊 構(gòu)建所述每個膜層的高-低訓(xùn)練子集；
[0017] 在所述每個膜層的所述高-低訓(xùn)練子集構(gòu)建高-低分辨率字典對以及相應(yīng)的稀疏 系數(shù)的映射方程。
[0018] 結(jié)合第一方面，本發(fā)明實施例提供了第一方面的第二種可能的實施方式，其中：在 所述每個膜層的所述高-低訓(xùn)練子集構(gòu)建高-低分辨率字典對以及相應(yīng)的稀疏系數(shù)的映射 方程，包括：
[0019] 通過對偶超分辨率字典訓(xùn)練算法求解以下公式，從而構(gòu)建高-低分辨率字典對以 及相應(yīng)的稀疏系數(shù)的映射方程：
[00201
[0021 ]其中，Df表示高分辨率字典，Df表示低分辨率字典，Af和A,￡分別表示高-低分 辨率稀疏系數(shù)矩陣，Mr表示稀疏系數(shù)的映射方程，||·||^表示矩陣的Frobenius范數(shù)，| | · | |〇 表示0范數(shù)，λ#Ρλ2分別表示約束條件的權(quán)重因子。
[0022] 結(jié)合第一方面，本發(fā)明實施例提供了第一方面的第三種可能的實施方式，其中：所 述在每個所述圖像塊對應(yīng)的膜層內(nèi)確定每個所述圖像塊的多個相似圖像塊，包括：
[0023] 通過以下公式確定每個所述圖像塊與所述膜層的預(yù)設(shè)區(qū)域內(nèi)的圖像塊的歐氏距 ^d(xi,r , Xj,r)：
[0024]
[0025] 其中，Xl,r表示劃分后得到的多個重疊的圖像塊中的一個圖像塊，xy表示預(yù)設(shè)區(qū) 域內(nèi)所搜尋到的第j個圖像塊，Λ表示預(yù)設(shè)區(qū)域內(nèi)所有圖像塊的子集，| | · | |2表示2范數(shù)；
[0026] 根據(jù)得到的所述多個重疊的圖像塊中的每個圖像塊與所述預(yù)設(shè)區(qū)域內(nèi)各圖像塊 的歐氏距離，確定每個所述圖像塊的多個相似圖像塊。
[0027] 結(jié)合第一方面，本發(fā)明實施例提供了第一方面的第四種可能的實施方式，其中：所 述根據(jù)確定的每個所述圖像塊的多個相似圖像塊，得到每個所述圖像塊的平均圖像塊，包 括：
[0028] 對確定的每個所述圖像塊的多個相似圖像塊進(jìn)行加權(quán)平均去噪處理，得到每個所 述圖像塊的平均圖像塊。
[0029] 結(jié)合第一方面，本發(fā)明實施例提供了第一方面的第五種可能的實施方式，其中：所 述通過預(yù)先構(gòu)建的高-低分辨率字典對以及相應(yīng)的稀疏系數(shù)的映射方程，對得到的每個所 述圖像塊的平均圖像塊進(jìn)行處理，得到所述三維低分辨率0CT圖像的高分辨率圖像，包括：
[0030] 通過對以下公式進(jìn)行計算，得到稀疏系數(shù)
[0031]
[0032] 其中，是指第t幀第r膜層中的第i空間位置所抽取的圖像塊，表示:<；；；所 對應(yīng)的稀疏表示系數(shù)，J表示稀疏系數(shù)中非零元素的個數(shù)；
[0033]根據(jù)得到的所述稀疏系數(shù)、映射方程Mr和高分辨率字典Df，對每個所述圖像塊的 平均圖像塊進(jìn)行處理，得到高分辨率圖像塊；
[0034]根據(jù)得到的高分辨率圖像塊對所述三維低分辨率0CT圖像進(jìn)行重建，得到所述三 維低分辨率0CT圖像的高分辨率圖像。
[0035]第二方面，本發(fā)明實施例提供了一種光學(xué)相干斷層0CT圖像超分辨率重建裝置，包 括：
[0036]圖像獲取模塊，用于三維低分辨率0CT圖像；
[0037] 劃分模塊，用于將所述三維低分辨率0CT圖像在時間維度劃分為多個相似幀組，并 將多個所述相似幀組中的每幀0CT圖像分別劃分為多個膜層；
[0038] 相似圖像處理模塊，用于將所述每幀0CT圖像劃分為多個重疊的圖像塊，并在每個 所述圖像塊對應(yīng)的膜層內(nèi)確定每個所述圖像塊的多個相似圖像塊；
[0039] 平均圖像處理模塊，用于根據(jù)確定的每個所述圖像塊的多個相似圖像塊，得到每 個所述圖像塊的平均圖像塊；
[0040]圖像重建模塊，用于通過預(yù)先構(gòu)建的高-低分辨率字典對以及相應(yīng)的稀疏系數(shù)的 映射方程，對得到的每個所述圖像塊的平均圖像塊進(jìn)行處理，得到所述三維低分辨率0CT圖 像的高分辨率圖像。
[0041]結(jié)合第二方面，本發(fā)明實施例提供了第二方面的第一種可能的實施方式，其中：所 述裝置還包括：
[0042]訓(xùn)練樣本構(gòu)建模塊，用于構(gòu)建多組相互匹配的高-低分辨率0CT圖像作為訓(xùn)練樣 本；
[0043]處理模塊，用于將所述多組高-低分辨率訓(xùn)練圖像中的每個訓(xùn)練圖像劃分為多個 膜層；
[0044]訓(xùn)練子集構(gòu)建模塊，用于從劃分后的所述多個膜層中的每個膜層中抽取圖像塊， 并根據(jù)抽取的所述圖像塊構(gòu)建所述每個膜層的高-低訓(xùn)練子集；
[0045] 字典構(gòu)建模塊，用于在所述每個膜層的所述高-低訓(xùn)練子集構(gòu)建高-低分辨率字典 對以及相應(yīng)的稀疏系數(shù)的映射方程。
[0046] 結(jié)合第二方面，本發(fā)明實施例提供了第二方面的第二種可能的實施方式，其中：所 述字典構(gòu)建模塊，包括：
[0047] 計算單元，用于通過對偶超分辨率字典訓(xùn)練算法求解以下公式，從而構(gòu)建高-低分 辨率字典對以及相應(yīng)的稀疏系數(shù)的映射方程：
[0048]
[0049] 其中，Df表示高分辨率字典，Df表示低分辨率字典，Af和Af :分別表示高-低分 辨率稀疏系數(shù)矩陣，Mr表示稀疏系數(shù)的映射方程，|·||^表示矩陣的Frobenius范數(shù)，I I · I |〇 表示0范數(shù)，λ#Ρλ2分別表示約束條件的權(quán)重因子。
[0050] 結(jié)合第二方面，本發(fā)明實施例提供了第二方面的第三種可能的實施方式，其中：所 述相似圖像處理模塊，包括：
[0051] 處理單元，用于通過以下公式確定每個所述圖像塊與所述膜層的預(yù)設(shè)區(qū)域內(nèi)的圖 像塊的歐氏距離d(Xl， r，Xj，r):
[0052]
[0053] 其中，Xl,r表示劃分后得到的多個重疊的圖像塊中的一個圖像塊，Xu表示預(yù)設(shè)區(qū) 域內(nèi)所搜尋到的第j個圖像塊，Λ表示預(yù)設(shè)區(qū)域內(nèi)所有圖像塊的子集，| | · | |2表示2范數(shù)； [0054]相似圖像確定單元，用于根據(jù)得到的所述多個重疊的圖像塊中的每個圖像塊與所 述預(yù)設(shè)區(qū)域內(nèi)各圖像塊的歐氏距離，確定每個所述圖像塊的多個相似圖像塊。
[0055]本發(fā)明實施例提供的光學(xué)相干斷層圖像超分辨率重建方法和裝置，將三維低分辨 率0CT圖像在時間維度劃分的每幀0CT圖像分別劃分為多個膜層，將每幀0CT圖像劃分為多 個重疊的圖像塊，并在每個圖像塊對應(yīng)的膜層內(nèi)確定每個圖像塊的多個相似圖像塊，然后 根據(jù)確定的每個圖像塊的多個相似圖像塊，得到每個圖像塊的平均圖像塊，最后對得到的 每個圖像塊的平均圖像塊進(jìn)行處理，完成對光學(xué)相干斷層圖像的重建，與現(xiàn)有技術(shù)中的僅 利用二維圖像中單一圖像塊中的局部信息對圖像進(jìn)行重建的過程相比，充分利用分割膜層 內(nèi)結(jié)構(gòu)的非局部相似性，能快速尋找相似圖像塊，并通過加權(quán)平均處理來減少噪聲對超分 重構(gòu)的影響，而且，利用三維光學(xué)相干斷層圖像時間維度的相關(guān)性，將相鄰多個圖像塊同時 分解和超分辨率重構(gòu)，從而提高圖像重構(gòu)的效率和精度。
[0056]為使本發(fā)明的上述目的、特征和優(yōu)點能更明顯易懂，下文特舉較佳實施例，并配合 所附附圖，作詳細(xì)說明如下。
【附圖說明】
[0057] 為了更清楚地說明本發(fā)明實施例的技術(shù)方案，下面將對實施例中所需要使用的附 圖作簡單地介紹，應(yīng)當(dāng)理解，以下附圖僅示出了本發(fā)明的某些實施例，因此不應(yīng)被看作是對 范圍的限定，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這 些附圖獲得其他相關(guān)的附圖。
[0058] 圖1示出了本發(fā)明實施例1所提供的一種光學(xué)相干斷層圖像超分辨率重建方法的 流程圖；
[0059]圖2示出了本發(fā)明實施例3所提供的一種光學(xué)相干斷層圖像超分辨率重建裝置的 結(jié)構(gòu)示意圖。
【具體實施方式】
[0060]為使本發(fā)明實施例的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合本發(fā)明實施例 中附圖，對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實施例僅僅 是本發(fā)明一部分實施例，而不是全部的實施例。通常在此處附圖中描述和示出的本發(fā)明實 施例的組件可以以各種不同的配置來布置和設(shè)計。因此，以下對在附圖中提供的本發(fā)明的 實施例的詳細(xì)描述并非旨在限制要求保護(hù)的本發(fā)明的范圍，而是僅僅表示本發(fā)明的選定實 施例。基于本發(fā)明的實施例，本領(lǐng)域技術(shù)人員在沒有做出創(chuàng)造性勞動的前提下所獲得的所 有其他實施例，都屬于本發(fā)明保護(hù)的范圍。
[0061 ]相關(guān)技術(shù)中，基于稀疏表示進(jìn)行超分辨率圖像重建方法僅訓(xùn)練一對高-低分辨率 字典，難以有效重建0CT圖像中復(fù)雜的層狀結(jié)構(gòu)信息；而且，僅利用二維圖像中單一圖像塊 中的局部信息，并未考慮光學(xué)相干斷層圖像膜層結(jié)構(gòu)中的非局部相似性和三維相鄰圖像間 的相關(guān)性，因而重建過程中易受噪聲干擾，重構(gòu)效果較差。基于此，本申請?zhí)峁┑囊环N光學(xué) 相干斷層圖像超分辨率重建方法和裝置。
[0062] 實施例1
[0063] 為便于對本實施例進(jìn)行理解，首先對本發(fā)明實施例所公開的一種光學(xué)相干斷層圖 像超分辨率重建方法進(jìn)行詳細(xì)介紹。
[0064] 本實施例提出的光學(xué)相干斷層圖像超分辨率重建方法，執(zhí)行主體是服務(wù)器，將三 維低分辨率0CT圖像在時間維度劃分的每幀0CT圖像分別劃分為多個膜層，將每幀0CT圖像 劃分為多個重疊的圖像塊，并在每個圖像塊對應(yīng)的膜層內(nèi)確定每個圖像塊的多個相似圖像 塊，然后根據(jù)確定的每個圖像塊的多個相似圖像塊，得到每個圖像塊的平均圖像塊，最后對 得到的每個圖像塊的平均圖像塊進(jìn)行處理，完成對光學(xué)相干斷層圖像的重建。
[0065] 服務(wù)器，可以采用任何可以進(jìn)行0CT圖像重建的計算設(shè)備，這里不再一一贅述。
[0066] 參見圖1，本實施例提出一種0CT圖像超分辨率重建方法，包括以下步驟：
[0067] 步驟100、獲取三維低分辨率0CT圖像。
[0068] 其中，服務(wù)器所獲取到的三維低分辨率圖像是0CT成像設(shè)備通過僅在空間維度減 少米樣頻率得到的。
[0069] 步驟102、將三維低分辨率0CT圖像在時間維度劃分為多個相似幀組，并將多個相 似幀組中的每幀0CT圖像分別劃分為多個膜層。
[0070] 在上述步驟102中，采用基于圖論的膜層分割和K均值分類技術(shù)將每幀0CT圖像劃 分為多個膜層。
[0071 ]優(yōu)選地，每個相似幀組中包括5個相鄰幀，將每幀0CT圖像分別劃分為9個膜層。 [0072]步驟104、將每幀0CT圖像劃分為多個重疊的圖像塊，并在每個圖像塊對應(yīng)的膜層 內(nèi)確定每個圖像塊的多個相似圖像塊。
[0073] 其中，上述步驟104包括以下步驟(1)至步驟(2):
[0074] (1)通過以下公式確定每個圖像塊與膜層的預(yù)設(shè)區(qū)域內(nèi)的圖像塊的歐氏距離d (xi,r , Xj,r)：
[0075]
[0076] 其中，Xl,r表示劃分后得到的多個重疊的圖像塊中的一個圖像塊，Xj, r表示預(yù)設(shè)區(qū) 域內(nèi)所搜尋到的第j個圖像塊，Λ表示預(yù)設(shè)區(qū)域內(nèi)所有圖像塊的子集，| | · | |2表示2范數(shù)；
[0077] (2)根據(jù)得到的多個重疊的圖像塊中的每個圖像塊與預(yù)設(shè)區(qū)域內(nèi)各圖像塊的歐氏 距離，確定每個圖像塊的多個相似圖像塊。
[0078] 步驟106、根據(jù)確定的每個圖像塊的多個相似圖像塊，得到每個圖像塊的平均圖像 塊。
[0079] 其中，上述步驟106包括以下步驟：
[0080] 對確定的每個圖像塊的多個相似圖像塊進(jìn)行加權(quán)平均去噪處理，得到每個圖像塊 的平均圖像塊。
[0081] 具體地，對確定的每個圖像塊的多個相似圖像塊進(jìn)行加權(quán)平均去噪處理，得到每 個圖像塊的平均圖像塊，具體包括以下步驟：
[0082] 通過以下公式，將搜索到的多個相似圖像塊進(jìn)行加權(quán)平均處理：
[0083] 1=1
[0084] 其中，表示所找到的相似圖像塊，6^是圖像塊4的權(quán)值，它可通過如下方程 計算：
[0085]
[0086]其中，q為預(yù)設(shè)常數(shù)，exp( ·)表示指數(shù)函數(shù)。
[0087] 優(yōu)選地，q為80。
[0088]步驟108、通過預(yù)先構(gòu)建的高-低分辨率字典對以及相應(yīng)的稀疏系數(shù)的映射方程， 對得到的每個圖像塊的平均圖像塊進(jìn)行處理，得到三維低分辨率0CT圖像的高分辨率圖像。 [0089] 具體地，步驟108包括以下步驟(1)至步驟(3):
[0090] (1)通過對以下公式進(jìn)行計算，得到稀疏系數(shù)0〇
[0091]
[0092] 其中，Χ;%是指第t幀第r膜層中的第i空間位置所抽取的圖像塊，表示X；^所 對應(yīng)的稀疏表示系數(shù)，J表示稀疏系數(shù)中非零元素的個數(shù)；
[0093] (2)根據(jù)得到的稀疏系數(shù)、映射方程Mr和高分辨率字典Df，對每個圖像塊的平均 圖像塊進(jìn)行處理，得到高分辨率圖像塊；
[0094] (3)根據(jù)得到的高分辨率圖像塊對三維低分辨率0CT圖像進(jìn)行重建，得到三維低分 辨率0CT圖像的高分辨率圖像。
[0095] 其中，高分辨率圖像，是指0CT成像設(shè)備獲得的高空間分辨率圖像。
[0096] 綜上所述，本發(fā)明實施例提供的光學(xué)相干斷層圖像超分辨率重建方法，將三維低 分辨率OCT圖像在時間維度劃分的每幀OCT圖像分別劃分為多個膜層，將每幀OCT圖像劃分 為多個重疊的圖像塊，并在每個圖像塊對應(yīng)的膜層內(nèi)確定每個圖像塊的多個相似圖像塊， 然后根據(jù)確定的每個圖像塊的多個相似圖像塊，得到每個圖像塊的平均圖像塊，最后對得 到的每個圖像塊的平均圖像塊進(jìn)行處理，完成對光學(xué)相干斷層圖像的重建，與現(xiàn)有技術(shù)中 的僅利用二維圖像中單一圖像塊中的局部信息對圖像進(jìn)行重建的過程相比，充分利用分割 膜層內(nèi)結(jié)構(gòu)的非局部相似性，能快速尋找相似圖像塊，并通過加權(quán)平均處理來減少噪聲對 超分重構(gòu)的影響，而且，利用三維光學(xué)相干斷層圖像時間維度的相關(guān)性，將相鄰多個圖像塊 同時分解和超分辨率重構(gòu)，從而提高圖像重構(gòu)的效率和精度。
[0097]相關(guān)技術(shù)中，在對圖像進(jìn)行重建的過程中，僅訓(xùn)練一對高-低分辨率字典，難以有 效重建0CT圖像中復(fù)雜的層狀結(jié)構(gòu)信息，所以，為了有效重建0CT圖像中復(fù)雜的層狀結(jié)構(gòu)信 息，本實施例提供的光學(xué)相干斷層圖像超分辨率重建方法，還包括以下步驟(1)至步驟(4): [0098] (1)構(gòu)建多組相互匹配的高-低分辨率0CT圖像作為訓(xùn)練樣本；
[0099] (2)將多組高-低分辨率訓(xùn)練圖像中的每個訓(xùn)練圖像劃分為多個膜層；
[0100] (3)從劃分后的多個膜層中的每個膜層中抽取圖像塊，并根據(jù)抽取的圖像塊構(gòu)建 每個膜層的高-低訓(xùn)練子集；
[0101] (4)在每個膜層的高-低訓(xùn)練子集構(gòu)建高-低分辨率字典對以及相應(yīng)的稀疏系數(shù)的 映射方程。
[0102] 在上述步驟1中，構(gòu)建多組相互匹配的高-低分辨率0CT圖像作為訓(xùn)練樣本的過程 包括：
[0103] 采用0CT成像設(shè)備對成像體同一位置重復(fù)采集40幅大小為500 X 1000低信噪比-高 分辨率圖像，并對它們進(jìn)行平均處理，以生成1幅大小為500 X 1000高信噪比-高分辨率的訓(xùn) 練圖像;從重復(fù)采集圖像中抽取1幅低信噪比-高分辨率圖像中，并對其進(jìn)行預(yù)設(shè)倍數(shù)下采 樣以生成對應(yīng)的低信噪比-低分辨率圖像;對不同成像體的相同位置重復(fù)以上采樣并處理N 次以構(gòu)建多組相互匹配的高-低分辨率0CT圖像作為訓(xùn)練樣本。
[0104] 在上述步驟2中，采用基于圖論的膜層分割和K均值分類技術(shù)將每幀0CT圖像劃分 為多個膜層。
[0105] 其中，對于眼球圖像來說，眼球視網(wǎng)膜的膜層信息主要集中在視神經(jīng)纖維層和色 素上皮細(xì)胞層之間，采用基于圖論的膜層分割方可自動判別視神經(jīng)纖維層和色素上皮細(xì)胞 層，并將其兩層中間區(qū)域分割為R-2層。對于其它區(qū)域(如:脈絡(luò)膜層)含有較少結(jié)構(gòu)信息，采 用K均值聚類方法將它們劃分為2層。
[0106] 在上述步驟3中，從低分辨率圖像中的第r個膜層區(qū)域依次抽取大小為4X4的低分 辨率圖像塊，并從對應(yīng)高分辨率圖像的相同區(qū)域抽取大小為4X(4XS)的高分辨率圖像塊。 將抽取出來的圖像塊矢量化后構(gòu)建相應(yīng)的高-低分辨率訓(xùn)練子集
[0107] 在上述步驟4中，在每個膜層的高-低訓(xùn)練子集構(gòu)建高-低分辨率字
典對以及相應(yīng) 的稀疏系數(shù)的映射方程，包括以下步驟：
[0108] 通過對偶超分辨率字典訓(xùn)練算法求解以下公式，從而構(gòu)建高-低分辨率字典對以 及相應(yīng)的稀疏系數(shù)的映射方程：
[0109]
[0110] 其中，Df表示高分辨率字典，它是用于高分辨率圖像塊集合Hf的稀疏求解;Df 表示低分辨率字典，它是用于低分辨率圖像塊集合H;z的稀疏求解；Af和分別表示高-低分辨率稀疏系數(shù)矩陣;M r表示稀疏系數(shù)的映射方程，它能反應(yīng)稀疏系數(shù)Α?和Af之間的 映射關(guān)系；|·|表示矩陣的Frobenius范數(shù)，U · | |〇表示0范數(shù)。&和\2是約束條件的權(quán)重因 子，它們可控制約束的權(quán)重。
[0111] 具體地，為了求解上述公式，可先求解如下公式1:
[0112]
[0113] 來獲得高-低分辨率字典友
[0114] 其中，|·Ε表示矩陣的Frobenius范數(shù)，|卜| |〇表示0范數(shù)，以計算矩陣中非零元素 個數(shù)，Af和Af分別表示高-低分辨率稀疏系數(shù)矩陣。此外，映射方程的獲取是求解 如下公式2:
[0115]
⑵
[0116] 其中，β是調(diào)節(jié)約束條件權(quán)重的參數(shù)，選取為0.001。
[0117] 方程(2)可轉(zhuǎn)化為如下公式3:
[0118]
(3)
[0119] 其中，I是單位矩陣，（·）Τ表示矩陣的轉(zhuǎn)置。
[0120] 綜上所述，通過構(gòu)建多組相互匹配的高-低分辨率0CT圖像作為訓(xùn)練樣本，并將多 組高-低分辨率訓(xùn)練圖像中的每個訓(xùn)練圖像劃分為多個膜層，然后對劃分后的多個膜層構(gòu) 建每個膜層的高-低訓(xùn)練子集，并以此構(gòu)建高-低分辨率字典對以及相應(yīng)的稀疏系數(shù)的映射 方程，來對圖像進(jìn)行重構(gòu)，從而有效的重建0CT圖像中復(fù)雜的層狀結(jié)構(gòu)信息。
[0121] 實施例2
[0122 ]參見圖2，本實施例提供一種0CT圖像超分辨率重建裝置，包括：
[0123] 圖像獲取模塊200，用于三維低分辨率0CT圖像；
[0124] 劃分模塊202,用于將三維低分辨率0CT圖像在時間維度劃分為多個相似幀組，并 將多個相似幀組中的每幀0CT圖像分別劃分為多個膜層；
[0125] 相似圖像處理模塊204,用于將每幀0CT圖像劃分為多個重疊的圖像塊，并在每個 圖像塊對應(yīng)的膜層內(nèi)確定每個圖像塊的多個相似圖像塊；
[0126] 平均圖像處理模塊206,用于根據(jù)確定的每個圖像塊的多個相似圖像塊，得到每個 圖像塊的平均圖像塊；
[0127] 圖像重建模塊208,用于通過預(yù)先構(gòu)建的高-低分辨率字典對以及相應(yīng)的稀疏系數(shù) 的映射方程，對得到的每個圖像塊的平均圖像塊進(jìn)行處理，得到三維低分辨率0CT圖像的高 分辨率圖像。
[0128] 相關(guān)技術(shù)中，在對圖像進(jìn)行重建的過程中，僅訓(xùn)練一對高-低分辨率字典，難以有 效重建0CT圖像中復(fù)雜的層狀結(jié)構(gòu)信息，所以，為了有效重建0CT圖像中復(fù)雜的層狀結(jié)構(gòu)信 息，本實施例提供的光學(xué)相干斷層圖像超分辨率重建裝置，還包括：
[0129] 訓(xùn)練樣本構(gòu)建模塊，用于構(gòu)建多組相互匹配的高-低分辨率0CT圖像作為訓(xùn)練樣 本；
[0130] 處理模塊，用于將多組高-低分辨率訓(xùn)練圖像中的每個訓(xùn)練圖像劃分為多個膜層；
[0131] 訓(xùn)練子集構(gòu)建模塊，用于從劃分后的多個膜層中的每個膜層中抽取圖像塊，并根 據(jù)抽取的圖像塊構(gòu)建每個膜層的高-低訓(xùn)練子集；
[0132] 字典構(gòu)建模塊，用于在每個膜層的高-低訓(xùn)練子集構(gòu)建高-低分辨率字典對以及相 應(yīng)的稀疏系數(shù)的映射方程。
[0133] 具體地，字典構(gòu)建模塊，包括：
[0134] 計算單元，用于通過對偶超分辨率字典訓(xùn)練算法求解以下公式，從而構(gòu)建高-低分 辨率字典對以及相應(yīng)的稀疏系數(shù)的映射方程：
[0135]
[0136] 其中，Df表示高分辨率字典，Df表示低分辨率字典，和Af分別表示高-低分 辨率稀疏系數(shù)矩陣，Mr表示稀疏系數(shù)的映射方程，|·^表示矩陣的Frobenius范數(shù)，| | · | |〇 表示0范數(shù)，λ#Ρλ2分別表示約束條件的權(quán)重因子。
[0137] 綜上所述，通過構(gòu)建多組相互匹配的高-低分辨率0CT圖像作為訓(xùn)練樣本，并將多 組高-低分辨率訓(xùn)練圖像中的每個訓(xùn)練圖像劃分為多個膜層，然后對劃分后的多個膜層構(gòu) 建每個膜層的高-低訓(xùn)練子集，并以此構(gòu)建高-低分辨率字典對以及相應(yīng)的稀疏系數(shù)的映射 方程，來對圖像進(jìn)行重構(gòu)，從而有效的重建0CT圖像中復(fù)雜的層狀結(jié)構(gòu)信息。
[0138] 具體地，上述相似圖像處理模塊204，包括：
[0139] 處理單元，用于通過以下公式確定每個圖像塊與膜層的預(yù)設(shè)區(qū)域內(nèi)的圖像塊的歐 氏距 |^|d(Xi,r，Xj,r):
[0140]
[0141] 其中，Xl,r表示劃分后得到的多個重疊的圖像塊中的一個圖像塊，Xu表示預(yù)設(shè)區(qū) 域內(nèi)所搜尋到的第j個圖像塊，Λ表示預(yù)設(shè)區(qū)域內(nèi)所有圖像塊的子集，I I · I |2表示2范數(shù)；
[0142] 相似圖像確定單元，用于根據(jù)得到的多個重疊的圖像塊中的每個圖像塊與預(yù)設(shè)區(qū) 域內(nèi)各圖像塊的歐氏距離，確定每個圖像塊的多個相似圖像塊。
[0143] 綜上所述，本發(fā)明實施例提供的光學(xué)相干斷層圖像超分辨率重建裝置，將三維低 分辨率0CT圖像在時間維度劃分的每幀0CT圖像分別劃分為多個膜層，將每幀0CT圖像劃分 為多個重疊的圖像塊，并在每個圖像塊對應(yīng)的膜層內(nèi)確定每個圖像塊的多個相似圖像塊， 然后根據(jù)確定的每個圖像塊的多個相似圖像塊，得到每個圖像塊的平均圖像塊，最后對得 到的每個圖像塊的平均圖像塊進(jìn)行處理，完成對光學(xué)相干斷層圖像的重建，與現(xiàn)有技術(shù)中 的僅利用二維圖像中單一圖像塊中的局部信息對圖像進(jìn)行重建的過程相比，充分利用分割 膜層內(nèi)結(jié)構(gòu)的非局部相似性，能快速尋找相似圖像塊，并通過加權(quán)平均處理來減少噪聲對 超分重構(gòu)的影響，而且，利用三維光學(xué)相干斷層圖像時間維度的相關(guān)性，將相鄰多個圖像塊 同時分解和超分辨率重構(gòu)，從而提高圖像重構(gòu)的效率和精度。
[0144] 本發(fā)明實施例所提供的進(jìn)行光學(xué)相干斷層圖像超分辨率重建方法的計算機程序 產(chǎn)品，包括存儲了程序代碼的計算機可讀存儲介質(zhì)，所述程序代碼包括的指令可用于執(zhí)行 前面方法實施例中所述的方法，具體實現(xiàn)可參見方法實施例，在此不再贅述。
[0145] 所屬領(lǐng)域的技術(shù)人員可以清楚地了解到，為描述的方便和簡潔，上述描述的系統(tǒng)、 裝置和單元的具體工作過程，可以參考前述方法實施例中的對應(yīng)過程，在此不再贅述。
[0146] 在本申請所提供的幾個實施例中，應(yīng)該理解到，所揭露的系統(tǒng)、裝置和方法，可以 通過其它的方式實現(xiàn)。以上所描述的裝置實施例僅僅是示意性的，例如，所述單元的劃分， 僅僅為一種邏輯功能劃分，實際實現(xiàn)時可以有另外的劃分方式，又例如，多個單元或組件可 以結(jié)合或者可以集成到另一個系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點，所顯示或討 論的相互之間的耦合或直接耦合或通信連接可以是通過一些通信接口，裝置或單元的間接 耦合或通信連接，可以是電性，機械或其它的形式。
[0147] 所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯 示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個 網(wǎng)絡(luò)單元上?？梢愿鶕?jù)實際的需要選擇其中的部分或者全部單元來實現(xiàn)本實施例方案的目 的。
[0148] 另外，在本發(fā)明各個實施例中的各功能單元可以集成在一個處理單元中，也可以 是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。
[0149] 所述功能如果以軟件功能單元的形式實現(xiàn)并作為獨立的產(chǎn)品銷售或使用時，可以 存儲在一個計算機可讀取存儲介質(zhì)中。基于這樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說 對現(xiàn)有技術(shù)做出貢獻(xiàn)的部分或者該技術(shù)方案的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計 算機軟件產(chǎn)品存儲在一個存儲介質(zhì)中，包括若干指令用以使得一臺計算機設(shè)備(可以是個 人計算機，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個實施例所述方法的全部或部分步驟。 而前述的存儲介質(zhì)包括:U盤、移動硬盤、只讀存儲器(R0M，Read-0nly Memory)、隨機存取存 儲器(RAM，Random Access Memory)、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。
[0150] 以上所述，僅為本發(fā)明的【具體實施方式】，但本發(fā)明的保護(hù)范圍并不局限于此，任何 熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到變化或替換，都應(yīng)涵 蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)所述以權(quán)利要求的保護(hù)范圍為準(zhǔn)。
【主權(quán)項】
1. 一種光學(xué)相干斷層OCT圖像超分辨率重建方法，其特征在于，包括： 獲取Ξ維低分辨率0CT圖像； 將所述Ξ維低分辨率0CT圖像在時間維度劃分為多個相似帖組，并將多個所述相似帖 組中的每帖0CT圖像分別劃分為多個膜層； 將所述每帖0CT圖像劃分為多個重疊的圖像塊，并在每個所述圖像塊對應(yīng)的膜層內(nèi)確 定每個所述圖像塊的多個相似圖像塊； 根據(jù)確定的每個所述圖像塊的多個相似圖像塊，得到每個所述圖像塊的平均圖像塊； 通過預(yù)先構(gòu)建的高-低分辨率字典對W及相應(yīng)的稀疏系數(shù)的映射方程，對得到的每個 所述圖像塊的平均圖像塊進(jìn)行處理，得到所述Ξ維低分辨率0CT圖像的高分辨率圖像。2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括： 構(gòu)建多組相互匹配的高-低分辨率0CT圖像作為訓(xùn)練樣本； 將所述多組高-低分辨率訓(xùn)練圖像中的每個訓(xùn)練圖像劃分為多個膜層； 從劃分后的所述多個膜層中的每個膜層中抽取圖像塊，并根據(jù)抽取的所述圖像塊構(gòu)建 所述每個膜層的高-低訓(xùn)練子集； 在所述每個膜層的所述高-低訓(xùn)練子集構(gòu)建高-低分辨率字典對W及相應(yīng)的稀疏系數(shù) 的映射方程。3. 根據(jù)權(quán)利要求2所述的方法，其特征在于，在所述每個膜層的所述高-低訓(xùn)練子集構(gòu) 建高-低分辨率字典對W及相應(yīng)的稀疏系數(shù)的映射方程，包括： 通過對偶超分辨率字典訓(xùn)練算法求解W下公式，從而構(gòu)建高-低分辨率字典對W及相 應(yīng)的稀疏系數(shù)的映射方巧：其中，Df表示高分辨率字典，表示低分辨率字典，Af和Af分別表示高-低分辨率 稀疏系數(shù)矩陣，Mr表示稀疏系數(shù)的映射方程，.2。:表示矩陣的Frobenius范數(shù)，I I · 11〇表示0 范數(shù)，λι和λ2分別表示約束條件的權(quán)重因子。4. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述在每個所述圖像塊對應(yīng)的膜層內(nèi)確定 每個所述圖像塊的多個相似圖像塊，包括： 通過W下公式確定每個所述圖像塊與所述膜層的預(yù)設(shè)區(qū)域內(nèi)的圖像塊的歐氏距離d (xi,r , Xj,r)：其中，Xi,r表示劃分后得到的多個重疊的圖像塊中的一個圖像塊，Xw表示預(yù)設(shè)區(qū)域內(nèi) 所捜尋到的第j個圖像塊，A表示預(yù)設(shè)區(qū)域內(nèi)所有圖像塊的子集，I I · 1|2表示2范數(shù)； 根據(jù)得到的所述多個重疊的圖像塊中的每個圖像塊與所述預(yù)設(shè)區(qū)域內(nèi)各圖像塊的歐 氏距離，確定每個所述圖像塊的多個相似圖像塊。5. 根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)確定的每個所述圖像塊的多個相 似圖像塊，得到每個所述圖像塊的平均圖像塊，包括： 對確定的每個所述圖像塊的多個相似圖像塊進(jìn)行加權(quán)平均去噪處理，得到每個所述圖 像塊的平均圖像塊。6. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過預(yù)先構(gòu)建的高-低分辨率字典對 W及相應(yīng)的稀疏系數(shù)的映射方程，對得到的每個所述圖像塊的平均圖像塊進(jìn)行處理，得到 所述Ξ維低分辨率OCT圖像的高分辨率圖像，包括： 通過對W下公式進(jìn)行計算，得到稀疏系數(shù):其中，X二':；是指第t帖第r膜層中的第i空間位置所抽取的圖像塊，α;:；；表示所對應(yīng) 的稀疏表示系數(shù)，J表示稀疏系數(shù)中非零元素的個數(shù)； 根據(jù)得到的所述稀疏系數(shù)、映射方程Mr和高分辨率字典Df，對每個所述圖像塊的平均 圖像塊進(jìn)行處理，得到高分辨率圖像塊； 根據(jù)得到的高分辨率圖像塊對所述Ξ維低分辨率OCT圖像進(jìn)行重建，得到所述Ξ維低 分辨率OCT圖像的高分辨率圖像。7. -種光學(xué)相干斷層OCT圖像超分辨率重建裝置，其特征在于，包括： 圖像獲取模塊，用于Ξ維低分辨率OCT圖像； 劃分模塊，用于將所述Ξ維低分辨率OCT圖像在時間維度劃分為多個相似帖組，并將多 個所述相似帖組中的每帖OCT圖像分別劃分為多個膜層； 相似圖像處理模塊，用于將所述每帖OCT圖像劃分為多個重疊的圖像塊，并在每個所述 圖像塊對應(yīng)的膜層內(nèi)確定每個所述圖像塊的多個相似圖像塊； 平均圖像處理模塊，用于根據(jù)確定的每個所述圖像塊的多個相似圖像塊，得到每個所 述圖像塊的平均圖像塊； 圖像重建模塊，用于通過預(yù)先構(gòu)建的高-低分辨率字典對W及相應(yīng)的稀疏系數(shù)的映射 方程，對得到的每個所述圖像塊的平均圖像塊進(jìn)行處理，得到所述Ξ維低分辨率OCT圖像的 高分辨率圖像。8. 根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述裝置還包括： 訓(xùn)練樣本構(gòu)建模塊，用于構(gòu)建多組相互匹配的高-低分辨率OCT圖像作為訓(xùn)練樣本； 處理模塊，用于將所述多組高-低分辨率訓(xùn)練圖像中的每個訓(xùn)練圖像劃分為多個膜層； 訓(xùn)練子集構(gòu)建模塊，用于從劃分后的所述多個膜層中的每個膜層中抽取圖像塊，并根 據(jù)抽取的所述圖像塊構(gòu)建所述每個膜層的高-低訓(xùn)練子集； 字典構(gòu)建模塊，用于在所述每個膜層的所述高-低訓(xùn)練子集構(gòu)建高-低分辨率字典對W 及相應(yīng)的稀疏系數(shù)的映射方程。9. 根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述字典構(gòu)建模塊，包括： 計算單元，用于通過對偶超分辨率字典訓(xùn)練算法求解W下公式，從而構(gòu)建高-低分辨率 字典對W及相應(yīng)的稀疏系數(shù)的映射方程：其中，Df表示高分辨率字典，表示低分辨率字典，Af和Α?分別表示高-低分辨率 稀疏系數(shù)矩陣，Mr表示稀疏系數(shù)的映射方程，|·￡表示矩陣的Frobenius范數(shù)，I I · I |〇表示0 范數(shù)，λι和λ2分別表示約束條件的權(quán)重因子。10.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述相似圖像處理模塊，包括： 處理單元，用于通過W下公式確定每個所述圖像塊與所述膜層的預(yù)設(shè)區(qū)域內(nèi)的圖像塊 的歐氏距離d(Xi,r，Xj,r):其中，Xi,r表示劃分后得到的多個重疊的圖像塊中的一個圖像塊，Xw表示預(yù)設(shè)區(qū)域內(nèi) 所捜尋到的第j個圖像塊，A表示預(yù)設(shè)區(qū)域內(nèi)所有圖像塊的子集，I I · 1|2表示2范數(shù)； 相似圖像確定單元，用于根據(jù)得到的所述多個重疊的圖像塊中的每個圖像塊與所述預(yù) 設(shè)區(qū)域內(nèi)各圖像塊的歐氏距離，確定每個所述圖像塊的多個相似圖像塊。
【文檔編號】G06T3/40GK105976321SQ201610311394
【公開日】2016年9月28日
【申請日】2016年5月11日
【發(fā)明人】方樂緣, 李樹濤
【申請人】湖南大學(xué)