本發(fā)明涉及中醫(yī)舌診領(lǐng)域，尤其涉及一種三維圖像重建方法。

背景技術(shù)：

舌診是中醫(yī)四診的重要組成部分，在許多中醫(yī)學(xué)著作中都有舌診的記載，其是中醫(yī)辨證論治的重要方法之一，歷代著名醫(yī)家都非常重視舌診的研究，使其不斷完善并形成中醫(yī)舌診學(xué)系統(tǒng)。

中醫(yī)學(xué)認(rèn)為“舌為心之侯，苔乃胃之明徵”，“有諸內(nèi)者必形于外”，舌體的不同區(qū)域直接或間接與人體五臟六腑相聯(lián)系，舌象的變化能夠更迅速地反應(yīng)疾病發(fā)展程度，客觀反映病情。醫(yī)生是這種生理變化的解讀者，通過觀察舌像，以了解人內(nèi)在所患疾病。由于舌像能反映人體的生理病理變化，是觀察體內(nèi)功能變化的一個(gè)窗口，因此在疾病診斷、早期發(fā)現(xiàn)、推斷預(yù)后都具有重要意義。

中醫(yī)舌診客觀化、定量化研究已有一定歷史。回顧其發(fā)展歷程，研究基礎(chǔ)分為二維舌像和三維舌像。當(dāng)前的客觀化舌診主要基于二維舌圖像，可得到顏色、紋理、形態(tài)、潤燥、舌苔薄厚等多個(gè)生理信息，在一定程度上能反映患者病理情況，如第二軍醫(yī)大學(xué)的岳小強(qiáng)等基于臨床總結(jié)了肝癌的舌色特征，并對其形成和臨床意義得出初步結(jié)論。由此可見，二維舌像客觀化研究對于自動(dòng)化疾病診斷和早期發(fā)現(xiàn)有非常重要意義，極大的推動(dòng)了中醫(yī)的全球化發(fā)展。但是由于二維舌像深度信息的缺失，也造成了部分生理信息的提取困難，如作為二維舌像分析基礎(chǔ)的舌體分割，當(dāng)前舌體分割方法有基于顏色的閾值分割法、snakes、圖論分割方法等，陳善超等人提出一種改進(jìn)的圖論分割方法，將多分辨分析與graph-based方法結(jié)合進(jìn)行舌體分割，韋玉科等人提出了改進(jìn)的grabcut方法，利用四叉樹分解對采集的舌體初分割，然后用相似區(qū)域的顏色均值優(yōu)化grabcut算法中高斯混合模型參數(shù)，最終實(shí)現(xiàn)舌體分割。而三維舌像只需利用深度信息即可完成舌體分割。同時(shí)二維舌像不能反映舌表面的齒痕、點(diǎn)刺、裂痕等細(xì)節(jié)信息，這些結(jié)構(gòu)也包含了部分生理病理信息，因此約束了舌像信息的全面性，妨礙了醫(yī)生的正確診斷。此外建立三維舌模型對多個(gè)領(lǐng)域都有極大的益處，如掌握人類發(fā)音過程中舌頭的形變規(guī)律對于頭頸外科醫(yī)生以及語言學(xué)家十分重要，此外在生物力學(xué)、人機(jī)交互、計(jì)算機(jī)輔助語言教學(xué)、電影制作等方面都將發(fā)揮極大的作用。因此，對于三維舌像的研究是十分必要且有價(jià)值的，已經(jīng)成為當(dāng)今舌診客觀化的研究熱點(diǎn)。

因?yàn)樯嗟碾[蔽性，對于舌像三維重建的研究始于上世紀(jì)80年代，起步晚研究少。研究者的側(cè)重點(diǎn)各有不同。一部分研究者為探究舌形狀與語言發(fā)音、表情的關(guān)系，因此研究重點(diǎn)在于基于模型的參數(shù)化舌模型建立，而另一部分研究者出發(fā)點(diǎn)是作為中醫(yī)舌診的醫(yī)學(xué)標(biāo)準(zhǔn)化診斷，注重于形狀、顏色及紋理，因此研究重點(diǎn)在于基于圖像或圖像與模型相結(jié)合的舌重建。先后有國外學(xué)者andrewj.lundberg、engwallo，用超聲圖像、mri圖像來重建舌形狀。jiyongma、mihaidanielilie利用三維建模軟件并參考舌體解剖學(xué)信息建立舌模型，前者在在中矢面上手動(dòng)選擇12個(gè)控制點(diǎn)來控制舌形狀變化，后者根據(jù)幾何特征選擇五個(gè)控制點(diǎn)，均可實(shí)現(xiàn)不同字母及表情的舌形狀。zhixiangchen在deng的基礎(chǔ)上提出新型肌肉控制舌模型，將舌肌肉分為內(nèi)在和外在肌肉，分別控制形變和運(yùn)動(dòng),對其分別建模，可實(shí)現(xiàn)自然舌運(yùn)動(dòng)及一些基本語言下的舌形狀，例如舌體卷曲。未來研究方向是模型總控制機(jī)制。chenjiang用三維mri圖像提供的醫(yī)學(xué)數(shù)據(jù)重建舌幾何模型，用有限元法實(shí)現(xiàn)舌的生物力學(xué)，得到了較好的效果。以上研究在可視化語言應(yīng)用領(lǐng)域得到良好的效果，但作為醫(yī)學(xué)診斷依據(jù)來說缺乏舌表面的細(xì)節(jié)信息，且需要精確復(fù)雜的解剖學(xué)信息。國內(nèi)的劉志提出基于多視點(diǎn)圖像和有限元法的舌重建，滿足真實(shí)舌的動(dòng)態(tài)特性但不能分辨舌表面的齒痕等細(xì)微結(jié)構(gòu)。呂慧娟等提出基于光度立體法的舌表面重建，能分辨舌表面細(xì)微結(jié)構(gòu)，但是實(shí)驗(yàn)基礎(chǔ)是基于靜態(tài)舌模型。因此需要一種同時(shí)滿足真實(shí)舌動(dòng)態(tài)特性和高分辨率的三維舌像重建方法。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明為了解決現(xiàn)有以醫(yī)學(xué)診斷為目的的三維舌像重建方法存在的真實(shí)舌動(dòng)態(tài)特性與分辨率不兼得的問題，公開了一種三維圖像重建方法，解決了真實(shí)舌重建的動(dòng)態(tài)特性和高分辨率不兼得的問題，并提供良好的照明環(huán)境，使得圖像清晰度大大提高，可用于醫(yī)學(xué)診斷。

為了實(shí)現(xiàn)上述目的，本發(fā)明采用如下方案：

一種三維圖像重建方法，其特征在于：包括以下步驟：

步驟一、2000cd光環(huán)境下進(jìn)行圖像對采集，得到標(biāo)定板圖像和舌圖像對；

步驟二、圖像預(yù)處理，滿足基線約束的舌圖像對，為線性增長提供初始特征點(diǎn)；

步驟三、改進(jìn)的線性種子點(diǎn)增長立體匹配算法，得到視差圖；

步驟四、視差圖感興趣區(qū)域提取及濾波，得到感興趣區(qū)域視差圖；

步驟五、點(diǎn)云重建及模型重建，得到舌像點(diǎn)云圖和完整舌模型。

進(jìn)一步的，所述步驟一用到的設(shè)備有投影儀、暗箱、計(jì)算機(jī)和兩部平行放置的相機(jī)；所述相機(jī)和所述投影儀放置在所述暗箱中，所述相機(jī)正對的所述暗箱側(cè)壁上設(shè)有舌位孔和下頜托；具體操作先由所述計(jì)算機(jī)控制所述相機(jī)采集不同角度的標(biāo)定板圖像，并開啟投影儀，再由所述計(jì)算機(jī)控制所述相機(jī)采集伸舌狀態(tài)下的舌像對；所述步驟一用到的設(shè)備有投影儀、暗箱、計(jì)算機(jī)和兩部平行放置的相機(jī)；所述相機(jī)和所述投影儀放置在所述暗箱中，所述相機(jī)正對的所述暗箱側(cè)壁上設(shè)有舌位孔和下頜托；具體操作先由所述計(jì)算機(jī)控制所述相機(jī)采集不同角度的標(biāo)定板圖像，并開啟投影儀，再由所述計(jì)算機(jī)控制所述相機(jī)采集伸舌狀態(tài)下的舌像對；所述投影儀為微型投影儀；所述暗箱(6)的左右兩側(cè)壁上分別安裝一個(gè)照明燈(11)；所述照明燈(11)為激光燈，且緊貼所述照明燈(11)的燈口處分別設(shè)有擴(kuò)束鏡，所述擴(kuò)束鏡與激光光束垂直；所述舌位孔左右兩側(cè)分別豎立設(shè)有一個(gè)反光鏡(12)，所述反光鏡(12)分別與所述兩束激光光束成45度角，且經(jīng)所述反光鏡(12)反射后的光束正好照在所述舌位孔(8)處；所述反光鏡(12)與所述舌位孔(8)之間分別設(shè)有一塊毛玻璃，并且兩塊所述毛玻璃分別與各自對應(yīng)的激光光束垂直。

進(jìn)一步的，所述相機(jī)為佳能700d相機(jī)。

進(jìn)一步的，所述暗箱由乳白色亞克力材料制成。

優(yōu)選的，所述相機(jī)基線長度為16cm，焦距為45mm；所述相機(jī)正對的暗箱側(cè)壁與所述相機(jī)中心的距離為1.2m；所述相機(jī)采集圖像的分辨率為1920x1280，所述相機(jī)快門速度為1/200s。

進(jìn)一步的，所述投影儀為紐曼ph06a微型投影儀。

優(yōu)選的，所述投影儀與所述舌位孔距離為55cm。

進(jìn)一步的，所述標(biāo)定板圖像不少于20個(gè)，且平整粘貼在標(biāo)定板上。

優(yōu)選的，所述標(biāo)定板圖像為63個(gè)；所述63個(gè)標(biāo)定圖像為大小為3cm的黑白相間正方形棋盤，橫向9個(gè)，縱向7個(gè)。

進(jìn)一步的，所述步驟二包括基線校正及邊緣提取。

進(jìn)一步的，所述基線校正及邊緣提取具體為：基于matlab標(biāo)定工具箱標(biāo)定系統(tǒng)，利用標(biāo)定結(jié)果對所述舌圖像對基線校正，截取校正后舌圖像對中舌體部分的圖像，利用canny算子提取舌圖像對的邊緣特征。

進(jìn)一步的，步驟三包括以下四個(gè)步驟(s1-s4)：

s1.輸入經(jīng)過所述圖像預(yù)處理的圖像，截取舌體區(qū)域；

s2.canny算法提取舌體區(qū)域邊緣特征；

s3.在唯一性、單調(diào)性等約束下根據(jù)ρδ(ssd)匹配特征點(diǎn)，所述δ選擇為2，線性增長閾值選擇為0.1；

s4.從初始種子點(diǎn)矩陣中，按順序選擇一對種子點(diǎn)，首先判斷種子點(diǎn)右側(cè)的點(diǎn)是否為初始種子點(diǎn)，如果不是種子點(diǎn)，則計(jì)算匹配相似性并判斷是否滿足匹配條件。如果是，則選擇下一對種子點(diǎn)。直至完成所有初始種子點(diǎn)的線性增長，至此得到舌體部分稠密的所述視差圖。

進(jìn)一步的，所述步驟四具體為：對所述視差圖橫向求導(dǎo)，確定所述視差圖導(dǎo)數(shù)突變位置，將左側(cè)突變位置的左側(cè)、右側(cè)突變位置的右側(cè)視差置0，即可得到感興趣區(qū)域、雙邊濾波平滑所述視差圖。

優(yōu)選的，所述雙邊濾波平滑視差圖的參數(shù)選擇為：濾波器半寬為4，空間鄰近度因子為5，亮度相似性因子為0.1。

進(jìn)一步的，所述步驟五依據(jù)所述感興趣部分舌體視差圖，根據(jù)視差測距法重建點(diǎn)云并粘貼紋理，利用geomagicstudio自動(dòng)修補(bǔ)功能擬合舌背，完成舌模型。

本發(fā)效果是基于雙目立體視覺的三維重建方法，能在5分鐘以內(nèi)的時(shí)間中以0.1626mm的重建精度完成真實(shí)舌表面重建和舌模型重建。相比長達(dá)數(shù)小時(shí)以mri、ct等醫(yī)學(xué)圖像為基礎(chǔ)的參數(shù)化舌模型重建方法，大大縮短了重建時(shí)間。相比劉志提出的基于多視點(diǎn)圖像和有限元法的舌重建法，其用到三部相機(jī)，減小了重建成本，提高了重建精度。相比呂慧娟等提出基于光度立體法的舌表面重建，滿足真實(shí)舌重建的動(dòng)態(tài)特性?；谌S數(shù)據(jù)提取三維特征，結(jié)合二維特征為疾病診斷和早期發(fā)現(xiàn)提供依據(jù)。此外建立三維舌模型對多個(gè)領(lǐng)域都有極大的益處，如掌握人類發(fā)音過程中舌頭的形變規(guī)律對于頭頸外科醫(yī)生以及語言學(xué)家十分重要，此外在生物力學(xué)、人機(jī)交互、計(jì)算機(jī)輔助語言教學(xué)、電影制作等方面都將發(fā)揮極大的作用。

附圖說明

圖1為本發(fā)明舌像重建方法流程圖。

圖2為本發(fā)明舌像重建系統(tǒng)結(jié)構(gòu)圖。

圖3為本發(fā)明點(diǎn)刺舌三維點(diǎn)云圖。

圖4為本發(fā)明齒痕舌三維點(diǎn)云圖。

圖5為本發(fā)明正常舌三維點(diǎn)云圖。

圖6為本發(fā)明正常舌模型主視圖。

圖7為本發(fā)明正常舌模型左視圖。

圖中：1、計(jì)算機(jī)2、usb數(shù)據(jù)線3、第一佳能700d4、第二佳能700d5、投影儀6、暗箱7、u盤8、舌位孔9、下頜托10、用戶11、照明燈12、反光板

具體實(shí)施方式

下面將結(jié)合附圖，對本申請實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，參考在附圖中示出并在以下描述中詳述的非限制性示例實(shí)施例，更加全面地說明本公開的示例實(shí)施例和它們的多種特征及有利細(xì)節(jié)。應(yīng)注意的是，圖中示出的特征不是必須按照比例繪制。本申請省略了已知材料、組件和工藝技術(shù)的描述，從而不使本申請的示例實(shí)施例模糊。所給出的示例僅旨在有利于理解本公開示例實(shí)施例的實(shí)施，以及進(jìn)一步使本領(lǐng)域技術(shù)人員能夠?qū)嵤┦纠龑?shí)施例。因而，這些示例不應(yīng)被理解為對本申請的實(shí)施例的范圍的限制。

除非另外特別定義，本申請使用的技術(shù)術(shù)語或者科學(xué)術(shù)語應(yīng)當(dāng)為本申請所屬領(lǐng)域內(nèi)具有一般技能的人所理解的通常意義。本公開中使用的“第一”、“第二”以及類似的詞語并不表示任何順序、體積、面積、尺寸或者重要性，而只是用來區(qū)分不同的組成部分。此外，在本申請各個(gè)實(shí)施例中，相同或類似的參考標(biāo)號(hào)表示相同或類似的構(gòu)件。

如圖1-2所示。一種三維圖像重建方法，步驟包括：步驟一、舌圖像對采集；步驟二、圖像預(yù)處理，包括：基線校正及邊緣提?。徊襟E三、改進(jìn)的線性種子點(diǎn)增長立體匹配算法；步驟四、視差圖感興趣區(qū)域提取及濾波；步驟五、點(diǎn)云重建及模型重建。

一、舌圖像對采集：舌像采集系統(tǒng)由兩部平行放置的佳能700d相機(jī)(即第一佳能700d3和第二佳能700d4)、投影儀5、暗箱6和計(jì)算機(jī)1組成。第一佳能700d和第二佳能700d分別通過usb數(shù)據(jù)線2與計(jì)算機(jī)1連接。暗箱6使采集環(huán)境能夠相對獨(dú)立于外部環(huán)境，盡可能減小外部天氣狀況，環(huán)境光照的影響，同時(shí)也使采集環(huán)境可以隨時(shí)控制和調(diào)節(jié)，其由乳白亞克力材料制成，用于均勻光照，減少反光點(diǎn)。相機(jī)和投影儀均按一定空間位置放置在暗箱中，相機(jī)正對的暗箱面上有成年人面部尺寸的舌位孔8和下頜托9，用戶10下頜置于下頜托9上，伸舌進(jìn)舌位孔8，使得用戶10可在測試過程舒適且防止了外界光源對舌表面的影響。舌表面屬于立體視覺中難處理的弱紋理區(qū)域且顏色相近，有效邊緣僅有舌體邊緣，因此利用投影儀產(chǎn)生黑白相間的條紋來增加舌表面的特征點(diǎn)，同時(shí)充當(dāng)照明設(shè)備。增加相機(jī)基線長度可提高場景點(diǎn)深度計(jì)算精度但也會(huì)造成遮擋，因此在不遮擋的情況下并考慮相機(jī)的實(shí)際尺寸，取基線長度為16cm，場景點(diǎn)與相機(jī)中心距離為1.2m。45mm焦距的相機(jī)可采集真彩色、高分辨率的舌圖像，同時(shí)其高幀速率和可調(diào)曝光時(shí)間解決了舌顫動(dòng)問題，圖像分辨率為1920x1280，快門速度1/200s。投影儀5為紐曼ph06a微型投影儀，投影儀5與u盤7連接，可讀取u盤7的數(shù)據(jù)，分辨率1280x800dpi，最小投影距離18cm。舌表面條紋的稠密和投影儀與舌的距離及投影圖中條紋稠密有關(guān)，投影儀離舌近則亮度強(qiáng)造成舌表面平滑，距離遠(yuǎn)則舌表面條紋清晰度差，因此經(jīng)實(shí)驗(yàn)投影儀與舌表面距離為55cm時(shí)效果最佳。此時(shí)黑條紋占8個(gè)像素，條紋間距為16個(gè)像素。計(jì)算機(jī)控制相機(jī)采集超過20張不同角度的標(biāo)定板圖像，打開投影儀采集伸舌狀態(tài)下的被試舌像。暗箱6的左右兩側(cè)壁上分別按照一個(gè)照明燈11。照明燈11為激光燈，緊貼激光燈口處與光束垂直方向設(shè)置一個(gè)擴(kuò)束鏡，用以把原始激光擴(kuò)大到需要的粗度的光束。在兩束擴(kuò)束后的激光所經(jīng)位置分別設(shè)置一個(gè)反光鏡12，反光鏡12與各自反光的光束成45度角，經(jīng)反光鏡12后的光束正好照在舌位孔8處。反光鏡12與舌位孔8之間分別設(shè)有一塊毛玻璃，并且兩塊毛玻璃分別與各自對應(yīng)的反射后的光束垂直。毛玻璃可以使通過它的激光束變的均勻，從而達(dá)到更好的照明效果。

舌圖像對采集用于標(biāo)定系統(tǒng)的標(biāo)定板圖像和用于重建的舌像對。相機(jī)中心距離設(shè)為16cm，投影儀與舌位孔距離設(shè)為55cm。標(biāo)定圖像為63個(gè)大小為3cm的黑白相間正方形棋盤，橫向9個(gè)，縱向7個(gè)，平整的粘貼在木質(zhì)板上作為標(biāo)定板。標(biāo)定板由經(jīng)過訓(xùn)練的實(shí)驗(yàn)人員操作，實(shí)現(xiàn)超過20個(gè)角度的擺放位置，每個(gè)角度不超過45°。根據(jù)中醫(yī)舌診的經(jīng)驗(yàn)和習(xí)慣，為了保證在統(tǒng)一的條件下采集舌像對，規(guī)定采集的步驟和對患者的要求：

1、要求患者在拍攝前兩個(gè)小時(shí)不得進(jìn)食，避免飲食對舌、苔色及細(xì)微結(jié)構(gòu)造成影響。

2、患者取正姿勢，做吞咽動(dòng)作，將口水吸干。

3、下顎放在儀器的托架上，前額頂住靠架，保持靜止。

4、謝月敏提出最佳舌露出度為“人字界”(舌體占舌的前2/3，舌根占舌的后1/3，兩者在舌背的分界為“人字界”)，且“人字界”定位符合舌診的要求，能使醫(yī)者全面準(zhǔn)確地觀察舌象，因此對患者進(jìn)行伸舌訓(xùn)練?；颊卟捎谜唬鎸η胺?，張口，自然的將舌伸出口外，舌體放松，舌面展平，舌尖略向下，盡量張口，以充分暴露舌體。

5、開啟投影儀，計(jì)算機(jī)控制相機(jī)采集舌像對。

此步驟為后續(xù)標(biāo)定工作提供標(biāo)定板圖像對，為重建部分提供舌圖像對。

二、圖像預(yù)處理：基線校正及邊緣提取。利用上步所得標(biāo)定板圖像和matlab中的stereocameracalibration工具箱標(biāo)定雙目立體視覺系統(tǒng)。因相機(jī)安裝及其本身組裝誤差，其光心不是完全平行，因此根據(jù)標(biāo)定所得參數(shù)對舌像對基線校正。為了保證舌體部分邊緣提取及匹配的準(zhǔn)確性，截取舌體部分圖像，后續(xù)工作基于此圖像對。采用性能優(yōu)良的邊緣檢測技術(shù)canny算子提取舌體部分邊緣特征。此步驟為后續(xù)工作提供滿足基線約束的圖像對，為線性增長提供初始特征點(diǎn)。

利用標(biāo)定板圖像和matlab中的stereocameracalibration標(biāo)定系統(tǒng)，要求每幅圖像標(biāo)定誤差均小于1個(gè)像素，否則重新采集標(biāo)定圖像。截取基線校正后舌像對中的舌體部分，首先定位舌體位置，然后截取舌體部分，盡量使兩幅圖像大小一致。提取邊緣的canny算子靈敏度閾值選擇為0.16，所得邊緣特征寬度占一個(gè)像素。

三、改進(jìn)的線性種子點(diǎn)增長立體匹配算法：由于雙眼視軸間距的存在，同一場景點(diǎn)在左右視網(wǎng)膜上所形成的圖像存在位置差即視差，是大腦感知物體深度的決定性信息。雙目立體視覺即是基于此原理，用兩相機(jī)代替人眼，尋找空間一點(diǎn)在兩幅圖像上的對應(yīng)點(diǎn)，利用視差測距法恢復(fù)物體表面深度信息。由此可知立體匹配是立體視覺的重點(diǎn)所在。經(jīng)過多年的發(fā)展，涌現(xiàn)出多種立體匹配方法。結(jié)合舌表面紋理少、深度變化連續(xù)性強(qiáng)的特點(diǎn)，本文采用線性種子點(diǎn)增長算法。

種子點(diǎn)增長算法由otto和chau提出，其基本思想是在視差空間中從一組初始種子點(diǎn)出發(fā)，在鄰近區(qū)域中按照灰度相似性測度進(jìn)行增長直到違反匹配唯一性約束。匹配點(diǎn)相似性準(zhǔn)則采用最小平方差算法(sumofsquareddifference,ssd)，經(jīng)實(shí)驗(yàn)增大支持窗沒有提高匹配準(zhǔn)確性且增大了計(jì)算量，因此支持窗大小設(shè)為3*3。

為了解決抗噪性問題，本文首次采用基于ρδ(n)函數(shù)和ssd的相似性測度函數(shù)。本發(fā)明用ssd代替n得到新的立體匹配相似性測度函數(shù)ρδ(ssd)，δ選擇為2。經(jīng)實(shí)驗(yàn)效果優(yōu)于ssd算法。邊緣提取所得舌表面邊緣特征點(diǎn)稀疏且特征明顯，因此首先匹配邊緣特征點(diǎn)并作為長線性增的初始種子點(diǎn)。初始種子點(diǎn)匹配時(shí)，因?yàn)檫吘壧卣鼽c(diǎn)性質(zhì)相似，所以出現(xiàn)錯(cuò)誤點(diǎn)的匹配相似性高于正確點(diǎn)的相似性。在此加入?yún)^(qū)域限制，得到左圖待匹配點(diǎn)與其最左邊緣的距離，在右圖距最左邊緣的相應(yīng)距離范圍內(nèi)尋找匹配點(diǎn)，大大提高了匹配準(zhǔn)確性。然后選擇具有準(zhǔn)確可靠視差的邊緣特征點(diǎn)作為初始種子點(diǎn),以初始種子點(diǎn)的視差d作為區(qū)域生長的基本視差，因舌表面不是絕對平滑，含有舌乳頭、齒痕等細(xì)微結(jié)構(gòu)，因此在下一步增長過程中擴(kuò)充匹配視差范圍，人類能夠匹配的視差梯度為2，因此將區(qū)域生長的視差擴(kuò)至d-2至d+2，分別計(jì)算五個(gè)視差下的匹配相似性，在外基線、單調(diào)性等約束下，采用勝者為王算法確定最終的匹配點(diǎn)對及其視差，再以新得到的匹配點(diǎn)作為種子點(diǎn)在水平掃描線上進(jìn)行生長，直到遇到下一個(gè)初始種子點(diǎn)，再以下一對初始種子點(diǎn)開始增長，從而得到整個(gè)舌區(qū)域的視差圖。這種舌表面多個(gè)初始種子點(diǎn)有效防止錯(cuò)誤匹配點(diǎn)的傳播。

本發(fā)明立體匹配算法步驟為：

1.輸入經(jīng)過預(yù)處理的圖像，截取舌體區(qū)域。

2.canny算法提取舌體區(qū)域邊緣特征。

3.在唯一性、單調(diào)性等約束下根據(jù)ρδ(ssd)匹配特征點(diǎn)，δ選擇為2，線性增長閾值選擇為0.1。

4.從初始種子點(diǎn)矩陣中，按順序選擇一對種子點(diǎn)，首先判斷種子點(diǎn)右側(cè)的點(diǎn)是否為初始種子點(diǎn)，如果不是種子點(diǎn)，則計(jì)算匹配相似性并判斷是否滿足匹配條件。如果是，則選擇下一對種子點(diǎn)。

定義一個(gè)與圖像相同大小的全零矩陣作為視差圖。首先匹配邊緣特征點(diǎn)，將左圖邊緣特征點(diǎn)存入矩陣。按順序選擇一個(gè)左圖特征點(diǎn)，在右圖相同行中從右圖最左邊緣點(diǎn)的橫坐標(biāo)處開始到右圖倒數(shù)第二個(gè)像素分別計(jì)算其與特征點(diǎn)匹配相似度并將結(jié)果存入相似度矩陣，計(jì)算左圖待匹配特征點(diǎn)據(jù)舌體最左邊緣的橫向距離，在相似度矩陣的相應(yīng)距離范圍內(nèi)尋找最小值，得到其坐標(biāo)值，計(jì)算其與待匹配特征點(diǎn)的橫坐標(biāo)差值，將此值賦給視差圖中與待匹配特征點(diǎn)相同坐標(biāo)的點(diǎn)作為此特征點(diǎn)的視差值。按順序選擇下一個(gè)左圖邊緣特征點(diǎn)，按上述步驟完成視差值計(jì)算，直至完成所有特征點(diǎn)，得到初始種子點(diǎn)。

根據(jù)初始種子點(diǎn)進(jìn)行線性區(qū)域增長。按順序從初始種子點(diǎn)矩陣中選取一對種子點(diǎn)，記其視差為d，因舌表面不是絕對平滑，含有舌乳頭、齒痕等細(xì)微結(jié)構(gòu)，因此在下一步增長過程中擴(kuò)充匹配視差范圍，人類能夠匹配的視差梯度為2，因此將區(qū)域生長的視差擴(kuò)至d-2至d+2。選取左圖特征點(diǎn)右側(cè)的點(diǎn)，分別計(jì)算視差為d-2至d+2處點(diǎn)的匹配相似性，在單調(diào)性等約束下，采用勝者為王算法確定最終的匹配點(diǎn)對并判斷其匹配代價(jià)是否小于線性增長閾值，若滿足則此點(diǎn)匹配完成，將視差賦給視差圖相同坐標(biāo)位置的點(diǎn)。再以此匹配點(diǎn)對作為新的種子點(diǎn)進(jìn)行增長，直至遇到此行下一個(gè)初始種子點(diǎn)，結(jié)束增長。選擇下一個(gè)初始種子點(diǎn)執(zhí)行上述相同步驟，直至完成所有初始種子點(diǎn)的線性增長，至此得到舌體部分的稠密視差圖。

此步驟為三維重建提供視差圖。

四、視差圖感興趣區(qū)域提取及濾波部分：截取的舌體部分還包含部分嘴角，其不屬于感興趣區(qū)域因此需要去除。伸舌狀態(tài)下舌表面和嘴角不在同一平面，其視差有一定差異，因此對視差圖橫向求導(dǎo)，導(dǎo)數(shù)最大的兩個(gè)位置就是舌體左右邊緣，將視差圖中左右邊緣以外的視差置零，即可去除嘴角部分。為了獲得較平滑的深度圖，因此在重建前對視差圖濾波。本發(fā)明選擇具有高效的邊緣保持-增強(qiáng)且適用于灰度圖像的雙邊濾波算法。

去除嘴角部分，需要對視差圖橫向求一階導(dǎo)數(shù)，尋找導(dǎo)數(shù)矩陣中大于0.8的點(diǎn)及其坐標(biāo)位置，將目標(biāo)點(diǎn)的坐標(biāo)按縱坐標(biāo)升序存放在矩陣中，第一列存放縱坐標(biāo)，第二列及以后若干列按升序存放對應(yīng)縱坐標(biāo)下的橫坐標(biāo)值，理論上每行有三個(gè)數(shù)即第一個(gè)為縱坐標(biāo)，第二、三分別為左、右側(cè)邊緣橫坐標(biāo)，但由于噪聲的影響，在左右邊緣處會(huì)出現(xiàn)多個(gè)滿足條件的點(diǎn)，針對此問題對坐標(biāo)矩陣做以下排除工作。如果此行有三個(gè)數(shù)則判斷下一行。如果此行有四個(gè)數(shù)，判斷第二與第三、第三與第四個(gè)數(shù)的差值大小，前者小于后者，則去除第二個(gè)數(shù)，取第三個(gè)數(shù)為左邊界橫坐標(biāo)，第四個(gè)數(shù)為右邊界橫坐標(biāo)，若前者大于后者，則去除第三個(gè)數(shù)，去第二個(gè)數(shù)為左邊界橫坐標(biāo)，第四個(gè)數(shù)為右邊界橫坐標(biāo)；如果此行有五個(gè)數(shù)，則求取第三至五減第二至第四個(gè)數(shù)的絕對差值并存入矩陣中，如果第一、二個(gè)差值小于3，第三個(gè)差值大于10，取原坐標(biāo)矩陣中第三、四個(gè)數(shù)分別為左、右邊緣，如果第一個(gè)差值大于10，第二、三差值小于3或第一、二差值大于10，第三差值小于3，取原坐標(biāo)矩陣中第一、二個(gè)數(shù)分別為左、右邊緣，如差值均大于10，取原坐標(biāo)矩陣中第二、三個(gè)數(shù)分別為左、右邊緣；如果此行個(gè)數(shù)大于五個(gè)數(shù)則絕對差值最大的兩點(diǎn)，將前一個(gè)數(shù)取為左邊緣，后一個(gè)數(shù)取為右邊緣。據(jù)此可選擇出正確的左右邊緣點(diǎn)。

雙邊濾波參數(shù)選擇為：濾波器半寬為4，空間鄰近度因子為5，亮度相似性因子為0.1。

此步驟獲得平滑的感興趣的舌體部分視差圖。

五、點(diǎn)云重建和模型重建部分：根據(jù)上步所得視差圖用視差測距法計(jì)算三維坐標(biāo)得到舌像點(diǎn)云圖,如圖3-5所示，并做紋理粘貼，使其更具真實(shí)感。因?yàn)樯嗟纳斫Y(jié)構(gòu)，不能得到伸舌狀態(tài)下的舌背圖像，為了獲得完整舌模型，利用逆向工程軟件geomagicstudio的自動(dòng)修補(bǔ)功能完成舌背自動(dòng)修補(bǔ)，如圖6、7所示。三維模型可旋轉(zhuǎn)、縮放全方位觀察。

具體為：將原始圖像中的顏色數(shù)量縮小為128，作為重建點(diǎn)云中的對應(yīng)點(diǎn)的顏色。將點(diǎn)云數(shù)據(jù)存為txt格式文件，導(dǎo)入geomagicstudio軟件利用其自動(dòng)修補(bǔ)功能中的曲率修補(bǔ)完成舌背的擬合，得到完整的舌模型。

此步驟得到舌像點(diǎn)云圖和完整舌模型。

本發(fā)明的有益效果是：可在小于舌顫動(dòng)的時(shí)間內(nèi)采集舌像并實(shí)現(xiàn)0.1626mm的重建精度，可同時(shí)得到真實(shí)舌形狀和顏色信息，為舌診三維定量化、客觀化研究提供有效科學(xué)依據(jù)并用于醫(yī)學(xué)診斷，滿足以醫(yī)學(xué)診斷為目的的舌像三維重建。

以上對本發(fā)明的實(shí)施例進(jìn)行了詳細(xì)說明，但所述內(nèi)容僅為本發(fā)明的較佳實(shí)施例，不能被認(rèn)為用于限定本發(fā)明的實(shí)施范圍。凡依本發(fā)明申請范圍所作的均等變化、改進(jìn)或組合等，均應(yīng)仍歸屬于本發(fā)明的專利涵蓋范圍之內(nèi)。