專利名稱：實時超聲寬視野成像方法
實時超聲寬視野成像方法技術(shù)領(lǐng)域 本發(fā)明涉及超聲圖像處理技術(shù)，具體地說，涉及對超聲圖像序列的匹配拼接，掃描過程中 實時生成寬視野圖像。
背景技術(shù)：
對于常規(guī)的超聲成像，由于受探頭尺寸的影響，掃描過程中，能觀察到的是當(dāng)前探頭所在位 置的有限斷面的圖像，當(dāng)探頭移過，新位置的圖像代替原來位置的圖像，原來位置的圖像不再可見。診斷 過程中，操作者只能憑借想象來得到掃描區(qū)域的全景。實時寬視野成像方法在對大器官和瘤體的顯示與測 呈、對復(fù)雜病變整體的研究方面具有獨特優(yōu)勢探頭在目標(biāo)表面移動的過程中，將得到的各幀圖像拼接起 來，形成一個大范圍的、寬視野的圖像，操作者可以直接觀察整個掃描區(qū)域的全景結(jié)果，而且可以反復(fù)觀 察掃描和拼接的過程，對拼接后的圖像，還可以進(jìn)行放大、縮小、旋轉(zhuǎn)、增強和拼接過程回放等后期處理， 進(jìn)一步方便了診斷，提高診斷精度。圖1表達(dá)了實時寬視野成像的流程。超聲寬視野成像要解決的主要問題是高速、準(zhǔn)確的圖像匹配，較高質(zhì)量的圖像拼接。要盡可能減少 圖像相鄰幀之間的誤配，降低拼接圖像的幾何失真，使拼接結(jié)果盡量接近真實，便于診斷，同時還要保證 成像速度。圖像匹配方法主要包括基于模板的匹配和基于特征的匹配，兩種思路各有優(yōu)勢。超聲診斷過程中，探 頭在目標(biāo)位置以相對均勻的速度移動，相鄰兩幀間的位移不大，且變形較小，圖2給出了示意，其中l(wèi)表 示前一幀，2表示當(dāng)前幀。但是傳統(tǒng)的匹配方法沒有考慮超聲圖像的成像特點和診斷時的掃描方式，如果 用于超聲的實時寬視野成像，不能兼顧準(zhǔn)確性和實時性。精確的匹配方法會因計算量過大不能達(dá)到實時， 而速度滿足實時要求的算法，匹配結(jié)果又沒有足夠的準(zhǔn)確度。傳統(tǒng)使用模板匹配的方法，每個模板塊大范 圍搜索匹配時計算量很大，而一些降低計算量的優(yōu)化策略(如先確定大致范圍，再在局部搜索準(zhǔn)確結(jié)果)， 則常常因為收斂到錯誤的局部極值處，嚴(yán)重?fù)p失了匹配準(zhǔn)確度。此外，每幀超聲圖像從上到下，偏中上的 部分成像質(zhì)量較好，變形較小，而偏下的部分則相反；每幀超聲圖像從中間到兩側(cè)，中間部分圖像質(zhì)量較 好，兩側(cè)接近邊界處圖像質(zhì)量逐漸降低。匹配中應(yīng)區(qū)分使用不同區(qū)域的信息；拼接過程中，如果每幀圖像 都直接按照變換關(guān)系拼接到目標(biāo)位置，則很難獲得高質(zhì)量的寬視野圖像。
發(fā)明內(nèi)容
本發(fā)明充分考慮超聲圖像的成像特點和診斷時的掃描方式，提出了一種實時超聲寬視野成像 方法。通過較低的實現(xiàn)成本，在超聲診斷過程中，邊掃描邊實時生成寬視野圖像。本發(fā)明的基本思路為首先使用當(dāng)前幀圖像匹配前一幀圖像，在當(dāng)前幀圖像上有規(guī)律的選取符合要求 的模板，分別在前一幀的對應(yīng)位置附近搜索匹配，獲得模板的位置對應(yīng)關(guān)系；然后利用選取的模板間的幾 何約束，由這些模板的位置對應(yīng)關(guān)系計算當(dāng)前幀圖像到前一幀圖像的剛體變換關(guān)系，并判斷是否適合拼接; 再由當(dāng)前幀圖像到前一幀圖像的變換關(guān)系計算當(dāng)前幀圖像到拼接目標(biāo)的變換關(guān)系；最后由計算出的變換關(guān)系，拼接當(dāng)前幀的有效圖像的一部分到目標(biāo)位置；反復(fù)執(zhí)行這一過程，實時生成寬視野圖像。實現(xiàn)本發(fā)明思路的技術(shù)方案是，利用超聲診斷時的成像特點和掃描方式，提供一種快速、準(zhǔn)確的圖像 匹配和拼接方法，在掃描過程中，實時生成寬視野圖像。包括反復(fù)執(zhí)行的步驟A. 在當(dāng)前幀中取有效矩形圖像塊，并在該矩形塊中均勻有規(guī)律的選取多個小矩形(也可以取其它形 狀)塊作為匹配模板塊，并對各個模板塊進(jìn)行質(zhì)量判斷，剔除不適合的模板塊(或按質(zhì)量賦一個 權(quán)值)；B. 每個有效的模板塊在前一幀中給定范圍內(nèi)搜索匹配，找到最匹配的對應(yīng)位置；C. 根據(jù)已知的幾何約束，給每個有效模板的匹配結(jié)果賦一個權(quán)值；D. 由各個有效模板塊的對應(yīng)位置關(guān)系和權(quán)重，擬合當(dāng)前幀相對前一幀的剛體變換關(guān)系，并根據(jù)計算 結(jié)果判斷當(dāng)前幀是否適合拼接到目標(biāo)，如果不適合，則拋棄當(dāng)前幀，使用下一幀重新開始匹配；E. 由已知的前一幀相對拼接目標(biāo)的變換關(guān)系，以及當(dāng)前幀相對前一幀的變換關(guān)系，計算當(dāng)前幀相對 拼接目標(biāo)的變換關(guān)系；F. 取當(dāng)前幀的有效圖像的一部分，拼接到目標(biāo)位置； 其特征在于步驟A中的模板塊是在固定位置，有規(guī)律的選取的。步驟B中，每個有效模板塊的搜索位置固定，范圍有限，很大程度上降低了計算量。 步驟C中以步驟A中給定的位置關(guān)系作為幾何約束，判斷匹配結(jié)果賦一個權(quán)值，用于保證圖像剛體變 換關(guān)系計算的魯棒性。步驟D、 F用于獲得好的拼接效果，提高寬視野成像質(zhì)量。采用上述方案，可以在當(dāng)前主流的計算平臺上，實時生成高質(zhì)量的寬視野圖像。


圖1是實時超聲寬視野成像簡要流程示意2是掃描過程中相鄰兩幀間變換關(guān)系示意圖 圖3是一個具體實施例的流程示意圖 圖4是圖像有效矩形塊和小的模板塊的選取示意圖 圖5是有效模板在前一幀中搜索匹配示意圖具體實施方式
現(xiàn)在結(jié)合附圖，描述本發(fā)明的一個實施例。實時寬視野成像的流程由圖1描述。每次在幀緩沖中獲取當(dāng)前幀圖像，然后用當(dāng)前幀圖像和前一幀圖 像匹配，并按匹配結(jié)果拼接當(dāng)前幀圖像的一部分到目標(biāo)位置。診斷掃描過程中，反復(fù)執(zhí)行這個操作，實時 顯示當(dāng)前的寬視野成像。當(dāng)掃描結(jié)束，可以對最終的寬視野圖像進(jìn)行后期處理，如放大、縮小等。本發(fā)明利用超聲診斷時的成像特點和掃描方式，提供一種實現(xiàn)成本低的，快速、準(zhǔn)確的圖像匹配和拼接方法，在掃描過程中，實時生成寬視野圖像。包括反復(fù)執(zhí)行的步驟-A. 在當(dāng)前幀中取有效矩形圖像塊，并在該矩形塊中均勻有規(guī)律的選取多個小矩形(也可以取其它形 狀)塊作為匹配模板塊，并對各個模板塊進(jìn)行質(zhì)量判斷，剔除不適合的模板塊(或按質(zhì)量賦一個 權(quán)值)；B. 每個有效的模板塊在前一幀中給定范圍內(nèi)搜索匹配，找到最匹配的對應(yīng)位置；C. 根據(jù)已知的幾何約束，給每個有效模板的匹配結(jié)果賦一個權(quán)值；D. 由各個有效模板塊的對應(yīng)位置關(guān)系和權(quán)重，擬合當(dāng)前幀相對前一幀的剛體變換關(guān)系，并根據(jù)計算 結(jié)果判斷當(dāng)前幀是否適合拼接到目標(biāo)，如果不適合，則拋棄當(dāng)前幀，使用下一幀重新開始匹配；E. 由已知的前一幀相對拼接目標(biāo)的變換關(guān)系，以及當(dāng)前幀相對前一幀的變換關(guān)系，計算當(dāng)前幀相對 拼接目標(biāo)的變換關(guān)系；F. 取當(dāng)前幀的有效圖像的一部分，拼接到目標(biāo)位置；本實施例的具體步驟通過圖3所示的流程表示。在步驟A中對匹配模板塊的選取如圖4所示，在當(dāng)前 幀的有效圖像區(qū)域3的中間部分，取有效的矩形圖像塊4，在4的中上部均勻的選取四行到六行，每行四 至五列的小模板塊5，這些小模板塊一般取為矩形，也可以取其它形狀。本實施例中，每個模板塊的寬高 可以取為(像素數(shù))16X16、 32X32、 48X48、 64X64等，兼顧計算速度和結(jié)果的穩(wěn)定性， 一般取每個模 板塊的大小為48X48像素。選取的模板塊要進(jìn)行質(zhì)量判斷，剔除質(zhì)量較差的塊(如過于均勻、所有像素接近黑色或白色等)，以 減少錯誤匹配，增強匹配穩(wěn)定性。若按質(zhì)量賦權(quán)值，質(zhì)量差的賦較小權(quán)值，質(zhì)量好的賦較大權(quán)值，則兩幀 圖像整體擬合時使用的權(quán)值，是質(zhì)量權(quán)值和步驟C中的匹配結(jié)果權(quán)值的乘積。。取定的各個有效模板塊，分別在前一幀中對應(yīng)位置附近搜索匹配。在當(dāng)前的常規(guī)計算平臺上，要滿足 實時成像要求， 一般需要降低模板搜索匹配的計算量。由于超聲掃描成像相鄰兩幀間位移不大，變形較小， 因此每塊模板限定在小范圍內(nèi)搜索匹配(如向前15像素、向后15像素，向上8像素、向下8像素的范圍)。 圖5給出了示意，其中7表示當(dāng)前模板，6表示當(dāng)前模板在前一幀中的搜索范圍。進(jìn)一步提高匹配速度的 方法是，使用合適的匹配規(guī)則和加速方法。在本實施例中，使用計算當(dāng)前模板和前一幀對應(yīng)位置處的像素值的絕對差和的方法，絕對差和表示為&iD-Zi/, - g, i，其中/;表示當(dāng)前模板的第/個像素的灰度值，g,表示前一幀中對應(yīng)位置處的像素灰度值。在整個搜索范圍內(nèi)，SAD值最小的位置，認(rèn)為是當(dāng)前模板在前一幀中最匹配的位置。實際計算時使用并行加速，運算速度一般可以提高5 8倍，完全可以滿足實時成 像對匹配速度的要求。除本實施例中的方法，還有(不限于)使用相關(guān)系數(shù)匹配的方法，在特定平臺上加 速計算，可以得到基本相同的結(jié)果。每個有效模板塊在前一幀中計算，找到一個認(rèn)為最匹配的位置。每個有效模板在當(dāng)前幀中的坐標(biāo)和前 一幀中對應(yīng)的最匹配位置的坐標(biāo)構(gòu)成了對應(yīng)點對。由這些點對的關(guān)系擬合出當(dāng)前幀到前一幀的變換關(guān)系。兩幀間的變換關(guān)系使用剛體變換模型，每個點對間的變換表示為cosP -sin《 sin^ cos^其中(義',，}^)表示當(dāng)前幀中有效模板的坐標(biāo)，(I,，y)表示在前一幀中對應(yīng)最匹配位置的坐標(biāo)，6>表示旋轉(zhuǎn)角度，(i'o,:r'fl)表示平移量。各個有效模板的匹配結(jié)果中，有時會有少量錯誤匹配結(jié)果，這些錯誤的匹配結(jié)果會降低擬合結(jié)果的魯 棒性。本發(fā)明通過選取有效模板時已知的幾何關(guān)系，給每個有效模板的匹配結(jié)果賦一個權(quán)值，匹配點對分 別按權(quán)重大小參加擬合。本實施例中，各個有效模板間的距離已知。假設(shè)當(dāng)前幀中有兩個有效模板的位置分別為a、 b，它們在前一幀中對應(yīng)的正確匹配位置為A、 B。因為兩幀間使用剛體變換模型，所以A、 B 間的距離應(yīng)等于a、 b間的距離。若A、 B間的距離與應(yīng)有的距離偏離越遠(yuǎn)，則匹配錯誤的可能性越大，在 擬合中的權(quán)重就越小。本實施例中，(不限于)定義每個點對的權(quán)重為高斯函數(shù)的疊加e-(浙X/,j))W其中求和內(nèi)的點J表示與/在同一行或在同一列的點，—tfo"/, J)表示/和J間的距離與它們的對應(yīng)有效模板/和j'間的距離之差，cr決定了高斯函數(shù)的開口寬度，用于調(diào)節(jié)權(quán)重的差異程度。權(quán)重計算結(jié)果 不需要高精度，只要能夠區(qū)分各個小模板塊搜索匹配結(jié)果的重要性即可，因此可以通過離散化和預(yù)先計算 査找表的方法提高運算速度。使用上面給出的點對間的變換關(guān)系和每個匹配點對的權(quán)重，使用加權(quán)最小二乘擬合出當(dāng)前幀和前一幀 的變換關(guān)系，然后對結(jié)果進(jìn)行判斷。如果當(dāng)前幀相對前一幀的變換量小于給定的閾值，則拋棄當(dāng)前幀，使 用下一幀與前一幀匹配，直至找到適合拼接到目標(biāo)的幀。這樣做的目的是避免無意義的疊壓，降低成像結(jié) 果的失真程度。如果當(dāng)前幀適合拼接到目標(biāo)，則由當(dāng)前幀相對前一幀的變換關(guān)系計算出當(dāng)前幀相對拼接目標(biāo)的變換關(guān) 系。這是一個遞推的過程前一幀相對拼接目標(biāo)的變換關(guān)系是己知的，結(jié)合本次匹配的結(jié)果計算出當(dāng)前幀 相對拼接目標(biāo)的變換關(guān)系，后一幀與當(dāng)前幀匹配時，當(dāng)前幀相對拼接目標(biāo)的變換關(guān)系又是已知的。按當(dāng)前 幀到拼接目標(biāo)的變換關(guān)系，取當(dāng)前幀的有效圖像的中間部分的矩形區(qū)域(即質(zhì)量好、變形小的部分)拼接 到目標(biāo)。本實施例中，拼接時兼顧計算速度和成像質(zhì)量，使用雙線性差值方法。實際計算時，為了進(jìn)一步 提高計算速度，對雙線性差值過程進(jìn)行加速，可以(不限于)使用整數(shù)化方法。本發(fā)明的一個實施例在PC平臺上實現(xiàn)，經(jīng)過實驗驗證，不需任何額外硬件輔助，可以在使用超聲設(shè) 備掃描診斷的過程中，實時生成高質(zhì)量的寬視野圖像。
權(quán)利要求
1.一種實時超聲寬視野成像方法，用于在超聲掃描診斷過程中，實時匹配拼接生成寬視野圖像，包括反復(fù)執(zhí)行的步驟A.在當(dāng)前幀中取有效矩形圖像塊，并在該矩形塊中均勻有規(guī)律的選取多個小矩形(也可以取其它形狀)塊作為匹配模板塊；B.每個有效的模板塊在前一幀中給定范圍內(nèi)搜索匹配，找到最匹配的對應(yīng)位置；C.根據(jù)已知的幾何約束，給每個有效模板的匹配結(jié)果賦一個權(quán)值；D.由各個有效模板塊的對應(yīng)位置關(guān)系和權(quán)重，擬合當(dāng)前幀相對前一幀的剛體變換關(guān)系；E.由已知的前一幀相對拼接目標(biāo)的變換關(guān)系，以及當(dāng)前幀相對前一幀的變換關(guān)系，計算當(dāng)前幀相對拼接目標(biāo)的變換關(guān)系；F.取當(dāng)前幀的有效圖像的一部分，拼接到目標(biāo)位置；其特征在于步驟A中的模板塊是在固定位置，有規(guī)律的選取的；步驟B中，每個有效模板塊的搜索位置固定，范圍有限，降低計算量；步驟C中以步驟A中給定的位置關(guān)系作為幾何約束，判斷匹配結(jié)果賦一個權(quán)值，用于保證圖像剛體變換關(guān)系計算的魯棒性；步驟D、F用于獲得好的拼接效果，提高寬視野成像質(zhì)量。
2. 根據(jù)權(quán)利要求1中所述的實時超聲寬視野成像方法，其特征在于步驟A中模板選定后，進(jìn)行質(zhì)量判斷，剔除質(zhì)量差的模板，提高匹配穩(wěn)定性。
3. 根據(jù)權(quán)利要求1中所述的實時超聲寬視野成像方法，其特征在于步驟A中模板選定后，進(jìn)行質(zhì)量判斷，按質(zhì)量給各個模板賦一個權(quán)值。在步驟D中使用的權(quán)值 為模板質(zhì)量權(quán)值和步驟c中匹配結(jié)果權(quán)值的乘積。
4. 根據(jù)權(quán)利要求1中所述的實時超聲寬視野成像方法，其特征在于步驟D中計算出當(dāng)前幀相對前一幀的變換關(guān)系后，根據(jù)計算結(jié)果判斷當(dāng)前幀是否適合拼接到目標(biāo)，如果不適合，則拋棄當(dāng)前幀，使用下一幀重新開始匹配。
全文摘要
一種實時超聲寬視野成像方法，用于在超聲掃描診斷過程中，實時匹配拼接生成寬視野圖像，包括反復(fù)執(zhí)行的步驟在當(dāng)前幀有效圖像的矩形塊中有規(guī)律的選取多個小模板塊，并判斷質(zhì)量，剔除不合適的模板塊；這些小模板塊分別在前一幀中搜索匹配找到最匹配的對應(yīng)位置；根據(jù)已知的幾何約束，給每個有效模板的匹配結(jié)果賦一個權(quán)值；然后擬合出當(dāng)前幀相對前一幀的變換關(guān)系，并根據(jù)計算結(jié)果判斷當(dāng)前幀是否適合拼接到目標(biāo)，如果不適合，則拋棄當(dāng)前幀，使用下一幀重新開始匹配；由已知的前一幀相對拼接目標(biāo)的變換關(guān)系，以及當(dāng)前幀相對前一幀的變換關(guān)系，計算當(dāng)前幀相對拼接目標(biāo)的變換關(guān)系；取當(dāng)前幀的有效圖像的一部分，拼接到目標(biāo)位置。采用本發(fā)明的方法，可以通過較低的實現(xiàn)成本，獲得較高質(zhì)量的實時寬視野成像。
文檔編號A61B8/13GK101254120SQ20081010204
公開日2008年9月3日 申請日期2008年3月17日 優(yōu)先權(quán)日2008年3月17日
發(fā)明者娉 唐, 姚克純, 曾慶業(yè), 杰 王 申請人:北京好望角圖像技術(shù)有限公司