本發(fā)明涉及一種圖像處理裝置、圖像處理系統(tǒng)及圖像處理方法。

背景技術(shù)：

在使用醫(yī)療圖像的圖像診斷中，存在這樣的情況：其對利用不同的攝像參數(shù)、由不同攝像裝置在不同的時間拍攝的不同姿勢的被檢體的多個圖像進行比較。在一些情況中，執(zhí)行不同圖像間的配準(zhǔn)以便更精確地比較病變位置。通常，圖像配準(zhǔn)有誤差。美國專利申請2014/0037177討論了在第二圖像上的、與第一圖像上的關(guān)注點對應(yīng)的點的估計的位置處顯示添加了配準(zhǔn)誤差范圍的區(qū)域。然而，僅根據(jù)對應(yīng)于點的局部配準(zhǔn)誤差難以理解在目標(biāo)截面中的配準(zhǔn)誤差的整體傾向。

技術(shù)實現(xiàn)要素：

根據(jù)本發(fā)明的實施例，圖像處理裝置包括估計值獲取單元，其被配置為獲取在多個三維圖像間的配準(zhǔn)誤差的估計值；指定單元，其被配置為指定在所述多個三維圖像和配準(zhǔn)的三維圖像中的一個中的目標(biāo)截面；統(tǒng)計值獲取單元，其被配置為獲取在所述目標(biāo)截面中的多個位置處的估計值的統(tǒng)計值；以及顯示控制單元，其被配置為在顯示單元上顯示所述統(tǒng)計值。

根據(jù)以下參照附圖對示例性實施例的描述，本發(fā)明的其他特征將變得清楚。

附圖說明

圖1例示了根據(jù)第一示例性實施例的圖像處理裝置的功能配置的示例。

圖2是例示根據(jù)第一示例性實施例的圖像處理裝置執(zhí)行的處理的示例的流程圖。

圖3例示了根據(jù)第一示例性實施例的圖像處理裝置顯示的畫面的示例。

圖4例示了根據(jù)第一示例性實施例的圖像處理裝置顯示的畫面的示例。

圖5例示了根據(jù)第一示例性實施例的圖像處理裝置顯示的畫面的示例。

圖6例示了根據(jù)第二示例性實施例的圖像處理裝置的功能配置的示例。

圖7是例示根據(jù)第二示例性實施例的圖像處理裝置執(zhí)行的處理的示例的流程圖。

圖8例示了根據(jù)第三示例性實施例的圖像處理裝置的功能配置的示例。

圖9是例示根據(jù)第三示例性實施例的圖像處理裝置執(zhí)行的處理的示例的流程圖。

圖10例示了根據(jù)第三示例性實施例的圖像處理裝置顯示的畫面的示例。

圖11例示了根據(jù)本發(fā)明示例性實施例的圖像處理裝置硬件配置的示例。

具體實施方式

下文將參照附圖具體描述本發(fā)明的示例性實施例。

下文將描述第一示例性實施例。在第一示例性實施例中，執(zhí)行使被檢體的第一三維圖像變形的可變形配準(zhǔn)，從而使第一三維圖像的位置和形狀與第二三維圖像的位置和形狀相一致。下文將描述獲取第三三維圖像中的誤差的估計值和統(tǒng)計值的示例。第三三維圖像是作為變形配準(zhǔn)的結(jié)果獲取的變形圖像。在第一示例性實施例中，將描述預(yù)先將第一三維圖像配準(zhǔn)到第二三維圖像的情況。換句話說，在第一示例性實施例，預(yù)先獲取與第一和第二三維圖像之間的變形有關(guān)的變形信息(下文稱為變形參數(shù))。另外，在第一示例性實施例中，預(yù)先生成表示第三三維圖像上的各體素位置中的配準(zhǔn)誤差的估計值的誤差圖像，作為與第一和第二三維圖像之間的配準(zhǔn)誤差有關(guān)的信息。誤差圖像是指具有分別表示體素位置中的配準(zhǔn)誤差的估計值的體素值的三維圖像。

圖1例示了根據(jù)第一示例性實施例的圖像處理裝置的功能配置的示例。根據(jù)第一示例性實施例的圖像處理裝置是圖1例示的圖像處理裝置10。信息系統(tǒng)1包括圖像處理裝置10、數(shù)據(jù)服務(wù)器150、顯示器152。

數(shù)據(jù)服務(wù)器150存儲被檢體的第一和第二三維圖像。另外，數(shù)據(jù)服務(wù)器150存儲與第一和第二三維圖像之間的變形有關(guān)的變形參數(shù)。另外，數(shù)據(jù)服務(wù)器150存儲通過變形第一三維圖像而獲取的第三三維圖像(下文稱為變形圖像)，從而使第一三維圖像中的位置和形狀與第二三維圖像中的位置和形狀相一致。另外，數(shù)據(jù)服務(wù)器150存儲變形圖像的誤差圖像。各三維圖像包括圖像大小、分辨率、拍攝三維圖像的攝像裝置的類型(以下為“形式”)、攝像信息、病例信息以及圖像間的對應(yīng)信息作為補充信息。攝像信息是指，例如，表示三維圖像的攝像參數(shù)、攝像區(qū)域以及體位的信息。病例信息是指，例如，患者信息、檢查信息、診斷信息、器官區(qū)域信息以及關(guān)注區(qū)域信息。根據(jù)需要將上述補充信息與圖像一起發(fā)送給圖像處理裝置10。

顯示器152是顯示單元的示例。顯示器152是例如液晶顯示器。顯示器152顯示由圖像處理裝置10的顯示控制單元114控制的畫面。

圖像處理裝置10包括三維圖像獲取單元102、區(qū)域信息獲取單元104、誤差估計單元106、截面指定單元108、截面圖像生成單元110、統(tǒng)計值獲取單元112、顯示控制單元114以及輸出單元116。

三維圖像獲取單元102獲取被檢體的第二三維圖像以及來自數(shù)據(jù)服務(wù)器150的變形圖像。

區(qū)域信息獲取單元104獲取與第二三維圖像中的關(guān)注區(qū)域有關(guān)的信息。在第一示例性實施例中，區(qū)域信息獲取單元104獲取代表被檢體的表面內(nèi)部的被檢體內(nèi)部區(qū)域的標(biāo)簽圖像作為關(guān)注區(qū)域信息。另外，如果給出用戶指示，則區(qū)域信息獲取單元104設(shè)置諸如立方體區(qū)域或球形區(qū)域的任意區(qū)域作為關(guān)注區(qū)域。

誤差估計單元106從數(shù)據(jù)服務(wù)器150獲取誤差圖像作為與第一和第二三維圖像之間的配準(zhǔn)誤差有關(guān)的信息。誤差圖像表示變形圖像中的各體素中的配準(zhǔn)誤差的估計值的分布。誤差圖像可以是任何公知的方法生成的圖像。例如，能夠通過提供對應(yīng)于第一和第二三維圖像之間的點的大量的“真(true)”并對變形后的對應(yīng)點間的誤差(剩余誤差，residual errors)進行插值來生成誤差圖像。另外，在基于圖像間的對應(yīng)點獲取變形信息的情況下，能夠使用如下方法：對各體素位置設(shè)置根據(jù)最近的對應(yīng)點的距離(例如，距離的比例)的估計誤差。另外，能夠使用如下方法：基于兩種不同配準(zhǔn)方法間的各體素位置中的移位的差異，從分辨率的模糊性估計誤差。能夠使用的兩種不同的配準(zhǔn)方法的示例包括自由變形(free-form deformation(FFD))方法和薄板樣條(thin-plate spline(TPS))方法。

基于用戶操作輸入的信息，截面指定單元108指定截面，沿該截面剪切三維圖像。特別是，截面指定單元108指定變形圖像的截面。用戶能夠使用圖11例示的操作單元1109輸入上述操作。

截面圖像生成單元110會生成第二三維圖像的截面圖像和沿著指定截面的變形圖像的截面圖像。在第一示例性實施例中，截面具有預(yù)定厚度(下文稱為“板厚度(slab thickness)”)。

基于獲取的配準(zhǔn)誤差信息，統(tǒng)計值獲取單元112獲取表示變形圖像中指定的截面的誤差的整體傾向。如下文所使用的，配準(zhǔn)誤差信息是指估計的誤差值。另外，表示指定截面中誤差的整體傾向的信息是指截面的估計誤差值的統(tǒng)計值。

顯示控制單元114執(zhí)行控制以在顯示器152上顯示第二三維圖像和變形圖像的各截面圖像。另外，顯示控制單元114執(zhí)行控制以在顯示器152上顯示獲取的與截面圖像關(guān)聯(lián)的誤差統(tǒng)計值。另外，顯示控制單元114執(zhí)行控制以在顯示器152上顯示用于通知用戶信息的畫面。

輸出單元116向數(shù)據(jù)服務(wù)器150輸出截面圖像生成單元110生成的截面圖像以及統(tǒng)計值獲取單元112獲取的誤差統(tǒng)計值。此時，輸出單元116可以輸出統(tǒng)計值，從而可以在數(shù)據(jù)服務(wù)器150上彼此關(guān)聯(lián)地存儲截面圖像和統(tǒng)計值。另外，輸出單元116可以基于用戶輸入的操作輸出圖像和統(tǒng)計值，或者可以自動輸出圖像和統(tǒng)計值。

圖11例示了圖像處理裝置10的硬件配置的示例。圖像處理單元10包括中央處理單元(CPU)1101、只讀存儲器(ROM)1102、隨機存取存儲器(RAM)1103、硬盤驅(qū)動器(HDD)1104、通用串行總線(USB)1105、通信電路1106、圖形處理單元(GPU)板1107以及高清晰度多媒體接口(HDMI)(注冊商標(biāo))1108。上述設(shè)備經(jīng)由內(nèi)部總線相互連接，從而使設(shè)備能夠相互通信。

CPU 1101是控制電路，被配置為整體控制圖像處理裝置10和連接到圖像處理裝置10的單元。CPU 1101執(zhí)行存儲在ROM 1102上的程序來執(zhí)行控制。此外，處理器1101執(zhí)行作為用于控制顯示器152的軟件的顯示驅(qū)動，從而對顯示器152執(zhí)行顯示控制。此外，CPU 1101對操作單元1109執(zhí)行輸入/輸出控制。

ROM 1102存儲數(shù)據(jù)以及程序，該程序存儲由CPU 1101執(zhí)行的控制步驟。

RAM 1103是存儲用于執(zhí)行圖像處理裝置10中的以及連接到圖像處理裝置10的單元中的處理的程序和用于圖像處理的各種參數(shù)的存儲器。RAM 1103存儲CPU 1101執(zhí)行的控制程序，并臨時存儲CPU 1101執(zhí)行各種控制時使用的各種數(shù)據(jù)。

HDD 1104是輔助存儲設(shè)備，其被配置為存儲諸如X射線圖像數(shù)據(jù)的各種數(shù)據(jù)。

USB 1105連接到操作單元1109。

通信電路1106是執(zhí)行與信息系統(tǒng)1中包括的單元通信的電路?？梢酝ㄟ^根據(jù)一種或更多的通信形式的多個配置實現(xiàn)通信電路1106。

GPU板1107是包括GPU和音頻存儲器的一般通用圖形板。GPU板1107能夠執(zhí)行圖像處理中的計算以及高速顯示圖像，而不需要專用硬件。在第一示例性實施例中，由于從數(shù)據(jù)服務(wù)器150獲取變形圖像和誤差圖像，因此圖像處理裝置10不是必需包括GPU板1107。

HDMI(注冊商標(biāo))1108連接到顯示器152。

圖2是例示圖像處理裝置10執(zhí)行的處理的示例的流程圖。圖像處理裝置10執(zhí)行圖2中例示的處理以獲取并顯示變形圖像的指定截面中的誤差的統(tǒng)計值。下文將詳細描述處理。

在步驟S200，三維圖像獲取單元102從數(shù)據(jù)服務(wù)器150獲取被檢體的第二三維圖像和變形圖像。然后，三維圖像獲取單元102將獲取的圖像發(fā)送到截面圖像生成單元110。在本示例性實施例中，變形圖像(即，第三三維圖像)是目標(biāo)圖像。

在步驟S210，區(qū)域信息獲取單元104獲取表示被檢體表面內(nèi)的內(nèi)部區(qū)域的標(biāo)簽圖像(三維圖像)，作為與第二三維圖像關(guān)注區(qū)域有關(guān)的信息。以這種方式，目標(biāo)圖像中包含的區(qū)域被指定為關(guān)注區(qū)域。從這個角度來看，區(qū)域信息獲取單元104作為確定單元示例。然后，區(qū)域信息獲取單元104將所獲取的信息發(fā)送到統(tǒng)計值獲取單元112。使用公知的圖像處理方法執(zhí)行這種處理，如從三維圖像中提取被檢體內(nèi)部區(qū)域的二值化(binarization)。在數(shù)據(jù)服務(wù)器150預(yù)先存儲與變形圖像中的被檢體內(nèi)部區(qū)域有關(guān)的信息的情況下，可以從數(shù)據(jù)服務(wù)器150獲取信息。在診斷目標(biāo)可以被限制為三維圖像中部位/器官的情況下，以公知的方法從三維圖像中提取器官的器官區(qū)域可以被設(shè)置為關(guān)注區(qū)域。通過對變形圖像的圖像處理可以執(zhí)行關(guān)注區(qū)域的獲取。

在步驟S220，誤差估計單元106從數(shù)據(jù)服務(wù)器150獲取誤差圖像，作為與第一和第二三維圖像之間的配準(zhǔn)誤差有關(guān)的信息。從這個角度來看，誤差估計單元106作為估計值獲取單元的示例。然后，誤差估計單元106將獲取的誤差圖像發(fā)送到統(tǒng)計值獲取單元112。

在步驟S230，基于通過操作單元1109輸入的用戶操作，截面指定單元108指定截面，沿該截面分別剪切步驟S200獲取的三維圖像。從這個角度來看，截面指定單元108作為指定單元的示例。然后，橫截面指定單元108將與指定的截面有關(guān)的信息發(fā)送給截面圖像生成單元110和統(tǒng)計值獲取單元112。

例如，在初始狀態(tài)設(shè)置通過三維圖像中心的軸向截面，在用戶按下預(yù)定鍵時，軸向截面的位置在截面的法線方向偏移預(yù)定距離。例如，在按下“f”鍵時，截面的位置在截面的法線方向偏移1毫米，在按下“b”鍵時，截面位置在與按下“f”鍵時位置偏移的方向相反的方向偏移1毫米。此外，在用戶按預(yù)定鍵時，設(shè)置截面的板厚度。例如，在按下“D”鍵時，截面的厚度增加1毫米，并在按下“d”鍵時，截面的厚度減少1毫米。厚度可以設(shè)置為0毫米。在下文描述的步驟S260中顯示多個三維圖像時，可以對三維圖像分別設(shè)置各截面，或者可以對三維圖像相互共同地設(shè)置共用的截面。然而，在截面圖像被疊加和顯示情況下，期望對三維圖像設(shè)置共用的截面。

在步驟S240，截面圖像生成單元110生成步驟S200獲取的第二三維圖像的截面圖像和步驟S200獲取的變形圖像的截面圖像。截面圖像是通過沿步驟S230指定的截面剪切而分別生成的二維圖像。從這個角度來看，截面圖像生成單元110作為生成單元的示例。此外，關(guān)于作為目標(biāo)圖像第二三維圖像和變形圖像，步驟S230指定的截面被設(shè)置為目標(biāo)截面。具體地，截面圖像生成單元110生成目標(biāo)截面的二維圖像。在步驟S230中設(shè)置的厚度大于0毫米的情況下，截面圖像生成單元110對步驟S230設(shè)置的截面執(zhí)行以下處理。具體地，截面圖像生成單元110生成作為截面圖像的投影圖像，在該投影圖像上投影步驟S230設(shè)置的厚度范圍內(nèi)(板內(nèi))的三維圖像的體素值的表征值(representative values)。表征值是，例如，亮度值的最大值和最小值。換句話說，截面圖像生成單元110生成投影圖像，在該投影圖像上投影在目標(biāo)圖像中預(yù)定的厚度范圍內(nèi)的表征值。投影了三維圖像的體素值的最大值的圖像的例子包括最大密度投影(MIP)圖像和板MIP圖像。投影了三維圖像的體素值的最小值的圖像的例子包括最小強度投影(MinIP)圖像和板MinIP圖像。然后，截面圖像生成單元110將所生成的截面圖像發(fā)送到顯示控制單元114。

在步驟S250，針對變形圖像設(shè)置的截面和關(guān)注區(qū)域相交的相交區(qū)域，統(tǒng)計值獲取單元112獲取在步驟S220獲取的估計配準(zhǔn)誤差值的統(tǒng)計值(以下簡稱“統(tǒng)計誤差值”)。然后，統(tǒng)計值獲取單元112將所獲取的信息發(fā)送給顯示控制單元114。

具體地，統(tǒng)計值獲取單元112首先獲得相交區(qū)域，該相交區(qū)域是步驟S230中針對變形圖像設(shè)置的截面和步驟S210獲取的代表關(guān)注區(qū)域的標(biāo)簽圖像疊加的區(qū)域。然而，在關(guān)注區(qū)域由下文描述的步驟S270執(zhí)行的處理改變的情況下，統(tǒng)計值獲取單元112獲取關(guān)注區(qū)域和截面相交的相交區(qū)域。然后，統(tǒng)計值獲取單元112獲取相交區(qū)域的體素數(shù)量N。接下來，統(tǒng)計值獲取單元112獲取在誤差圖像中的相交區(qū)域中的每個體素的體素值，即，估計誤差值，并獲取所獲取的估計誤差值的總和T。然后，統(tǒng)計值獲取單元112將T除以N來獲取關(guān)注區(qū)域的估計誤差值的平均值。同樣，統(tǒng)計值獲取單元112使用公知方法獲取統(tǒng)計誤差值，諸如估計誤差值的標(biāo)準(zhǔn)偏差、最大值和中值。在顯示的截面中不包括關(guān)注區(qū)域的情況下，即在沒有相交區(qū)域的情況下，統(tǒng)計值獲取單元112不執(zhí)行統(tǒng)計誤差值的獲取。

可以僅基于體素位置(基于該體素位置，在步驟S240中生成投影圖像)中的估計誤差值來獲取估計誤差值的統(tǒng)計值，而取代獲取相交區(qū)域中的所有體素的估計誤差值的統(tǒng)計值。這樣，能夠獲取更接近于顯示為投影圖像的部位的估計誤差值的統(tǒng)計值。

在步驟S260，顯示控制單元114執(zhí)行控制以在顯示器152上顯示步驟S250獲取的統(tǒng)計誤差值。在第一示例性實施例中，顯示控制單元114也執(zhí)行控制以在顯示器152(顯示單元的示例)上顯示與步驟S240生成的截面圖像關(guān)聯(lián)的統(tǒng)計誤差值。從這個角度來看，顯示控制單元114作為顯示控制單元示例。顯示與截面圖像關(guān)聯(lián)的統(tǒng)計誤差值的方法的示例包括以下方法：截面圖像的統(tǒng)計誤差值疊加在變形的圖像的截面圖像上，并在顯示器152(顯示單元的示例)上顯示疊加的圖像。在步驟S250未獲取誤差統(tǒng)計值的情況下，不執(zhí)行統(tǒng)計誤差值的顯示。

在步驟S260，顯示控制單元114可以執(zhí)行控制從而以截面圖像相互疊加的方式顯示第二三維圖像和變形圖像的截面圖像，或可以執(zhí)行控制以平行地顯示截面圖像。另外，顯示控制單元114可以經(jīng)由未示出的圖形用戶界面(GUI)獲取用戶指示以改變?nèi)绾物@示截面，即，以疊加的狀態(tài)顯示截面圖像、同時顯示截面圖像或者只顯示截面圖像中的一個。此時，可以僅在以疊加狀態(tài)顯示或者同時顯示截面圖像的情況下顯示估計誤差值的統(tǒng)計值。或者，可以僅在顯示變形圖像的截面圖像的情況下顯示估計誤差值的統(tǒng)計值。

圖3例示了在顯示器152上顯示的被檢體的變形圖像的截面圖像301、與截面圖像301關(guān)聯(lián)的統(tǒng)計誤差值302以及關(guān)注區(qū)域303的示例。圖3例示了被檢體是乳房的情況。盡管圖3例示了顯示最大值、中值、平均值、以及標(biāo)準(zhǔn)偏差作為估計誤差值的統(tǒng)計值，要顯示的統(tǒng)計值并不限于上述統(tǒng)計值，也可以一起獲取并顯示諸如最小值的其他統(tǒng)計值?；蛘?，可以有選擇地顯示多個統(tǒng)計誤差值中的至少一個。另外，可以以圖表形式顯示估計誤差值的直方圖作為誤差統(tǒng)計值。

在步驟S270，如果給出用戶指示以指定區(qū)域，則區(qū)域信息獲取單元104執(zhí)行處理以設(shè)置指定的區(qū)域作為新的關(guān)注區(qū)域。這樣，就更新了關(guān)注區(qū)域。然后，區(qū)域信息獲取單元104將獲取的信息發(fā)送給統(tǒng)計值獲取單元112。

此時，例如，基于針對顯示的截面經(jīng)由操作單元1109輸入的操作，與關(guān)注區(qū)域有關(guān)的信息能被設(shè)置為第二三維圖像或變形圖像的空間中的立方體或球形區(qū)域。例如，上述內(nèi)容能夠通過被配置為指定顯示的截面上的球形的中心坐標(biāo)和半徑的GUI(未示出)實現(xiàn)。圖4例示了在關(guān)注區(qū)域設(shè)置為立方體的情況下的顯示的示例。在圖4，相交區(qū)域404是指設(shè)置的截面和關(guān)注區(qū)域相交的區(qū)域，統(tǒng)計誤差值402是指關(guān)注區(qū)域的統(tǒng)計誤差值。關(guān)注區(qū)域可以被設(shè)置為當(dāng)前顯示的截面中的區(qū)域(例如，具有與板的厚度相同厚度的圓形或矩形)。另外，與關(guān)注區(qū)域有關(guān)的信息可以利用點或線來設(shè)置。

通過上述步驟S270中執(zhí)行的處理，在用戶指示之前或之后可以切換步驟S210中獲取的關(guān)注區(qū)域(基于諸如被檢體的內(nèi)部區(qū)域或器官區(qū)域的解剖結(jié)構(gòu))和步驟S270獲取的關(guān)注區(qū)域(基于用戶輸入信息)。如果給出進一步的用戶指示，可以執(zhí)行處理以再次設(shè)置或恢復(fù)基于解剖結(jié)構(gòu)的區(qū)域作為關(guān)注區(qū)域。

步驟S210獲取的區(qū)域和步驟S270獲取的區(qū)域可以同時均被設(shè)置為關(guān)注區(qū)域。在這種情況下，如圖5所示，希望顯示各關(guān)注區(qū)域的統(tǒng)計誤差值。另外，可以基于用戶輸入的信息設(shè)置多個關(guān)注區(qū)域，并可以顯示各關(guān)注區(qū)域的統(tǒng)計誤差值。在這種情況下，期望僅顯示在當(dāng)前顯示的截面上包括的關(guān)注區(qū)域的統(tǒng)計誤差值。

在步驟S280，圖像處理裝置10確定是否結(jié)束整個處理。例如，操作員通過用鼠標(biāo)(未示出)點擊位于顯示器152上的結(jié)束按鈕輸入指示以結(jié)束處理。如果圖像處理裝置10確定結(jié)束處理(步驟S280為“是”)，則結(jié)束圖像處理裝置10的整個處理。另一方面，如果圖像處理裝置10沒有確定結(jié)束處理(步驟S280為“否”)，則處理返回步驟S230，然后再次執(zhí)行步驟S230到S270的處理。

在步驟S280，如果給出指示結(jié)束整個處理，則輸出單元116可以關(guān)聯(lián)統(tǒng)計誤差值與目標(biāo)圖像，并向諸如數(shù)據(jù)服務(wù)器150的外部設(shè)備輸出統(tǒng)計誤差值和目標(biāo)圖像。例如，輸出單元116可以向數(shù)據(jù)服務(wù)器150輸出步驟S250獲取的統(tǒng)計誤差值和步驟S270更新的關(guān)注區(qū)域信息。在這種情況下，統(tǒng)計誤差值和諸如變形圖像的目標(biāo)圖像是相互關(guān)聯(lián)的，并存儲在數(shù)據(jù)服務(wù)器150。

如上文所述，根據(jù)第一示例性實施例，能夠向用戶呈現(xiàn)指定的截面圖像的配準(zhǔn)誤差統(tǒng)計值。另外，與截面圖像一起顯示誤差統(tǒng)計值，從而使用戶能夠容易地明白顯示的截面圖像偏移了多少。

[變形實施例]

盡管在第一示例性實施例中描述了存儲變形圖像中的各體素位置的配準(zhǔn)誤差的估計值作為誤差圖像的情況作為示例，但不限于此，也可以存儲第二三維圖像中的各體素位置的配準(zhǔn)誤差的估計值作為誤差圖像。在這種情況下，在步驟S250，統(tǒng)計值獲取單元112執(zhí)行處理以獲取針對第二三維圖像設(shè)置的截面與關(guān)注區(qū)域相交的相交區(qū)域的估計誤差值的統(tǒng)計值。然后，在步驟S260，顯示控制單元114疊加并顯示第二三維圖像的截面圖像上的統(tǒng)計誤差值。以這個視角，第二三維圖像也是目標(biāo)圖像。

另外，盡管在第一示例性實施例中描述了顯示第三三維圖像中的關(guān)注區(qū)域的統(tǒng)計誤差值作為示例，但不限于此，可以獲取并呈現(xiàn)截面圖像的整個范圍的統(tǒng)計誤差值，而不需要考慮關(guān)注區(qū)域。另外，可以根據(jù)數(shù)據(jù)服務(wù)器150是否存儲關(guān)注區(qū)域信息，將要顯示的統(tǒng)計誤差值在顯示的截面和關(guān)注區(qū)域相交的相交區(qū)域的統(tǒng)計誤差值和顯示的截面的整個范圍的統(tǒng)計誤差值之間切換。在上述情況下，當(dāng)用戶設(shè)置關(guān)注區(qū)域時，能顯示所顯示的截面和關(guān)注區(qū)域相交的相交區(qū)域的統(tǒng)計誤差值。另外，可以允許僅基于解剖結(jié)構(gòu)設(shè)置關(guān)注區(qū)域，或者可以允許僅基于用戶操作設(shè)置關(guān)注區(qū)域。為了比較誤差的整體傾向和用戶設(shè)置的關(guān)注區(qū)域的誤差的傾向，可以顯示整個范圍的統(tǒng)計誤差值和設(shè)置的關(guān)注區(qū)域的統(tǒng)計誤差值。在設(shè)置了關(guān)注區(qū)域的情況下，可以僅顯示關(guān)注區(qū)域的統(tǒng)計誤差值。

另外，顯示控制單元114可以執(zhí)行控制從而連同統(tǒng)計誤差值一起顯示變形配準(zhǔn)中使用的對應(yīng)的點。考慮對應(yīng)的點在變形圖像中具有小的誤差，并一起顯示變形圖像中的誤差的總體趨勢，從而用戶可以更精確地明白變形圖像中的誤差的趨勢。

在第一示例性實施例中，描述了如下示例，在步驟S280向諸如數(shù)據(jù)服務(wù)器150的外部裝置輸出與關(guān)注區(qū)域有關(guān)的信息和統(tǒng)計誤差值。當(dāng)生成諸如截面圖像的二維圖形時，輸出單元116可以向外部裝置輸出二維圖像。另外，當(dāng)獲取誤差統(tǒng)計值時，輸出單元116可以向外部裝置輸出誤差統(tǒng)計值。此時，可以將用于唯一地確定第一、第二、第三三維圖像的信息添加并輸出到外部裝置，從而使該信息與第一、第二、第三三維圖像能夠分別關(guān)聯(lián)并存儲在外部裝置。

在第一示例性實施例，通過變形第一三維圖像從而使第一三維圖像與第二三維圖像相一致而獲取的第三三維圖像被設(shè)置為目標(biāo)圖像。本發(fā)明不限于上述內(nèi)容，可以獲取通過變形第一和第二三維圖像而配準(zhǔn)的第三三維圖像和第四三維圖像之間的配準(zhǔn)誤差作為誤差圖像。以這樣的視角，第三和第四三維圖像是目標(biāo)圖像。

在第一示例性實施例中，描述了如下情況，第一和第二三維圖像分別是攝像裝置獲取的圖像。本發(fā)明不限于上述內(nèi)容，可以使用對處理的圖像進行配準(zhǔn)而獲取的圖像，所述處理的圖像是通過對攝像裝置獲取的圖像進行處理而獲取的。所述處理的圖像是，例如，通過轉(zhuǎn)換三維圖像的坐標(biāo)空間而獲取的圖像。

下文描述了第二示例性實施例。根據(jù)第二示例性實施例的圖像顯示裝置對被檢體的第一和第二三維圖像執(zhí)行變形配準(zhǔn)。具體地，圖像顯示裝置獲取第一和第二三維圖像之間的變形參數(shù)，并通過變形第一三維圖像生成變形圖像(第三三維圖像)，從而第一三維圖像的位置和形狀與第二三維圖像的位置和形狀相一致。然后，圖像顯示裝置以能夠比較截面的方式顯示第二三維圖像的截面和第三三維圖像的截面。此時，根據(jù)第二示例性實施例的圖像顯示裝置獲取統(tǒng)計誤差值，即在顯示的截面中的配準(zhǔn)誤差的估計值的統(tǒng)計值，并顯示與截面圖像關(guān)聯(lián)的獲取的統(tǒng)計值。由于圖像顯示裝置被配置為基于用戶輸入的對應(yīng)信息執(zhí)行相互配準(zhǔn)，因此動態(tài)地獲取配準(zhǔn)誤差的估計值和估計值的統(tǒng)計值。在以下根據(jù)第二示例性實施例的圖像顯示裝置的描述中，僅描述與第一示例性實施例不同的點。與第一示例性實施例和變形例描述的相似的點的詳細描述通過并入上述描述而省略。

圖6例示了根據(jù)第二示例性實施例的信息系統(tǒng)6的配置。根據(jù)第二示例性實施例的信息系統(tǒng)6包括圖像處理裝置60、數(shù)據(jù)服務(wù)器650以及顯示器152。對與圖1中相似的部分采用相同的附圖標(biāo)記或符號，并省略這部分的描述。

數(shù)據(jù)服務(wù)器650存儲被檢體的第一和第二三維圖像。另外，數(shù)據(jù)服務(wù)器650存儲與第一和第二三維圖像之間的對應(yīng)點有關(guān)的信息作為第一和第二三維圖像的補充信息。不同于第一示例性實施例，數(shù)據(jù)服務(wù)器650不存儲第一和第二三維圖像之間的變形參數(shù)、第一三維圖像的變形圖像或者誤差圖像。

圖像處理裝置60包括三維圖像獲取單元602、區(qū)域信息獲取單元604、對應(yīng)信息獲取單元605、誤差信息獲取單元606、變形圖像生成單元607、截面指定單元108、截面生成單元110、統(tǒng)計值獲取單元112以及顯示控制單元114。

三維圖像獲取單元602從數(shù)據(jù)服務(wù)器650獲取被檢體的第一和第二三維圖像。

與根據(jù)第一示例性實施例的區(qū)域信息獲取單元104類似，區(qū)域信息獲取單元604獲取與第二三維圖像中的關(guān)注區(qū)域有關(guān)的信息。另外，如果給出用戶指示，則區(qū)域信息獲取單元604設(shè)置諸如矩形或球形的區(qū)域作為關(guān)注區(qū)域。區(qū)域信息獲取單元604也能夠獲取第一三維圖像中的關(guān)注區(qū)域，該處理與根據(jù)第一示例性實施例的區(qū)域信息獲取單元104執(zhí)行的處理不同。在這種情況下，當(dāng)執(zhí)行處理以生成第一三維圖像的變形圖像時，區(qū)域信息獲取單元604對關(guān)注區(qū)域執(zhí)行類似的處理以獲取關(guān)注區(qū)域的變形圖像。

如果數(shù)據(jù)服務(wù)器650存儲了信息，則對應(yīng)信息獲取單元605從數(shù)據(jù)服務(wù)器650獲取與第一和第二三維圖像之間的對應(yīng)點有關(guān)的信息。另外，對應(yīng)信息獲取單元605基于用戶的輸入獲取與第一和第二三維圖像之間的對應(yīng)點有關(guān)的更新信息，即，有關(guān)添加、改變和刪除的信息。對應(yīng)信息獲取單元605是接受生成的目標(biāo)截面的截面圖像的對應(yīng)信息的改變的接受單元的示例。

誤差信息獲取單元606基于當(dāng)前獲取的有關(guān)對應(yīng)點的信息獲取表示變形圖像中的各體素位置的配準(zhǔn)誤差的分配的誤差圖像。

變形圖像生成單元607基于當(dāng)前獲取的有關(guān)對應(yīng)點的信息估計第一和第二三維圖像之間的變形參數(shù)。然后，變形圖像生成單元607以第一三維圖像的位置和形狀與第二三維圖像的位置和形狀相一致的方式、基于變形信息通過變形第一三維圖像來生成變形圖像。

圖7是例示圖像處理裝置60執(zhí)行的處理的示例的流程圖。圖像處理裝置60對第一和第二三維圖像執(zhí)行變形配準(zhǔn)處理以獲取第三三維圖像。然后，圖像處理裝置60指定第三三維圖像的截面并獲取指定截面的統(tǒng)計誤差值。步驟S730至S770與第一示例性實施例中的步驟S230至S270類似，因此省略步驟S730至S770的描述。

在步驟S700，三維圖像獲取單元602從數(shù)據(jù)服務(wù)器650獲取被檢體的第一和第二三維圖像。然后，三維圖像獲取單元602將獲取的圖像發(fā)送到變形圖像生成單元607和截面圖像生成單元110。

在步驟S710，區(qū)域信息獲取單元604獲取代表第一或第二三維圖像的關(guān)注區(qū)域的標(biāo)簽圖像(三維圖像)。然后，如果在第二三維圖像中限定關(guān)注區(qū)域，則區(qū)域信息獲取單元604將獲取的信息發(fā)送到統(tǒng)計值獲取單元112。另一方面，如果在第一三維圖像中限定關(guān)注區(qū)域，則區(qū)域信息獲取單元604將獲取的信息發(fā)送到變形圖像生成單元607。

在步驟S713，對應(yīng)信息獲取單元605從數(shù)據(jù)服務(wù)器650獲取與步驟S700中獲取的兩個三維圖像間的對應(yīng)點有關(guān)的信息。與根據(jù)第二示例性實施例的圖像之間的對應(yīng)點有關(guān)的信息是，例如，在諸如血管的分支部分的圖像中的對應(yīng)位置中指定的多個對應(yīng)點的位置信息。具體地，對應(yīng)點的位置信息是與第一和第二三維圖像中都普遍包括的點有關(guān)的位置信息。然后，對應(yīng)信息獲取單元605將獲取的與圖像之間的對應(yīng)點有關(guān)的信息發(fā)送到變形圖像生成單元607和誤差信息獲取單元606。

在步驟S717，變形圖像生成單元607基于步驟S713或S775指定的最新的對應(yīng)點信息執(zhí)行第一和第二三維圖像之間的變形配準(zhǔn)。具體地，變形圖像生成單元607估計變形信息(下文的“變形參數(shù)”)，利用該變形信息，當(dāng)?shù)谝蝗S圖像在設(shè)置的條件下變形時，使在第一和第二三維圖像之間的對應(yīng)點的位置的剩余誤差和包括剩余誤差的價值函數(shù)(cost function)最小化。然后，變形圖像生成單元607基于獲取的變形參數(shù)通過執(zhí)行對第一三維圖像的坐標(biāo)轉(zhuǎn)換來生成第一三維圖像的變形圖像(第三三維圖像)，從而使第一三維圖像中的位置和形狀與第二三維圖像中的位置和形狀相一致。然后，變形圖像生成單元607將生成的變形圖像發(fā)送到截面圖像生成單元110。

另外，在第一三維圖像中限定關(guān)注區(qū)域的情況下，變形圖像生成單元607也基于變形信息對關(guān)注區(qū)域信息執(zhí)行坐標(biāo)轉(zhuǎn)換以獲取與第二三維圖像配準(zhǔn)的變形的關(guān)注區(qū)域。然后，變形圖像生成單元607將與生成的變形關(guān)注區(qū)域有關(guān)的信息作為關(guān)注區(qū)域信息發(fā)送到統(tǒng)計值獲取單元112。

在沒有獲取對應(yīng)點的情況下，即在數(shù)據(jù)服務(wù)器150沒有存儲對應(yīng)點信息并且在步驟S775沒有添加對應(yīng)點的情況下，使用第一三維圖像作為第三三維圖像。

在步驟S720，誤差信息獲取單元606基于步驟S713或S775中指定的最新的對應(yīng)點信息獲取變形圖像中各體素位置的配準(zhǔn)誤差，并生成表示配準(zhǔn)誤差分布的誤差圖像。然后，誤差信息獲取單元606將生成的誤差圖像發(fā)送到統(tǒng)計值獲取單元112。以這個視角，誤差信息獲取單元606作為估計單元的示例。

具體地，首先，誤差信息獲取單元606從步驟S713或S775中指定的最新的與多個對應(yīng)點有關(guān)的信息中選擇作為誤差獲取目標(biāo)的對應(yīng)點，并選擇上述選擇的對應(yīng)點以外的對應(yīng)點作為配準(zhǔn)使用的對應(yīng)信息。接下來，誤差信息獲取單元606基于選擇的對應(yīng)信息執(zhí)行配準(zhǔn)處理以配準(zhǔn)第一和第二三維圖像。配準(zhǔn)處理是估計第一三維圖像變形的處理。然后，誤差信息獲取單元606從配置處理結(jié)果中獲取選擇的對應(yīng)點(即，配準(zhǔn)處理中未使用的對應(yīng)點)的位置的位置誤差向量。位置誤差向量是目標(biāo)配準(zhǔn)誤差(TRE)。最后，誤差信息獲取單元606在對應(yīng)點的各位置插值TRE以獲取各體素位置的配準(zhǔn)誤差。插值中能夠使用的插值模式的示例包括如下功能組，其中在對應(yīng)點的各位置處設(shè)置諸如薄板樣條(thin plate spline(TPS))函數(shù)的徑向基函數(shù)(radial basis function)。

在當(dāng)前對應(yīng)點信息不滿足預(yù)定條件的情況下，不執(zhí)行步驟S720的誤差信息獲取處理。例如，在對應(yīng)點數(shù)量為0的情況下，不能進行基于對應(yīng)點的誤差估計，從而不能獲取誤差信息。另外，在對應(yīng)點數(shù)量超過預(yù)定閾值之前不能獲取誤差信息。這樣有利于避免向用戶呈現(xiàn)低可靠性的誤差信息。

在步驟S775，對應(yīng)信息獲取單元605還設(shè)置與第一和第二三維圖像之間有關(guān)的對應(yīng)點的信息。具體地，對應(yīng)信息獲取單元605基于用戶經(jīng)由鼠標(biāo)(未示出)輸入的信息設(shè)置與根據(jù)第一和第二三維圖像生成的各截面圖像之間的對應(yīng)點(諸如血管的分支部分)有關(guān)的位置信息。然后，對應(yīng)信息獲取單元605將與指定的對應(yīng)點有關(guān)的位置信息添加到步驟S713獲取的與圖像之間的多個對應(yīng)點有關(guān)的位置信息中。取代于添加新的對應(yīng)點，可以移動或刪除現(xiàn)有的對應(yīng)點。然后，對應(yīng)信息獲取單元605將獲取的與圖像之間的對應(yīng)點有關(guān)的信息發(fā)送到變形圖像生成單元607和誤差信息獲取單元606。

在步驟S780，圖像處理裝置60確定是否結(jié)束整個處理。如果圖像處理裝置60確定結(jié)束整個處理(步驟S780為“是”)，則結(jié)束圖像處理裝置60的整個處理。另一方面，如果圖像處理裝置60沒有確定結(jié)束整個處理(步驟S780為“否”)，則處理返回步驟S717，并再次執(zhí)行步驟S717到S775的處理。

根據(jù)第二示例性實施例，在基于用戶輸入的對應(yīng)信息執(zhí)行圖像之間的配準(zhǔn)的情況下，配準(zhǔn)誤差的估計值的統(tǒng)計值能夠在更新的同時顯示。這使得用戶能夠基于對應(yīng)點的輸入而容易地明白截面上的偏移的改變。

變形的示例

在根據(jù)第二示例性實施例的圖像處理裝置的功能配置中，省略輸出單元。在變形的示例中，如同第一示例性實施例，圖像處理裝置60可以包括輸出單元，其被配置為向數(shù)據(jù)服務(wù)器650輸出變形圖像生成單元607和截面圖像生成單元110生成的圖像以及統(tǒng)計值獲取單元112獲取的統(tǒng)計誤差值。

下文描述了第三示例性實施例。根據(jù)第三示例性實施例的圖像顯示裝置呈現(xiàn)在顯示的截面以外的截面中的配準(zhǔn)誤差的估計值的統(tǒng)計值。更具體地，圖像顯示裝置的特征在于根據(jù)距預(yù)定區(qū)域的各距離獲取配準(zhǔn)誤差的估計值的統(tǒng)計值。在第三示例性實施例中，被檢體的表面用作預(yù)定區(qū)域。在下文根據(jù)第三實施例的圖像顯示裝置的描述中，僅描述與第一示例性實施例不同的點。

圖8例示了根據(jù)第三示例性實施例的信息系統(tǒng)8。如圖8所示，根據(jù)第三示例性實施例的信息系統(tǒng)8包括圖像處理裝置80、數(shù)據(jù)服務(wù)器150以及顯示器152。對與圖1類似的部分給出相同的參考標(biāo)記或符號，并省略該部分的描述。

圖像處理裝置80包括三維圖像獲取單元102、區(qū)域信息獲取單元104、誤差估計單元106、統(tǒng)計值獲取單元812、顯示控制單元814以及距離獲取單元822。

統(tǒng)計值獲取單元812基于距被檢體表面的距離獲取分類的多個區(qū)域的每一個的配準(zhǔn)誤差的統(tǒng)計誤差值。在本示例性實施例中，統(tǒng)計值獲取單元812基于距被檢體表面的距離獲取針對多個彎曲的截面的統(tǒng)計誤差值。

顯示控制單元814執(zhí)行控制以在顯示器152上顯示統(tǒng)計誤差值。另外，顯示控制單元814執(zhí)行控制以在顯示器152上顯示變形圖像。

距離獲取單元822獲取從內(nèi)部區(qū)域的各體素的位置到預(yù)定區(qū)域的距離。在本示例性實施例中，距離獲取單元822使用作為參考位置的被檢體表面獲取距離。

圖9是例示圖像處理裝置80執(zhí)行的處理的示例的流程圖。圖像處理裝置80根據(jù)距被檢體表面的距離獲取多個區(qū)域的統(tǒng)計誤差值。步驟S900至S920與第一示例性實施例中的步驟S200至S220類似，因此省略步驟S900至S920的描述。

在步驟S930，距離獲取單元822獲取從預(yù)定區(qū)域到步驟S910中獲取的被檢體表面內(nèi)部區(qū)域中各體素位置的距離。換句話說，距離獲取單元822獲取距被檢體表面的距離。表示被檢體表面的信息能夠通過對步驟S910獲取的標(biāo)簽圖像執(zhí)行公知的處理來獲取，并代表被檢體表面中的內(nèi)部區(qū)域。然后，距離獲取單元822將獲取的距離發(fā)送到統(tǒng)計值獲取單元812。

在步驟S940，統(tǒng)計值獲取單元812獲取步驟S930獲取的基于距預(yù)定區(qū)域的距離分類的多個區(qū)域(即，本示例性實施例中的截面區(qū)域)中的每一個的配準(zhǔn)誤差的統(tǒng)計誤差值。然后，統(tǒng)計值獲取單元812將獲取的信息發(fā)送到顯示控制單元814。

具體地，首先，統(tǒng)計值獲取單元812基于步驟S930獲取的各體素位置距被檢體表面的距離，計算距被檢體表面距離0到10mm的彎曲的截面中的體素N10的數(shù)量。接下來，統(tǒng)計值獲取單元812獲取距被檢體表面距離0到10mm的彎曲的截面中的各體素的體素值，即配準(zhǔn)誤差，并獲取配準(zhǔn)誤差的總T10。然后，統(tǒng)計值獲取單元812將總T10除以體素N10的數(shù)量以獲取距被檢體表面距離0到10mm的彎曲的截面中配準(zhǔn)誤差的平均值。類似地，統(tǒng)計值獲取單元812使用公知的方法獲取諸如配準(zhǔn)誤差的標(biāo)準(zhǔn)偏差、最大值、中值、直方圖的統(tǒng)計誤差值。

另外，如在距被檢體表面距離0到10mm的彎曲的截面中的情況那樣，統(tǒng)計值獲取單元812獲取距被檢體表面距離大于等于10mm且小于20mm的彎曲的截面中、距被檢體表面距離大于等于20mm且小于30mm的彎曲的截面中、距被檢體表面距離大于30的彎曲的截面中的配置誤差的估計值的統(tǒng)計值。

在步驟S950，顯示控制單元814執(zhí)行控制以在顯示器152顯示統(tǒng)計誤差值。另外，顯示控制單元814可以執(zhí)行控制以在顯示器152上顯示步驟S900獲取的第三三維圖像。此時，顯示控制單元814可以在顯示器152上連同第三三維圖像一起顯示步驟S940獲取的統(tǒng)計誤差值。

圖10例示了顯示器152顯示的被檢體的第三三維圖像1001以及與第三三維圖像1001關(guān)聯(lián)的估計誤差值的統(tǒng)計值1002的示例。在圖10中，顯示投影圖像(MIP圖像)，其中在軸向截面上投影整個第三三維圖像1001的厚度范圍(即，板，slab)的體素值的最大值。圖10的虛線1005、1006、1007分別表示距離關(guān)注區(qū)域303(被檢體表面)10mm、20mm、30mm的線。另外，圖10例示了各距離的配準(zhǔn)誤差的估計值的統(tǒng)計值1002。盡管圖10描述了有選擇地顯示多個統(tǒng)計值(例如，中值、平均值)中的一個作為估計誤差值的統(tǒng)計值，但不限于此，可以同時顯示多個統(tǒng)計值。

根據(jù)第三示例性實施例，能夠根據(jù)距預(yù)定區(qū)域的各距離獲取配置誤差的估計值的統(tǒng)計值。這使得用戶能夠容易地明白距預(yù)定區(qū)域的距離和配準(zhǔn)誤差之間的關(guān)系。

根據(jù)本示例性實施例，基于估計誤差值的統(tǒng)計值，用戶能夠容易地明白目標(biāo)截面中的配準(zhǔn)誤差的整體趨勢。

變形示例

盡管從根據(jù)第三示例性實施例的圖像處理裝置的功能配置省略輸出單元，圖像處理裝置60也可以包括如同第一示例性實施例的被配置為向數(shù)據(jù)服務(wù)器150輸出統(tǒng)計值獲取單元812獲取的統(tǒng)計誤差值的輸出單元。

盡管第三示例性實施例中描述了預(yù)定區(qū)域是被檢體表面的情況，但并不限于此，預(yù)定的參照可以是諸如被檢體胸大肌的平面的特征平面或者諸如病變位置的特征點。另外，例如，在被檢體是乳房的情況下，預(yù)定區(qū)域可以是乳頭的位置。在這種情況下，根據(jù)距乳頭的各距離獲取配準(zhǔn)誤差的估計值的統(tǒng)計值。

另外，在如第一示例性實施例中顯示三維圖像的截面圖像的情況下，可以顯示彎曲截面區(qū)域和顯示的截面相交的相交區(qū)域的統(tǒng)計誤差值。在這種情況下，可以在步驟S940獲取彎曲截面區(qū)域分別和顯示的截面相交的相交區(qū)域并且獲取相交區(qū)域的統(tǒng)計誤差值。

也可以通過經(jīng)由網(wǎng)絡(luò)或存儲介質(zhì)向上述的系統(tǒng)或裝置提供程序?qū)崿F(xiàn)一個或多個功能的示例性實施例，使系統(tǒng)或裝置的計算機的一個或多個處理器讀取并執(zhí)行程序?qū)崿F(xiàn)來實現(xiàn)本發(fā)明的示例性實施例。此外，本發(fā)明的實施例還可以由電路(例如，實現(xiàn)一個或多個功能的特定應(yīng)用集成電路(ASIC))實現(xiàn)。

根據(jù)上述示例性實施例中每個信息處理裝置，可以以單一的裝置的形式或多個相互連接的裝置以通信方式執(zhí)行上述處理的形式實現(xiàn)，且兩種配置都包含在本發(fā)明的示例性實施例范圍。描述的處理可以由公共的服務(wù)器設(shè)備或一組服務(wù)器執(zhí)行。包括在圖像處理裝置和圖像處理系統(tǒng)中的多個設(shè)備可以是任何能夠在預(yù)定的通信速率相互通信的設(shè)備，并且設(shè)備不需要是相同設(shè)施或國家。

本發(fā)明的示例性實施例包括如下示例性實施例中，向系統(tǒng)或裝置提供用于實現(xiàn)上述示例性實施例功能的軟件程序，系統(tǒng)或裝置的計算機讀取和執(zhí)行提供程序的代碼。

因此，根據(jù)示例性實施例的處理能夠由計算機實現(xiàn)，所以安裝在計算機種的程序代碼也是本發(fā)明示例性實施例的一個。另外，計算機上運行的操作系統(tǒng)(OS)可以基于計算機讀取的程序總包括的指示執(zhí)行實際處理的一部分或全部，因此能夠通過處理時限上述示例性實施例的功能。

本發(fā)明的示例性實施例包括上述示例性實施例的任何組合。

其他實施例

本發(fā)明的實施例還可以通過讀出并執(zhí)行記錄在存儲介質(zhì)(例如，非臨時性計算機可讀存儲介質(zhì))上的用以進行本發(fā)明的上述實施例中的一個或更多個實施例的功能的計算機可執(zhí)行指令的系統(tǒng)或裝置的計算機來實現(xiàn)，以及通過由系統(tǒng)或裝置的計算機通過例如從存儲介質(zhì)讀出并執(zhí)行用以進行上述實施例中的一個或更多個實施例的功能的計算機可執(zhí)行指令來進行的方法來實現(xiàn)。計算機可以包括中央處理單元(CPU)、微處理單元(MPU)、或其它電路中的一個或更多個，并且可以包括獨立的計算機或獨立的計算機處理器的網(wǎng)絡(luò)。例如可以從網(wǎng)絡(luò)或存儲介質(zhì)向計算機提供計算機可執(zhí)行指令。存儲介質(zhì)可以包括例如硬盤、隨機存取存儲器(RAM)、只讀存儲器(ROM)、分布計算系統(tǒng)的存儲器、光盤(例如，壓縮盤(CD)、數(shù)字多用途盤(DVD)、或藍光盤(BD)TM)、閃存存儲設(shè)備、存儲卡等中的一個或更多個。本發(fā)明還可以由計算機來實現(xiàn)。

雖然參照示例性實施例對本發(fā)明進行了描述，但是應(yīng)當(dāng)理解，本發(fā)明并不限于所公開的示例性實施例。應(yīng)當(dāng)對下列權(quán)利要求的范圍給予最寬的解釋，以使其涵蓋所有這些變型例以及等同的結(jié)構(gòu)及功能。