專利名稱:用于圖形圖像數(shù)據(jù)的遠(yuǎn)程和自適應(yīng)顯示的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域:
本發(fā)明涉及用于圖形數(shù)據(jù)的遠(yuǎn)程顯示和數(shù)據(jù)分析的方法和系統(tǒng),本發(fā)明尤其涉及圖形醫(yī)學(xué)數(shù)據(jù)的遠(yuǎn)程顯示和數(shù)據(jù)分析。
背景技術(shù):
為了顯示人體各種內(nèi)部特征,例如腫瘤的位置,已經(jīng)開發(fā)了各種各樣的醫(yī)學(xué)圖像掃描儀。容積掃描儀、即三維掃描儀,比如計(jì)算機(jī)斷層(CT)、磁共振成像(MRI)、超聲波(US)、電子發(fā)射斷層掃描(PET)和單光子發(fā)射型計(jì)算機(jī)斷層(SPECT)以及二維掃描儀,比如計(jì)算機(jī)照射術(shù)(CR)和數(shù)控X線攝影(DR)是可用的。掃描儀利用不同的生物物理學(xué)的機(jī)制來產(chǎn)生人體圖像。例如,CT掃描器檢測(cè)所掃描患者的特定的體積單元中的X射線吸收,而MRI掃描儀使用磁場(chǎng)來檢測(cè)所掃描患者特定的體積單元中水的存在。這兩個(gè)掃描儀都提供人體的切面,可以組合來形成患者被掃描部分的完整三維圖像。大多數(shù)醫(yī)學(xué)掃描儀的共同的因素是所獲得的數(shù)據(jù)組(尤其是用三維掃描儀所獲得的數(shù)據(jù)組)相當(dāng)大,對(duì)于每個(gè)患者都包括數(shù)百兆的字節(jié)。這樣大的數(shù)據(jù)組需要強(qiáng)大的計(jì)算能力以便顯示數(shù)據(jù),尤其是用于處理和操作數(shù)據(jù)。而且,在公用網(wǎng)絡(luò)上傳輸這類圖像數(shù)據(jù)提出了安全和通信擁塞的相關(guān)挑戰(zhàn)。
用醫(yī)學(xué)圖像掃描儀產(chǎn)生的圖像數(shù)據(jù)通常經(jīng)由圖像存檔和通信系統(tǒng)(PACS系統(tǒng))廣泛類別下的電子數(shù)據(jù)庫(kù)系統(tǒng)來管理和存儲(chǔ),PACS系統(tǒng)使用醫(yī)學(xué)標(biāo)準(zhǔn)(DICOM標(biāo)準(zhǔn))中的數(shù)字成像和通信。掃描儀連接到存儲(chǔ)患者數(shù)據(jù)組的中央服務(wù)器計(jì)算機(jī),或一組服務(wù)器計(jì)算機(jī)上。在傳統(tǒng)的系統(tǒng)上,數(shù)據(jù)然后可以從單個(gè)或幾個(gè)專用的顯示工作站來訪問。這類工作站相當(dāng)昂貴,因此通常只能在專用診斷套房中來訪問,而臨床醫(yī)生的辦公室、醫(yī)院病房或手術(shù)室則不能訪問。
在使用常規(guī)的客戶端/服務(wù)器結(jié)構(gòu)的環(huán)境中存在另一種較便宜的系統(tǒng)。這里仍然需要計(jì)算能力可觀的大容量服務(wù)器,但是中央服務(wù)器計(jì)算機(jī)可以從各種不同的客戶端類型(例如瘦客戶端)來訪問。在這類系統(tǒng)中,顯示程序在中央服務(wù)器上運(yùn)行,并且該程序的輸出經(jīng)由網(wǎng)絡(luò)連接發(fā)送到客戶端的遠(yuǎn)程顯示器。
客戶端/服務(wù)器系統(tǒng)的一個(gè)例子是由Silicon Graphics,Inc.提供的OpenGLVizserverTM系統(tǒng)(http://www.sqi.com/software/vizserver/)。該系統(tǒng)使諸如SiliconGraphicsOctane之類的客戶端和基于PC機(jī)的工作站能夠獲得SGIOnyx服務(wù)器的繪圖能力。在這個(gè)解決方案中,需要特定軟件安裝在客戶端。這不但限制了可用來訪問服務(wù)器的客戶端類別,而且還增加了附加的維護(hù)需求,因?yàn)閂izserverTM客戶端軟件必須本地安裝在每個(gè)客戶工作站上。此外,VizserveTM服務(wù)器軟件不嘗試再次使用以前發(fā)送的幀中的信息。因此,只有當(dāng)可以使用專用的高速數(shù)據(jù)網(wǎng)絡(luò)才適宜運(yùn)行這類系統(tǒng)。但是對(duì)于許多醫(yī)院來說通常不是這種情況;而且這類網(wǎng)絡(luò)的安裝也是需要大筆開支的任務(wù)。
在美國(guó)專利6,014,694中,揭示了用于通過網(wǎng)絡(luò)來自適應(yīng)地傳送視頻的系統(tǒng),該網(wǎng)絡(luò)中可用帶寬隨時(shí)間變化。該系統(tǒng)包括視頻/音頻編碼器/解碼器,其用于壓縮、編碼、解碼和解壓縮通過網(wǎng)絡(luò)連接傳送的視頻流。該系統(tǒng)根據(jù)信道帶寬調(diào)整壓縮比,以適應(yīng)多種帶寬。通過給出視頻分辨率、幀速率和單獨(dú)幀質(zhì)量之間的折衷方案而提供了帶寬可調(diào)整性。將原始視頻源劃分成幀,其中,每一幀都包括表示不同質(zhì)量程度的多個(gè)數(shù)據(jù)層次。視頻客戶端根據(jù)帶寬來接收每一幀的若干層次,每一幀被接收的層次越高,該幀的質(zhì)量就越高。只有已知數(shù)據(jù)流將被發(fā)送很多次(如同在視頻流的情況下),這類系統(tǒng)才能最佳地工作。如果該數(shù)據(jù)流在其每次被發(fā)送時(shí)都是唯一的,則該系統(tǒng)對(duì)于每個(gè)會(huì)話都會(huì)產(chǎn)生大量的冗余數(shù)據(jù),而且不可能在接收到請(qǐng)求之前分成幀,從而占用了計(jì)算能力來產(chǎn)生冗余數(shù)據(jù)。
發(fā)明內(nèi)容
本發(fā)明目的是克服與大數(shù)字?jǐn)?shù)據(jù)組的遠(yuǎn)程顯示和操作相關(guān)的問題。
根據(jù)本發(fā)明的第一形式,提供了一個(gè)方法,用于在計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)中把圖形數(shù)據(jù)從第一裝置傳送到至少一個(gè)的第二裝置,該方法包括下列步驟產(chǎn)生對(duì)屏幕圖像的請(qǐng)求,在第一裝置中,只要接收到對(duì)屏幕圖像的請(qǐng)求,就
產(chǎn)生所請(qǐng)求的屏幕圖像,估算第一和至少一個(gè)的第二裝置之間的連接的當(dāng)前可用帶寬,基于估算出來的可用帶寬,用對(duì)應(yīng)的壓縮方法壓縮所產(chǎn)生的屏幕圖像,以便形成壓縮的屏幕圖像,和把壓縮的屏幕圖像轉(zhuǎn)發(fā)到至少一個(gè)的第二裝置。
圖形數(shù)據(jù)可以是任何類型的圖形數(shù)據(jù),但是優(yōu)選地是醫(yī)學(xué)圖像數(shù)據(jù),例如結(jié)合患者的醫(yī)學(xué)掃描而獲得的數(shù)據(jù)。圖形數(shù)據(jù)存儲(chǔ)在第一裝置上,第一裝置可以是中央計(jì)算機(jī),或計(jì)算機(jī)的中央群。第一裝置可以包括任何類型的計(jì)算機(jī)或計(jì)算機(jī)群,它們具有必要的總存儲(chǔ)容量以存儲(chǔ)大量數(shù)據(jù)組(例如通過在醫(yī)院中掃描大量患者而產(chǎn)生)。第一裝置還將配備有必需的計(jì)算能力,以能夠處理分析和操作大量三維數(shù)據(jù)組(比如人的頭部、胸部等部位的三維圖像)的高要求任務(wù)。
至少第二裝置可以是任何類型的計(jì)算機(jī),其配備有用于圖形顯示的屏幕。術(shù)語(yǔ)顯示應(yīng)該被解釋成同時(shí)包括二維顯示和三維顯示。至少一個(gè)的第二裝置可以例如是瘦客戶端、諸如個(gè)人數(shù)字助理(PDA)之類的無線手持裝置、個(gè)人計(jì)算機(jī)(PC)、平板計(jì)算機(jī)、膝上型計(jì)算機(jī)或工作站。至少一個(gè)的第二裝置可以只充當(dāng)?shù)谝谎b置的圖形終端。至少一個(gè)的第二裝置能夠從用戶接收請(qǐng)求動(dòng)作并向第一裝置傳送該請(qǐng)求,以及接收和顯示由第一裝置產(chǎn)生的屏幕圖像。至少一個(gè)的第二裝置的屏幕在許多方面可以被視為連接到第一裝置的屏幕。
例如通過至少一個(gè)的第二裝置的用戶或通過程序調(diào)用,請(qǐng)求了一個(gè)動(dòng)作。該動(dòng)作可以例如,使可能的選擇的列表顯示在至少一個(gè)的第二裝置的屏幕上,或者該動(dòng)作可以使與患者數(shù)據(jù)相關(guān)的圖像顯示在至少一個(gè)的第二裝置的屏幕上。該請(qǐng)求可以基于從諸如按鍵、鼠標(biāo)移動(dòng)、鼠標(biāo)點(diǎn)擊之類的用戶交互操作事件接收的用戶指令。
只要接收到請(qǐng)求,第一裝置就按照對(duì)特定屏幕圖像的請(qǐng)求來解釋該請(qǐng)求。第一裝置從其連接的存儲(chǔ)介質(zhì)獲得相關(guān)的患者數(shù)據(jù)。該存儲(chǔ)介質(zhì)可以是任何類型的存儲(chǔ)介質(zhì),比如硬盤。作為該請(qǐng)求的結(jié)果產(chǎn)生屏幕圖像。估算當(dāng)前的連接帶寬,并且基于估算出來的可用帶寬和請(qǐng)求類型,用對(duì)應(yīng)的壓縮方法來壓縮該屏幕圖像。第一裝置把壓縮的屏幕圖像轉(zhuǎn)發(fā)到至少一個(gè)的第二裝置。
然而,第一裝置也可能沒有接收來自于至少一個(gè)的第二裝置的請(qǐng)求就產(chǎn)生一個(gè)非請(qǐng)求的屏幕圖像。該非請(qǐng)求的屏幕圖像可能基于相應(yīng)的患者數(shù)據(jù),或者非請(qǐng)求的屏幕圖像也可能與患者數(shù)據(jù)或用戶做出的任何請(qǐng)求無關(guān)。該非請(qǐng)求的屏幕圖像可能由于第一裝置處存在的指令而產(chǎn)生。
屏幕圖像的產(chǎn)生還可能根據(jù)至少一個(gè)的第二裝置的類型作為條件。如果,例如至少一個(gè)的第二裝置是PDA,則產(chǎn)生高分辨率的圖像可能是多余的,因?yàn)楫?dāng)前可用的PDA在它們的分辨率上受到限制。因此,產(chǎn)生到PDA的圖像與產(chǎn)生到瘦客戶端的相同圖像相比,具有的分辨率較低。
壓縮方法還可能以請(qǐng)求的類型為條件。圖形圖像的壓縮可能涉及損失,即壓縮解壓縮處理之后得到的圖像與壓縮分解處理之前的圖像不一致,這類方法通常稱為有損壓縮方法。有損壓縮方法通常執(zhí)行起來較快,并且可以以較高壓縮比來壓縮圖像。在這些情況中可以考慮請(qǐng)求類型,即解壓縮的圖像沒有損耗是重要的,或損耗是不重要的。請(qǐng)求的類型可以比如是顯示圖像、旋轉(zhuǎn)圖像、放大圖像、移動(dòng)圖像等。
壓縮方法還可能以至少一個(gè)的第二裝置的類型為條件。尤其是可以考慮至少一個(gè)的第二裝置的計(jì)算能力。例如,如果至少一個(gè)的第二裝置的具有的計(jì)算能力使得解壓縮任務(wù)被估計(jì)為太過耗時(shí),則可以使用不同的并且要求較低的壓縮方法。
因?yàn)橄到y(tǒng)可能用于在數(shù)據(jù)網(wǎng)絡(luò)上傳送敏感的人員信息,所以被傳送數(shù)據(jù)可以被加密可能是很重要的。因此,第一裝置可能包括一個(gè)裝置,用于在把屏幕圖像發(fā)送給至少一個(gè)的第二裝置之前對(duì)其進(jìn)行加密。同樣地,至少一個(gè)的第二裝置可能具有一個(gè)裝置,用于在把屏幕圖像產(chǎn)生在至少一個(gè)的第二裝置的屏幕上之前解密接收到的屏幕圖像。而且,該系統(tǒng)可能包括一個(gè)特征,其中,用戶人工地設(shè)置加密等級(jí),或系統(tǒng)可能自動(dòng)地設(shè)置適宜的加密等級(jí)。解密接收到的屏幕圖像的時(shí)間可能取決于至少一個(gè)的第二裝置設(shè)備的處理裝置,尤其是手持裝置可能受處理能力的限制。因此在某些情況下,這可能是使用高要求的加密程序的限制因素。因此,被用于加密數(shù)據(jù)的加密程序取決于至少一個(gè)的第二裝置的類型。
除了圖像數(shù)據(jù)之外,用于數(shù)據(jù)分析、數(shù)據(jù)操作和數(shù)據(jù)顯示的應(yīng)用程序也可以存儲(chǔ)在第一裝置上,并且可以從第一裝置中運(yùn)行。該應(yīng)用程序還可以存儲(chǔ)在經(jīng)由計(jì)算機(jī)網(wǎng)絡(luò)連接而連接到第一裝置的裝置上,并可以從中運(yùn)行。大量的應(yīng)用程序是可以從第一裝置訪問的。該應(yīng)用程序可以包括適合于操作三維圖形醫(yī)學(xué)數(shù)據(jù)(比如來自于MRI、CT、US、PET和SPECT的數(shù)據(jù))和二維圖形醫(yī)學(xué)數(shù)據(jù)(比如來自于CR和DR的數(shù)據(jù)),以及適合于操作來自于產(chǎn)生醫(yī)學(xué)圖像的其它裝置的數(shù)據(jù)的軟件。操作可以是數(shù)據(jù)的任何標(biāo)準(zhǔn)操作,比如旋轉(zhuǎn)、放大和縮小、剪輯一個(gè)區(qū)域或數(shù)據(jù)子集等等。操作也可以是不標(biāo)準(zhǔn)的操作,或者可以是為本系統(tǒng)特別開發(fā)的唯一的操作。
為了獲得靈活的系統(tǒng),可以使用不同的壓縮方法。壓縮方法可以在會(huì)話開始時(shí)人工地選擇或由軟件自動(dòng)地選擇。根據(jù)所需要的壓縮比而采用不同的壓縮方法。壓縮方法可能在壓縮時(shí)間、壓縮比以及它們最適合的數(shù)據(jù)類型方面不同??梢允褂酶鞣N壓縮方法,包括兩個(gè)標(biāo)準(zhǔn)方法以及為本系統(tǒng)特別開發(fā)的方法。
例如,一個(gè)特定的壓縮方法是所謂的灰色單元壓縮(GCC)方法,其中,壓縮RGB色彩圖形圖像或灰階圖形圖像。該壓縮方法包括下列步驟把圖形圖像再分成包括4×4像素的單元,確定每個(gè)單元的平均單元色彩,在平均單元色彩是灰階色彩的情況下,用1比特來把該單元標(biāo)記為灰階,而用7比特來表示灰階色彩,或在平均單元色彩不是灰階色彩的情況下,用1比特來把該單元標(biāo)記為非灰階,而用15比特來表示色彩。
GCC方法尤其特別適合于壓縮大部分圖像是灰階的圖像。因?yàn)樵S多醫(yī)學(xué)對(duì)象通??赡苁且曰译A成像的,因此GCC方法很適合于壓縮醫(yī)學(xué)圖像。
只要會(huì)話開始,在第一裝置位置的會(huì)話管理器就可以創(chuàng)建并維持至少一個(gè)的第二裝置設(shè)備和第一裝置之間的會(huì)話,并且把控制部件上傳到至少一個(gè)的第二裝置。至少一個(gè)的第二裝置可以是沒有操作系統(tǒng)(OS)的計(jì)算機(jī),例如瘦客戶端。在這種情況下可以上傳OS,以便至少一個(gè)的第二裝置變得能接受并發(fā)送請(qǐng)求動(dòng)作,以及能接收和顯示由第一裝置產(chǎn)生的屏幕圖像。然而,至少一個(gè)的第二裝置也可以是一個(gè)有OS的計(jì)算機(jī),例如PDA或PC。對(duì)于這些設(shè)備來說,OS已經(jīng)在至少一個(gè)的第二裝置上起作用,并且在這種情況下它只需要上傳計(jì)算機(jī)應(yīng)用程序以啟動(dòng)會(huì)話。然而,可以不用把計(jì)算機(jī)應(yīng)用程序從第一裝置上傳到至少一個(gè)的第二裝置而創(chuàng)建和/或維持會(huì)話。例如,可能足以允許至少一個(gè)的第二裝置從第一裝置接收屏幕圖像。不必要在至少一個(gè)的第二裝置上運(yùn)行計(jì)算機(jī)應(yīng)用程序來接收、查看和/或甚至在至少一個(gè)的第二裝置上操作屏幕圖像。
給出一個(gè)幀設(shè)置器,其根據(jù)檢測(cè)到的可用帶寬、并且還選擇性地根據(jù)至少一個(gè)的第二裝置的技術(shù)要求來設(shè)置至少一個(gè)的第二裝置的幀緩存的分辨率。即,如果檢測(cè)到的帶寬很低,則幀緩存的分辨率可能設(shè)定為低的值,并且可以根據(jù)該幀緩存的分辨率產(chǎn)生屏幕圖像。把幀緩存設(shè)置成低分辨率是一個(gè)快速壓縮數(shù)據(jù)的方法。大多數(shù)計(jì)算機(jī)系統(tǒng)的圖形硬件具有這樣的功能,即如果接收了分辨率低于屏幕分辨率的屏幕圖像,則自動(dòng)地放大屏幕圖像來充滿整個(gè)屏幕。在這個(gè)情況中,至少一個(gè)的第二裝置上最后的屏幕輸出自然地在分辨率上受到限制。在檢測(cè)到的帶寬可接受的情況下,幀緩存的分辨率可以設(shè)定為至少一個(gè)的第二裝置的屏幕分辨率。在這種情況下,雖然占用了更多的帶寬,但是卻保持了完全的分辨率。因?yàn)槟壳翱捎玫腜DA屏幕分辨率有限,如果至少一個(gè)的第二裝置例如是一個(gè)PDA,則可以考慮至少一個(gè)的第二裝置的規(guī)格。僅由于其在至少一個(gè)的第二裝置會(huì)向下取樣,傳送分辨率過高的圖像是帶寬的浪費(fèi)。
可以提供目標(biāo)二次抽樣器,其根據(jù)檢測(cè)到的可用帶寬、并選擇性地還根據(jù)至少一個(gè)的第二裝置的規(guī)格來設(shè)置顯示和著色參數(shù)??梢愿淖兯a(chǎn)生的屏幕圖像的色深,當(dāng)帶寬低時(shí)可以使用8位色彩,而如果帶寬允許則可以使用16、24或32位。此外,也可以考慮至少一個(gè)的第二裝置的計(jì)算能力。解壓縮接收到的屏幕圖像的時(shí)間可能取決于至少一個(gè)的第二裝置設(shè)備的處理裝置,尤其是手持裝置可能受處理能力的限制。因此,在某些情況下,不壓縮或略微地壓縮屏幕圖像可能更快。
經(jīng)過設(shè)置、二次抽樣、壓縮并也許加密的數(shù)據(jù)由第一裝置端的輸入/輸出管理器傳送到至少一個(gè)的第二裝置端的輸入/輸出管理器,其還處理用戶交互操作到第一裝置的傳送。
在許多情況中,所請(qǐng)求的屏幕圖像與已經(jīng)呈現(xiàn)在至少一個(gè)的第二裝置屏幕上的屏幕圖像相比只有很小的變化。在這個(gè)情況中有利的是,在至少一個(gè)的第二裝置端產(chǎn)生的屏幕圖像是基于從第一裝置接收的屏幕圖像、或基于在至少一個(gè)的第二裝置端的幀緩存的內(nèi)容、或基于接收到的屏幕圖像以及幀緩存內(nèi)容的結(jié)合。即,接收到的屏幕圖像包括相對(duì)于以前發(fā)送的屏幕圖像的改變,以便顯示的屏幕圖像是通過至少一個(gè)的第二裝置的幀緩存而可以獲得的之前顯示的屏幕圖像與接收到的圖像改變這兩者的疊加。
大多數(shù)網(wǎng)絡(luò)是共享資源,在任何特定時(shí)刻網(wǎng)絡(luò)連接上的可用帶寬隨時(shí)間和位置變化。估算當(dāng)前的可用帶寬,并且據(jù)此改變數(shù)據(jù)傳送率。當(dāng)沒有接收到請(qǐng)求動(dòng)作時(shí),不向至少一個(gè)的第二裝置發(fā)送屏幕幀,至少一個(gè)的第二裝置在這種情況下從至少一個(gè)的第二裝置的幀緩存中刷新屏幕。因此,網(wǎng)絡(luò)連接占用的是可變的帶寬量。
許多醫(yī)院、診所或其它的醫(yī)療機(jī)構(gòu)已經(jīng)安裝了數(shù)據(jù)網(wǎng)絡(luò),而且醫(yī)學(xué)臨床醫(yī)生可以在家或在小的醫(yī)學(xué)辦公室而不能訪問大容量的網(wǎng)絡(luò)。因此重要的是,至少一個(gè)的第二裝置和第一裝置可以經(jīng)由多個(gè)可能的公用網(wǎng)絡(luò)連接通信,比如例如以太網(wǎng)連接的互聯(lián)網(wǎng)連接或內(nèi)部網(wǎng)連接,或通過電纜連接或通過無線連接。特別地,第二裝置和第一裝置可以通過任何類型的網(wǎng)絡(luò)通信,這些網(wǎng)絡(luò)使用諸如互聯(lián)網(wǎng)或其它TCP/IP網(wǎng)絡(luò)之類的互聯(lián)網(wǎng)協(xié)議(IP)。第二裝置和第一裝置可以通過專用和非專用網(wǎng)絡(luò)連接通信。
圖形數(shù)據(jù)可以是基于遵循圖像存檔和通信系統(tǒng)(PACS系統(tǒng))上實(shí)施的醫(yī)學(xué)標(biāo)準(zhǔn)中的數(shù)字成像和通信(DICOM標(biāo)準(zhǔn))的數(shù)據(jù)的圖形醫(yī)學(xué)數(shù)據(jù)。大多數(shù)醫(yī)學(xué)掃描儀都支持DICOM標(biāo)準(zhǔn),其是處理不同系統(tǒng)之間的兼容性的標(biāo)準(zhǔn)??梢耘c圖形數(shù)據(jù)一起給出文本數(shù)據(jù)。優(yōu)選地,文本數(shù)據(jù)是基于遵循健康信息交換第七層協(xié)議(HL7)標(biāo)準(zhǔn)或用于管理、商業(yè)和傳送的電子數(shù)據(jù)交換(EDIFACT)標(biāo)準(zhǔn)的數(shù)據(jù)。圖形和/或醫(yī)學(xué)數(shù)據(jù)的互換是基于用于數(shù)據(jù)互換的國(guó)際健康信息交換(IHE)架構(gòu)。
根據(jù)本發(fā)明的第二形式,提供用于在計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)中傳送圖形數(shù)據(jù)的系統(tǒng)。該系統(tǒng)包括
至少一個(gè)第二裝置,配備有用于記錄用戶輸入的裝置以及用于顯示圖形數(shù)據(jù)的顯示裝置,第一裝置,配備有適用于產(chǎn)生屏幕圖像的軟件,用于估算第一和至少一個(gè)的第二裝置之間連接的可用帶寬的裝置,適用于用多個(gè)壓縮方法來壓縮屏幕圖像的軟件,以形成壓縮的屏幕圖像,和用于把壓縮的屏幕圖像發(fā)送到至少一個(gè)的第二裝置的裝置。
第一裝置還可以包括一個(gè)裝置,用于加密將通過第一裝置和至少一個(gè)的第二裝置之間的計(jì)算機(jī)連接來發(fā)送的數(shù)據(jù),并且至少一個(gè)的第二裝置可以包括用于解密接收到的數(shù)據(jù)的裝置。
至少一個(gè)的第二裝置和第一裝置可以通過公用網(wǎng)絡(luò)連接通信。第一裝置可以是計(jì)算機(jī)服務(wù)器系統(tǒng),而至少一個(gè)的第二裝置可以例如是瘦客戶端、工作站、PC、平板計(jì)算機(jī)、膝上型計(jì)算機(jī)或無線手持裝置。第一裝置可以是PACS系統(tǒng)或者是該系統(tǒng)的一部分。
現(xiàn)在將參考附圖來詳細(xì)描述本發(fā)明的優(yōu)選實(shí)施例,其中圖1示出了本發(fā)明的優(yōu)選實(shí)施例的示意圖;圖2示出示意流程圖,說明了自適應(yīng)流模塊(ASM)的功能;圖3示出數(shù)據(jù)對(duì)象的旋轉(zhuǎn)示例和對(duì)應(yīng)的帶寬;圖4說明了壓縮時(shí)間、所使用的壓縮方法、和無損壓縮可獲得的壓縮比之間的聯(lián)系;和圖5說明了壓縮質(zhì)量、所使用的壓縮方法、和有損壓縮可獲得的壓縮比之間的聯(lián)系。
具體實(shí)施例方式
本發(fā)明提供了用于在計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)中把圖形數(shù)據(jù)從第一裝置傳送到至少一個(gè)的第二裝置的方法和系統(tǒng)。如下參考優(yōu)選實(shí)施例描述本發(fā)明,其中,圖形數(shù)據(jù)是圖形醫(yī)學(xué)數(shù)據(jù),并且計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)是客戶端/服務(wù)器系統(tǒng)。圖1給出了一個(gè)示意圖。
用連接到服務(wù)器計(jì)算機(jī)2的醫(yī)學(xué)掃描儀1獲得醫(yī)學(xué)圖像數(shù)據(jù)。大量的客戶端3可以連接到該服務(wù)器。該服務(wù)器是PACS系統(tǒng)的一部分。當(dāng)患者已經(jīng)經(jīng)受掃描時(shí),獲得的圖像16可以自動(dòng)或者人工地被傳送到并存儲(chǔ)在服務(wù)器設(shè)備上。盡管只參考服務(wù)器或服務(wù)器設(shè)備,該服務(wù)器可以是單獨(dú)的計(jì)算機(jī)、計(jì)算機(jī)群或通過計(jì)算機(jī)連接而連接的計(jì)算機(jī)系統(tǒng)??梢栽谄浜蟮娜魏螘r(shí)候建立對(duì)圖像的訪問。除了圖像數(shù)據(jù)之外,用于數(shù)據(jù)分析和顯示的應(yīng)用程序15也存儲(chǔ)在服務(wù)器設(shè)備上并從中運(yùn)行。服務(wù)器配備有必要的計(jì)算能力,以能夠處理分析和操作大的三維數(shù)據(jù)組的高要求的任務(wù),比如人的頭部、胸部等部位的三維圖像。所有的數(shù)據(jù)和用于顯示和分析的數(shù)據(jù)應(yīng)用程序15都在服務(wù)器上存儲(chǔ)、操作和處理。
客戶端3可以是配備有用于圖形顯示的屏幕的任何類型的計(jì)算機(jī)設(shè)備??蛻舳丝梢岳缡鞘菘蛻舳?Thin Client)5、諸如個(gè)人數(shù)字助理(PDA)6之類的無線手持裝置、個(gè)人計(jì)算機(jī)(PC)、膝上型計(jì)算機(jī)或工作站7等。
自適應(yīng)流模塊(ASM)4用來確保服務(wù)器和客戶端之間連續(xù)的數(shù)據(jù)流。ASM能夠估算當(dāng)前的可用帶寬,并能夠據(jù)此改變數(shù)據(jù)的傳送率。ASM 4是服務(wù)器設(shè)備2的一部分。
客戶端可以包括ASM 5、6、7,或者它可以不包括ASM 17??蛻舳薃SM不是系統(tǒng)工作所必需的。
ASM包括會(huì)話管理器8。會(huì)話管理器創(chuàng)建并維持客戶端設(shè)備和服務(wù)器之間的會(huì)話。會(huì)話管理器8把控制部件上傳到至少一個(gè)的第二裝置。例如,如果客戶端是瘦客戶端5,則首先上傳操作系統(tǒng)(OS),以便瘦客戶端變得能接受和發(fā)送請(qǐng)求動(dòng)作,以及能接收和顯示由服務(wù)器產(chǎn)生的屏幕圖像。在客戶端是PDA 6或PC的情況下,操作系統(tǒng)已經(jīng)在該客戶端上起作用,并且在這種情況下它只需上傳計(jì)算機(jī)程序以啟動(dòng)會(huì)話。
ASM還包括帶寬管理器9,其不斷地測(cè)量可用帶寬。幀設(shè)置器10,其設(shè)置客戶端的幀緩存的分辨率。目標(biāo)二次抽樣器11設(shè)置顯示和著色參數(shù)。壓縮編碼器12壓縮圖像。加密器13包括用于在數(shù)據(jù)被發(fā)送給客戶端3之前對(duì)其進(jìn)行加密的裝置。進(jìn)行過設(shè)置、二次抽樣、壓縮和加密的數(shù)據(jù)由輸入/輸出管理器14來傳送。
在圖2中示出說明ASM模塊20功能的示意流程圖。醫(yī)學(xué)數(shù)據(jù)的用戶例如可以是外科醫(yī)生,他將在掃描的三維圖像的背景上計(jì)劃手術(shù)。用戶首先從圖形接口21(比如其辦公室中的瘦客戶端)建立一個(gè)連接。首先用戶應(yīng)該登錄到系統(tǒng)以便識(shí)別身份。然后,呈現(xiàn)一個(gè)列表給用戶,用戶可以從該列表中請(qǐng)求訪問將呈現(xiàn)在計(jì)算機(jī)屏幕23上的相關(guān)圖像。在另一個(gè)例子中,醫(yī)學(xué)數(shù)據(jù)的用戶是在醫(yī)院病房中巡診的臨床醫(yī)生。為了便于討論或便于患者對(duì)其病情的了解,臨床醫(yī)生可以帶上一個(gè)PDA,他可以首先通過PDA登陸到系統(tǒng)上,然后訪問該患者的相關(guān)圖像。
客戶端的用戶正在請(qǐng)求一個(gè)動(dòng)作,比如患者的特定圖像。將請(qǐng)求24發(fā)送給服務(wù)器,服務(wù)器按照對(duì)特定的屏幕圖像的請(qǐng)求來解釋該請(qǐng)求。服務(wù)器從它連接的存儲(chǔ)介質(zhì)中獲得有關(guān)的圖像數(shù)據(jù)25。估算連接的當(dāng)前帶寬26,并且基于檢測(cè)到的可用帶寬和多個(gè)其它參數(shù),將屏幕圖像壓縮到對(duì)應(yīng)的壓縮比。舉例來說,可以用兩個(gè)其它參數(shù)產(chǎn)生屏幕圖像。第一參數(shù)可以是色深27。如果用戶例如請(qǐng)求腦靜脈的圖像,則可以使用24位的RGB色深,而如果用戶例如請(qǐng)求顱骨的圖像,則8位色深可能就足夠了。第二參數(shù)可以是客戶端類型28。如果請(qǐng)求客戶端設(shè)備是瘦客戶端,則可以用19英寸的屏幕作圖形界面。在這種情況下,可以產(chǎn)生768×1024像素的圖像。但是如果請(qǐng)求設(shè)備是一個(gè)PDA,則將被產(chǎn)生稍微小一點(diǎn)的圖像,例如一個(gè)300×400像素的圖像,因?yàn)榇蠖鄶?shù)PDA都限制了屏幕分辨率。
產(chǎn)生、壓縮和加密屏幕圖像22。圖像傳送到客戶端設(shè)備,其中,在它顯示在請(qǐng)求用戶使用的屏幕23上之前,首先對(duì)其解密和解壓縮29。
外科醫(yī)生可以使用大量的三維圖形程序,比如旋轉(zhuǎn)、縮放等,例如用來獲得對(duì)將要?jiǎng)邮中g(shù)的目標(biāo)位置的了解。在圖3中給出數(shù)據(jù)對(duì)象的旋轉(zhuǎn)示例和對(duì)應(yīng)的帶寬。
通過使用結(jié)合圖2解釋的步驟,用戶已經(jīng)請(qǐng)求顱骨30的三維圖像。在圖像傳送期間,已經(jīng)使用一定量的帶寬34,但是只要已經(jīng)傳送圖像,那么沒有或者微乎其微的帶寬被占用35?,F(xiàn)在,用戶想要旋轉(zhuǎn)圖像以獲得不同的視圖31、32、33。例如,用戶可以點(diǎn)擊圖像,然后保持鼠標(biāo)按鈕被按下且按所期望的旋狀方向來移動(dòng)鼠標(biāo)。從而,請(qǐng)求類型是對(duì)象旋轉(zhuǎn),并且當(dāng)按下鼠標(biāo)按鈕保持時(shí),軟件把請(qǐng)求處理為旋轉(zhuǎn)。
圖形圖像的壓縮是分辨率和壓縮率之間的折衷。所要求的分辨率越低,可以使用的壓縮率就越高。當(dāng)旋轉(zhuǎn)一個(gè)對(duì)象時(shí),在旋轉(zhuǎn)31、32期間,當(dāng)旋轉(zhuǎn)對(duì)象時(shí),只需要一個(gè)圖像指示,并且直到停止旋轉(zhuǎn)的時(shí)候,才需要傳送高質(zhì)量的圖像33。圖像31和32使用結(jié)合圖2來解釋的步驟來傳送,但是較高的圖像壓縮比導(dǎo)致所需帶寬較低。當(dāng)鼠標(biāo)按鈕松開時(shí),傳送的圖像33不再作為旋轉(zhuǎn),并且使用較低的壓縮。
使用兩個(gè)類型的壓縮方法,無損壓縮方法和給出損耗的壓縮方法或有損壓縮方法。兩個(gè)不同類型的壓縮方法都被使用。根據(jù)所需要的壓縮比而采用不同的壓縮方法。壓縮方法可以在壓縮時(shí)間、壓縮比以及它們最適合的圖像類型方面不同。圖像壓縮主要取決于可用帶寬來確定,但是請(qǐng)求類型也是很重要的,尤其是關(guān)系到使用無損還是有損方法的時(shí)候。對(duì)于三個(gè)標(biāo)準(zhǔn)的無損壓縮方法PackBits(或行程編碼)、BZIP2和Lempel-Ziv-Obenhumer(LZO),在圖4中給出壓縮時(shí)間和壓縮比之間聯(lián)系的例子。在圖5中,對(duì)于兩個(gè)標(biāo)準(zhǔn)的壓縮方法色組壓縮(CCC)和擴(kuò)展色組壓縮(XCCC),以及特定的壓縮方法,即所謂的灰階單元壓縮(GCC)來舉例說明有損壓縮方法的圖像質(zhì)量和壓縮比之間的聯(lián)系。
可以分別或連續(xù)使用這些方法,以獲得較高的壓縮比。例如,可以將CCC壓縮和LZO壓縮(CCC::LZO)結(jié)合。
在圖4中,對(duì)于PackBits壓縮方法41、BZIP2方法42和LZO方法43,用可獲得的壓縮大小40、或壓縮比,比較了壓縮時(shí)間。壓縮時(shí)間和壓縮比之間的正確聯(lián)系取決于被壓縮圖像的結(jié)構(gòu)。通過被每個(gè)方法占用的特定的區(qū)域擴(kuò)展來說明。
在圖5中,對(duì)于各種壓縮方法(一個(gè)方法或多個(gè)方法的結(jié)合),用可獲得的壓縮大小50,比較了圖像質(zhì)量。
倘若圖像包括很大的灰階區(qū)域,那么使用利用該信息的專門的壓縮方法是有益的?;疑珕卧獕嚎s(GCC)方法是這類壓縮方法的一個(gè)例子。GCC是標(biāo)準(zhǔn)CCC技術(shù)的一個(gè)變體。它利用了這個(gè)事實(shí),即包括灰階像素的單元具有灰階平均單元色彩。利用這個(gè)以用于更有效地對(duì)兩個(gè)平均單元色彩進(jìn)行編碼。倘若平均單元色彩是灰階色彩,那么用1比特來把該色彩標(biāo)記為灰階色彩,而用7比特來表示灰階值。倘若平均單元色彩是非灰階色彩,那么用1比特來把該單元標(biāo)記為非灰階色彩,而用15比特來表示該色彩自身。
GCC方法的壓縮比取決于圖像的灰階部分有多大。在最差的情況中,沒有一個(gè)平均色彩是灰階色彩。在這種情況下,壓縮比是1∶8。在最佳情況中,所有的平均色彩都是灰階色彩,得出1∶12的壓縮比。相比于標(biāo)準(zhǔn)的CCC方法,GCC方法的優(yōu)點(diǎn)在于包括很大的灰階區(qū)域的圖像能以較低帶寬和較高圖像質(zhì)量來傳送。
盡管已經(jīng)結(jié)合優(yōu)選實(shí)施例描述了本發(fā)明,然而它不是意在受限于在此闡述的特定形式?,F(xiàn)反,本發(fā)明的范圍僅僅由附帶的權(quán)利要求來限定。
權(quán)利要求
1.用于在計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)中把圖形數(shù)據(jù)從第一裝置傳送到至少一個(gè)的第二裝置的方法,該方法包括下列步驟產(chǎn)生對(duì)屏幕圖像的請(qǐng)求,在第一裝置中,只要接收到對(duì)屏幕圖像的請(qǐng)求,就產(chǎn)生所請(qǐng)求的屏幕圖像,估算第一和至少一個(gè)的第二裝置之間的連接的當(dāng)前可用帶寬,基于估算出來的可用帶寬,用對(duì)應(yīng)的壓縮方法壓縮所產(chǎn)生的屏幕圖像,以便形成壓縮的屏幕圖像,和把壓縮的屏幕圖像發(fā)送到至少一個(gè)的第二裝置。
2.根據(jù)權(quán)利要求1所述的方法,其中,沒有從至少一個(gè)的第二裝置接收到請(qǐng)求的第一裝置正在產(chǎn)生非請(qǐng)求的屏幕圖像,估算第一和至少一個(gè)的第二裝置之間的連接的當(dāng)前可用帶寬,基于估算出來的可用帶寬,用對(duì)應(yīng)的壓縮方法壓縮所產(chǎn)生的屏幕圖像,以便形成壓縮的屏幕圖像,和把壓縮的屏幕圖像發(fā)送到至少一個(gè)的第二裝置。
3.根據(jù)之前的任意一項(xiàng)權(quán)利要求所述的方法,其中,屏幕圖像的產(chǎn)生還以至少一個(gè)的第二裝置的類型作為條件。
4.根據(jù)之前的任意一項(xiàng)權(quán)利要求所述的方法,其中,所使用的壓縮方法還以請(qǐng)求類型為條件。
5.根據(jù)之前的任意一項(xiàng)權(quán)利要求所述的方法,其中,所使用的壓縮方法還以至少一個(gè)的第二裝置的類型為條件。
6.根據(jù)之前的任意一項(xiàng)權(quán)利要求所述的方法,其中,在第一裝置和至少一個(gè)的第二裝置之間傳送的圖形數(shù)據(jù)被加密。
7.根據(jù)之前的任意一項(xiàng)權(quán)利要求所述的方法,其中,圖形數(shù)據(jù)是圖形醫(yī)學(xué)數(shù)據(jù)。
8.根據(jù)之前的任意一項(xiàng)權(quán)利要求所述的方法,其中,圖形數(shù)據(jù)和大量的數(shù)據(jù)分析和顯示應(yīng)用程序存儲(chǔ)/運(yùn)行在第一裝置或通過計(jì)算機(jī)網(wǎng)絡(luò)與第一裝置連接的裝置上。
9.根據(jù)之前的任意一項(xiàng)權(quán)利要求所述的方法,其中,根據(jù)所需要的壓縮比采用不同的壓縮方法。
10.根據(jù)權(quán)利要求1到8中任意一項(xiàng)所述的方法,其中,在會(huì)話開始的時(shí)候人工地選擇壓縮方法或者由軟件自動(dòng)地選擇。
11.根據(jù)之前的任意一項(xiàng)權(quán)利要求所述的方法,其中,將控制部件從第一裝置上傳到至少一個(gè)的第二裝置。
12.根據(jù)之前的任意一項(xiàng)權(quán)利要求所述的方法,其中,在第一裝置端的幀設(shè)置器根據(jù)估算出來的可用帶寬并且還選擇性地根據(jù)至少一個(gè)的第二裝置的規(guī)格,來設(shè)置至少一個(gè)的第二裝置處的幀緩存的分辨率。
13.根據(jù)之前的任意一項(xiàng)權(quán)利要求所述的方法,其中,一個(gè)目標(biāo)二次抽樣器根據(jù)估算出來的可用帶寬、并且還選擇性地根據(jù)至少一個(gè)的第二裝置的規(guī)格來設(shè)置顯示和著色參數(shù)。
14.根據(jù)之前的任意一項(xiàng)權(quán)利要求所述的方法,其中,第一裝置端處的輸入/輸出管理器把經(jīng)過設(shè)置、二次抽樣、壓縮并有可能加密的幀緩存數(shù)據(jù)發(fā)送到至少一個(gè)的第二裝置,并且至少一個(gè)的第二裝置端處的輸入/輸出管理器接收?qǐng)D形數(shù)據(jù)。
15.根據(jù)之前的任意一項(xiàng)權(quán)利要求所述的方法,其中,在至少一個(gè)的第二裝置端產(chǎn)生的屏幕圖像是基于從第一裝置接收的屏幕圖像,或基于在至少一個(gè)的第二裝置端的幀緩存內(nèi)容,或基于接收到的屏幕圖像以及幀緩存內(nèi)容的結(jié)合。
16.根據(jù)之前的任意一項(xiàng)權(quán)利要求所述的方法,其中,計(jì)算機(jī)網(wǎng)絡(luò)連接占用可變的帶寬量,并且當(dāng)不從第一裝置傳送數(shù)據(jù)到至少一個(gè)的第二裝置時(shí)占用最小帶寬。
17.根據(jù)之前的任意一項(xiàng)權(quán)利要求所述的方法,其中,至少一個(gè)的第二裝置和第一裝置通過公用網(wǎng)絡(luò)連接進(jìn)行通信,比如例如以太網(wǎng)連接的互聯(lián)網(wǎng)連接或內(nèi)部網(wǎng)連接,或通過電纜連接或通過無線連接。
18.根據(jù)權(quán)利要求17所述的方法,其中,連接協(xié)議是TCP/IP協(xié)議。
19.根據(jù)之前的任意一項(xiàng)權(quán)利要求所述的方法,其中,屏幕圖像的產(chǎn)生是基于遵循在PACS系統(tǒng)上實(shí)施的DICOM、HL7或EDIFACT標(biāo)準(zhǔn)的數(shù)據(jù)。
20.根據(jù)權(quán)利要求1、9或10中任意一個(gè)所述的方法,其中,壓縮RGB色的圖形圖像或灰階圖形圖像,所述的壓縮方法包括下列步驟把圖形圖像再分成包括4×4像素的單元,確定每個(gè)單元的平均單元色彩,在平均單元色彩是灰階色彩的情況下,用1比特來把該單元標(biāo)記為灰階,而用7比特來表示灰階色彩,或在平均單元色彩不是灰階色彩的情況下,用1比特來把該單元標(biāo)記為非灰階,而用15比特來表示色彩。
21.一個(gè)計(jì)算機(jī)程序,當(dāng)其在計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)上運(yùn)行時(shí),適用于執(zhí)行權(quán)利要求1到20的方法。
22.一個(gè)計(jì)算機(jī)可讀的數(shù)據(jù)載體,裝載了根據(jù)權(quán)利要求21所述的計(jì)算機(jī)程序。
23.用于在計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)中在裝置之間傳送圖形數(shù)據(jù)的系統(tǒng),所述系統(tǒng)包括至少一個(gè)第二裝置,配備有用于記錄用戶輸入的裝置以及用于顯示圖形數(shù)據(jù)的顯示裝置,第一裝置,配備有適用于產(chǎn)生屏幕圖像的軟件,用于估算第一和至少一個(gè)的第二裝置之間的連接的可用帶寬的裝置,適用于使用多個(gè)壓縮方法來壓縮屏幕圖像的軟件,以便形成壓縮的屏幕圖像,和用于把壓縮的屏幕圖像發(fā)送到至少一個(gè)的第二裝置的裝置。
24.根據(jù)權(quán)利要求23所述的系統(tǒng),其中,第一裝置還包括用于加密將通過第一裝置和至少一個(gè)的第二裝置之間的計(jì)算機(jī)連接來發(fā)送的數(shù)據(jù)的裝置,并且至少一個(gè)的第二裝置包括用于解密接收到的數(shù)據(jù)的裝置。
25.根據(jù)權(quán)利要求23到24中任意一個(gè)所述的系統(tǒng),其中,至少一個(gè)的第二裝置和第一裝置通過公用網(wǎng)絡(luò)連接進(jìn)行通信。
26.根據(jù)權(quán)利要求25所述的系統(tǒng),其中,網(wǎng)絡(luò)連接是非專用網(wǎng)絡(luò)連接。
27.根據(jù)權(quán)利要求23到25中任意一個(gè)所述的系統(tǒng),其中,第一裝置是計(jì)算機(jī)服務(wù)器系統(tǒng)。
28.根據(jù)權(quán)利要求23到25中任意一個(gè)所述的系統(tǒng),其中,至少一個(gè)的第二裝置是瘦客戶端、工作站計(jì)算機(jī)、PC、膝上型計(jì)算機(jī)、平板計(jì)算機(jī)、移動(dòng)電話或無線手持裝置。
29.根據(jù)權(quán)利要求23到27中任意一個(gè)所述的系統(tǒng),其中,第一裝置是PACS系統(tǒng)或者是PACS系統(tǒng)的一部分。
全文摘要
本發(fā)明涉及用于圖形數(shù)據(jù)、尤其是圖形醫(yī)學(xué)數(shù)據(jù)的遠(yuǎn)程顯示和數(shù)據(jù)分析的方法和系統(tǒng)。用戶操作諸如瘦客戶端、PC、PDA之類的客戶端設(shè)備(21),并且該客戶端設(shè)備通過計(jì)算機(jī)網(wǎng)絡(luò)連接到服務(wù)器設(shè)備(20)。服務(wù)器設(shè)備運(yùn)行自適應(yīng)流模塊(ASM),其處理客戶端和服務(wù)器之間的連接。所有的數(shù)據(jù)和數(shù)據(jù)應(yīng)用都存儲(chǔ)和運(yùn)行在服務(wù)器上。在客戶端一方的用戶請(qǐng)求數(shù)據(jù)在客戶端的屏幕上顯示,這個(gè)請(qǐng)求(24)傳送到服務(wù)器。請(qǐng)求在服務(wù)器端被解釋成對(duì)特定屏幕圖像的請(qǐng)求,并且數(shù)據(jù)應(yīng)用程序產(chǎn)生所請(qǐng)求的屏幕圖像并估算客戶端和服務(wù)器之間的當(dāng)前可用的帶寬(26)?;谒浪愕目捎脦挘脤?duì)應(yīng)的壓縮方法壓縮產(chǎn)生的屏幕圖像,從而形成了壓縮的屏幕圖像。該屏幕圖像也可以被加密。將壓縮(并且可能加密)的屏幕圖像發(fā)送到(22)到客戶端,并在客戶端(23)的屏幕上顯示。壓縮方法首先取決于可用帶寬,然而客戶端設(shè)備的類型(28)、請(qǐng)求類型等也可以被考慮。
文檔編號(hào)H04N7/173GK1839618SQ03826653
公開日2006年9月27日 申請(qǐng)日期2003年5月13日 優(yōu)先權(quán)日2003年5月13日
發(fā)明者安德魯·布魯諾·多伯斯, 尼爾斯·赫斯特德·謝爾, 亞歷山大·迪米特羅夫·卡雷瓦諾夫, 莫登·西爾韋斯特·奧爾森 申請(qǐng)人:丹麥醫(yī)療探測(cè)有限公司