專利名稱：目視信息系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及圖像處理系統(tǒng)，特別涉及頭戴式圖象處理和顯示系統(tǒng)。
采用相片或電子學方法存儲的圖象來幫助觀察者觀看目標的特征和空間關系，在許多場合下是有利的。觀察者想要確定或檢查的特征有時很模糊或者難于用肉眼來確定。
一個例子是在進行外科手術時產(chǎn)生的。外科醫(yī)生在做外科手術之前要取一張人體某部分的相片或電子圖象。該圖象可能是由先前進行的諸如磁共振成象(MRI)或計算機控制軸向?qū)游鯴射線攝影(CAT)獲得的。在進行外科手術時，外科醫(yī)生將把該圖象作為手術的向?qū)?。在手術中，外科醫(yī)生要回過來參看圖象以幫助探查腫瘤或確保整個腫瘤已被切除。
本發(fā)明給出一種向觀察者提供目視信息的方法和裝置，它不阻擋觀察者的視線，觀察者也不必從所注況的目標移開視線。本發(fā)明的一個實施例提供了一種成象系統(tǒng)，該系統(tǒng)在使用者的視野內(nèi)顯示出一幅由計算機產(chǎn)生的圖象，而不妨礙使用者的觀察。使用者不必從所感興趣的目標上移開視線就能看見圖象，此外，可對使用者看到的圖象進行處理，使它具有正確的透視點或觀察點?？梢园延嬎銠C產(chǎn)生的圖象疊加在使用者看到的真實的圖象上，以幫助使用者把由計算機產(chǎn)生的圖象的信息與使用者實際看到的目標圖象相關聯(lián)。
本發(fā)明的一個進一步的優(yōu)點是系統(tǒng)能夠監(jiān)視使用者或目標的活動，而所顯示的圖象可發(fā)生改變以對活動作補償。這就容許使用者只要移動他的頭就可以不同的透視點來觀看目標。這種三維效果在于該圖象顯示出使用者看不到的內(nèi)部特征。例如，在進行外科手術時，可以標出大動脈的位置，使外科醫(yī)生避開它。


圖1是目視信息系統(tǒng)一個實施例的略圖。
圖2是目視信息系統(tǒng)顯示機構的第一個實施例的略圖。
圖3是目視信息系統(tǒng)顯示機構的第二個實施例的略圖。
圖4是目視信息系統(tǒng)一個實施例的示意圖。
圖5是由所揭示的目視信息系統(tǒng)的一個實施例看到的一只病人的手的示意圖。
用已存儲的圖象來幫助觀察者在觀察時辨識目標有幾個缺點。首先，為了看已存儲的圖象，觀察者必須把他的視線從他所感興趣的目標上移開，這就打斷了正在進行的工作并破壞了觀察者的注意力集中。其次，呈現(xiàn)給觀察者的圖象為一幅固定的透視圖，因而觀察者通常不能控制圖象的觀察點。在某些情形下，該圖象可能難于與觀察者的透視點相關聯(lián)。舉例來說，在檢查一電子組件時，如果在被探查或要被去除的某個元件周圍有許多極其相象的元件，或者更糟的是，有許多完全相同的元件時，該元件的圖象就不會有多大幫助。
一種更好的解決辦法是把圖象疊加在被觀察的目標上，事實上突出了目標中引起注意的特征。所揭示的增強視力的成象系統(tǒng)有許多用途，舉例來說，由上面討論過的用來指引外科手術的圖象得出的三維信息可用來產(chǎn)生被增強圖象并把它投影進入外科醫(yī)生的視線，使外科醫(yī)生不必把視線移開病人就能看見圖象。
圖1示出所揭示的成象系統(tǒng)的一個實施例的略圖。電視攝象機22監(jiān)視對象(在本情形中，對象是外科病人)，并通過信道34把圖象的電子學表示傳送給處理器28。電視攝象機的選擇取決于所需的信息，對于本發(fā)明來說，這不是一個關鍵。舉例來說，攝象機可以是單色的或彩色的，數(shù)字的或模擬的，以及能夠接收可見光譜以外的光的等等。在某些應用中，為幫助產(chǎn)生三維圖象，用多于一個的攝象機來向處理器提供額外的透視圖可能是有利的。
任選的病人位置傳感器24把信息傳送給處理器28，使得圖象處理和顯示的功能可以補償病人的活動。注意，目標位置和活動信息可以由攝象機獲得圖象以及用可視算法取得。通過跟蹤病人的特征，處理器28可以確定位置和活動信息。如果病人原先不存在合適的特征，則可在開始手術之前，在病人身上作出高反差的標記，以容許處理器28對病人進行光學跟蹤。
觀察者位置傳感器26對觀察者的位置進行跟蹤，以容許觀察者移動或轉身觀看一幅圖象的不同視圖。位置傳感器26不僅容許處理器28補償視角，它還使處理器28在由目標至觀察者的距離改變時按比例放大或縮小圖象，并且在觀察者掠過被檢查目標時，圖象會越過屏幕移動。如果觀察者和目標的初始位置是已知的，則可以用活動傳感器來替代位置傳感器。當病人移動時，有了活動補償就不會發(fā)生圖象扭曲或模糊不清了。
處理器28運用圖象處理算法來對由攝象機22和其他圖象源來的圖象進行處理。圖1中未示出其他圖象源，但它可以包括掃描照相、MRI或CAT掃描、其他醫(yī)學診斷設備、先前的外科手術以及任何圖象裝置。在某些應用中所需的圖象處理功能是圖象調(diào)整、特征提取以及匹配或關聯(lián)算法。計算機產(chǎn)生的圖象為全幀顯示圖象或完全描繪的三維圖象或二者的混合組合。舉例來說，把腫瘤作完全描繪并加以著色，而將周圍組織以全幀顯示方式表示。處理器也能用偽著色來突出目標的某些特征。還可以顯示文字數(shù)據(jù)，告訴外科醫(yī)生有關病人的生命標志、外科手術延續(xù)時間等等。
除了對圖象數(shù)據(jù)進行處理之外，處理器28也接收來自外科醫(yī)生的輸入，使外科醫(yī)生能標出感興趣的區(qū)域并為以后的分析建一圖形數(shù)據(jù)庫。來自外科醫(yī)生的輸入也可以與已存儲的信息一起使用以幫助識別特征。外科醫(yī)生能夠用任何可獲得的裝置來把數(shù)據(jù)據(jù)輸入處理器，這些裝置包括鍵盤、鼠標器、觸摸屏幕、跟蹤球、光筆或者聲音識別裝置。
處理器28可以是成象系統(tǒng)能進行所需必要的圖象處理和顯示控制功能的任何類型的一個處理器或一組處理器。舉例來說，可以圍繞德克薩斯儀器公司的多媒體圖象處理器(MVP)圖象處理芯片來設計處理器。處理器有足夠的處理能力來實時地處理圖象、目標活動、觀察者位置以及觀察者輸入數(shù)據(jù)。所需的幀率隨應用情況而改變，但最好在每秒60至100幀的范圍內(nèi)，雖然在某些情形下，特別是在活動很小的情形下，可以接受每秒30或更少幀。由于圖象的復雜程度和圖象處理算法改變了處理能力和要求，幀率可以動態(tài)地改變。
經(jīng)過處理的圖象通過顯示控制總線40被送至顯示裝置30。顯示裝置可以是任何類型的空間光調(diào)制器，它能這樣來顯示，使圖象疊加在被觀察的目標上。按需要，用光學裝置33來聚焦和投影圖象。根據(jù)所用空間光調(diào)制器的類型，并非在所有的應用中都需用光源32和光學裝置33。
包括顯示裝置、光源以及光學裝置的顯示系統(tǒng)68的一個實施例示于圖2。按需要，用透鏡58使來自光源54的光聚焦和準直。被聚焦的光用空間光調(diào)制器(在本情形中是DMD陣列60)來調(diào)制。按需要，用透鏡64來使反射光62聚焦和擴束。然后光被鏡片50反射。與此同時，來自目標46的光48被容許通過鏡片50。來自目標和DMD陣列的光52由顯示系統(tǒng)68射出，并由觀察者觀看。
鏡片50可以象一付護目鏡那樣佩戴，或者將鏡片的一面遮住，容許觀察者通過鏡片50觀看目標46同時觀看投影在鏡片上的圖象。鏡片50可以是部分鍍銀的以反射光，或者只是具有部分反射表面的任何材料。典型地，把鏡片50設計成可以容許約90％的來自目標的光通過鏡片50，并將10％的來自DMD的反射光66反射。由鏡片50反射與透過的光量取決于應用以及可以由目標和圖象獲得的光量。由于DMD60容許在很寬的范圍內(nèi)調(diào)節(jié)被投影圖象的亮度，因此DMD在這種應用中特別有用。這一寬的調(diào)節(jié)范圍使觀察者可在圖象亮度和目標清晰程度之間取得可以接受的折衷。
按照本發(fā)明的顯示系統(tǒng)的第二個實施例只是減弱來自目標的光。示于圖3的第二個實施例可以用一液晶顯示器(LCD)來替代DMD。由于不需要光源以及投影用的光學裝置，LCD67可以是由觀察者佩戴的護目鏡69的實際鏡片。使LCD工作所需的信號由電纜71傳送。用LCD來替代圖2中的反射鏡片，使更多的來自圖象的光受到衰減，并降低了觀察者的可視度?？梢杂檬箒碜愿信d趣區(qū)域的光衰減或者使除了感興趣區(qū)域以外的所有區(qū)域的光衰減的做法來標出感興趣的區(qū)域。
外科用成象系統(tǒng)的一個實施例的示意圖示于圖4。觀察者72通過顯示系統(tǒng)68觀看目標46。在這個實施例中，顯示系統(tǒng)68以及觀察者位置傳感器26都由觀察者72頭戴。目標位置傳感器24貼于目標46，它既不妨礙觀察者72的觀察也不妨礙攝象機22的拍攝。處理器28接收來自攝象機22、觀察者位置傳感器26以及目標位置傳感器24的數(shù)據(jù)，并把數(shù)據(jù)送至顯示系統(tǒng)68。
圖5示出在進行從病人體內(nèi)取出異物的手術時，通過成象系統(tǒng)觀察的一個例子。在圖5中，外科醫(yī)生企圖從病人的手82中取出異物80?？梢燥@示諸如病人的生命標志、目標之間的距離以及手術已經(jīng)進行的時間等文字信息84。有關的目標(在本情形中是外科醫(yī)生企圖避開的神經(jīng)86)以及異物80的進入路徑88等可加亮顯示。當外科醫(yī)生相對于病人作移動時，被顯示圖象以及病人的手的透視圖將一起改變，使外科醫(yī)生能確定取出異物80的最佳方法，這一點是值得稱贊的。
這樣，雖然在這里只是揭示了一個外科用成象系統(tǒng)特殊的實施例，但除了下面的權利要求所規(guī)定的限制之外，并不企圖把這些特殊的參考資料視為對本發(fā)明范圍的限制。此外，已結合某些特殊的實施例對本發(fā)明作了描述，應該明白，由于熟悉本領域的人自己也能提出一些進一步的改變，因而希望能夠覆蓋所有落入所附權利要求的范圍之內(nèi)的這些改變。
權利要求
1. 一種成象系統(tǒng)包括一攝象機，用以監(jiān)視景象，把景象信息轉變?yōu)殡娮有盘?，并傳送所述信號；一處理器，用以接收來自所述攝象機的所述信號，并對所述信號施行圖象處理程序，并產(chǎn)生表示有關所述景象信息的經(jīng)過處理的信號；一顯示裝置，用以接收所述經(jīng)過處理的信息并把該信息轉變?yōu)楸伙@示的圖象，其特征在于，一觀察者可以通過所述顯示裝置觀看并且可以同時看到所述景象和所述被顯示的圖象。
2. 如權利要求1的成象系統(tǒng)，其特征在于，所述被顯示圖象被疊加在由觀察者看到的透視圖的所述景象上。
3. 如權利要求1的成象系統(tǒng)，其特征在于，所述被顯示圖象被投影在一付護目鏡的鏡片上。
4. 如權利要求1的成象系統(tǒng)，其特征在于，所述被顯示圖象被投影在受遮擋的面上。
5. 如權利要求1的成象系統(tǒng)，其特征在于，所述顯示裝置包括一空間光調(diào)制器，所述觀察者通過所述空間光調(diào)制器觀看。
6. 如權利要求1的成象系統(tǒng)，其特征在于，所述顯示裝置包括一數(shù)字式微鏡裝置。
7. 如權利要求1的成象系統(tǒng)，其特征在于，所述顯示裝置包括一液晶顯示器。
8. 如權利要求1的成象系統(tǒng)，其特征在于，所述顯示裝置包括一部分鍍銀的鏡片。
9. 如權利要求1的成象系統(tǒng)，其特征在于，所述顯示裝置是由所述系統(tǒng)的使用者頭戴的裝置。
10. 如權利要求1的成象系統(tǒng)，其特征在于，所述處理器實時地施行所述圖象處理程序。
11. 如權利要求1的成象系統(tǒng)，其特征在于，所述處理器對所述景象進行跟蹤，從而補償所述景象內(nèi)的活動。
12. 如權利要求1的成象系統(tǒng)，其特征在于，它進一步包括一個在所述景象中貼于目標的一個位置傳感器，該傳感器與所述處理器通信，使所述處理器可以監(jiān)視所述目標在所述景象中的位置。
13. 如權利要求1的成象系統(tǒng)，其特征在于，它進一步包括一個在所述景象中貼于目標的活動傳感器，該傳感器與所述處理器通信，使所述處理器可以補償所述目標在所述景象中的活動。
14. 如權利要求1的成象系統(tǒng)，其特征在于，它進一步包括一個貼于所述使用者的位置傳感器，該傳感器與所述處理器通信，使所述處理器能對所述使用者的活動進行補償。
15. 如權利要求1的成象系統(tǒng)，其特征在于，它進一步包括一個貼于所述使用者的活動傳感器，該傳感器與所述處理器信，使所述處理器能對所述使用者的活動進行補償。
16. 如權利要求1的成象系統(tǒng)，其特征在于，所述被顯示的圖象是一幅所述景象的高反差圖象。
17. 如權利要求1的成象系統(tǒng)，其特征在于，所述被顯示的圖象是所述景象的一部分的偽彩色圖象。
18. 一種成象系統(tǒng)包括一攝象機，用以一直監(jiān)視景象，并把景象信息轉變?yōu)殡娮有盘?；一處理器，用以接收所述電子信號并對所述電子信號施行圖象處理程序并輸出一經(jīng)過處理的圖象信號；一貼于所述景象中的目標的位置傳感器，它與所述處理器互通有關所述目標位置的信息；一貼于所述系統(tǒng)使用者的位置傳感器，它與所述處理器互通有關所述使用者位置的信息；一顯示裝置，用以接收所述圖象信號并把所述圖象信號轉變?yōu)轱@示圖象，其特征在于，一觀察者可通過所述顯示裝置觀察，并且看到被顯示圖象疊加在所述景象上。
19. 一種顯示目標圖象的方法，其特征在于，包括用一攝象機把來自目標的光轉變?yōu)殡娮有盘?；跟蹤所述目標的位置；跟蹤觀察者的位置；對所述電子信號進行處理，以對所述目標與所述觀察者的相對位置進行補償；把經(jīng)過處理的電子信號轉變?yōu)閳D象；以及這樣來顯示所述圖象，使所述觀察者看到所述圖象疊加在所述目標上。
20. 如權利要求15的方法，其特征在于，用位置傳感器跟蹤所述目標的位置可以用活動傳感器跟蹤所述目標的活動來替代。
21. 如權利要求15的方法，其特征在于，用位置傳感器跟蹤所述觀察者的位置可以用活動傳感器來跟蹤所述觀察者的活動來替代。
全文摘要
利用攝象機來獲取輸入圖象的一種可視信息系統(tǒng)，用處理器對圖象進行處理，并利用光學裝置把經(jīng)過處理的圖象投影，疊加到由觀察者觀看的實際目標上。處理是實時完成的，容許觀察者在移動時和改變視角時可以同時看到實際的和經(jīng)過處理的圖象。被顯示圖象的感興趣部分可以加亮顯示，或者包括提供給觀察者的圖形信息。
文檔編號H04N7/18GK1115152SQ9411804
公開日1996年1月17日 申請日期1994年12月3日 優(yōu)先權日1993年12月3日
發(fā)明者羅伯特·J·戈夫 申請人:德克薩斯儀器股份有限公司