頭部佩戴型顯示裝置以及頭部佩戴型顯示裝置的控制方法
【專利摘要】本發(fā)明提供一種頭部佩戴型顯示裝置，利用所述頭部佩戴型顯示裝置，使用者不移動視線，就能夠同時(shí)視覺確認(rèn)視場方向的物體的實(shí)像、和不出現(xiàn)在物體的外觀中的信息。該頭部佩戴型顯示裝置是使用者能夠視覺確認(rèn)虛像和外景的頭部佩戴型顯示裝置，具備：圖像顯示部，其形成使使用者視覺確認(rèn)的虛像；以及重疊處理部，其使圖像顯示部形成基于重疊信息的虛像，該重疊信息用于使不出現(xiàn)在物體的外觀中的信息亦即不可見信息與外景所包含的物體重疊。
【專利說明】頭部佩戴型顯示裝置以及頭部佩戴型顯示裝置的控制方法
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明涉及頭部佩戴型顯示裝置。
【背景技術(shù)】
[0002]已知有佩戴于頭部的顯示裝置亦即頭部佩戴型顯示裝置(頭戴式顯示器(HeadMounted Display，HMD))。HMD例如利用液晶顯示器和光源生成表示圖像的圖像光，再利用投影光學(xué)系統(tǒng)、導(dǎo)光板等將生成的圖像光導(dǎo)入使用者的眼睛，從而使使用者識別虛像。
[0003]專利文獻(xiàn)I記載有使用了這樣的頭部佩戴型顯示裝置的手術(shù)用拍攝系統(tǒng)以及手術(shù)用機(jī)器人。在專利文獻(xiàn)I記載的技術(shù)中，頭部佩戴型顯示裝置的使用者(手術(shù)者)將利用插入患者的體腔內(nèi)的內(nèi)視鏡觀察到的圖像作為虛像進(jìn)行視覺確認(rèn)，并且操作手術(shù)用機(jī)械手進(jìn)行手術(shù)。專利文獻(xiàn)2記載有醫(yī)療用面部佩戴型影像顯示裝置(頭部佩戴型顯示裝置)。在專利文獻(xiàn)2記載的技術(shù)中，頭部佩戴型顯示裝置的使用者在視覺確認(rèn)內(nèi)視鏡圖像的情況下，將視線朝向水平方向，觀察配置于主體的正面的LCD。另外，在視覺確認(rèn)外景的情況下將視線朝向垂直方向，觀察配置于主體的下方的觀察窗。
[0004]專利文獻(xiàn)1:日本特開2012-223363號公報(bào)
[0005]專利文獻(xiàn)2:日本專利第3599854號公報(bào)
[0006]在專利文獻(xiàn)1、2所述的技術(shù)中，頭部佩戴型顯示裝置的使用者能夠在手術(shù)中視覺確認(rèn)內(nèi)視鏡圖像。但是，在專利文獻(xiàn)I所記載的技術(shù)中，存在頭部佩戴型顯示裝置的使用者不能直接看到手術(shù)部位(患者的身體)的問題。另外，在專利文獻(xiàn)2所記載的技術(shù)中，存在頭部佩戴型顯示裝置的使用者為了直接看到手術(shù)部位，需要使視線朝向垂直方向移動的問題。
[0007]此外，這樣的問題并不僅存在于內(nèi)視鏡圖像，例如是在將CT (ComputedTomography,計(jì)算機(jī)斷層掃描)圖像、MRI (Magnetic Resonance Imaging,磁共振成像)圖像、X-射線圖像等不出現(xiàn)在物體的外觀中的信息提供給頭部佩戴型顯示裝置的使用者的情況下共同存在的問題。并且，這樣的問題不僅存在于醫(yī)療用的頭部佩戴型顯示裝置，在其他的用途中所使用的頭部佩戴型顯示裝置(例如，在建筑工地使用，向使用者提供不出現(xiàn)在建筑物的外觀中的信息的頭部佩戴型顯示裝置)中也存在同樣的問題。

【發(fā)明內(nèi)容】

[0008]因此，期望一種使用者不移動視線，就能夠同時(shí)視覺確認(rèn)視場方向的物體的實(shí)像和不出現(xiàn)在物體的外觀中的信息的頭部佩戴型顯示裝置。
[0009]本發(fā)明是為了解決上述的課題的至少一部分而完成的發(fā)明，能夠作為以下的方式實(shí)現(xiàn)。
[0010](I)根據(jù)本發(fā)明的一方式，提供一種使用者能夠視覺確認(rèn)虛像和外景的頭部佩戴型顯示裝置。該頭部佩戴型顯示裝置具備:圖像顯示部，其形成使上述使用者視覺確認(rèn)的上述虛像；以及重疊處理部，其使上述圖像顯示部形成基于重疊信息的上述虛像，上述重疊信息用于使不出現(xiàn)在上述物體的外觀中的信息亦即不可見信息與上述外景所包含的物體重疊。根據(jù)該方式的頭部佩戴型顯示裝置，圖像顯示部使使用者視覺確認(rèn)基于重疊信息的虛像，上述重疊信息是用于使上述物體的不可見信息與外景所包含的物體重疊的信息。本方式的頭部佩戴型顯示裝置是能夠視覺確認(rèn)虛像和外景的頭部佩戴型顯示裝置。因此，頭部佩戴型顯示裝置的使用者不移動視線，就能夠同時(shí)視覺確認(rèn)視場方向的物體，換言之，能夠同時(shí)視覺確認(rèn)外景所包含的物體的實(shí)像和不出現(xiàn)在物體的外觀中的信息(重疊信息)。
[0011](2)在上述方式的頭部佩戴型顯示裝置中，也可以為上述重疊處理部使上述圖像顯示部每隔規(guī)定的時(shí)間反復(fù)形成基于與上述外景所包含的物體對應(yīng)的上述重疊信息的上述虛像。根據(jù)該方式的頭部佩戴型顯示裝置，重疊處理部使圖像顯示部每隔規(guī)定的時(shí)間反復(fù)形成基于與外景所包含的物體對應(yīng)的重疊信息的虛像，所以能夠使使用者視覺確認(rèn)基于追從使用者的頭部的經(jīng)時(shí)的活動的重疊信息的虛像。
[0012](3)在上述方式的頭部佩戴型顯示裝置中，也可以為還具備:存儲部，其存儲上述不可見信息；以及圖像獲取部，其獲取佩戴了上述頭部佩戴型顯示裝置的狀態(tài)下的上述使用者的視場方向的外景的圖像，上述重疊處理部通過對由上述圖像獲取部獲取的上述視場方向的圖像進(jìn)行圖像識別，來提取上述外景所包含的上述物體的特征，并基于提取出的上述特征來修正存儲于上述存儲部的上述物體的上述不可見信息，從而生成上述重疊信息。根據(jù)該方式的頭部佩戴型顯示裝置，重疊處理部能夠使用存儲于存儲部的物體的不可見信息來生成重疊信息。另外，圖像獲取部所獲取的圖像是拍攝使用者的視場方向的物體(換言之，外景所包含的物體)的實(shí)像而得的圖像，重疊處理部從由圖像獲取部獲取的外景的圖像提取外景所包含的物體的特征，并基于提取出的特征生成重疊信息。因此，重疊處理部能夠生成與使用者的視場方向的物體(外景所包含的物體)的特征匹配的重疊信息。
[0013](4)在上述方式的頭部佩戴型顯示裝置中，上述不可見信息也可以是表示上述物體的結(jié)構(gòu)的圖像。根據(jù)該方式的頭部佩戴型顯示裝置，不可見信息是表示物體的結(jié)構(gòu)的圖像。因此，頭部佩戴型顯示裝置的使用者不移動視線，就能夠同時(shí)視覺確認(rèn)視場方向的物體的實(shí)像和表示物體的結(jié)構(gòu)的圖像。
[0014](5)在上述方式的頭部佩戴型顯示裝置中，上述特征也可以是上述物體的邊緣。根據(jù)該方式的頭部佩戴型顯示裝置，重疊處理部通過圖像識別檢測物體的邊緣，從而能夠提取出外景所包含的物體的輪廓。其結(jié)果，重疊處理部能夠基于提取出的物體的輪廓來修正物體的不可見信息，從而生成重疊信息。
[0015](6)在上述方式的頭部佩戴型顯示裝置中，上述特征也可以是標(biāo)注在上述物體上的標(biāo)記。根據(jù)該方式的頭部佩戴型顯示裝置，重疊處理部通過圖像識別檢測標(biāo)注在物體上的標(biāo)記，從而提取出外景所包含的物體的位置。其結(jié)果，重疊處理部能夠基于提取出的物體的位置來修正物體的不可見信息，從而生成重疊信息
[0016](7)在上述方式的頭部佩戴型顯示裝置中，上述修正也可以是針對表示上述不可見信息的圖像進(jìn)行的放大、縮小、旋轉(zhuǎn)、反轉(zhuǎn)、剪裁、賦予變形以及去噪中的至少一個(gè)。根據(jù)該方式的頭部佩戴型顯示裝置，重疊處理部通過對存儲于存儲部的表示物體的不可見信息的圖像進(jìn)行放大、縮小、旋轉(zhuǎn)、反轉(zhuǎn)、剪裁、賦予變形以及去噪中的至少一個(gè)的修正，能夠生
成重疊信息。
[0017](8)在上述方式的頭部佩戴型顯示裝置中，上述修正也可以是將表示上述不可見信息的圖像分割成多個(gè)區(qū)域，并針對上述多個(gè)區(qū)域的每一個(gè)區(qū)域進(jìn)行的放大、縮小、旋轉(zhuǎn)、反轉(zhuǎn)、剪裁、賦予變形以及去噪中的至少一個(gè)。根據(jù)該方式的頭部佩戴型顯示裝置，重疊處理部將存儲于存儲部的表示物體的不可見信息的圖像分割成多個(gè)區(qū)域，并針對多個(gè)區(qū)域的每一個(gè)區(qū)域進(jìn)行放大、縮小、旋轉(zhuǎn)、反轉(zhuǎn)、剪裁、賦予變形以及去噪中的至少一個(gè)修正。這樣，重疊處理部將表示不可見信息的圖像分割成多個(gè)區(qū)域，并進(jìn)行針對各區(qū)域的修正，所以能夠使不可見信息的修正的精度提高。
[0018](9)在上述方式的頭部佩戴型顯示裝置中，也可以為上述重疊處理部使用三角測量分別測量上述使用者和上述物體的各部分之間的距離，并根據(jù)上述測量的結(jié)果進(jìn)行上述分割。根據(jù)該方式的頭部佩戴型顯示裝置，重疊處理部能夠使用三角測量來測量使用者和物體的各部分之間的距離，并根據(jù)測量的結(jié)果，高效且結(jié)合實(shí)際情況地進(jìn)行不可見信息的區(qū)域的分割。
[0019](10)在上述方式的頭部佩戴型顯示裝置中，上述重疊處理部也可以根據(jù)上述使用者的視場內(nèi)的表示視覺能力的程度的信息接受特性來改變上述修正的精度。根據(jù)該方式的頭部佩戴型顯示裝置，重疊處理部根據(jù)使用者的視場內(nèi)的信息接受特性來改變針對不可見信息的修正的精度。其結(jié)果，重疊處理部能夠高效地進(jìn)行不可見信息的修正。
[0020](11)在上述方式的頭部佩戴型顯示裝置中，也可以為還具備視線檢測部，其檢測上述使用者的視線，上述圖像顯示部分別形成與上述使用者的右眼對應(yīng)的上述虛像、和與上述使用者的左眼對應(yīng)的上述虛像，上述重疊處理部還根據(jù)由上述視線檢測部檢測出的上述視線來求出上述使用者和上述使用者注視的注視點(diǎn)之間的距離亦即注視點(diǎn)距離，并生成賦予了與求出的上述注視點(diǎn)距離對應(yīng)的視差的右眼用的上述重疊信息和左眼用的上述重疊信息。根據(jù)該方式的頭部佩戴型顯示裝置，重疊處理部生成賦予了與使用者和使用者注視的注視點(diǎn)之間的距離(注視點(diǎn)距離)對應(yīng)的視差的右眼用的重疊信息和左眼用的重疊信息，圖像顯示部使使用者視覺確認(rèn)基于這些重疊信息的虛像。其結(jié)果，使用者能夠在與注視點(diǎn)相同的距離的位置處視覺確認(rèn)重疊信息。
[0021](12)在上述方式的頭部佩戴型顯示裝置中，也可以為還具備上述使用者和上述使用者視覺確認(rèn)的上述虛像之間的多個(gè)距離、與和上述多個(gè)距離分別對應(yīng)的視差被建立對應(yīng)后的視差信息，上述重疊處理部使用上述視差信息，賦予與上述注視點(diǎn)距離對應(yīng)的視差。根據(jù)該方式的頭部佩戴型顯示裝置，重疊處理部能夠使用預(yù)先準(zhǔn)備的視差信息，簡單地生成右眼用的重疊信息和左眼用的重疊信息。
[0022](13)在上述方式的頭部佩戴型顯示裝置中，也可以為具備多個(gè)上述視差信息，上述重疊處理部根據(jù)上述使用者，從上述多個(gè)視差信息選擇一上述視差信息。根據(jù)該方式的頭部佩戴型顯示裝置，重疊處理部從多個(gè)視差信息選擇出與使用者對應(yīng)的一視差信息。因此，重疊處理部通過選擇出與使用者的特性(例如視力較佳的眼、眼間距離)匹配的視差信息，能夠減少給使用者帶來的視覺的不適感。
[0023](14)在上述方式的頭部佩戴型顯示裝置中，也可以為還具備位置檢測部，該位置檢測部檢測上述使用者相對于上述物體的位置，上述存儲部存儲有針對一上述物體的多個(gè)上述不可見信息，上述重疊處理部從存儲于上述存儲部的上述多個(gè)不可見信息選擇出與由上述位置檢測部檢測出的上述位置對應(yīng)的一不可見信息，并修正選擇出的上述不可見信息。根據(jù)該方式的頭部佩戴型顯示裝置，重疊處理部能夠從存儲于存儲部的多個(gè)不可見信息選擇出與使用者相對于物體的位置對應(yīng)的一不可見信息，并修正選擇出的不可見信息。因此，重疊處理部能夠基于使用者和物體的位置關(guān)系來使用適當(dāng)?shù)牟豢梢娦畔?，生成重疊信息。
[0024](15)在上述方式的頭部佩戴型顯示裝置中，也可以為上述重疊處理部生成從由上述圖像獲取部獲取的上述視場方向的圖像，提取并放大上述外景所包含的上述物體的至少一部分而得的放大信息，上述圖像顯示部使使用者視覺確認(rèn)基于上述重疊信息和上述放大信息的上述虛像。根據(jù)該方式的頭部佩戴型顯示裝置，頭部佩戴型顯示裝置的使用者除了能夠視覺確認(rèn)視場方向的物體(換言之，外景所包含的物體)的實(shí)像和不出現(xiàn)在物體的外觀中的信息(重疊信息)之外，還能夠同時(shí)視覺確認(rèn)視場方向的物體的至少一部分的放大信肩、O
[0025]( 16)在上述方式的頭部佩戴型顯示裝置中，也可以為上述重疊處理部根據(jù)來自上述使用者的請求，使上述虛像為非顯示。根據(jù)該方式的頭部佩戴型顯示裝置，頭部佩戴型顯示裝置的使用者能夠根據(jù)自己的意思使虛像為非顯示。因此，能夠使頭部佩戴型顯示裝置中的使用者的方便性提高。
[0026](17)在上述方式的頭部佩戴型顯示裝置中，也可以為還具備程序管理部，其生成與對于當(dāng)前程序，上述使用者應(yīng)該實(shí)施的內(nèi)容有關(guān)的信息亦即程序信息，上述圖像顯示部使上述使用者視覺確認(rèn)基于上述重疊信息和上述程序信息的上述虛像。根據(jù)該方式的頭部佩戴型顯示裝置，圖像顯示部使使用者視覺確認(rèn)基于程序信息的虛像，該程序信息用于表示對于當(dāng)前程序，使用者應(yīng)該實(shí)施的內(nèi)容。因此，能夠援助使用者進(jìn)行的作業(yè)。
[0027](18)在上述方式的頭部佩戴型顯示裝置中，上述程序信息也可以包含有第三方示范實(shí)施上述程序的場面的圖像、和表示在個(gè)別具體的上述程序中使用者應(yīng)該實(shí)施的內(nèi)容的圖像中的至少其中一方。根據(jù)該方式的頭部佩戴型顯示裝置，能夠使用圖像視覺性地表示使用者應(yīng)該實(shí)施的內(nèi)容，所以能夠更容易明了地援助使用者進(jìn)行的作業(yè)。另外，若在個(gè)別具體的程序時(shí)使用表示使用者應(yīng)該實(shí)施的內(nèi)容的圖像，則能夠更加個(gè)別具體地援助使用者進(jìn)行的作業(yè)，能夠?qū)崿F(xiàn)作業(yè)的精密化和作業(yè)效率的提高。
[0028](19)在上述方式的頭部佩戴型顯示裝置中，也可以為上述重疊處理部還生成用于輔助上述使用者的作業(yè)的附加信息亦即輔助信息，上述圖像顯示部使使用者視覺確認(rèn)基于上述重疊信息和上述輔助信息的上述虛像。根據(jù)該方式的頭部佩戴型顯示裝置，使使用者視覺確認(rèn)基于用于輔助使用者的作業(yè)的信息的虛像。因此，能夠使使用了頭部佩戴型顯示裝置的作業(yè)的效率提高。
[0029](20)在上述方式的頭部佩戴型顯示裝置中，上述重疊處理部還可以根據(jù)由上述圖像獲取部獲取的上述視場方向的圖像，進(jìn)行用于使生成的上述重疊信息的可視性提高的顏色轉(zhuǎn)換處理。根據(jù)該方式的頭部佩戴型顯示裝置，重疊處理部針對重疊信息進(jìn)行與使用者的視場方向的圖像對應(yīng)的顏色轉(zhuǎn)換處理。因此，能夠使頭部佩戴型顯示裝置的使用者對虛像的可視性進(jìn)一步提聞。
[0030](21)在上述方式的頭部佩戴型顯示裝置中，也可以為上述重疊處理部根據(jù)來自上述使用者的請求，使作為上述虛像顯示的上述重疊信息向不妨礙上述使用者的視野的位置退避。根據(jù)該方式的頭部佩戴型顯示裝置，頭部佩戴型顯示裝置的使用者能夠根據(jù)自己的意思來使作為虛像顯示的重疊信息退避。因此，能夠使頭部佩戴型顯示裝置中的使用者的方便性提高。
[0031](22)在上述方式的頭部佩戴型顯示裝置中，也可以為上述重疊處理部針對由上述圖像獲取部獲取的上述圖像中的、上述虛像的顯示區(qū)域和上述圖像獲取部的獲取區(qū)域重疊的重疊區(qū)域生成上述重疊信息。根據(jù)該方式的頭部佩戴型顯示裝置，重疊處理部針對虛像的顯示區(qū)域和圖像獲取部的獲取區(qū)域重疊的重疊區(qū)域生成重疊信息。因此，能夠減少在透視型的頭部佩戴型顯示裝置中產(chǎn)生的課題，即“使用者在自身的視野中直接看到的像和通過圖像顯示部視覺確認(rèn)的虛像之間的偏差”的產(chǎn)生。其結(jié)果，在使使用者視覺確認(rèn)基于重疊信息的虛像的情況下，能夠減少給使用者帶來的不適感。
[0032](23)在上述方式的頭部佩戴型顯示裝置中，也可以為上述程序管理部針對由上述圖像獲取部獲取的上述圖像中的、上述虛像的顯示區(qū)域和上述圖像獲取部的獲取區(qū)域重疊的重疊區(qū)域生成上述程序信息。根據(jù)該方式的頭部佩戴型顯示裝置，程序管理部針對虛像的顯示區(qū)域和圖像獲取部的獲取區(qū)域重疊的重疊區(qū)域生成程序信息。因此，能夠減少在透視型的頭部佩戴型顯示裝置中產(chǎn)生的課題，即“使用者在自身的視野中直接看到的像和通過圖像顯示部視覺確認(rèn)的虛像之間的偏差”的產(chǎn)生。其結(jié)果，在使使用者視覺確認(rèn)基于程序信息的虛像的情況下，能夠使給使用者帶來的不適感減少。
[0033]在上述的本發(fā)明的各方式所具有的多個(gè)構(gòu)成要素中，并不是全部都是必須的，為了解決上述的課題的一部分或者全部，或者為了實(shí)現(xiàn)本說明書記載的效果的一部分或者全部，能夠適當(dāng)?shù)貙ι鲜龆鄠€(gè)構(gòu)成要素的一部分的構(gòu)成要素進(jìn)行其變更、刪除、與新的構(gòu)成要素的替換、限定內(nèi)容的部分刪除。另外，為了解決上述的課題的一部分或者全部，或者為了實(shí)現(xiàn)本說明書記載的效果的一部分或者全部，能夠?qū)⑸鲜龅谋景l(fā)明的一方式所包含的技術(shù)特征的一部分或者全部與上述的本發(fā)明的另一方式所包含的技術(shù)特征的一部分或者全部組合，成為本發(fā)明的獨(dú)立的一方式。
[0034]例如，本發(fā)明的一方式能夠作為具備重疊處理部和圖像顯示部的兩個(gè)要素中的一部分或者全部的要素的裝置而實(shí)現(xiàn)。即，該裝置可以具有重疊處理部，也可以不具有重疊處理部。另外，該裝置可以具有圖像顯示部，也可以不具有圖像顯示部。這樣的裝置例如能夠作為頭部佩戴型顯示裝置實(shí)現(xiàn)，但也能夠作為頭部佩戴型顯示裝置以外的其他的裝置實(shí)現(xiàn)。上述的頭部佩戴型顯示裝置的各方式的技術(shù)特征的一部分或者全部均能夠用于該裝置。
[0035]此外，本發(fā)明能夠以各種方式實(shí)現(xiàn)，例如，能夠以頭部佩戴型顯示裝置以及頭部佩戴型顯示裝置的控制方法、醫(yī)療用作業(yè)援助裝置以及醫(yī)療用作業(yè)援助裝置的控制方法、醫(yī)療用作業(yè)援助系統(tǒng)、用于實(shí)現(xiàn)這些方法、裝置或者系統(tǒng)的功能的計(jì)算機(jī)程序、記錄該計(jì)算機(jī)程序的記錄介質(zhì)等的方式實(shí)現(xiàn)。
【專利附圖】

【附圖說明】
[0036]圖1是表示本發(fā)明的一實(shí)施方式中的頭部佩戴型顯示裝置的概要結(jié)構(gòu)的說明圖。
[0037]圖2是功能性地表示頭戴式佩戴顯示器的結(jié)構(gòu)的框圖。
[0038]圖3是表示由圖像光生成部射出圖像光的情況的說明圖。
[0039]圖4是表示被使用者識別的虛像的一個(gè)例子的說明圖。
[0040]圖5是表示第I實(shí)施方式中的重疊信息顯示處理的程序的流程圖。[0041]圖6是表示不可見信息的一個(gè)例子的說明圖。
[0042]圖7是表示外觀信息的一個(gè)例子的說明圖。
[0043]圖8是表示重疊信息生成處理的程序的流程圖。
[0044]圖9是表示通過方法i從外景圖像提取出的對象物體的特征(邊緣)的說明圖。
[0045]圖10是表示通過方法i從不可見信息提取出的對象物體的特征(邊緣)的說明圖。
[0046]圖11是表示修正后的不可見信息的一個(gè)例子的說明圖。
[0047]圖12是表示被使用者識別的虛像的其他的例子的說明圖。
[0048]圖13是功能性地表示第2實(shí)施方式中的頭戴式顯示器的結(jié)構(gòu)的框圖。
[0049]圖14是表示程序表的一個(gè)例子的說明圖。
[0050]圖15是表示第2實(shí)施方式中的重疊信息顯示處理的程序的流程圖。
[0051]圖16是表示程序信息的例子的說明圖。
[0052]圖17是表示追加了程序信息的重疊信息的例子的說明圖。
[0053]圖18是表示通過程序el?e9被使用者視覺確認(rèn)的虛像的一個(gè)例子的說明圖。
[0054]圖19是表示第3實(shí)施方式中的頭戴式顯示器的概要結(jié)構(gòu)的說明圖。
[0055]圖20是功能性地表示第3實(shí)施方式中的頭戴式顯示器的結(jié)構(gòu)的框圖。
[0056]圖21是用于說明視差信息的說明圖。
[0057]圖22是表示第3實(shí)施方式中的重疊信息顯示處理的程序的流程圖。
[0058]圖23是表示不可見信息的一個(gè)例子的說明圖。
[0059]圖24是表示第I重疊信息生成處理的程序的流程圖。
[0060]圖25是用于說明第I重疊信息生成處理的步驟S404的說明圖。
[0061]圖26是表示第2重疊信息生成處理的程序的流程圖。
[0062]圖27是用于說明第2重疊信息生成處理的步驟S504的說明圖。
[0063]圖28是表示變形例中的頭戴式顯示器的外觀的構(gòu)成的說明圖。
【具體實(shí)施方式】
[0064]A.第I實(shí)施方式:
[0065]A-1.頭部佩戴型顯示裝置的構(gòu)成:
[0066]圖1是表示本發(fā)明的一實(shí)施方式中的頭部佩戴型顯示裝置的概要結(jié)構(gòu)的說明圖。頭部佩戴型顯示裝置100是佩戴于頭部的顯示裝置，也被稱為頭戴式顯示器(Head MountedDisplay,HMD)0本實(shí)施方式的頭戴式顯示器100是使用者視覺確認(rèn)虛像的同時(shí)也能夠直接視覺確認(rèn)外景的光學(xué)透視型的頭部佩戴型顯示裝置。此外，在本實(shí)施方式中，例示將影像作為虛像使使用者視覺確認(rèn)的類型的頭戴式顯示器100。
[0067]頭戴式顯示器100具備在佩戴于使用者的頭部的狀態(tài)下使使用者視覺確認(rèn)虛像的圖像顯示部20、以及控制圖像顯示部20的控制部(控制器)10。
[0068]圖像顯示部20是佩戴于使用者的頭部的佩戴體，在本實(shí)施方式中具有眼鏡形狀。圖像顯示部20包括右保持部21、右顯示驅(qū)動部22、左保持部23、左顯示驅(qū)動部24、右光學(xué)影像顯示部26、左光學(xué)影像顯示部28、以及照相機(jī)61。右光學(xué)影像顯示部26以及左光學(xué)影像顯示部28被配置成在使用者佩戴了圖像顯示部20時(shí)位于使用者的右眼以及左眼的眼前。右光學(xué)影像顯示部26的一端和左光學(xué)影像顯示部28的一端在與使用者佩戴了圖像顯示部20時(shí)的使用者的眉間對應(yīng)的位置處相互連接。
[0069]右保持部21是從右光學(xué)影像顯示部26的另一端亦即端部ER向與使用者佩戴了圖像顯示部20時(shí)的使用者的側(cè)頭部對應(yīng)的位置延伸而設(shè)置的部件。同樣，左保持部23是從左光學(xué)影像顯示部28的另一端亦即端部EL向與使用者佩戴了圖像顯示部20時(shí)的使用者的側(cè)頭部對應(yīng)的位置延伸而設(shè)置的部件。右保持部21以及左保持部23像眼鏡的鏡腿(掛耳部分)那樣，將圖像顯示部20保持于使用者的頭部。
[0070]右顯示驅(qū)動部22被配置于右保持部21的內(nèi)側(cè)，換言之，被配置在與使用者佩戴了圖像顯示部20時(shí)的使用者的頭部對置的一側(cè)。另外，左顯示驅(qū)動部24被配置在左保持部23的內(nèi)側(cè)。此外，以下將右保持部21以及左保持部23僅統(tǒng)稱為“保持部”，將右顯示驅(qū)動部22以及左顯示驅(qū)動部24僅統(tǒng)稱為“顯示驅(qū)動部”，將右光學(xué)影像顯示部26以及左光學(xué)影像顯示部28僅統(tǒng)稱為“光學(xué)影像顯示部”。
[0071]顯示驅(qū)動部包含液晶顯示器(Liquid Crystal Display,以下稱為“IXD”)241、242、投影光學(xué)系統(tǒng)251、252等(參照圖2)。后述顯示驅(qū)動部的構(gòu)成的詳細(xì)內(nèi)容。作為光學(xué)部件的光學(xué)影像顯不部包括導(dǎo)光板261、262 (參照圖2)和調(diào)光板。導(dǎo)光板261、262由透光性的樹脂材料等形成，將從顯示驅(qū)動部輸出的圖像光導(dǎo)入使用者的眼睛。調(diào)光板是薄板狀的光學(xué)元件，調(diào)光板被配置成覆蓋圖像顯示部20的表面?zhèn)?與使用者的眼睛側(cè)相反的一側(cè))。調(diào)光板保護(hù)導(dǎo)光板261、262，抑制導(dǎo)光板261、262的損傷、污垢的附著等。另外，通過調(diào)整調(diào)光板的透光率，能夠調(diào)整進(jìn)入使用者的眼睛的外光量，進(jìn)而調(diào)整虛像的視覺確認(rèn)的難易度。此外，可以省略調(diào)光板。
[0072]照相機(jī)61被配置于與使用者佩戴了圖像顯示部20時(shí)的使用者的眉間對應(yīng)的位置。照相機(jī)61拍攝圖像顯示部20的表側(cè)方向，換言之，拍攝佩戴了頭戴式顯示器100的狀態(tài)下的使用者的視場方向的外景(外部的景色)，獲取外景圖像。照相機(jī)61是所謂的可見光相機(jī)，由照相機(jī)61獲取的外景圖像是由從物體放射出的可見光表示物體的形狀的圖像。本實(shí)施方式中的照相機(jī)61是單眼照相機(jī)，但也可以設(shè)為立體照相機(jī)。照相機(jī)61相當(dāng)于權(quán)利要求中的“圖像獲取部”，照相機(jī)61所獲取的外景圖像相當(dāng)于權(quán)利要求中的“使用者的視場方向的圖像”。
[0073]圖像顯示部20還具有用于將圖像顯示部20與控制部10連接的連接部40。連接部40包括與控制部10連接的主體軟線48、主體軟線48分支成2根亦即右軟線42以及左軟線44、以及設(shè)置于分支點(diǎn)的連結(jié)部件46。右軟線42從右保持部21的延伸方向的前端部AP插入至右保持部21的筐體內(nèi)，與右顯示驅(qū)動部22連接。同樣，左軟線44從左保持部23的延伸方向的前端部AP插入至左保持部23的筐體內(nèi)，與左顯示驅(qū)動部24連接。在連結(jié)部件46設(shè)置有用于連接耳機(jī)插頭30的插孔。右耳機(jī)32以及左耳機(jī)34從耳機(jī)插頭30延伸。
[0074]圖像顯示部20和控制部10經(jīng)由連接部40進(jìn)行各種信號的傳輸。在主體軟線48的與連結(jié)部件46相反側(cè)的端部和控制部10分別設(shè)置有相互嵌合的連接器(省略圖示)，通過主體軟線48的連接器和控制部10的連接器的嵌合/嵌合解除，使控制部10和圖像顯示部20連接或者分離。對于右軟線42、左軟線44、以及主體軟線48例如能夠采用金屬線纜或者光纖。
[0075]控制部10是用于控制頭戴式顯示器100的裝置?？刂撇?0包括點(diǎn)亮部12、觸摸板14、十字鍵16、以及電源開關(guān)18。點(diǎn)亮部12通過其發(fā)光方式來通知頭戴式顯示器100的動作狀態(tài)(例如，電源的開/關(guān)等)。作為點(diǎn)亮部12，例如能夠使用LED (Light EmittingDiode:發(fā)光二極管)。觸摸板14檢測在觸摸板14的操作面上的接觸操作，輸出與檢測內(nèi)容對應(yīng)的信號。作為觸摸板14，能夠采用靜電式、壓力檢測式、光學(xué)式這類的各種觸摸板。十字鍵16檢測對與上下左右方向?qū)?yīng)的鍵的按下操作，輸出與檢測內(nèi)容對應(yīng)的信號。電源開關(guān)18通過檢測開關(guān)的滑動操作，來切換頭戴式顯示器100的電源的狀態(tài)。
[0076]圖2是功能性地表示頭戴式顯示器100的構(gòu)成的框圖?？刂撇?0具備輸入信息獲取部110、存儲部120、電源130、無線通信部132、CPU140、接口 180、發(fā)送部(Tx) 51以及52，各部通過未圖示的總線相互連接。
[0077]輸入信息獲取部110例如獲取與針對觸摸板14、十字鍵16、電源開關(guān)18等的操作輸入對應(yīng)的信號。此外，輸入信息獲取部110能夠使用各種的方法來獲取來自使用者的操作輸入。例如，除了可以獲取圖2所示的基于觸摸板14、十字鍵16的操作輸入以外，還可以獲取基于腳踏開關(guān)(由使用者的腳操作的開關(guān))的操作輸入。另外，例如還可以在圖像顯示部20設(shè)置紅外線傳感器等視線檢測部，基于此檢測使用者的視線，獲取基于與視線的活動建立對應(yīng)的指令的操作輸入。另外，例如，還可以使用照相機(jī)61檢測使用者的手勢，獲取基于與手勢建立對應(yīng)的指令的操作輸入。在手勢檢測時(shí)，能夠?qū)⑹褂谜叩闹讣狻⒋髟谑褂谜叩氖稚系闹腑h(huán)、拿在使用者的手中的醫(yī)療器具等作為用于活動檢測的標(biāo)記。如果能夠獲取基于腳踏開關(guān)、視線的操作輸入，則在使用者難以放開手的作業(yè)(例如手術(shù))中，輸入信息獲取部110也能夠獲取來自使用者的操作輸入。
[0078]存儲部120由ROM、RAM、DRAM、硬盤等構(gòu)成。存儲部120包括不可見信息存儲部122、和外觀信息存儲部124。不可見信息存儲部122是用于預(yù)先存儲成為重疊信息顯示處理的對象的物體的不可見信息的存儲區(qū)域。所謂“不可見信息”是指不出現(xiàn)在物體的外觀中的信息。本實(shí)施方式的不可見信息是表示物體的結(jié)構(gòu)的圖像。在物體是生物體的情況下，不可見信息例如是CT (Computed Tomography,計(jì)算機(jī)斷層掃描)圖像、MRI (MagneticResonance Imaging,磁共振成像)圖像、X-射線(X射線)圖像、透視圖像、超聲波診斷圖像、內(nèi)視鏡圖像、熱成像圖像等。另外，在物體是人工物體的情況下，不可見信息例如是設(shè)計(jì)圖、電路圖、X-射線(X射線)圖像、透視圖像、紅外線圖像、熱成像圖像等。
[0079]外觀信息存儲部124是用于預(yù)先存儲成為重疊信息顯示處理的對象的物體的外觀信息的存儲區(qū)域。本實(shí)施方式中的所謂“外觀信息”是表示從外側(cè)觀察物體的情況(外觀)的圖像，是用可見光相機(jī)拍攝的照片等。
[0080]電源130向頭戴式顯示器100的各部供給電力。作為電源130，例如能夠使用二次電池。無線通信部132遵循無線LAN、藍(lán)牙這類的規(guī)定的無線通信標(biāo)準(zhǔn)來與其他設(shè)備之間進(jìn)行無線通信。
[0081]CPU140通過讀出并執(zhí)行儲存于存儲部120的計(jì)算機(jī)程序而作為操作系統(tǒng)(O S)150、圖像處理部160、聲音處理部170、顯示控制部190、重疊處理部142發(fā)揮作用。重疊處理部142是執(zhí)行重疊信息顯示處理的應(yīng)用程序。所謂重疊信息顯示處理是使不出現(xiàn)在物體的外觀中的信息重疊地顯示于使用者的視場方向的物體的實(shí)像的處理。
[0082]圖像處理部160基于經(jīng)由接口 180、無線通信部132輸入的內(nèi)容(影像)來生成信號。而且，圖像處理部160將生成的信號經(jīng)由連接部40供給給圖像顯示部20。用于供給給圖像顯示部20的信號在模擬形式和數(shù)字形式的情況下不同。在模擬形式的情況下，圖像處理部160生成并發(fā)送時(shí)鐘信號PCLK、垂直同步信號Vsync、水平同步信號Hsync、以及圖像數(shù)據(jù)Data。具體而言，圖像處理部160獲取內(nèi)容所包含的圖像信號。所獲取的圖像信號例如在為動態(tài)圖像的情況下，通常是由每秒30張的幀圖像構(gòu)成的模擬信號。圖像處理部160從獲取的圖像信號分離出垂直同步信號Vsync、水平同步信號HSync等同步信號，根據(jù)它們的周期，通過PLL電路等生成時(shí)鐘信號PCLK。圖像處理部160使用Α/D轉(zhuǎn)換電路等將同步信號被分離而得的模擬圖像信號轉(zhuǎn)換為數(shù)字圖像信號。圖像處理部160將切換后的數(shù)字圖像信號作為RGB數(shù)據(jù)的圖像數(shù)據(jù)Data，以幀為單位儲存于存儲部120內(nèi)的DRAM。另一方面，在數(shù)字形式的情況下，圖像處理部160生成并發(fā)送時(shí)鐘信號PCLK和圖像數(shù)據(jù)Data。具體而言，在內(nèi)容是數(shù)字形式的情況下，時(shí)鐘信號PCLK與圖像信號同步地輸出，所以無需垂直同步信號VSync以及水平同步信號HSync的生成和模擬圖像信號的Α/D轉(zhuǎn)換。此外，圖像處理部160可以對儲存于存儲部120的圖像數(shù)據(jù)Data執(zhí)行分辨率切換處理、亮度、彩度的調(diào)整這類的各種色調(diào)修正處理、梯形修正處理等的圖像處理。
[0083]圖像處理部160經(jīng)由發(fā)送部51、52分別發(fā)送生成的時(shí)鐘信號PCLK、垂直同步信號Vsync、水平同步信號Hsync和儲存于存儲部120內(nèi)的DRAM的圖像數(shù)據(jù)Data。此外，也將經(jīng)由發(fā)送部51發(fā)送的圖像數(shù)據(jù)Data稱為“右眼用圖像數(shù)據(jù)”，也將經(jīng)由發(fā)送部52發(fā)送的圖像數(shù)據(jù)Data稱為“左眼用圖像數(shù)據(jù)”。發(fā)送部51、52作為用于控制部10和圖像顯示部20之間的串行傳輸?shù)氖瞻l(fā)器發(fā)揮作用。
[0084]顯示控制部190生成控制右顯示驅(qū)動部22以及左顯示驅(qū)動部24的控制信號。具體而言，顯示控制部190通過控制信號，利用右IXD控制部211控制右IXD241的驅(qū)動開/關(guān)、利用右背光源控制部201控制右背光源221的驅(qū)動開/關(guān)、利用左LCD控制部212控制左IXD242的驅(qū)動開/關(guān)、利用左背光源控制部202控制左背光源222的驅(qū)動開/關(guān)等，從而分別利用右顯示驅(qū)動部22以及左顯示驅(qū)動部24控制圖像光的生成以及射出。例如，顯示控制部190使右顯示驅(qū)動部22以及左顯示驅(qū)動部24的雙方生成圖像光，或者僅使一方生成圖像光，或者使雙方均不生成圖像光。另外，顯示控制部190經(jīng)由發(fā)送部51以及52分別發(fā)送針對右IXD控制部211和左IXD控制部212的控制信號。另外，顯示控制部190分別發(fā)送針對右背光源控制部201和左背光源控制部202的控制信號。
[0085]聲音處理部170獲取內(nèi)容所包含的聲音信號，并對獲取的聲音信號進(jìn)行放大，供給給與連結(jié)部件46連接的右耳機(jī)32內(nèi)的未圖示的揚(yáng)聲器以及左耳機(jī)34內(nèi)的未圖示的揚(yáng)聲器。此外，例如在米用Dolby (注冊商標(biāo))系統(tǒng)的情況下,進(jìn)行聲音信號的處理,分別從右耳機(jī)32以及左耳機(jī)34輸出例如改變了頻率等的不同的聲音。
[0086]接口 180是用于使成為內(nèi)容的供給源的各種外部設(shè)備OA與控制部10連接的接口。作為外部設(shè)備0A，例如有個(gè)人計(jì)算機(jī)PC、移動電話終端、游戲終端等。作為接口 180，例如能夠使用USB接口、微型USB接口、存儲卡用接口等。
[0087]圖像顯示部20具備右顯示驅(qū)動部22、左顯示驅(qū)動部24、作為右光學(xué)影像顯示部26的右導(dǎo)光板261、作為左光學(xué)影像顯不部28的左導(dǎo)光板262以及照相機(jī)61。
[0088]右顯示驅(qū)動部22包括接收部(Rx) 53、作為光源發(fā)揮作用的右背光源(BL)控制部201以及右背光源(BL)221、作為顯示元件發(fā)揮作用的右IXD控制部211以及右IXD241、以及右投影光學(xué)系統(tǒng)251。此外，也將右背光源控制部201、右IXD控制部211、右背光源221、右IXD241統(tǒng)稱為“圖像光生成部”。[0089]接收部53作為用于控制部10和圖像顯示部20之間的串行傳輸?shù)慕邮掌靼l(fā)揮作用。右背光源控制部201基于輸入的控制信號驅(qū)動右背光源221。右背光源221例如為LED、電致發(fā)光(EL)等發(fā)光體。右IXD控制部211基于經(jīng)由接收部53輸入的時(shí)鐘信號PCLK、垂直同步信號VSync、水平同步信號HSync、以及右眼用圖像數(shù)據(jù)Datal來驅(qū)動右LCD241。右IXD241是將多個(gè)像素配置成矩陣狀的透射型液晶面板。
[0090]右投影光學(xué)系統(tǒng)251由用于使從右LCD241射出的圖像光成為平行狀態(tài)的光束的準(zhǔn)直透鏡構(gòu)成。作為右光學(xué)影像顯不部26的右導(dǎo)光板261使從右投影光學(xué)系統(tǒng)251輸出的圖像光沿規(guī)定的光路反射，并且導(dǎo)入使用者的右眼RE。只要能夠使用圖像光在使用者的眼前形成虛像，光學(xué)影像顯示部能夠使用任意的方式，例如可以使用衍射光柵，也可以使用半透過反射膜。
[0091]左顯示驅(qū)動部24具有與右顯示驅(qū)動部22相同的構(gòu)成。S卩，左顯示驅(qū)動部24包括接收部(Rx) 54、作為光源發(fā)揮作用的左背光源(BL)控制部202以及左背光源(BL) 222、作為顯示元件發(fā)揮作用的左IXD控制部212以及左IXD242、以及左投影光學(xué)系統(tǒng)252。省略詳細(xì)的說明。
[0092]圖3是表示由圖像光生成部射出圖像光的情況的說明圖。右IXD241通過驅(qū)動配置成矩陣狀的各像素位置的液晶，使透過右LCD241的光的透過率變化，從而將從右背光源221照射的照明光IL向成為表示圖像的有效的圖像光PL進(jìn)行調(diào)制。左側(cè)也相同。此外，如圖3所示，在本實(shí)施方式中采用背光源方式，但也可以設(shè)為使用前光源方式、反射方式來射出圖像光的構(gòu)成。
[0093]圖4是表示被使用者識別的虛像的一個(gè)例子的說明圖。圖4例示出使用者的視場VR0如上所述，頭戴式顯示器100的導(dǎo)入使用者的雙眼的圖像光成像于使用者的網(wǎng)膜，從而使用者視覺確認(rèn)虛像VI。在圖4所示的例子中，虛像VI是患者的手的X-射線圖像。另外，使用者透過右光學(xué)影像顯示部26以及左光學(xué)影像顯示部28視覺確認(rèn)外景SC。在圖4所示的例子中，外景SC是醫(yī)師拿著的手術(shù)刀的刀尖接觸患者的右手小指的第2指關(guān)節(jié)的情況。像這樣，在頭戴式顯示器100中，不與虛像VI重疊的部分自不必說，使用者對視場VR中與虛像VI重疊的部分，也能夠在虛像VI的背后視覺確認(rèn)外景SC。
[0094]此外，本實(shí)施方式的頭戴式顯示器也能夠使用并排方式，使使用者視覺確認(rèn)三維的虛像。在使使用者視覺確認(rèn)三維的虛像的模式(以下也稱為“三維顯示模式”)中，將IXD左右等分，將右半部分作為右眼用的顯示，將左半部分作為左眼用的顯示。此外，也可以替換并排方式，例如通過使用幀封裝方式、上下方式等其他的方式來實(shí)現(xiàn)三維顯示模式。
[0095]A - 2.重疊信息顯示處理:
[0096]圖5是表示第I實(shí)施方式中的重疊信息顯示處理的程序的流程圖。圖5的步驟S102、S104是表示重疊信息顯示處理的預(yù)處理的程序。圖5的步驟S106以后表示重疊信息顯示處理的程序。重疊信息顯示處理是使不出現(xiàn)在物體的外觀中的信息重疊顯示于使用者的視場方向的物體的實(shí)像的處理。
[0097]在重疊信息顯示處理中，有通過邊緣檢測來提取作為重疊信息顯示處理的對象的物體(以下也稱為“對象物體”。)的特征的方法、和通過標(biāo)記檢測來提取對象物體的特征的方法(后述詳細(xì)內(nèi)容)。其中，在采用通過標(biāo)記檢測來提取對象物體的特征的方法的情況下，在步驟S102、S104、S108中，預(yù)先給對象物體標(biāo)注標(biāo)記。此外,標(biāo)注于對象物體的標(biāo)記能夠使用各個(gè)種類的標(biāo)記。例如能夠使用膠帶、貼紙、魔法貼、激光標(biāo)記、魔法膠帶(注冊商標(biāo))等。另外，能夠任意規(guī)定標(biāo)注于對象物體的標(biāo)記的數(shù)量。
[0098]在圖5的步驟S102中，使用者將作為重疊信息顯示處理的對象的物體的不可見信息存儲于不可見信息存儲部122。具體而言，使用者使用拍攝設(shè)備(CT、MR1、X-射線、內(nèi)視鏡、熱成像儀等)拍攝作為重疊信息顯示處理的對象的物體，獲取表示對象物體的結(jié)構(gòu)的圖像(不可見信息)。而且，使用者使獲取的圖像存儲于不可見信息存儲部122。此外，在步驟S102中拍攝到的不可見信息在步驟S106以后的重疊信息顯示處理中，重疊顯示于透過右光學(xué)影像顯示部26以及左光學(xué)影像顯示部28觀察到的外景SC的實(shí)像。因此，在重疊信息顯示處理的步驟S102中，優(yōu)選獲取與在步驟S106以后的重疊信息顯示處理中假定的對象物體的朝向匹配的圖像，并存儲于不可見信息存儲部122。此外，在步驟S102中，也可以替換對象物體的拍攝，將從外部接收到的不可見信息存儲于不可見信息存儲部122。
[0099]圖6是表示不可見信息的一個(gè)例子的說明圖。在圖6中例示的不可見信息SI是人的右手的X-射線圖像。該情況下，對象物體是“人的右手”。從圖6的不可見信息SI可知，被拍攝者的右手的小指的第2指關(guān)節(jié)因關(guān)節(jié)風(fēng)濕病而變形。
[0100]在圖5的步驟S104中，使用者將作為重疊信息顯示處理的對象的物體的外觀信息存儲于外觀信息存儲部124。具體而言，使用者使用照相機(jī)61、數(shù)字照相機(jī)等拍攝對象物體，獲取表示對象物體的外觀的圖像。而且，使用者將獲取的圖像存儲于外觀信息存儲部124。
[0101]圖7是表示外觀信息的一個(gè)例子的說明圖。在圖7中例示的外觀信息FI是人的右手的照片圖像。對象物體與圖6相同。
[0102]在圖5的步驟S106中，重疊處理部142判定是否有重疊信息顯示處理的開始指示。具體而言，重疊處理部142在從輸入信息獲取部110接收到重疊信息顯示處理的開始指示的情況下，判定為有開始指示(步驟S106:是)，在未接收到的情況下，判定為沒有開始指示(步驟S106:否)。在沒有開始指示(步驟S106:否)的情況下，重疊處理部142將處理遷移至步驟S106，等待開始指示的接收。另一方面，在有開始指示(步驟S106:是)的情況下，重疊處理部142通過接下來說明的重疊信息生成處理來生成重疊信息(步驟S108)。
[0103]A - 2 - 1.重疊信息生成處理:
[0104]圖8是表示重疊信息生成處理的程序的流程圖。重疊處理部142獲取外景圖像(步驟S202)。具體而言，重疊處理部142啟動照相機(jī)61，指示照相機(jī)61進(jìn)行拍攝，并獲取由照相機(jī)61拍攝的外景圖像。
[0105]獲取外景圖像后，重疊處理部142通過對外景圖像進(jìn)行圖像識別來提取對象物體的特征(步驟S204)。具體而言，重疊處理部142使用下述的1、ii的圖像識別的方法，提取外景圖像所包含的對象物體的特征。此外，也可以組合方法i和ii。
[0106]方法i)重疊處理部142檢測對象物體的邊緣。該情況下,檢測到的邊緣為“對象物體的特征”。
[0107]方法ii)重疊處理部142檢測標(biāo)注于對象物體的標(biāo)記。該情況下，檢測到的標(biāo)記為“對象物體的特征”。
[0108]圖9表示通過方法i從外景圖像提取出的對象物體的特征(邊緣)。
[0109]在圖8的步驟S206中，重疊處理部142通過對不可見信息SI進(jìn)行圖像識別來提取對象物體的特征。具體而言，重疊處理部142從不可見信息存儲部122讀出與對象物體對應(yīng)的不可見信息SI。重疊處理部142使用在上述1、ii中說明的圖像識別的方法，來提取讀出的不可見信息SI所包含的對象物體的特征。此外，為了提高步驟S208中的修正的精度，優(yōu)選在步驟S204和步驟S206中使用的圖像識別的方法統(tǒng)一。
[0110]圖10表示通過方法i從不可見信息SI提取出的對象物體的特征(邊緣)。
[0111]在圖8的步驟S208中，重疊處理部142以在步驟S204中提取出的外景圖像的特征和在步驟S206中提取出的不可見信息SI的特征匹配的方式對不可見信息SI進(jìn)行修正。具體而言，在步驟S204以及S206中使用方法i的情況下，重疊處理部142以外景圖像的特征(即在步驟S204中檢測到的邊緣)和不可見信息SI的特征(即在步驟S206中檢測到的邊緣)的輪廓、特征部位匹配的方式，對表示不可見信息SI的圖像進(jìn)行放大、縮小、旋轉(zhuǎn)、反轉(zhuǎn)、剪裁、賦予變形、去噪中的至少一個(gè)的加工。此處，在對象物體是生物體的情況下，所謂的特征部位是關(guān)節(jié)、肢體的前端、血管、骨頭等，在對象物體是人工物體的情況下，所謂的特征部位是突起部分、角部。另一方面，在步驟S204以及S206中使用方法ii的情況下，重疊處理部142以外景圖像的特征(即在步驟S204中檢測到的標(biāo)記)和不可見信息SI的特征(即在步驟S206中檢測到的標(biāo)記)的位置匹配的方式，對表示不可見信息SI的圖像進(jìn)行放大、縮小、旋轉(zhuǎn)、反轉(zhuǎn)、剪裁、賦予變形、去噪中的至少一個(gè)加工。
[0112]在圖9以及圖10的例子中，重疊處理部142以在步驟S204中檢測到的邊緣(圖9)和在步驟S206中檢測到的邊緣(圖10)的手的輪廓、特征部位(關(guān)節(jié)、指尖、血管、骨頭)匹配的方式，進(jìn)行針對不可見信息SI的修正。
[0113]圖11是表示修正后的不可見信息SI的一個(gè)例子的說明圖。在修正后的重疊信息CPl中，不可見信息SI (圖6)被剪裁成與外景圖像所包含的對象物體(即患者的右手)的范圍匹配。同樣，在修正后的重疊信息CPl中，不可見信息SI (圖6)被縮小到與外景圖像所包含的對象物體的大小匹配，不可見信息SI (圖6)被旋轉(zhuǎn)以及移動到與外景圖像所包含的對象物體的位置匹配。此外，在步驟S208中修正的不可見信息SI相當(dāng)于權(quán)利要求中的“重疊信息”。
[0114]這樣，在重疊信息生成處理中，重疊處理部142能夠使用存儲于不可見信息存儲部122的物體的不可見信息SI來生成重疊信息。在步驟S202中，照相機(jī)61 (圖像獲取部)獲取的外景圖像是拍攝使用者的視場方向的對象物體(換言之，外景所包含的物體)的實(shí)像而得到的圖像。重疊處理部142從由照相機(jī)61獲取的外景圖像提取外景所包含的對象物體的邊緣、標(biāo)記(對象物體的特征)，并基于提取出的特征生成重疊信息。因此，重疊處理部142能夠生成與使用者的視場方向的對象物體(外景所包含的物體)的特征匹配的重疊信息。
[0115]另外，根據(jù)上述方法i，重疊處理部142能夠通過圖像識別檢測出對象物體的邊緣，從而提取出外景所包含的對象物體的輪廓。其結(jié)果，重疊處理部142能夠基于提取出的對象物體的輪廓來修正該對象物體的不可見信息SI，從而生成重疊信息CPl。
[0116]另外，根據(jù)上述方法ii，重疊處理部142能夠通過圖像識別來檢測出標(biāo)注在對象物體上的標(biāo)記，從而提取出外景所包含的對象物體的位置。其結(jié)果，重疊處理部142能夠基于提取出的對象物體的位置修正該對象物體的不可見信息SI，從而生成重疊信息CP1。
[0117]重疊信息生成處理結(jié)束后,在圖5的步驟SllO中，重疊處理部142使重疊信息CPl顯示。具體而言，重疊處理部142將通過重疊信息生成處理生成的重疊信息CPl發(fā)送給圖像處理部160。接收到重疊信息CPl的圖像處理部160對重疊信息CPl執(zhí)行在圖2中說明的顯示處理。其結(jié)果，如圖4所示，在頭戴式顯示器100的使用者的視場VR中作為虛像VI顯示重疊信息CP1。本實(shí)施方式中的頭戴式顯示器100是使用者視覺確認(rèn)虛像的同時(shí)也能夠視覺確認(rèn)外景的光學(xué)透視型的頭戴式顯示器。因此，頭戴式顯示器100的使用者能夠在透過右光學(xué)影像顯示部26以及左光學(xué)影像顯示部28觀察到的外景SC中的實(shí)像(醫(yī)師拿著的手術(shù)刀的刀尖接觸患者的右手小指的第2指關(guān)節(jié)的情況)和作為虛像VI觀察到的重疊信息CPl重疊的狀態(tài)下進(jìn)行視覺確認(rèn)。
[0118]在圖5的步驟S112中，重疊處理部142判定是否有顯示的切換指示、以及切換指示的內(nèi)容。在沒有顯示的切換指示的情況下，重疊處理部142在待機(jī)規(guī)定的時(shí)間之后，將處理遷移至步驟S108(省略圖示)。由此，每隔規(guī)定的時(shí)間，反復(fù)進(jìn)行外景圖像的拍攝、重疊信息CPl的生成以及顯示，所以能夠?qū)⒆窂氖褂谜叩念^部的經(jīng)時(shí)的活動的重疊信息CPl顯示為虛像VI。此外，可以任意地決定所謂的規(guī)定的時(shí)間。
[0119]重疊處理部142在從輸入信息獲取部110接收到“圖像切換”指示，指示切換當(dāng)前顯示中的重疊信息CPl的顯示的主旨的情況下(步驟S112:圖像切換)，將處理遷移至步驟S114。重疊處理部142生成其他的重疊信息(步驟S114)。具體而言，重疊處理部142再次執(zhí)行在圖8中說明的重疊信息生成處理，生成其他的重疊信息。此時(shí)，重疊處理部142替換圖8的說明中的“存儲于不可見信息存儲部122的不可見信息SI”，將“存儲于外觀信息存儲部124的外觀信息FI”作為處理對象。因此，所謂的其他的重疊信息成為表示對象物體的外觀的信息。在其他的重疊信息生成后，重疊處理部142使其他的重疊信息顯示(步驟S116)。具體而言，重疊處理部142向圖像處理部160發(fā)送其他的重疊信息。接收到其他的重疊信息的圖像處理部160對其他的重疊信息執(zhí)行在圖2中說明的顯示處理。其結(jié)果，在頭戴式顯示器100的使用者的視場VR中替換重疊信息CP1，作為虛像VI顯示其他的重疊信息。之后，重疊處理部142將處理遷移至步驟S112。
[0120]這樣，根據(jù)步驟S114、S116，頭戴式顯示器100的使用者能夠根據(jù)使用者自身的意思，切換以表示對象物體的結(jié)構(gòu)的不可見信息SI為基礎(chǔ)生成的重疊信息的顯示、和以表示對象物體的外觀的外觀信息FI為基礎(chǔ)生成的其他的重疊信息的顯示。因此，能夠使頭戴式顯示器100的使用者的方便性提高。
[0121]在圖5中，重疊處理部142在從輸入信息獲取部110接收到“非顯示”指示，指示使當(dāng)前顯示中的虛像為非顯示的情況(步驟S112:非顯示)下，使處理遷移至步驟S118遷移。重疊處理部142使當(dāng)前顯示中的虛像VI (重疊信息CPl或者其他的重疊信息)成為非顯示(步驟S118)。具體而言，重疊處理部142停止對圖像處理部160發(fā)送重疊信息CPl或者其他的重疊信息。由此，由于沒有了應(yīng)顯示的圖像數(shù)據(jù)，所以能夠使虛像VI成為非顯示。此夕卜，也可以替換重疊信息CPl或者其他的重疊信息的發(fā)送的停止，重疊處理部142向顯示控制部190發(fā)送使圖像為非顯示的請求。該情況下，顯示控制部190通過發(fā)送用于將由IXD控制部控制的LCD的驅(qū)動設(shè)為關(guān)的控制信號、或者用于將由背光源控制部控制的背光源的驅(qū)動設(shè)為關(guān)的控制信號，能夠使虛像VI成為非顯示。
[0122]這樣，根據(jù)步驟S118，頭戴式顯示器100的使用者能夠根據(jù)使用者自身的意思，使當(dāng)前顯示中的虛像VI成為非顯示。例如，在欲注視透過光學(xué)影像顯示部觀察的實(shí)像的情況下，使用者能夠有意圖地消除虛像VI。因此，能夠使頭戴式顯示器100中的使用者的方便性提聞。
[0123]在圖5中，重疊處理部142在從輸入信息獲取部110接收到“放大”指示，指示使視場方向的實(shí)像放大顯示的主旨的情況下(步驟S112:放大)，將處理遷移至步驟S120遷移。重疊處理部142獲取外景圖像(步驟S120)。具體而言，重疊處理部142啟動照相機(jī)61，指示照相機(jī)61進(jìn)行拍攝，獲取由照相機(jī)61拍攝的外景圖像。在獲取外景圖像后，重疊處理部142圖像識別在步驟S120中獲取的外景圖像，在剪裁與放大指示一起指定的以點(diǎn)為中心的規(guī)定范圍的區(qū)域之后,對剪裁之后的圖像進(jìn)行放大處理(步驟S122)。之后，重疊處理部142生成將放大處理后的圖像配置在端部，并在其他的部分配置黑色的虛擬數(shù)據(jù)而得的放大信息。在放大信息生成后，重疊處理部142顯示重疊信息CPl和放大信息。具體而言，重疊處理部142向圖像處理部160發(fā)送重疊信息CPl和放大信息。接收到了重疊信息CPl和放大信息的圖像處理部160生成將重疊信息CPl和放大信息作為各圖層的合成圖像，對生成的合成圖像執(zhí)行在圖2中說明的顯示處理。
[0124]圖12是表示被使用者識別的虛像的其他的例子的說明圖。圖12 (A)表示通過圖5的步驟S122被使用者識別的虛像。像這樣，執(zhí)行了步驟S120以及S122的結(jié)果，在頭戴式顯示器100的使用者的視場VR作為虛像VI顯示重疊信息CPl和放大信息CP2。像這樣，通過步驟S120、S122，頭戴式顯示器100的使用者根據(jù)使用者自身的意思，除了能夠視覺確認(rèn)視場方向的對象物體(換言之，外景所包含的物體)的實(shí)像和不出現(xiàn)在該對象物體的外觀中的信息(重疊信息CPI)之外，還能夠同時(shí)視覺確認(rèn)以指定的點(diǎn)為中心的實(shí)像的放大信息CP2，即視場方向的物體的至少一部分的放大信息CP2。其結(jié)果，能夠使頭戴式顯示器100中的使用者的方便性提高。
[0125]如上所述，在第I實(shí)施方式的重疊信息顯示處理中，圖像顯示部20使使用者視覺確認(rèn)基于重疊信息CPl的虛像VI (影像)，該重疊信息CPl用于使該對象物體的不可見信息
SI(在上述的例子中為人的右手的X-射線圖像)與外景SC所包含的對象物體(在上述的例子中為人的右手)重疊。本方式的頭戴式顯示器100 (頭部佩戴型顯示裝置)是能夠同時(shí)視覺確認(rèn)虛像VI (影像)和外景SC的頭戴式顯示器。因此，頭戴式顯示器100的使用者不移動視線，就能夠同時(shí)視覺確認(rèn)視場方向的對象物體(換言之，外景所包含的對象物體)的實(shí)像和不出現(xiàn)在該對象物體的外觀中的信息(重疊信息CP1)。
[0126]并且，在上述實(shí)施方式中，存儲于不可見信息存儲部122的不可見信息SI是表示對象物體的結(jié)構(gòu)的圖像。因此，頭戴式顯示器100 (頭部佩戴型顯示裝置)的使用者不移動視線，就能夠同時(shí)視覺確認(rèn)視場方向的對象物體的實(shí)像和表示對象物體的結(jié)構(gòu)的圖像。因此，上述實(shí)施方式的頭戴式顯示器100在微創(chuàng)外科手術(shù)中特別有用。此外，所謂微創(chuàng)外科手術(shù)是為了使手術(shù)帶來的患者的疼痛、手術(shù)疤痕為最小限而將由手術(shù)刀切開的切開部分限定在最小限的手術(shù)方法。
[0127]A- 3.重疊信息顯示處理中的附加處理:
[0128]此外，在重疊信息顯示處理(圖5)中，還可以執(zhí)行以下這樣的附加處理。附加處理可以單獨(dú)附加，也可以組合附加。
[0129]A — 3 — 1.附加處理 1:
[0130]在附加處理I中，重疊處理部142除了使重疊信息CPl顯示為虛像VI以外，還使輔助信息CP3顯示為虛像VI。所謂的輔助信息CP3只要是用于輔助頭戴式顯示器100的使用者的作業(yè)的附加信息，能夠采用任意的信息。輔助信息CP3在醫(yī)療用的頭戴式顯示器100中，例如能夠設(shè)為以下的信息。
[0131].顯示佩戴于患者的醫(yī)療用設(shè)備(心電圖、心率計(jì)、血壓計(jì)、脈動血氧計(jì)、血糖值計(jì)等)的測量值的信息。
[0132].顯示與佩戴于患者的醫(yī)療用設(shè)備的測量值對應(yīng)的注意提醒、警告的信息。
[0133]圖12 (B)示出作為輔助信息CP3，顯示有患者的心率(HR)、血壓(SYS/DIA)、動脈血氧飽和度(Sp02)的輔助信息CP3作為虛像VI顯示的例子。在圖12 (B)的例子中，通過文字表現(xiàn)輔助信息CP3。但是，除了文字以外，也可以采用照片、圖案、圖形、以及它們的組合來表現(xiàn)輔助信息CP3。此外，優(yōu)選將輔助信息CP3配置于例如端部，以免與重疊信息CPl重疊。使重疊信息CPl和輔助信息CP3同時(shí)顯示的方法與步驟S122相同。
[0134]此外，在圖12 (B)中，列舉了醫(yī)療用的頭戴式顯示器100中的輔助信息CP3的例子。但是，即使在用于其他的用途的頭戴式顯示器100中，也能夠使輔助信息CP3作為虛像VI顯示。例如，也能夠?qū)⒃诮ㄖさ刂惺褂玫念^戴式顯示器100中的輔助信息CP3作為顯示建筑物的信息(建筑年數(shù)、建筑的地面的信息、施工方法的信息、建造所使用的材料的信息等)的信息。除此以外，能夠采用與頭戴式顯示器100的使用用途對應(yīng)的各種輔助信息。
[0135]這樣，根據(jù)附加處理1，頭戴式顯示器100的使用者能夠?qū)⒂糜谳o助作業(yè)的信息亦即輔助信息CP3作為虛像VI (影像)視覺確認(rèn)。因此，能夠使使用了頭戴式顯示器100的作業(yè)的效率提高。
[0136]A - 3 - 2.附加處理 2:
[0137]在附加處理2中，對在步驟S108中生成的重疊信息CP1、在步驟S114中生成的其他的重疊信息、以及在步驟S122中生成的放大信息CP2中的至少一個(gè)進(jìn)行顏色轉(zhuǎn)換處理。優(yōu)選顏色轉(zhuǎn)換處理是根據(jù)在步驟S202中拍攝的外景圖像的亮度、對比度、彩度、色相，使通過重疊處理部142生成的各信息(重疊信息CP1、其他的重疊信息、放大信息CP2)的可視性提高的顏色轉(zhuǎn)換處理。例如，能夠進(jìn)行將通過重疊處理部142生成的各信息的色相轉(zhuǎn)換為在步驟S202中拍攝的外景圖像的色相的互補(bǔ)色的顏色轉(zhuǎn)換處理。此外，可以在向圖像處理部160發(fā)送各信息之前，由重疊處理部142執(zhí)行顏色轉(zhuǎn)換處理，也可以由接收到各信息的圖像處理部160執(zhí)行顏色轉(zhuǎn)換處理。
[0138]這樣，根據(jù)附加處理2，能夠使頭戴式顯示器100的使用者對虛像VI (影像)的可視性進(jìn)一步提聞。
[0139]A — 3 — 3.附加處理 3:
[0140]在附加處理3中，重疊處理部142使作為虛像VI顯示的信息(重疊信息CP1、其他的重疊信息、放大信息CP2、輔助信息CP3)向不妨礙使用者的視野的位置退避。以當(dāng)前顯示中的虛像VI為重疊信息CPl的情況為例進(jìn)行說明。重疊處理部142對重疊信息CPl進(jìn)行縮小處理。之后，重疊處理部142生成將縮小處理后的圖像配置在端部，并在其他的部分配置了黑色的虛擬數(shù)據(jù)的縮小信息。在縮小信息生成后，重疊處理部142顯示縮小信息。具體而言，重疊處理部142向圖像處理部160發(fā)送縮小信息。接收到縮小信息的圖像處理部160對縮小信息執(zhí)行在圖2中說明的顯示處理。其結(jié)果，替換重疊信息CP1，在頭戴式顯示器100的使用者的視場VR中作為虛像顯示重疊信息CPl被縮小且配置于端部的縮小信息。此外，也可以替換重疊信息顯示處理(圖5)的步驟S118而執(zhí)行附加處理3。[0141]這樣，根據(jù)附加處理3，頭戴式顯示器100的使用者能夠根據(jù)使用者自身的意思，使作為虛像VI (影像)顯示的信息(重疊信息CP1、其他的重疊信息、放大信息CP2、輔助信息CP3)向不妨礙視野的位置退避。例如，在欲注視透過光學(xué)影像顯示部觀察的實(shí)像的情況下，使用者能夠有意圖地使作為虛像VI (影像)顯示的信息退避。因此，能夠使頭戴式顯示器100中的使用者的方便性提高。
[0142]并且，根據(jù)附加處理3，縮小處理后的各種信息(重疊信息CP1、其他的重疊信息、放大信息CP2、輔助信息CP3)被配置于端部，所以能夠提醒頭戴式顯示器100的使用者存在各種信息。換言之，能夠像圖標(biāo)那樣使用縮小處理后的各種信息。例如，能夠?qū)⑹褂谜哌x擇了縮小處理后的重疊信息CPl作為觸發(fā)要件，使重疊信息CPl返回到原來的位置以及大小。這樣，能夠使頭戴式顯示器100中的使用者的方便性進(jìn)一步提高。
[0143]A — 3 — 4.附加處理 4:
[0144]在附加處理4中，重疊處理部142實(shí)現(xiàn)用于抑制使用者的頭的小幅偏移帶來的虛像VI的搖晃的、所謂的穩(wěn)定器功能。在重疊信息顯示處理(圖5)的步驟S112中，重疊處理部142在沒有顯示的切換指示的情況下，在待機(jī)規(guī)定的時(shí)間之后使處理遷移至步驟S108。由此，每隔規(guī)定的時(shí)間，反復(fù)進(jìn)行外景圖像的拍攝和重疊信息CPl的生成以及顯示，所以能夠使追從使用者的頭部的經(jīng)時(shí)活動的重疊信息CPl顯示為虛像VI。但是，重疊信息CPl總是追從使用者的頭部的微小的活動或者搖動而變化，反而可能誘發(fā)使用者的眼精疲勞、妨礙使用者的集中力。因此，重疊處理部142也可以在重疊信息生成處理(圖8)的步驟S202和S204之間執(zhí)行程序al、a2所示的處理。
[0145]程序al)計(jì)算在步驟S202中拍攝的外景圖像、和在上次執(zhí)行的重疊信息生成處理的步驟S202中拍攝的外景圖像之間的、RGB直方圖的變化量。
[0146]程序a2)在程序al中計(jì)算出的變化量超過規(guī)定的閾值的情況下，繼續(xù)步驟S204以后的處理。在程序al中計(jì)算出的變化量為規(guī)定的閾值以下的情況下，將在上次執(zhí)行的重疊信息生成處理中生成的重疊信息CPl作為當(dāng)前執(zhí)行中的重疊信息生成處理的處理結(jié)果。
[0147]這樣，根據(jù)附加處理4，重疊處理部142在上次執(zhí)行的重疊信息生成處理中的外景圖像(使用者的視場方向的外景)和當(dāng)前執(zhí)行的重疊信息生成處理中的外景圖像之間的變化量小的情況下，即，使用者的頭部的活動微小的情況下，不生成新的重疊信息CP1，而將在上次執(zhí)行的重疊信息生成處理中生成的重疊信息CPl作為當(dāng)前執(zhí)行中的重疊信息生成處理的處理結(jié)果。其結(jié)果，能夠抑制重疊信息CPl總是追從頭戴式顯示器100的使用者的頭部的微小活動或者搖動而變化的情況，所以能夠抑制使用者的眼精疲勞、集中力降低。此外，也可以構(gòu)成為能夠由使用者切換穩(wěn)定器功能的開/關(guān)。
[0148]A — 3 — 5.附加處理 5:
[0149]在附加處理5中，重疊處理部142根據(jù)圖像顯示部20的光學(xué)影像顯示部26、28和在處在使用者的視場方向內(nèi)的物體之間的距離，變更放大信息CP2以及輔助信息CP3被顯示為虛像VI的大小。具體而言，重疊處理部142能夠在重疊信息顯示處理(圖5)中進(jìn)行程序bl?b3所示的處理。此外，在實(shí)施附加處理5的情況下，構(gòu)成為在頭戴式顯示器100還具備測距傳感器。測距傳感器是用于通過反射光來獲取使用者的視場方向上的物體和圖像顯示部20之間的距離的傳感器，例如，能夠配置在圖1的照相機(jī)61的附近。
[0150]程序bl)重疊處理部142定期地獲取測距傳感器的測定值。[0151]程序b2)重疊處理部142在進(jìn)行重疊信息顯示處理(圖5)的步驟S122中的放大處理時(shí)，根據(jù)獲取的測距傳感器的測定值來變更放大率。
[0152]程序b3)重疊處理部142根據(jù)測距傳感器的測定值，變更附加處理I的輔助信息CP3的大小。
[0153]這樣，根據(jù)附加處理5，重疊處理部142根據(jù)位于使用者的視場方向上的物體和圖像顯示部20之間的距離，來變更放大信息CP2以及輔助信息CP3被顯示為虛像的大小。因此，能夠使頭戴式顯示器100中的使用者的方便性提高。
[0154]A — 3 — 6.附加處理 6:
[0155]在附加處理6中，無線通信部132將在上述的處理中獲取的外景圖像發(fā)送給外部的裝置。具體而言，所謂的外景圖像是在重疊信息生成處理(圖8)的步驟S202中獲取的外景圖像和在重疊信息顯示處理(圖5)的步驟S120中獲取的外景圖像。所謂的外部的裝置例如是其他的頭戴式顯示器100、服務(wù)器、監(jiān)視器等。無線通信部132經(jīng)由無線連接將這些外景圖像發(fā)送給外部的裝置。接收到外景圖像的外部的裝置能夠以各種方式活用接收到的外景圖像。例如，也可以使其他的頭戴式顯示器100、監(jiān)視器顯示接收到的外景圖像。另外，也可以存儲于服務(wù)器，作為手術(shù)(作業(yè))的記錄加以保存。
[0156]在使其顯示于其他的頭戴式顯示器100、監(jiān)視器的方式中，外部的裝置也可以獲取觀察了所顯示的圖像的醫(yī)師(作業(yè)者)的建議。該情況下，外部的裝置將獲取的建議發(fā)送給頭戴式顯示器100。接收到建議的頭戴式顯示器100的無線通信部132轉(zhuǎn)發(fā)接收到的建議。具體而言，無線通信部132在接收到的建議是聲音信息的情況下轉(zhuǎn)送給聲音處理部170，在是文字信息、圖像信息的情況下轉(zhuǎn)送給重疊處理部142。接收了聲音信息的聲音處理部170將聲音信息所包含的聲音信號進(jìn)行放大，供給給內(nèi)置于右耳機(jī)32和左耳機(jī)34的揚(yáng)聲器。由此，頭戴式顯示器100的使用者能夠聽到基于聲音的建議。另一方面，接收了文字信息、圖像信息的重疊處理部142除了使重疊信息CPl顯示為虛像VI以外，還使接收到的文字信息、圖像信息顯示為虛像VI。文字信息、圖像信息的顯示方法與在附加處理I中說明的輔助信息CP3相同。由此，頭戴式顯示器100的使用者能夠?qū)⒒谖淖?、圖像的建議視覺確認(rèn)為虛像VI。
[0157]這樣，根據(jù)附加處理6，也能夠在外部的裝置中閱覽在處理過程中獲取的外景圖像，并且能夠保存。另外，根據(jù)附加處理6，頭戴式顯示器100的使用者能夠得到來自觀察在處理過程中獲取的外景圖像的人物的建議。因此，能夠?qū)崿F(xiàn)使用頭戴式顯示器100的作業(yè)的效率化和精度的提高。
[0158]A - 3 - 7.附加處理 7:
[0159]在附加處理7中，重疊處理部142進(jìn)行虛像VI的顯示區(qū)域和照相機(jī)61的拍攝區(qū)域的校準(zhǔn)。重疊處理部142在重疊信息顯示處理(圖5)之前，進(jìn)行以下的程序Cl?c7所示的處理。
[0160]程序Cl)在存儲部120中預(yù)先存儲用于校準(zhǔn)的引導(dǎo)圖像的圖像數(shù)據(jù)(以下也稱為“引導(dǎo)圖像數(shù)據(jù)”。)。引導(dǎo)圖像是用于對頭戴式顯示器100的使用者表示虛像的顯示區(qū)域的端部的圖像。例如，能夠?qū)⒁龑?dǎo)圖像設(shè)為是具有與右IXD241以及左IXD242相同的長寬比的矩形形狀，且具有白色一種顏色的背景的圖像，且設(shè)為在其四角和位于對角線的交點(diǎn)的部分具有圓狀的引導(dǎo)標(biāo)記的圖像。[0161]程序C2)重疊處理部142讀出儲存于存儲部120的引導(dǎo)圖像數(shù)據(jù)，將引導(dǎo)圖像數(shù)據(jù)發(fā)送給圖像處理部160。在接收了引導(dǎo)圖像數(shù)據(jù)的圖像處理部160中執(zhí)行在圖2中說明的處理。其結(jié)果，在頭戴式顯示器100的使用者的視場VR中引導(dǎo)圖像被顯示為虛像VI。
[0162]程序C3)重疊處理部142以按順序指向作為虛像VI顯示的引導(dǎo)圖像的引導(dǎo)標(biāo)記的方式引導(dǎo)使用者。作為引導(dǎo)使用者的方法，可以使用使用了對話框等的消息，也可以利用聲音進(jìn)行引導(dǎo)。在不遮擋顯示中的引導(dǎo)圖像就能夠進(jìn)行引導(dǎo)這一點(diǎn)而言，優(yōu)選利用聲音進(jìn)行的引導(dǎo)。
[0163]程序c4)重疊處理部142使照相機(jī)61拍攝外景圖像。
[0164]程序c5)重疊處理部142對由照相機(jī)61拍攝的外景圖像進(jìn)行圖像識別，確定出人的指尖的位置。對于各引導(dǎo)標(biāo)記，重疊處理部142獲取指尖位置的坐標(biāo)，并保存于存儲部120。例如，能夠?qū)⒅讣馕恢玫淖鴺?biāo)定義為將外景圖像的最左上部分的像素設(shè)為(0，O)時(shí)的X方向、Y方向的移動量。
[0165]程序c6)重疊處理部142對于全部的引導(dǎo)標(biāo)記，反復(fù)進(jìn)行外景圖像的獲取、指尖位置的坐標(biāo)獲取、坐標(biāo)的保存的一系列的處理。之后，重疊處理部142使引導(dǎo)圖像的顯示結(jié)束。這樣，重疊處理部142預(yù)先獲取照相機(jī)61的拍攝區(qū)域與虛像VI的顯示區(qū)域重疊的區(qū)域。此外，也將照相機(jī)61的拍攝區(qū)域(獲取區(qū)域)與虛像VI的顯示區(qū)域重疊的區(qū)域稱為“重疊區(qū)域”。
[0166]程序c7)重疊處理部142提取在重疊信息生成處理(圖8)的步驟S204中，由照相機(jī)61拍攝的外景圖像中的重疊區(qū)域內(nèi)的圖像所包含的物體的特征。然后，在步驟S208中，生成與重疊區(qū)域?qū)?yīng)的重疊信息CPl。
[0167]這樣，根據(jù)附加處理7，重疊處理部142能夠針對虛像VI (影像)的顯示區(qū)域和照相機(jī)61 (圖像獲取部)的獲取區(qū)域重疊的重疊區(qū)域生成重疊信息CPl。因此，能夠使在透視型的頭戴式顯示器100 (頭部佩戴型顯示裝置)中產(chǎn)生的課題亦即“使用者在自身的視野中直接看到的像和通過圖像顯示部20視覺確認(rèn)的虛像VI (影像)之間的偏差”的產(chǎn)生減少。其結(jié)果，在使使用者視覺確認(rèn)基于重疊信息CPl的虛像的情況下，能夠使給使用者帶來的不適感減少。
[0168]B.第2實(shí)施方式:
[0169]在本發(fā)明的第2實(shí)施方式中，還對頭部佩戴型顯示裝置中，能夠援助使用者進(jìn)行的作業(yè)的構(gòu)成進(jìn)行說明。以下，僅對具有與第I實(shí)施方式不同的構(gòu)成以及動作的部分進(jìn)行說明。此外，在圖中，對與第I實(shí)施方式相同的結(jié)構(gòu)部分標(biāo)注與之前說明的第I實(shí)施方式相同的符號，省略其詳細(xì)的說明。
[0170]B-1.頭部佩戴型顯示裝置的構(gòu)成:
[0171]圖13是功能性地表示第2實(shí)施方式中的頭戴式顯示器IOOa的構(gòu)成的框圖。與圖2所示的第I實(shí)施方式的不同是替換控制部10而具備控制部IOa這一點(diǎn)?？刂撇縄Oa替換存儲部120而具備存儲部120a，替換CPU140而具備CPU140a。
[0172]存儲部120a除了包括圖2所示的各存儲部之外，還包括程序表126。CPU 140a替換圖2所示的重疊處理部142而具備重疊處理部142a，另外，除了具備圖2所示的各處理部之外，還具備程序管理部144。重疊處理部142a和程序管理部144通過配合來執(zhí)行第2實(shí)施方式中的重疊信息顯示處理。[0173]圖14是表示程序表126的一個(gè)例子的說明圖。程序表126是在第2實(shí)施方式中的重疊信息顯不處理中使用的表。程序表126被預(yù)先儲存于存儲部120a內(nèi)。程序表126包括作業(yè)編號、程序編號、程序名、指示內(nèi)容以及圖像的字段。
[0174]在作業(yè)編號儲存有用于唯一識別作業(yè)的標(biāo)識符。例如，在醫(yī)療用的頭戴式顯示器100的情況下，在作業(yè)編號儲存表示手術(shù)的方法的標(biāo)識符。標(biāo)識符由字符串構(gòu)成，例如能夠設(shè)為字母數(shù)字的組合。
[0175]在程序編號以后的各字段儲存有與由作業(yè)編號確定出的作業(yè)所包含的多個(gè)程序有關(guān)的各種信息。在程序編號儲存有用于唯一識別程序的標(biāo)識符。標(biāo)識符由字符串構(gòu)成，例如能夠設(shè)為字母數(shù)字的組合。在圖14的例子中，假定作業(yè)內(nèi)的多個(gè)程序按照程序編號的升序進(jìn)行。在程序名儲存有該程序的名稱。在指示內(nèi)容儲存有表示在該程序中使用者應(yīng)該實(shí)施的內(nèi)容的字符串。此外，在圖14的例子中，用針對使用者的引導(dǎo)文形式的字符串表現(xiàn)指示內(nèi)容。在圖像字段中儲存有表示使用者應(yīng)該實(shí)施的內(nèi)容的圖像。圖像例如是第三方示范實(shí)施該程序的場面的照片等。此外，圖像除了是照片以外，還可以是附圖(說明圖、組裝圖、配置圖、電路圖等)，也可以是它們的組合。
[0176]在圖14的例子中，可知程序表126是在醫(yī)療用的頭戴式顯示器100中，儲存了醫(yī)師進(jìn)行的作業(yè)(即手術(shù))的程序的表。另外，可知由作業(yè)編號I識別的作業(yè)是人工指關(guān)節(jié)置換手術(shù)。并且，可知在由程序編號I識別的程序中使用者應(yīng)該實(shí)施的內(nèi)容是“準(zhǔn)備手術(shù)時(shí)必需的物品”和“必需的物品是什么”。并且，在程序編號I識別的程序中表示使用者應(yīng)該實(shí)施的內(nèi)容的圖像并未建立對應(yīng)。
[0177]B - 2.重疊信息顯示處理:
[0178]圖15是表示第2實(shí)施方式中的重疊信息顯示處理的程序的流程圖。與圖5所示的第I實(shí)施方式的不同是追加有步驟S302、S304、S306這一點(diǎn)。
[0179]在重疊信息顯示處理的開始指示后，在步驟S302中，程序管理部144推斷當(dāng)前的程序。具體而言，程序管理部144啟動照相機(jī)61，指示照相機(jī)61進(jìn)行拍攝，并獲取由照相機(jī)61拍攝的外景圖像。程序管理部144通過圖像識別獲取的外景圖像，從儲存于程序表126的多個(gè)程序中推斷當(dāng)前程序。這樣，程序管理部144能夠基于由照相機(jī)61 (圖像獲取部)獲取的使用者的視場方向的圖像(外景圖像)自動地推斷當(dāng)前的程序。
[0180]推斷出當(dāng)前程序之后，在步驟S108中，重疊處理部142a執(zhí)行重疊信息生成處理。詳細(xì)內(nèi)容與在圖8中說明的第I實(shí)施方式相同。
[0181]在重疊信息生成處理的執(zhí)行后，在步驟S304中，程序管理部144生成程序信息。具體而言，程序管理部144進(jìn)行接下來的程序dl?d4所示的處理。
[0182]程序dl)程序管理部144檢索程序表126，提取與在步驟S302中推斷出的當(dāng)前的程序相關(guān)聯(lián)的記錄。
[0183]程序d2)程序管理部144判定提取出的記錄中，在圖像字段是否儲存有圖像(表示使用者應(yīng)該實(shí)施的內(nèi)容的圖像)。在儲存有圖像的情況下程序管理部144執(zhí)行程序d3，在未儲存圖像的情況下執(zhí)行程序d4。
[0184]程序d3)程序管理部144生成將儲存于圖像字段的圖像配置于上端部，將儲存于指示內(nèi)容字段的字符串配置于下端部，并在其他的部分配置黑色的虛擬數(shù)據(jù)的程序信息。此外，優(yōu)選在考慮了外景圖像的色相的基礎(chǔ)上，將字符串設(shè)為可視性高的顏色。[0185]程序d4)程序管理部144生成將儲存于指示內(nèi)容字段的字符串配置于下端部，在其他的部分配置黑色的虛擬數(shù)據(jù)的程序信息。
[0186]此外，能夠任意地變更程序d3、d4中的圖像和字符串的配置。但是，為了以不過度遮擋使用者的視野的方式將應(yīng)該實(shí)施的內(nèi)容引導(dǎo)給使用者，優(yōu)選圖像和字符串的配置為程序信息CP4的端部(換言之為四邊的附近)。
[0187]圖16是表示程序信息的例子的說明圖。在程序信息CP4中，在下側(cè)的端部配置有表示使用者應(yīng)該實(shí)施的內(nèi)容的“插入人工指關(guān)節(jié)”這樣的字符串MG4。另外，在右側(cè)上端部配置有表示人工指關(guān)節(jié)的插入的示范例的圖像頂4。
[0188]在程序信息CP4的生成后，在步驟S306中，重疊處理部142a以及程序管理部144顯示重疊信息CPl和程序信息。具體而言，重疊處理部142a將重疊信息CPl發(fā)送給圖像處理部160，程序管理部144程序信息CP4發(fā)送給圖像處理部160。接收到重疊信息CPl和程序信息CP4的圖像處理部160生成使重疊信息CPl和程序信息CP4成為各圖層的合成圖像，對于生成的合成圖像執(zhí)行在圖2中說明的顯示處理。其結(jié)果，在頭戴式顯示器IOOa的使用者的視場VR作為虛像VI顯示重疊信息CPl和程序信息CP4。
[0189]如上所述，在第2實(shí)施方式的重疊信息顯示處理中，圖像顯示部20使使用者作為虛像VI (影像)視覺確認(rèn)表示對于當(dāng)前的程序，頭戴式顯示器IOOa的使用者應(yīng)該實(shí)施的內(nèi)容的程序信息CP4。因此，除了第I實(shí)施方式的效果外，還能夠使用圖像視覺性地表示使頭戴式顯示器IOOa的使用者應(yīng)該實(shí)施的內(nèi)容。因此，能夠更加容易明了地援助使用者進(jìn)行的作業(yè)。
[0190]此外，在上述第2實(shí)施方式中，以在程序表126的圖像字段儲存有第三方示范性地實(shí)施該程序的場面的照片等的情況為例進(jìn)行了說明。但是，也可以在程序表126的圖像字段儲存表示在實(shí)際的個(gè)別具體的程序中使用者應(yīng)該實(shí)施的內(nèi)容的圖像。具體而言，也可以在程序表126的圖像字段例如存儲表示實(shí)際接受手術(shù)的患者的皮膚的切開部位的圖像、表示醫(yī)療設(shè)備(例如醫(yī)療螺絲、心臟起搏器、導(dǎo)管、人工關(guān)節(jié)等)向?qū)嶋H接受手術(shù)的患者的體內(nèi)插入的插入部位的圖像。該情況下，程序管理部144替換重疊信息顯示處理(圖15)的步驟S108、S304、S306，進(jìn)行以下的程序el?e9所示的處理。
[0191]程序el)程序管理部144檢索程序表126，提取與在步驟S302中推斷出的當(dāng)前的程序相關(guān)聯(lián)的記錄。
[0192]程序e2)程序管理部144判定在提取出的記錄中，在圖像字段是否儲存有圖像。程序管理部144在儲存有圖像的情況下執(zhí)行程序e3?e7、e9，在沒有儲存圖像的情況下執(zhí)行程序e8、e9。
[0193]程序e3)重疊處理部142a獲取外景圖像。詳細(xì)內(nèi)容與重疊信息生成處理(圖8)的步驟S202相同。
[0194]程序e4)重疊處理部142a通過圖像識別外景圖像提取對象物體的特征。詳細(xì)內(nèi)容與重疊信息生成處理的步驟S204相同。
[0195]程序e5)重疊處理部142a通過圖像識別儲存于圖像字段的圖像提出對象物體的特征。詳細(xì)內(nèi)容與重疊信息生成處理的步驟S206相同。但是，將步驟S206的“不可見信息”替換為“儲存于圖像字段的圖像”。
[0196]程序e6)重疊處理部142a以在程序e4中提取出的外景圖像的特征和在程序e5中提取出的儲存于圖像字段的圖像的特征匹配的方式修正儲存于圖像字段的圖像，生成重疊信息CP5。詳細(xì)內(nèi)容與重疊信息生成處理的步驟S208相同。但是，將步驟S208的“不可見信息”替換為“儲存于圖像字段的圖像”。
[0197]程序e7)程序管理部144對在程序e6中生成的重疊信息CP5追加表示程序信息的圖層。具體而言，程序管理部144將在程序el中提取出的記錄的儲存于指示內(nèi)容字段的字符串配置在重疊信息CP5的下端部。
[0198]圖17是表示追加了程序信息的重疊信息的例子的說明圖。在該重疊信息CP5中，以與使用者的視場方向的對象物體(外景所包含的物體)的特征匹配的角度、位置、大小配置有表示實(shí)際接受手術(shù)的患者的皮膚的切開部位的圖像頂5。另外，在重疊信息CP5中，在下側(cè)的端部配置有表示使用者應(yīng)該實(shí)施的內(nèi)容的“使用圓刃手術(shù)刀切開手術(shù)部位的皮膚，使指關(guān)節(jié)露出”這樣的字符串MG5。
[0199]程序e8)程序管理部144生成將在程序el中提取出的記錄的儲存于指示內(nèi)容字段的字符串配置在端部，并在其他的部分配置黑色的虛擬數(shù)據(jù)的程序信息CP4。
[0200]程序e9)程序管理部144顯示在程序e7中生成的重疊信息CP5或者在程序e8中生成的程序信息CP4。具體而言，程序管理部144向圖像處理部160發(fā)送生成的重疊信息CP5或者程序信息CP4。接收到重疊信息CP5或者程序信息CP4的圖像處理部160執(zhí)行在圖2中說明的顯示處理。其結(jié)果，在頭戴式顯示器IOOa的使用者的視場VR作為虛像VI顯示重疊信息CP5或者程序信息CP4。
[0201]圖18是表示通過程序el?e9被使用者視覺確認(rèn)的虛像的一個(gè)例子的說明圖。如圖18所示，在頭戴式顯示器IOOa的使用者的視場VR作為虛像VI顯示重疊信息CP5。這樣，本實(shí)施方式中的頭戴式顯示器IOOa的使用者能夠在透過右光學(xué)影像顯示部26以及左光學(xué)影像顯示部28觀察的外景SC中的實(shí)像(醫(yī)師拿著的手術(shù)刀的刀尖接觸患者的右手小指的第2指關(guān)節(jié)的情況)、和作為虛像VI觀察的重疊信息CP5 (即，表示實(shí)際接受手術(shù)的患者的皮膚的切開部分的圖像、以及表示使用者應(yīng)該實(shí)施的內(nèi)容的字符串)重疊的狀態(tài)進(jìn)行視覺確認(rèn)。這樣，能夠更加個(gè)別具體地援助頭戴式顯示器IOOa的使用者進(jìn)行的作業(yè)，能夠?qū)崿F(xiàn)作業(yè)的精密化和作業(yè)效率的提高。
[0202]B - 3.重疊信息顯示處理中的附加處理:
[0203]此外，在第2實(shí)施方式的重疊信息顯示處理(圖15)中，還可以執(zhí)行在“A — 3.重疊信息顯示處理中的附加處理”中說明的附加處理I?7。可以單獨(dú)地附加附加處理，也可以組合附加附加處理。此外，也可以為程序管理部144成為主體，針對程序管理部144生成的程序信息執(zhí)行附加處理7。
[0204]C.第3實(shí)施方式:
[0205]在本發(fā)明的第3實(shí)施方式中，對能夠使第I實(shí)施方式的重疊信息顯示處理中的“不出現(xiàn)在物體的外觀中的信息(重疊信息)”與“作為重疊信息顯示處理的對象的物體的實(shí)像”的重疊的精度進(jìn)一步提高的構(gòu)成進(jìn)行說明。以下，僅對具有與第I實(shí)施方式不同的構(gòu)成以及動作的部分進(jìn)行說明。此外，在圖中，對與第I實(shí)施方式相同的結(jié)構(gòu)部分標(biāo)注與之前說明的第I實(shí)施方式相同的符號，省略其詳細(xì)的說明。
[0206]C-1.頭部佩戴型顯示裝置的構(gòu)成:
[0207]圖19是表示第3實(shí)施方式中的頭戴式顯示器IOOb的概要結(jié)構(gòu)的說明圖。圖20是功能性地表示第3實(shí)施方式中的頭戴式顯示器IOOb的構(gòu)成的框圖。與圖1、2所示的第I實(shí)施方式不同的是替換控制部10而具備控制部IOb這一點(diǎn)、和替換圖像顯示部20而具備圖像顯示部20b這一點(diǎn)。
[0208]如圖20所示，控制部IOb替換存儲部120而具備存儲部120b，替換CPU140而具備CPU140bo存儲部120b除了具備在第I實(shí)施方式中說明的不可見信息存儲部122和外觀信息存儲部124外，還具備視差信息128。
[0209]圖21是用于說明視差信息128的說明圖。本實(shí)施方式中的視差信息128是使用者和使用者視覺確認(rèn)的虛像之間的多個(gè)距離Lx、和分別與多個(gè)距離Lx對應(yīng)的視差Px對應(yīng)而成的表。此外，所謂視差指反映在雙眼的視網(wǎng)膜上的像的不同(差)。在圖21的例子中，對于使用者和使用者視覺確認(rèn)的虛像VIl之間的距離LI對應(yīng)視差2mm。另外,對于使用者和虛像VI2之間的距離L2對應(yīng)視差6mm，對于使用者和虛像VI3之間的距離L3對應(yīng)視差10mm。此外，已知人的縱深間隔隨著使用者和使用者視覺確認(rèn)的虛像之間的距離變遠(yuǎn)而急劇地減少。因此，也可以在視差信息128中準(zhǔn)備距離Lx越小縱深間隔就越小的多個(gè)數(shù)據(jù)。
[0210]通過測量使用者用雙眼視覺確認(rèn)的虛像的位置(即右眼視覺確認(rèn)的虛像和左眼視覺確認(rèn)的虛像成像的成像位置)和使用者的雙眼之間的距離，預(yù)先作成該對應(yīng)，作為使右眼用的虛像的顯示位置和左眼用的虛像的顯示位置偏移的結(jié)果。此外，在右眼用的虛像和左眼用的虛像為相同的虛像的情況下，將使用者用雙眼視覺確認(rèn)的虛像的位置定義為“基準(zhǔn)面”。該情況下，從使用者觀察，作成視差信息128時(shí)的成像位置可以在基準(zhǔn)面的前面，也可以比基準(zhǔn)面靠后。也可以在基準(zhǔn)面的前后兩方。此外，在前者的情況下，使用者看到虛像突出，在后者的情況下，使用者能看到虛像凹進(jìn)。
[0211]上述的視差2mm、6mm、10mm分別是相當(dāng)于使用者的辨別視場以及有效視場的虛像的中心部分的視差。因此，為了更加嚴(yán)密，也可以在視差信息128區(qū)別存儲相當(dāng)于使用者的注視穩(wěn)定視場的部分的視差(1.9mm、5mm、9mm)、相當(dāng)于使用者的引導(dǎo)視場(L8mm、4mm、8mm)的部分的視差、以及相當(dāng)于使用者的輔助視場的部分的視差(1.7mm,3mm,7mm)等。此夕卜，圖21中的具體的數(shù)值只是例示。
[0212]此外，所謂辨別視場是指人的視場中，視力、辨色等的視功能優(yōu)異，并且能夠接受高精度的信息的范圍。辨別視場通常距中心在幾度以內(nèi)。所謂有效視場是指人的視場中，僅利用眼球運(yùn)動注視信息，能夠瞬時(shí)接受特定信息的范圍。有效視場通常在左右約15度、上約8度、下約12度以內(nèi)。所謂注視穩(wěn)定視場是指人的視場中，在頭部運(yùn)動輔助眼球運(yùn)動的狀態(tài)下產(chǎn)生，能夠自然地注視的范圍。注視穩(wěn)定視場通常在左右30?45度、上20?30度、下25?40度以內(nèi)。所謂引導(dǎo)視場是指人的視場中，只有能夠判定出示的信息的存在的程度的識別能力，但是影響人的空間坐標(biāo)感覺的范圍。引導(dǎo)視場通常在水平30?100度、垂直20?85度的范圍內(nèi)。所謂輔助視場是指人的視場中，信息接受極度地降低，并進(jìn)行使強(qiáng)刺激等誘發(fā)注視動作的程度的輔助的動作的范圍。輔助視場通常在水平100?200度、垂直85?135度的范圍內(nèi)。
[0213]圖20的CPU140b替換重疊處理部142而具備重疊處理部142b。重疊處理部142b執(zhí)行的重疊信息顯示處理的內(nèi)容與第I實(shí)施方式不同。后述詳細(xì)內(nèi)容。
[0214]如圖20所示，圖像顯示部20b除了具備在第I實(shí)施方式中說明的各部外，還具備瞳孔拍攝用照相機(jī)62、63、近紅外線受發(fā)光部64、65、9軸傳感器66、以及深度傳感器67。[0215]瞳孔拍攝用照相機(jī)62被配置于圖像顯示部20的端部ER (圖1)的附近。瞳孔拍攝用照相機(jī)62在圖像顯示部20的背面方向，拍攝佩戴了頭戴式顯示器IOOb的狀態(tài)下的使用者的右眼RE的瞳孔。同樣，瞳孔拍攝用照相機(jī)63被配置于圖像顯示部20的端部EL(圖1)的附近。瞳孔拍攝用照相機(jī)63拍攝佩戴了頭戴式顯示器IOOb的狀態(tài)下的使用者的左眼LE的瞳孔。
[0216]近紅外線受發(fā)光部64被配置于圖像顯示部20的端部ER (圖1)的附近。近紅外線受發(fā)光部64在圖像顯示部20的背面方向，朝向使用者的右眼RE照射紅外光，獲取反射光。同樣，近紅外線受發(fā)光部65被配置于圖像顯示部20的端部EL (圖1)的附近。近紅外線受發(fā)光部65在圖像顯示部20的背面方向，向使用者的左眼LE照射紅外光，獲取反射光。
[0217]瞳孔拍攝用照相機(jī)62、63和近紅外線受發(fā)光部64、65通過配合，作為檢測使用者的視線的“視線檢測部”發(fā)揮作用。此外，也可以省略瞳孔拍攝用照相機(jī)62、63和近紅外線受發(fā)光部64、65的一部分。例如,可以省略近紅外線受發(fā)光部64、65，也可以省略瞳孔拍攝用照相機(jī)63和近紅外線受發(fā)光部65。
[0218]9軸傳感器66被配置于使用者佩戴了圖像顯示部20時(shí)的與使用者的眉間對應(yīng)的位置。9軸傳感器66是檢測加速度(3軸)、角速度(3軸)、地磁(3軸)的運(yùn)動傳感器。由于9軸傳感器66被設(shè)置于圖像顯示部20，所以在圖像顯示部20被佩戴于使用者的頭部時(shí)，作為檢測使用者的頭部的動作的“動作檢測部”發(fā)揮作用。此處，所謂頭部的動作包括頭部的速度、加速度、角速度、方向、方向的變化。
[0219]深度傳感器67被配置于使用者佩戴了圖像顯示部20時(shí)的與使用者的眉間對應(yīng)的位置。深度傳感器67包括紅外線照射部和紅外線傳感器，測定深度傳感器67的正面的各點(diǎn)的深度。深度傳感器67作為檢測使用者相對于作為重疊信息顯示處理的對象的物體(對象物體)的位置的“位置檢測部”發(fā)揮作用。
[0220]C- 2.重疊信息顯示處理:
[0221]圖22是表示第3實(shí)施方式中的重疊信息顯示處理的程序的流程圖。與圖5所示的第I實(shí)施方式不同的是替換步驟S102而具備步驟S602、替換步驟S108而具備步驟S604、替換步驟SllO而具備步驟S606這幾點(diǎn)、和在步驟SllO之后還具備步驟S608這一點(diǎn)。此夕卜，以三維顯示模式執(zhí)行第3實(shí)施方式的重疊信息顯示處理。
[0222]在步驟S602中，使用者將作為重疊信息顯示處理的對象的一物體的多個(gè)不可見信息存儲于不可見信息存儲部122。此處，與圖5的步驟S102相同，所謂的不可見信息是表示使用CT、MR1、X-射線、內(nèi)視鏡、熱成像儀等拍攝設(shè)備獲取的對象物體的結(jié)構(gòu)的圖像。在第3實(shí)施方式的重疊信息顯示處理中，根據(jù)對象物體和使用者的位置關(guān)系從多個(gè)不可見信息選擇出一不可見信息。因此，優(yōu)選在步驟S602中，對于對象物體，從各種角度獲取不可見信息，并存儲于不可見信息存儲部122。
[0223]圖23是表示不可見信息的一個(gè)例子的說明圖。如圖23所示，在第3實(shí)施方式的不可見信息存儲部122存儲有將患者PA的身體分割為前側(cè)和后側(cè)的任意的平面圖像亦即多個(gè)冠狀面CT圖像SI1、將患者PA的身體在與長度方向垂直的平面上進(jìn)行分割的任意的平面圖像亦即多個(gè)橫剖面CT圖像SI2、以及患者PA的手術(shù)部分的X-射線圖像SI3。此外，圖23所示的不可見信息只是一個(gè)例子，例如，可以包含矢狀面CT圖像，也可以替換CT圖像而包含MRI圖像、內(nèi)視鏡圖像。[0224]在圖22的步驟S604中，重疊處理部142b通過執(zhí)行以下說明的“C 一 2 — 1.第I
重疊信息生成處理”和“C 一 2 — 2.第2重疊信息生成處理”中的任意一個(gè)處理，來生成重疊信息。第I重疊信息生成處理和第2重疊信息生成處理的不同是重疊處理部142b修正不可見信息時(shí)的精度。具體而言，第2重疊信息生成處理與第I重疊信息生成處理比較，進(jìn)行精度更高的修正。
[0225]可以預(yù)先決定執(zhí)行第I重疊信息生成處理和第2重疊信息生成處理的哪一個(gè)，也可以由使用者指定。另外，例如還可以根據(jù)由9軸傳感器檢測出的使用者的頭部的動作的大小來自動地決定，還可以根據(jù)使用頭戴式顯示器IOOb實(shí)施的手術(shù)的種類或者手術(shù)方式來自動地決定。
[0226]C — 2 — 1.第I重疊信息生成處理:
[0227]圖24是表示第I重疊信息生成處理的程序的流程圖。在步驟S402中，重疊處理部142b獲取外景圖像。具體而言，重疊處理部142b啟動照相機(jī)61，指示照相機(jī)61進(jìn)行拍攝，并獲取由照相機(jī)61拍攝的外景圖像。
[0228]圖25是用于說明第I重疊信息生成處理的步驟S404的說明圖。在圖24的步驟S404中，重疊處理部142b獲取使用者的視線和位置。具體而言,重疊處理部142b從瞳孔拍攝用照相機(jī)62、63以及近紅外線受發(fā)光部64、65的檢測值獲取使用者的視線。之后，重疊處理部142b根據(jù)所獲取的使用者的視線，計(jì)算使用者和使用者注視的點(diǎn)PP (圖25，注視點(diǎn)PP)之間的距離亦即注視點(diǎn)距離。此外，注視點(diǎn)是在使用者的兩眼的中央凹(視網(wǎng)膜中視力最高的地方)的延長線上相交的點(diǎn)。并且，重疊處理部142b從深度傳感器67的檢測值獲取使用者相對于對象物體的位置POl?P03 (圖25)。此時(shí)，重疊處理部142b例如也可以將對象物體的特征Ml?M4 (圖25，邊緣或者標(biāo)記)部分的深度DP (圖25)作為位置獲取的基準(zhǔn)。
[0229]在步驟S406中，重疊處理部142b從存儲于不可見信息存儲部122的多個(gè)不可見信息選擇與使用者相對于對象物體的位置對應(yīng)的一不可見信息。具體而言，重疊處理部142b基于在步驟S404獲取的使用者和對象物體的位置關(guān)系，選擇認(rèn)為最佳的幾個(gè)不可見信息。例如，在使用者位于從上俯視圖23所示的患者PA (對象物體)的位置的情況下，重疊處理部142b選擇多個(gè)冠狀面CT圖像SI1。接下來，重疊處理部142b從選擇出的幾個(gè)不可見信息，選擇與在步驟S404中獲取的深度對應(yīng)的一不可見信息。此外，在步驟S406中，重疊處理部142b也可以將選擇出的幾個(gè)不可見信息作為候補(bǔ)提示給使用者，也可以受理來自使用者的不可見信息的選擇。
[0230]在步驟S408中，重疊處理部142b通過圖像識別外景圖像來提取對象物體的特征。詳細(xì)內(nèi)容與在第I實(shí)施方式中說明的圖8的步驟S204相同。
[0231]在步驟S410中，重疊處理部142b通過圖像識別在步驟S406中選擇出的不可見信息來提取對象物體的特征。詳細(xì)內(nèi)容與在第I實(shí)施方式中說明的圖8的步驟S206相同。
[0232]在步驟S412中，重疊處理部142b以在步驟S408中提取出的外景圖像的特征和在步驟S410中提取出的不可見信息的特征匹配的方式，修正在步驟S406中選擇出的不可見信息，生成重疊信息。詳細(xì)內(nèi)容與在第I實(shí)施方式中說明的圖8的步驟S208相同。
[0233]在步驟S414中，重疊處理部142b賦予重疊信息視差。具體而言，重疊處理部142b將在步驟S404中計(jì)算出的注視點(diǎn)距離作為關(guān)鍵詞，檢索視差信息128，獲取視差信息128所規(guī)定的視差。重疊處理部142b通過對在步驟S412中生成的重疊信息賦予從視差信息128獲取的與注視點(diǎn)距離對應(yīng)的視差，生成右眼用的重疊信息和左眼用的重疊信息。這樣，根據(jù)步驟S414，重疊處理部142b能夠使用預(yù)先準(zhǔn)備的視差信息128，容易地生成右眼用的重疊信息和左眼用的重疊信息。
[0234]在第I重疊信息生成處理結(jié)束后，在圖22的步驟S606中，重疊處理部142b顯示重疊信息。具體而言，重疊處理部142b將通過重疊信息生成處理生成的右眼用的重疊信息和左眼用的重疊信息發(fā)送給圖像處理部160。接收到右眼用的重疊信息和左眼用的重疊信息的圖像處理部160對接收到的重疊信息分別執(zhí)行在圖2中說明的顯示處理。其結(jié)果，在頭戴式顯示器IOOb的使用者的視場，顯示基于重疊信息的虛像。此處，賦予右眼用的重疊信息和左眼用的重疊信息與注視點(diǎn)距離對應(yīng)的視差。因此，頭戴式顯示器IOOb的使用者視覺確認(rèn)的虛像成為在使用者的注視點(diǎn)的附近成像的三維顯示。
[0235]在圖22的步驟S608中，重疊處理部142b判定是否變更了使用者的視線和位置。能夠以與第I重疊信息生成處理(圖25)的步驟S404相同的方法獲取使用者的視線和位置。在使用者的位置和視線變化超過規(guī)定的閾值的情況(步驟S608:是)下，重疊處理部142b將處理遷移至步驟S604，反復(fù)進(jìn)行第I或者第2重疊信息生成處理。在使用者的位置和視線變化未超過規(guī)定的閾值的情況(步驟S608:否)下，重疊處理部142b將處理遷移至步驟S112。此外，能夠任意地規(guī)定所謂的規(guī)定的閾值。另外，與位置的變化量有關(guān)的閾值和與視線的變化量有關(guān)的閾值可以不同。
[0236]如上所述，根據(jù)第I重疊信息生成處理，重疊處理部142b生成賦予了與使用者和使用者注視的注視點(diǎn)之間的距離(注視點(diǎn)距離)對應(yīng)的視差的右眼用的重疊信息和左眼用的重疊信息，圖像顯示部20的圖像處理部160使使用者視覺確認(rèn)基于這些重疊信息的虛像。其結(jié)果，使用者能夠在與注視點(diǎn)相同距離的位置視覺確認(rèn)重疊信息。
[0237]另外，根據(jù)第I重疊信息生成處理，重疊處理部142b能夠從存儲于存儲部120b的不可見信息存儲部122的多個(gè)不可見信息，選擇與使用者相對于對象物體的位置對應(yīng)的一不可見信息，并修正選擇出的不可見信息。因此，重疊處理部142b能夠基于使用者和對象物體的位置關(guān)系，使用適當(dāng)?shù)牟豢梢娦畔?，來生成重疊信息。
[0238]C — 2 — 2.第2重疊信息生成處理:
[0239]圖26是表示第2重疊信息生成處理的程序的流程圖。與圖24所示的第I重疊信息生成處理不同的是替換步驟S404而具備步驟S502、替換步驟S412而具備步驟S504這兩點(diǎn)。
[0240]在步驟S502中，重疊處理部142b獲取使用者的視線、位置、以及頭部的角度。使用者的視線和位置與第I重疊信息生成處理(圖25)的步驟S404相同。并且，重疊處理部142b從9軸傳感器66的檢測值獲取使用者的頭部的角度。
[0241]圖27是用于說明第2重疊信息生成處理的步驟S504的說明圖。在圖26的步驟S504中，重疊處理部142b修正不可見信息。具體而言，重疊處理部142b使用以下的程序Π?f3所說明的方法，來修正在步驟S406中選擇出的不可見信息。
[0242]程序fl)重疊處理部142b將表示不可見信息SI的圖像分割為多個(gè)區(qū)域Al?An(圖27)。在該分割時(shí)，重疊處理部142b可以使用三角測量來分別測量使用者和對象物體的各部位之間的距離，并根據(jù)測量的結(jié)果進(jìn)行表示不可見信息SI的圖像的區(qū)域的分割。具體而言，例如，重疊處理部142b對對象物體的各部位，按照與被測定的使用者之間的距離進(jìn)行分組，能夠?qū)⑴c分組的各部位對應(yīng)的不可見信息SI統(tǒng)一為一個(gè)區(qū)域。此外，在該分組時(shí)，也可以對距離設(shè)置規(guī)定的允許范圍(閾值)。這樣，重疊處理部142b能夠高效且根據(jù)實(shí)際情況地進(jìn)行表示不可見信息SI的圖像的區(qū)域的分割。
[0243]程序f2)重疊處理部142b對在程序fl中分割出的多個(gè)區(qū)域的每一個(gè)區(qū)域進(jìn)行放大、縮小、剪裁、賦予變形、去噪中的至少一個(gè)的加工，生成重疊信息。在該加工時(shí)，重疊處理部142b以在步驟S408以及S410中檢測出的外景圖像的特征和不可見信息SI的特征匹配的方式進(jìn)行加工。
[0244]程序f3)重疊處理部142b也可以在進(jìn)行程序f2的加工時(shí)，根據(jù)使用者的視場內(nèi)的信息接受特性來改變加工(修正)精度。此處，所謂信息接受特性指視覺能力的程度。按照視場內(nèi)的信息接受特性優(yōu)異的順序，可以將人的視場區(qū)分為(I)辨別視場、(2)有效視場、
(3)注視穩(wěn)定視場、(4)引導(dǎo)視場、(5)輔助視場(圖21)。因此，重疊處理部142b能夠在程序fl中分割出的多個(gè)區(qū)域中，作為加工對象的區(qū)域?qū)儆谛畔⒔邮芴匦詢?yōu)異的視場(例如上述1、2)的情況下，提高加工的精度，在屬于信息接受特性不優(yōu)異的視場(例如上述4、5)的情況下，降低加工的精度。這是因?yàn)樵谛畔⒔邮芴匦圆粌?yōu)異的視場中，存在即便提高了不可見信息SI和對象物體的重疊的精度，從使用者的知覺能力的極限考慮，也是浪費(fèi)的顧慮。
[0245]在第2重疊信息生成處理結(jié)束后，在圖22的步驟S606中，重疊處理部142b顯示重疊信息。其結(jié)果，與第I重疊信息生成處理相同，在頭戴式顯示器IOOb的使用者的視場顯示基于重疊信息的虛像。另外，使用者視覺確認(rèn)的虛像成為在使用者的注視點(diǎn)的附近成像的三維顯示。
[0246]如上所述，根據(jù)第2重疊信息生成處理，重疊處理部142b在將存儲于存儲部120b的不可見信息存儲部122的表示物體的不可見信息SI的圖像分割為多個(gè)區(qū)域Al?An的基礎(chǔ)上，對多個(gè)區(qū)域Al?An的每一個(gè)區(qū)域進(jìn)行放大、縮小、剪裁、賦予變形、以及去噪中的至少一個(gè)的修正。像這樣，由于重疊處理部142b在將表示不可見信息SI的圖像分割為多個(gè)區(qū)域Al?An的基礎(chǔ)上，進(jìn)行對各區(qū)域的修正，所以能夠使表示不可見信息SI的圖像的修正的精度提高。
[0247]并且，根據(jù)第2重疊信息生成處理，重疊處理部142b根據(jù)使用者的視場內(nèi)的信息接受特性來改變對不可見信息SI的加工(修正)的精度。其結(jié)果，重疊處理部142b能夠高效地進(jìn)行不可見信息SI的修正。
[0248]C- 3.重疊信息顯示處理中的附加處理:
[0249]此外，在重疊信息顯示處理(圖22)中，還可以執(zhí)行在“A - 3.重疊信息顯示處理中的附加處理”中說明的附加處理I?7?？梢詥为?dú)地附加附加處理，也可以組合附加附加處理。
[0250]D.變形例:
[0251]在上述實(shí)施方式中，可以將由硬件實(shí)現(xiàn)的構(gòu)成的一部分置換為軟件，相反的，也可以將通過軟件實(shí)現(xiàn)的構(gòu)成的一部分置換為硬件。除此以外，也能夠進(jìn)行如下的變形。
[0252].變形例1:
[0253]在上述實(shí)施方式中，例示了頭戴式顯示器的構(gòu)成。但是，能夠在不脫離本發(fā)明的主旨的范圍內(nèi)任意地規(guī)定頭戴式顯示器的構(gòu)成，例如，能夠進(jìn)行各結(jié)構(gòu)部的追加、刪除、轉(zhuǎn)換坐寸O
[0254]上述實(shí)施方式中的、針對控制部和圖像顯示部的構(gòu)成要素的分配只是一個(gè)例子，能夠采用各種方式。例如，也可以為以下的方式。(i)在控制部安裝CPU、存儲器等的處理功能，在圖像顯示部僅安裝顯示功能的方式，(ii)在控制部和圖像顯示部的雙方安裝CPU、存儲器等的處理功能的方式，(iii)使控制部和圖像顯示部一體化的方式(例如，在圖像顯示部包含有控制部，作為眼鏡型的可穿戴式計(jì)算機(jī)發(fā)揮作用的方式)，(iv)替換控制部而使用智能手機(jī)、便攜式游戲機(jī)的方式，(V)通過將控制部和圖像顯示部設(shè)為能夠無線通信并且無線供電的構(gòu)成，廢氣連接部(軟線)的方式。
[0255]在上述實(shí)施方式中，為了便于說明，假設(shè)控制部具備發(fā)送部，圖像顯示部具備接收部。但是，上述實(shí)施方式的發(fā)送部以及接收部均可以具備能夠進(jìn)行雙向通信的功能，作為收發(fā)部發(fā)揮作用。另外，例如假設(shè)圖2所示的控制部經(jīng)由有線的信號傳輸路徑與圖像顯示部連接。但是，控制部和圖像顯示部也可以通過經(jīng)由無線LAN、紅外線通信、Bluetooth (注冊商標(biāo))等無線的信號傳輸路徑的連接而連接。
[0256]例如，能夠任意地變更圖2所示的控制部、圖像顯示部的構(gòu)成。具體而言，例如，也可以構(gòu)成為從控制部省略觸摸板，僅用十字鍵操作。另外，也可以在控制部設(shè)置操作棒等其他的操作用接口。另外，作為能夠連接鍵盤、鼠標(biāo)等設(shè)備的構(gòu)成，也可以在控制部設(shè)置從鍵盤、鼠標(biāo)受理輸入的設(shè)備。
[0257]例如，頭戴式顯示器為雙眼式的透視型頭戴式顯示器，但是也可以為單眼式的頭戴式顯示器。另外，也可以構(gòu)成為在使用者佩戴了頭戴式顯示器的狀態(tài)下，遮擋外景的透過的非透視型頭戴式顯示器。
[0258]圖28是表示變形例中的頭戴式顯示器的外觀的構(gòu)成的說明圖。在圖28 (A)的例子的情況下，與圖1所示的頭戴式顯示器100不同的是，圖像顯示部20c替換右光學(xué)影像顯示部26而具備右光學(xué)影像顯示部26c這一點(diǎn)和替換左光學(xué)影像顯示部28而具備左光學(xué)影像顯示部28c這一點(diǎn)。與第I實(shí)施方式的光學(xué)部件相比，右光學(xué)影像顯示部26c更小地形成，被配置于佩戴頭戴式顯示器時(shí)的使用者的右眼的斜上。同樣，與第I實(shí)施方式的光學(xué)部件相比，左光學(xué)影像顯示部28c更小地形成，被配置于佩戴頭戴式顯示器時(shí)的使用者的左眼的斜上。在圖28 (B)的例子的情況下，與圖1所示的頭戴式顯示器100不同的是，圖像顯示部20d替換右光學(xué)影像顯示部26而具備右光學(xué)影像顯示部26d這一點(diǎn)和替換左光學(xué)影像顯示部28而具備左光學(xué)影像顯示部28d這一點(diǎn)。與第I實(shí)施方式的光學(xué)部件相比，右光學(xué)影像顯示部26d更小地形成，被配置于佩戴顯示器時(shí)的使用者的右眼的斜下。與第I實(shí)施方式的光學(xué)部件相比，左光學(xué)影像顯示部28d更小地形成，被配置于佩戴頭戴式顯示器時(shí)的使用者的左眼的斜下。這樣，只要將光學(xué)影像顯示部配置于使用者的眼睛的附近即可。另外，形成光學(xué)影像顯示部的光學(xué)部件的大小也任意，也能夠作為光學(xué)影像顯示部僅覆蓋使用者的眼睛的一部分的方式，換言之，光學(xué)影像顯示部不完全覆蓋使用者的眼睛的方式的頭戴式顯示器實(shí)現(xiàn)。
[0259]例如，記載了圖像處理部、顯示控制部、重疊處理部、程序管理部、聲音處理部等的功能部通過CPU在RAM中展開并執(zhí)行儲存于ROM、硬盤的計(jì)算機(jī)程序來實(shí)現(xiàn)的結(jié)構(gòu)。但是，這些功能部也可以使用為了實(shí)現(xiàn)該功能而設(shè)計(jì)的ASIC (Application Specific IntegratedCircuit:面向特定用途的集成電路)來構(gòu)成。[0260]例如，在上述實(shí)施方式中，將圖像顯示部設(shè)為像眼鏡那樣佩戴的頭戴式顯示器，但是也可以將圖像顯示部設(shè)為通常的平面型顯示器裝置(液晶顯示器裝置、等離子顯示器裝置、有機(jī)EL顯示器裝置等)。在這種情況下，控制部和圖像顯示部之間的連接可以是經(jīng)由有線的信號傳輸路徑的連接，也可以是經(jīng)由無線的信號傳輸路徑的連接。這樣，也能夠?qū)⒖刂撇孔鳛橥ǔ５钠矫嫘惋@示器裝置的遙控器來利用。
[0261]另外，作為圖像顯示部，也可以替換像眼鏡那樣佩戴的圖像顯示部，而采用例如像帽子那樣佩戴的圖像顯示部這樣的其他的形狀的圖像顯示部。另外，耳機(jī)可以采用耳掛式、頭帶式，也可以省略。另外，例如，也可以作為安裝于汽車、飛機(jī)等車輛的平視顯示器(HUD，Head-Up Display)而構(gòu)成。另外，例如，也可以作為內(nèi)置于頭盔等身體防護(hù)具的頭戴式顯示器而構(gòu)成。
[0262]例如，在上述實(shí)施方式中，作為電源使用了 二次電池，但是作為電源并不局限于二次電池，能夠使用各種電池。例如，可以使用一次電池、燃料電池、太陽電池、熱電池等。
[0263]例如，在上述實(shí)施方式中，使用背光源、背光源控制部、LCD、以及LCD控制部構(gòu)成圖像光生成部。但是，上述的方式只是例示。圖像光生成部也可以在具備這些結(jié)構(gòu)部的同時(shí)，具備用于實(shí)現(xiàn)其他的方式的結(jié)構(gòu)部，或者替換這些結(jié)構(gòu)部而具備用于實(shí)現(xiàn)其他的方式的結(jié)構(gòu)部。例如，圖像光生成部可以構(gòu)成為具備有機(jī)EL (有機(jī)電致發(fā)光，OrganicElectro-Luminescence)的顯示器和有機(jī)EL控制部。另外,例如，圖像光生成部也能夠替換LCD而使用數(shù)字微鏡元件等。另外，例如，也能夠?qū)⒈景l(fā)明應(yīng)用于激光網(wǎng)膜投影型的頭部佩戴型顯示裝置。
[0264]例如，頭戴式顯示器也可以替換照相機(jī)而具備測距傳感器、位移傳感器。在該情況下，重疊處理部能夠使用測距傳感器或者位移傳感器來提取對象物體的特征，進(jìn)行與上述實(shí)施方式相同的處理。
[0265]例如，頭戴式顯示器也可以具備用于抑制與在不可見信息中被大量使用的色相相同的色相的光的透過的光學(xué)濾鏡。另外，還可以具備成為在不可見信息中被大量使用的色相的互補(bǔ)色的色相的光學(xué)濾鏡。這樣，能夠提高不可見信息的可視性。
[0266]例如，也可以省略照相機(jī)、瞳孔拍攝用照相機(jī)、近紅外線受發(fā)光部、9軸傳感器、以及深度傳感器中的其中一個(gè)。例如，也可以省略瞳孔拍攝用照相機(jī)和近紅外線受發(fā)光部，通過使用安裝于手術(shù)室的棚頂?shù)恼障鄼C(jī)來檢測使用者的視線。另外，在不省略上述的各構(gòu)成的情況下，也可以通過并用安裝于手術(shù)室的棚頂部的照相機(jī)，來使不可見信息的加工的精度提聞。
[0267].變形例2:
[0268]在上述實(shí)施方式中，示出了重疊信息顯示處理(圖5，圖22)的一個(gè)例子。但是，圖
5、圖22所示的處理的程序只是一個(gè)例子，能夠進(jìn)行各種的變形。例如，可以省略一部分的步驟，也可以進(jìn)一步追加其他的步驟。另外，可以變更執(zhí)行的步驟的順序。
[0269]例如，在步驟S102中，使用者將作為重疊信息顯示處理的對象的物體的不可見信息存儲于不可見信息存儲部。假定上述實(shí)施方式中的不可見信息是使用拍攝設(shè)備(CT、MR1、X-射線、內(nèi)視鏡、熱成像儀等)拍攝，且顯示為二維的圖像。但是，在步驟S102中，也可以存儲顯示為三維的不可見信息。所謂顯示為三維的不可見信息是根據(jù)使用拍攝設(shè)備拍攝出的多個(gè)圖像制作出的三維模型。在使用顯示為三維的不可見信息的情況下，在重疊信息生成處理(圖8)的步驟S202和S204之間，重疊處理部基于在步驟S202中獲取的外景圖像進(jìn)行三維模型的渲染。而且，將渲染后的圖像作為“不可見信息”，繼續(xù)以后的處理。這樣，能夠從各個(gè)方向視覺確認(rèn)不出現(xiàn)在對象物體的外觀中的信息。另外，在步驟S102中存儲的不可見信息并不局限于靜態(tài)圖像，也可以是動態(tài)圖像。
[0270]例如，在步驟S114、S116中，假設(shè)其他的重疊信息是以外觀信息為基礎(chǔ)生成的。但是，成為其他的重疊信息的基礎(chǔ)的信息能夠使用各種信息。例如，也可以使用其他的不可見信息，該其他的不可見信息是使用與生成重疊信息CPl時(shí)使用的不可見信息不同的拍攝設(shè)備拍攝而成的。
[0271]例如，可以省略步驟S112以后的處理。
[0272].變形例3:
[0273]在上述第2實(shí)施方式中，示出了重疊信息顯示處理(圖15)的一個(gè)例子。但是，圖
15所示的處理的程序只是一個(gè)例子，能夠進(jìn)行各種的變形。例如，可以省略一部分的步驟，也可以進(jìn)一步追加其他的步驟。另外，可以變更執(zhí)行的步驟的順序。
[0274]例如，程序管理部也可以如以下的例子那樣，對程序信息附加用于提醒使用者注意的信息。
[0275].彈出顯示在程序中使用者應(yīng)該特別注意的事項(xiàng)。
[0276].閃爍顯示程序信息內(nèi)的圖像、字符串。
[0277].在程序信息內(nèi)顯示表示該程序的重要度、難易度、事故的多少等的消息、圖標(biāo)。
[0278].變形例4:
[0279]在上述實(shí)施方式中，示出了程序表的一個(gè)例子。但是，程序表的詳細(xì)內(nèi)容只是一個(gè)例子，能夠進(jìn)行各種的變更。例如，能夠進(jìn)行字段的追加、刪除、變更。另外，程序表也可以分割為多個(gè)表后進(jìn)行歸一化。
[0280].變形例5:
[0281]在上述第2實(shí)施方式中，對在頭戴式顯示器設(shè)置程序表和程序管理部，無需其他的裝置，就能夠援助使用者進(jìn)行的作業(yè)的構(gòu)成進(jìn)行了說明。但是，即使在具備頭戴式顯示器和設(shè)置于外部的服務(wù)器的作業(yè)援助系統(tǒng)中，也能夠?qū)崿F(xiàn)同樣處理。
[0282]例如，構(gòu)成為頭戴式顯示器具備程序管理部，服務(wù)器具備程序表。在該情況下，頭戴式顯示器的程序管理部訪問存儲于服務(wù)器內(nèi)的程序表，參照程序表內(nèi)的數(shù)據(jù)。這樣，能夠?qū)⒋鎯τ贗臺服務(wù)器的程序表的信息在多臺的頭戴式顯示器上共享。其結(jié)果，與在各頭戴式顯示器具備程序表的構(gòu)成比較，程序表的更新所需要的工作減少。
[0283].變形例6:
[0284]在上述第3實(shí)施方式中，示出了第I以及第2重疊信息生成處理(圖24、26)的一個(gè)例子。但是，圖24、26所示的處理的程序只是一個(gè)例子，能夠進(jìn)行各種的變形。例如，可以省略一部分的步驟，也可以進(jìn)一步追加其他的步驟。另外，也可以變更執(zhí)行的步驟的順序。
[0285]例如，也可以在存儲部存儲多個(gè)視差信息。所謂多個(gè)視差信息，例如也可以是在主眼為右眼時(shí)的視差信息和在主眼為左眼時(shí)的視差信息，也可以是與眼間距離對應(yīng)的視差信息。該情況下，在第1、2重疊信息生成處理的步驟S414中，也可以根據(jù)頭戴式顯示器的使用者的特性(例如眼間距離、主眼)，從存儲于存儲部的多個(gè)視差信息選擇出在步驟S414的處理中使用的一視差信息。這樣，重疊處理部選擇與使用者的特性(例如，主眼或者眼間距離)匹配的視差信息，從而能夠減少給使用者帶來的視覺的不適感。
[0286]例如，在第I以及第2重疊信息生成處理中，也可以并用邊緣強(qiáng)調(diào)處理、二值化處理，來使不可見信息的修正的精度進(jìn)一步提高。
[0287].變形例7:
[0288]本發(fā)明并不局限于上述的實(shí)施方式、實(shí)施例、變形例，能夠在不脫離其主旨的范圍內(nèi)以各種的結(jié)構(gòu)實(shí)現(xiàn)。例如，為了解決上述的課題的一部分或者全部，或者為了實(shí)現(xiàn)上述的效果的一部分或者全部，能夠?qū)εc記載在發(fā)明的概要欄的各方式中的技術(shù)特征對應(yīng)的實(shí)施方式、實(shí)施例、變形例中的技術(shù)特征適當(dāng)?shù)剡M(jìn)行替換、組合。另外，如果其技術(shù)特征在本說明書中未作為必要的特征進(jìn)行說明，則能夠適當(dāng)?shù)貏h除。
[0289]符號說明
[0290]10...控制部(控制器)；12...點(diǎn)亮部；14...觸摸板；16----h字鍵；18...電源開關(guān)；
20…圖像顯示部；21…右保持部；22…右顯示驅(qū)動部；23…左保持部；24…左顯示驅(qū)動部；26…右光學(xué)影像顯不部；28…左光學(xué)影像顯不部；30…耳機(jī)插頭；32…右耳機(jī)；34…左耳機(jī);40…連接部;42…右軟線;44…左軟線;46…連結(jié)部件；48…主體軟線；51…發(fā)送部；
52…發(fā)送部；53…接收部；54…接收部；61…照相機(jī)(圖像獲取部)；62…瞳孔拍攝用照相機(jī)(視線檢測部);63...瞳孔拍攝用照相機(jī)(視線檢測部);64...近紅外線受發(fā)光部(視線檢測部)；65…近紅外線受發(fā)光部(視線檢測部);66...9軸傳感器(動作檢測部);67…深度傳感器(位置檢測部);110...輸入信息獲取部；100…頭戴式顯示器(頭部佩戴型顯示裝置);120...存儲部；122…不可見信息存 儲部；124…外觀信息存儲部；126…程序表；128…視差信息;130…電源；140-CPU ;142…重疊處理部；144…程序管理部;160…圖像處理部;170…聲音處理部；180…接口 ;190…顯示控制部;201…右背光源控制部;202…左背光源控制部;211…右LCD控制部；212…左IXD控制部；221…右背光源；222…左背光源；241…右IXD ;242…左IXD ;251…右投影光學(xué)系統(tǒng)；252…左投影光學(xué)系統(tǒng)；261…右導(dǎo)光板；262…左導(dǎo)光板；PCLK…時(shí)鐘信號；VSync…垂直同步信號；HSync…水平同步信號；Data…圖像數(shù)據(jù)；Datal…右眼用圖像數(shù)據(jù)；Data2…左眼用圖像數(shù)據(jù);0A…外部設(shè)備;PC…個(gè)人計(jì)算機(jī)；SC…外景;RE...右眼；VI...虛像；EL...端部；IL...照明光；PL...圖像光；AP...前端部；ER...端部；VR...視場；CP1...重疊信息；CP2...放大信息；CP3…輔助信息；CP4...程序信息；CP5...重疊信息；DP...深度；Lx...距離；PP…注視點(diǎn)；Px...視差；SI…不可見信息；SIL...冠狀面CT圖像；SI2…橫剖面CT圖像；SI3…X-射線圖像。
【權(quán)利要求】
1.一種頭部佩戴型顯示裝置，其特征在于， 是使用者能夠視覺確認(rèn)虛像和外景的頭部佩戴型顯示裝置，具備: 圖像顯示部，其形成使所述使用者視覺確認(rèn)的所述虛像；以及重疊處理部，其使所述圖像顯示部形成基于重疊信息的所述虛像，該重疊信息用于使不出現(xiàn)在所述物體的外觀中的信息亦即不可見信息與所述外景所包含的物體重疊。
2.根據(jù)權(quán)利要求1所述的頭部佩戴型顯示裝置，其特征在于， 所述重疊處理部使所述圖像顯示部每隔規(guī)定的時(shí)間反復(fù)形成基于與所述外景所包含的物體對應(yīng)的所述重疊信息的所述虛像。
3.根據(jù)權(quán)利要求1或者2所述的頭部佩戴型顯示裝置，其特征在于，還具備: 存儲部，其存儲所述不可見信息；以及 圖像獲取部，其獲取佩戴了所述頭部佩戴型顯示裝置的狀態(tài)下的所述使用者的視場方向的外景的圖像， 所述重疊處理部通過圖像識別由所述圖像獲取部獲取的所述視場方向的圖像來提取所述外景所包含的所述物體的特征，并通過基于提取出的所述特征對存儲于所述存儲部的所述物體的所述不可見信息進(jìn)行修正，來生成所述重疊信息。
4.根據(jù)權(quán)利要求3 所述的頭部佩戴型顯示裝置，其特征在于， 所述不可見信息是表示所述物體的結(jié)構(gòu)的圖像。
5.根據(jù)權(quán)利要求3或者4所述的頭部佩戴型顯示裝置，其特征在于， 所述特征是所述物體的邊緣。
6.根據(jù)權(quán)利要求3或者4所述的頭部佩戴型顯示裝置，其特征在于， 所述特征是標(biāo)注在所述物體上的標(biāo)記。
7.根據(jù)權(quán)利要求3~6中任意一項(xiàng)所述的頭部佩戴型顯示裝置，其特征在于， 所述修正是針對表示所述不可見信息的圖像進(jìn)行的放大、縮小、旋轉(zhuǎn)、反轉(zhuǎn)、剪裁、賦予變形以及去噪中的至少一個(gè)。
8.根據(jù)權(quán)利要求3~6中任意一項(xiàng)所述的頭部佩戴型顯示裝置，其特征在于， 所述修正是將表示所述不可見信息的圖像分割成多個(gè)區(qū)域，針對所述多個(gè)區(qū)域的每一個(gè)區(qū)域進(jìn)行的放大、縮小、剪裁、賦予變形以及去噪中的至少一個(gè)。
9.根據(jù)權(quán)利要求8所述的頭部佩戴型顯示裝置，其特征在于， 所述重疊處理部使用三角測量來分別測量所述使用者和所述物體的各部分之間的距離，根據(jù)所述測量的結(jié)果進(jìn)行所述分割。
10.根據(jù)權(quán)利要求3~9中任意一項(xiàng)所述的頭部佩戴型顯示裝置，其特征在于， 所述重疊處理部根據(jù)所述使用者的視場內(nèi)的表示視覺能力的程度的信息接受特性，來改變所述修正的精度。
11.根據(jù)權(quán)利要求3~10中任意一項(xiàng)所述的頭部佩戴型顯示裝置，其特征在于， 還具備視線檢測部，所述視線檢測部檢測所述使用者的視線， 所述圖像顯示部分別形成與所述使用者的右眼對應(yīng)的所述虛像和與所述使用者的左眼對應(yīng)的所述虛像， 所述重疊處理部還根據(jù)由所述視線檢測部檢測出的所述視線來求出所述使用者和所述使用者注視的注視點(diǎn)之間的距離亦即注視點(diǎn)距離，并生成賦予了與求出的所述注視點(diǎn)距離對應(yīng)的視差的右眼用的所述重疊信息和左眼用的所述重疊信息。
12.根據(jù)權(quán)利要求11所述的頭部佩戴型顯示裝置，其特征在于， 還具備視差信息，所述視差信息將所述使用者和所述使用者視覺確認(rèn)的所述虛像之間的多個(gè)距離、與和所述多個(gè)距離分別對應(yīng)的視差建立對應(yīng)， 所述重疊處理部使用所述視差信息，來賦予與所述注視點(diǎn)距離對應(yīng)的視差。
13.根據(jù)權(quán)利要求12所述的頭部佩戴型顯示裝置，其特征在于， 具備多個(gè)所述視差信息， 所述重疊處理部根據(jù)所述使用者，來從所述多個(gè)視差信息選擇一所述視差信息。
14.根據(jù)權(quán)利要求3~13中任意一項(xiàng)所述的頭部佩戴型顯示裝置，其特征在于， 還具備位置檢測部，所述位置檢測部檢測所述使用者相對于所述物體的位置， 在所述存儲部中存儲有針對一所述物體的多個(gè)所述不可見信息， 所述重疊處理部從存儲于所述存儲部的所述多個(gè)不可見信息，選擇與由所述位置檢測部檢測到的所述位置對應(yīng)的一不可見信息，并修正選擇出的所述不可見信息。
15.根據(jù)權(quán)利 要求3~14中任意一項(xiàng)所述的頭部佩戴型顯示裝置，其特征在于， 所述重疊處理部還生成從由所述圖像獲取部獲取的所述視場方向的圖像，提取并放大所述外景所包含的所述物體的至少一部分而得的放大信息， 所述圖像顯示部使所述使用者視覺確認(rèn)基于所述重疊信息和所述放大信息的所述虛像。
16.根據(jù)權(quán)利要求1~15中任意一項(xiàng)所述的頭部佩戴型顯示裝置，其特征在于， 所述重疊處理部根據(jù)來自所述使用者的請求，使所述虛像為非顯示。
17.根據(jù)權(quán)利要求1~16中任意一項(xiàng)所述的頭部佩戴型顯示裝置，其特征在于， 還具備程序管理部，所述程序管理部生成與對于當(dāng)前程序，所述使用者應(yīng)該實(shí)施的內(nèi)容有關(guān)的信息亦即程序信息， 所述圖像顯示部使所述使用者視覺確認(rèn)基于所述重疊信息和所述程序信息的所述虛像。
18.根據(jù)權(quán)利要求17所述的頭部佩戴型顯示裝置，其特征在于， 所述程序信息包含有第三方示范實(shí)施所述程序的場面的圖像、和表示在個(gè)別具體的所述程序中使用者應(yīng)該實(shí)施的內(nèi)容的圖像中的至少一方。
19.根據(jù)權(quán)利要求1~18中任意一項(xiàng)所述的頭部佩戴型顯示裝置，其特征在于， 所述重疊處理部還生成用于輔助所述使用者的作業(yè)的附加信息亦即輔助信息， 所述圖像顯示部使所述使用者視覺確認(rèn)基于所述重疊信息和所述輔助信息的所述虛像。
20.根據(jù)權(quán)利要求3~19中任意一項(xiàng)所述的頭部佩戴型顯示裝置，其特征在于， 所述重疊處理部還根據(jù)由所述圖像獲取部獲取的所述視場方向的圖像，進(jìn)行用于使生成的所述重疊信息的可視性提高的顏色轉(zhuǎn)換處理。
21.根據(jù)權(quán)利要求1~20中任意一項(xiàng)所述的頭部佩戴型顯示裝置，其特征在于， 所述重疊處理部根據(jù)來自所述使用者的請求，使作為所述虛像顯示的所述重疊信息向不妨礙所述使用者的視野的位置退避。
22.根據(jù)權(quán)利要求3~21中任意一項(xiàng)所述的頭部佩戴型顯示裝置，其特征在于，所述重疊處理部針對由所述圖像獲取部獲取的所述圖像中的、所述虛像的顯示區(qū)域和所述圖像獲取部的獲取區(qū)域重疊的重疊區(qū)域，生成所述重疊信息。
23.根據(jù)權(quán)利要求16~22中任意一項(xiàng)所述的頭部佩戴型顯示裝置，其特征在于， 所述程序管理部針對由所述圖像獲取部獲取的所述圖像中的、所述虛像的顯示區(qū)域和所述圖像獲取部的獲取區(qū)域重疊的重疊區(qū)域，生成所述程序信息。
24.一種頭部佩戴型顯示裝置的控制方法，其特征在于， 是使用者能夠視覺確認(rèn)虛像和外景的頭部佩戴型顯示裝置的控制方法，具備: Ca)形成使所述使用者視覺確認(rèn)的所述虛像的工序；以及 (b)形成基于重疊信息的所述虛像的工序，其中，所述重疊信息用于使不出現(xiàn)在所述物體的外觀中的信息亦即不可見信息與所述外景所包含的物體重疊。
【文檔編號】G02B27/01GK103995352SQ201410048928
【公開日】2014年8月20日 申請日期:2014年2月12日 優(yōu)先權(quán)日:2013年2月14日
【發(fā)明者】高野正秀, 津田敦也 申請人:精工愛普生株式會社