實施例涉及一種用于被遮蔽物體的增強現(xiàn)實系統(tǒng)。

汽車和其他交通車輛包括內(nèi)部乘客車廂，車輛駕駛員位于該車廂中，且在其中操縱車輛控制機構(gòu)。車輛通常包括透明玻璃，比如前擋風(fēng)玻璃、側(cè)窗、后擋風(fēng)玻璃以使得使用者可以觀察車輛外的現(xiàn)實世界場景。車輛通常包括車架和支撐擋風(fēng)玻璃與側(cè)窗的車身結(jié)構(gòu)。多個柱體(例如，A柱)延伸至車頂，從而支撐車頂。由于相比于前擋風(fēng)玻璃與側(cè)窗而言，柱體尺寸相對較窄，所以對于駕駛員而言靠近A柱可能造成對現(xiàn)實世界場景的視覺妨礙?，F(xiàn)實世界場景中由于A柱而可能無法進入駕駛員視線的物體包括，但不限于，行人、標(biāo)志、建筑物和其他車輛。這些物體的擋住可導(dǎo)致車輛或諸如行人的外部物體發(fā)生事故。

技術(shù)實現(xiàn)要素：

實施例的優(yōu)點是：向車輛駕駛員顯示否則將被阻礙駕駛員視線的車輛部件所擋住的現(xiàn)實世界場景。此外，表示被擋住的現(xiàn)實世界場景一部分的增強現(xiàn)實圖像顯示在車輛部件的上方的圖像平面上，且這部分現(xiàn)實世界場景與駕駛員通過前擋風(fēng)玻璃和側(cè)燈而可視的現(xiàn)實世界場景融合。增強現(xiàn)實圖像被調(diào)整尺寸并投射在將增強現(xiàn)實圖像基本上放置在與現(xiàn)實世界場景相同的平面上的距離處。此外，控制亮度，以使得現(xiàn)實世界場景與增強現(xiàn)實圖像基本上沒有區(qū)別。因此，駕駛員看到的現(xiàn)實世界圖像在現(xiàn)實世界場景中的融合均勻且無阻礙。

實施例設(shè)想了一種顯示相對于現(xiàn)實世界場景被遮蔽的物體的增強現(xiàn)實圖像的方法。由圖像捕捉設(shè)備捕捉車輛外部圖像。由處理器確定從車輛駕駛員的視角看被車輛部件遮蔽的物體的部分。在所述車輛部件的上方生成表示被擋住的物體的部分的增強現(xiàn)實圖像。增強現(xiàn)實圖像顯示在與現(xiàn)實世界場景相關(guān)的深度上的圖像平面上。

附圖說明

圖1是增強現(xiàn)實顯示系統(tǒng)的框圖。

圖2是安裝在車輛部件上的波導(dǎo)平視顯示器(HUD)。

圖3為是現(xiàn)實世界圖像與2D顯示圖像之間的圖像深度的示例圖。

圖4為是現(xiàn)實世界圖像與3D顯示圖像之間的圖像深度的示例圖。

圖5為應(yīng)用圖像處理以便生成被擋住物體的虛擬圖像的流程圖。

具體實施方式

圖1是增強現(xiàn)實顯示系統(tǒng)10的框圖，其包括圖像捕捉設(shè)備12、處理器14、波導(dǎo)平視顯示器16以及頭部跟蹤器18。系統(tǒng)10生成增強現(xiàn)實顯示，從而補充現(xiàn)實世界場景被諸如車輛A柱的車輛部件所擋住的部分。當(dāng)駕駛員操縱車輛時，A柱可以阻擋住駕駛員和物體之間對準(zhǔn)的該物體全部或部分。當(dāng)諸如建筑物、其他車輛或行人與駕駛員和A柱對準(zhǔn)時，這些物體可被A柱擋住。因此，增強現(xiàn)實顯示系統(tǒng)10補充出物體被擋住的部分，并且將全系現(xiàn)實投射到A柱之外的圖像平面上，從而補充被擋住物體的部分。應(yīng)該理解，此處所用術(shù)語車輛不限于汽車，可包括但不限于火車、船舶或飛機。此外，平視顯示器和頭部跟蹤器可由車輛內(nèi)任何乘客使用。

圖像捕捉設(shè)備12可包括攝像機或攝像系統(tǒng)，捕捉車輛外部圖像，更具體地指駕駛員通過前擋風(fēng)玻璃或側(cè)窗(即側(cè)面窗戶)所看到的圖像。圖像捕捉設(shè)備可包括，但不限于，三維(3D)攝像機或立體攝像機。優(yōu)選地，圖像捕捉設(shè)備捕捉3D圖像，或者可以捕捉在三維世界中的圖像或提供可處理為3D圖像的圖像。

圖像捕捉設(shè)備12可安裝在車輛上并與駕駛員及A柱對準(zhǔn)，從而不需要額外處理以對準(zhǔn)圖像?？蛇x地，圖像捕捉設(shè)備12可位于車輛的其他位置，并且對被捕捉圖像進行圖像處理，從而改變圖像捕捉設(shè)備12的位置，從而生成圖像，使得該圖像顯示得好像圖像捕捉設(shè)備安裝在A柱上且與A柱、駕駛員和被擋住物體對準(zhǔn)一樣。

處理器14可為獨立處理器、共享處理器或為圖像系統(tǒng)一部分的處理器。處理器14從圖像捕捉設(shè)備12接收被捕捉圖像，并對被捕捉圖像進行圖像處理。處理器14執(zhí)行編輯功能，其包括但不限于：當(dāng)增強現(xiàn)實玻璃磨損時用于修改駕駛員所見視圖的圖像切割、基于駕駛員頭部定位的圖像定位、縮小圖像從而估算擋住外部物體的部件的大小、基于駕駛員眼部視圖打開和關(guān)閉增強顯示、調(diào)整顯示亮度、相對于現(xiàn)實和增強顯示而融合其邊緣。

波導(dǎo)平視顯示器16安裝在擋住物體的車輛部件上。波導(dǎo)平視顯示器16使用全息衍射光柵，嘗試將輸入能量以相應(yīng)的衍射序列集中。衍射光柵的實例可包括布拉格衍射光柵。當(dāng)波長相當(dāng)于原子間距的光輻射被晶體系統(tǒng)原子以特定圖案被散射，由此生成相長干涉時，就會發(fā)生布拉格衍射。光柵經(jīng)調(diào)試將光以臨界角射入波導(dǎo)。當(dāng)光散開時，光穿過波導(dǎo)。當(dāng)散射波生成相長干涉時，由于每個波的波程長度等于波長的整數(shù)倍，散射波保持在相位內(nèi)。由將光(例如，圖像)轉(zhuǎn)到使用者眼部內(nèi)的第二全息攝影衍射光柵提取光?？梢圆捎每汕袚Q布拉格衍射光柵，其包括槽式反射光柵，其導(dǎo)致相長干涉和相消干涉以及從每個凹槽邊緣發(fā)出小波的色散。可選地，多層結(jié)構(gòu)具有交替衍射率，該交替衍射率導(dǎo)致了相長干涉、相消干涉以及從不連續(xù)發(fā)出的小波的色散的特點。如果兩個交替層之一由具有非傳導(dǎo)性和衍射率各向異性的液晶材料組成，則液晶定向可改變，或通過施加電場(被稱為可切換布拉格光柵)來切換。

在可選的解決方案中，波導(dǎo)平視顯示器16包括諸如增強現(xiàn)實眼鏡(例如眼鏡)的頭戴式平視顯示器。當(dāng)采用具有透明投射顯示器的增強現(xiàn)實眼鏡時，圖像可通過光學(xué)設(shè)計出現(xiàn)在佩戴者的眼部的遠(yuǎn)處。3D圖像從處理器14傳送到3D增強現(xiàn)實眼鏡上，從而使得增強現(xiàn)實圖像投射到空間內(nèi)，進而補充被車輛部件擋住的車輛外部物體。

頭部跟蹤器18是用于跟蹤頭部定向或眼部的設(shè)備。即，如果需要的細(xì)節(jié)較少，則增強現(xiàn)實系統(tǒng)10可采用跟蹤頭部定向以確定駕駛員視線方向的頭部跟蹤系統(tǒng)。可選地，增強現(xiàn)實系統(tǒng)10可采用眼部跟蹤系統(tǒng)，其跟蹤方向(例如眼部凝視的方向)以確定使用者視線方向是否是擋住物體的車輛部件的方向，或者其是否看向其他地方。頭部跟蹤器18可包括安裝在車輛上的，監(jiān)測頭部位置或眼部注視的設(shè)備。如果采用增強現(xiàn)實眼鏡，頭部跟蹤器18也可與波導(dǎo)平視顯示器16集成起來。這種情景下，眼部跟蹤器可集成為跟蹤眼部運動的眼鏡的一部分。

圖2是安裝在諸如A柱20的車輛部件上的波導(dǎo)平視顯示器16。如圖2所示，看向前擋風(fēng)玻璃22的駕駛員看到現(xiàn)實世界場景的3D圖像。此處以及權(quán)利要求書中使用的術(shù)語“現(xiàn)實世界場景”限定為車輛駕駛員看到的車輛外部區(qū)域。同樣地，駕駛員通過駕駛員側(cè)窗24看到車輛外的外部環(huán)境的3D圖像。然而，在A柱20上生成的典型2D顯示將導(dǎo)致2D直視視圖。這將需要2D圖像與3D圖像之間的心理融合。此外，現(xiàn)實世界圖像和所顯示圖像之間將存在亮度差異。圖2是由平視顯示器生成的增強現(xiàn)實圖像放大圖。將根據(jù)A柱的形狀調(diào)整增強現(xiàn)實圖像的尺寸，從而將增強現(xiàn)實圖像與駕駛員通過前擋風(fēng)玻璃和側(cè)窗看到的現(xiàn)實世界場景向駕駛員無縫融合，不存在兩者銜接的問題。

圖3為是現(xiàn)實世界場景與顯示圖像之間的圖像深度的圖。如圖3所示，擋風(fēng)玻璃視圖22和駕駛員側(cè)視圖24表示3D圖像，其所表示物體在5m至無限遠(yuǎn)的距離處。然而，對于駕駛員，看向A柱20表示通常為18英寸的視圖。因此，關(guān)注A柱20和現(xiàn)實世界場景之間的駕駛員需要對不同深度的圖像進行心理融合，因此，需要3D圖像與2D圖像之間的心理融合。因此，由于18英寸和無限遠(yuǎn)之間相應(yīng)圖像的重新適應(yīng)，將2D圖像顯示投射到A柱上將使得駕駛員產(chǎn)生疲勞。在此距離下的融合疲勞也是一個問題。

為了解決由于將圖像顯示在A柱20外而產(chǎn)生的疲勞問題，圖4圖示了在A柱20上生成的3D圖像。3D圖像通過波導(dǎo)平視顯示器16投射到空間內(nèi)虛擬的圖像平面上，從而消除了將2D圖像與3D圖像合并所產(chǎn)生的混亂。圖4中圖示的圖示出現(xiàn)實世界圖像與投射的虛擬圖像之間的圖像審圖。如圖4所示，擋風(fēng)玻璃視圖22和側(cè)燈視圖24兩者都表示3D現(xiàn)實世界圖像，在該圖像中，圖像平面位于5米至無限遠(yuǎn)的距離處。應(yīng)當(dāng)理解的是，一旦物體距離人3米至無限遠(yuǎn)時，人對于看物體時的焦距的認(rèn)知是沒有實質(zhì)差別的。因此，駕駛員可以輕易地將現(xiàn)實世界圖像與在A柱20上方生成的增強現(xiàn)實顯示之間的場景融合起來，因為融合3米外至無限遠(yuǎn)的物體時所發(fā)生的變化是相對較小的。

圖5表示采用圖像處理的流程圖，該圖像處理用于在擋住物體的車輛不講上生成增強現(xiàn)實圖像。在框30內(nèi)，圖像被圖像捕捉設(shè)備捕捉。該圖像可能是3D圖像，2D圖像或者一組立體攝像機可能捕捉到圖像來生成3D圖像。

在框31內(nèi)，如果采用增強現(xiàn)實眼鏡，則對圖像進行切割以適應(yīng)增強現(xiàn)實眼鏡的視域。

在步驟32中，采用了圖像透視與穩(wěn)像技術(shù)。包括但不限于陀螺儀和加速度計的設(shè)備可用于確定駕駛員頭部定向。隨著頭部的旋轉(zhuǎn)，陀螺儀和加速度計保持穩(wěn)定和圖像對準(zhǔn)。此外，眼部跟蹤器或頭部跟蹤器可用于確定A柱和駕駛員眼部之間的距離以及駕駛員所看的方向。跟蹤系統(tǒng)的實例可包括頭部跟蹤器，其監(jiān)測頭部在其所朝向方向上的移動。更加復(fù)雜的設(shè)備和系統(tǒng)可包括注視跟蹤器，其跟蹤眼部運動，從而確定眼睛所看方向。注視跟蹤器提供更多細(xì)節(jié)，以使得駕駛員可不必移動其頭部，而在不移動頭部的情況下旋轉(zhuǎn)眼部從而將視線從所移動路面移開。因此，注視跟蹤器可提供更多關(guān)于駕駛員何時可能正在看向A柱的信息。

在步驟33，采用視口縮窄技術(shù)。確定A柱的尺寸所確定的尺寸以及離A柱的距離，以用于相應(yīng)地調(diào)整圖像尺寸。當(dāng)使用眼睛時，眼鏡視口縮窄，從而將被擋住物體部分的增強現(xiàn)實圖像投射到A柱上。類似地，如果波導(dǎo)平視顯示器位于A柱上，則縮窄被擋住物體部分，從而適應(yīng)A柱的尺寸。圖像處理可用于圖像，從而使得只有被擋住部分顯示在A柱上，并且所顯示圖像尺寸上有所切割，以此使得虛擬圖像的深度與通過前擋風(fēng)玻璃和側(cè)窗看到的現(xiàn)實世界圖像融合起來。

在步驟34，調(diào)整增強現(xiàn)實圖像的亮度。亮度調(diào)整至外部現(xiàn)實世界的預(yù)定百分比(90％)，從而避免認(rèn)知捕捉(例如，當(dāng)所顯示圖像太突出，如圖像亮度過高時，使用者將處理所顯示圖像而忽略現(xiàn)實世界圖像)?？墒褂昧炼葌鞲衅鱽砜刂?D圖像亮度。

在步驟35，采用邊緣融合濾波技術(shù)，從而將柱體邊緣的虛擬圖像邊緣亮度與現(xiàn)實世界場景融合。通過使用高斯最小化斯塔克效應(yīng)并消除邊緣亮度不一致，而將柱體邊緣亮度降低預(yù)定的百分比(例如，50％)。

在步驟36，確定駕駛員是否看向A柱且時間超過500ms。如果確定了駕駛員看向A柱且時間超過500ms，則向駕駛員呈現(xiàn)位于A柱外的虛擬圖像。如果確定駕駛員看向A柱時間少于預(yù)定時間，則不將虛擬圖像呈現(xiàn)給駕駛員。不必向駕駛員呈現(xiàn)圖像的優(yōu)點在于減少了處理器的處理時間以及能量消耗。響應(yīng)駕駛員看向A柱時間少于預(yù)定時間或沒有看向A柱，將返回到步驟30以獲取新的圖像并如步驟30-36所述監(jiān)測駕駛員是否看向A柱。

應(yīng)該理解，雖然此處的優(yōu)點描述為使用3D平視顯示器，平視顯示器可設(shè)計為生成2D或3D圖像。此處描述的實施例中2D和3D圖像皆可，但有點在于3D圖像是通過向兩只眼睛呈現(xiàn)不同的圖像而生成的，而2D圖像通過向兩只眼睛呈現(xiàn)相同的圖像而生成的。

盡管已經(jīng)詳細(xì)介紹了本發(fā)明的特定實施例，但是本發(fā)明領(lǐng)域的技術(shù)人員將會認(rèn)識到由附加權(quán)利要求書限定的、用于實現(xiàn)本發(fā)明的各種可選的設(shè)計和實施例。