專利名稱：集成眼睛追蹤和顯示系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及視野混合技木，尤其涉及集成眼睛追蹤和顯示系統(tǒng)。
背景技術：
混合或增強現(xiàn)實是ー種允許將虛擬影像與現(xiàn)實世界中的用戶實際視野混合技木。與其它顯示設備不同，透明、混合或增強現(xiàn)實近眼(例如，頭戴式)顯示設備的特征是所顯示的圖像并不獨占用戶的視野。通過透明、混合現(xiàn)實顯示設備，用戶理論上可透過顯示器觀看并與現(xiàn)實世界交互，同時還看到由ー個或多個軟件應用生成的圖像。此外，當用戶移動他或她的頭部時，用戶的視野不是靜止的。即使他或她的頭部沒 有移動，用戶在視野中所正在看的(又稱用戶的凝視)也會隨用戶轉動他或她的眼睛而改變。標識眼睛運動的能力將增強顯示器中圖像的放置。

發(fā)明內容
提供了用于使用透明、近眼、混合現(xiàn)實顯示設備的共享光學系統(tǒng)來集成眼睛追蹤和顯示功能的技術。此處所描述的實施例準許眼睛追蹤系統(tǒng)照亮并捕捉每個顯示器的光軸上的數(shù)據，所述顯示器被定位成能夠被各只眼睛所透視，從而得到與捕捉離軸數(shù)據的眼睛追蹤傳感器系統(tǒng)相比，更簡單的運算、更好的眼睛照明、以及捕捉眼睛的更多數(shù)據的更高的概率，并且更多的受到類似下垂的眼皮以及眼皮上的麥粒腫之類的障礙的影響。本技術提供了一種用于透明、近眼、混合現(xiàn)實顯示設備的集成眼睛追蹤和顯示系統(tǒng)。該系統(tǒng)包括用于每只眼睛的顯示光學系統(tǒng)，其具有光軸以及定位成使各只眼睛能夠透視ー透明、平面波導。一個或多個波長可選濾波器被定位于波導中與各個顯示光學系統(tǒng)的光軸共軸地對齊。一個或多個過濾器將紅外和可見照明導出各個平面光導。另外，ー個或多個過濾器將紅外反射導入平面波導中。波長可選過濾器的ー些示例是固定和有源衍射光柵元件、反射光柵元件、以及引導預定波長或一定波長范圍內的照射的其它反射元件。紅外照明源被定位以使其紅外照明光學地耦合到平面波導中。紅外傳感器被光學地耦合到平面波導以將紅外和可見照明導出平面波導，并接收引導自波長可選過濾器的紅外反射。圖像生成単元被光學地耦合以將可見照明發(fā)射到平面波導中。本技術提供了另ー種用于透明、近眼、混合現(xiàn)實顯示設備的集成眼睛追蹤和顯示系統(tǒng)。如此處所描述的實施例中，系統(tǒng)實施例包括用于每只眼睛的顯示光學系統(tǒng)。每個顯示光學系統(tǒng)具有光軸和定位成能由各只眼睛透視的透明平面波導。一個或多個波長可選濾波器被定位于波導內與各個顯示光學系統(tǒng)的光軸共軸地對齊，以將紅外反射導入平面波導中。包括用于發(fā)射紅外和可見照明的光源的光學元件的陣列被光學地耦合至平面波導以將其照明導入平面波導中。紅外傳感器被光學地耦合至平面波導以接收引導自波長可選濾波器的紅外反射。本技術提供了用于處理可見和紅外波長以供透明平面波導的光路中的圖像顯示和眼睛追蹤的方法，其中透明平面波導被定位成能夠被透明、近眼、混合現(xiàn)實顯示設備的顯示光學系統(tǒng)所透視。該方法包括光學地將可見和紅外照明沿光路的第一方向耦合到平面波導中。可見和紅外照明由與顯示光學系統(tǒng)的光軸共軸對齊的一個或多個波長可選過濾器導出平面波導，并導向眼睛。過濾器還將紅外反射沿系統(tǒng)光路的第二方向從眼睛引導到波導中。該方法還包括將來自平面波導的紅外反射光學地耦合到紅外傳感器。由紅外傳感器(例如，電荷耦合設備(CCD)或CMOS像素傳感器陣列)所生成的數(shù)據被存儲成眼睛追蹤數(shù)據。眼睛追蹤數(shù)據的ー些示例是來自IR相機或由位置靈敏探測器(PSD)所探測到閃光的位置的圖像數(shù)據。在一些實施例中，第一和第二方向可以是相同的。在其它實施例中，第一方向和第二方向可以是不同的。不同方向的示例是相反方向。提供發(fā)明內容述以便以簡化形式介紹將在以下詳細描述中進一步描述的ー些概念。本發(fā)明內容并非_在標識所要求保護的主題的關鍵特征或必要特征，也不_在用于幫助確定所要求保護的主題的范圍?！?br>

圖1是描繪透明、混合現(xiàn)實顯示設備系統(tǒng)的ー個實施例的示例組件的框圖。圖2A是被具體化為提供對硬件和軟件組件的支持的眼鏡的透明、混合現(xiàn)實顯示設備的實施例中的鏡架的眼鏡腿的側視圖。圖2B是透明、近眼、混合現(xiàn)實設備的集成眼睛追蹤和顯示光學系統(tǒng)的實施例的頂視圖。圖2C是圖2B的實施例的另一版本的頂視圖，其中紅外反射沿與IR照明所走的相同方向而不是相反方向穿越波導112。圖3A是可以用于ー個或多個實施例的透明、近眼、混合現(xiàn)實顯示設備的硬件和軟件組件的一個實施例的框圖。圖3B是描述處理單元的各組件的框圖。圖4是用于處理可見和紅外波長以供透明、平面波導的光路中的圖像顯示和眼睛追蹤的方法的實施例的流程圖，其中透明、平面波導被定位成能夠被透明、近眼、混合現(xiàn)實顯示設備的顯示光學系統(tǒng)所透視。圖5A是來自透過集成眼睛追蹤和顯示光學系統(tǒng)的另一實施例的平面波導所看的眼睛的視角的視圖，該集成眼睛追蹤和顯示光學系統(tǒng)使用集成線性光源陣列以及用于生成圖像的掃描鏡。圖5B示出了圖5A的實施例的另一版本，其中紅外傳感元件被集成到光源陣列中。圖6A示出了線性集成光源陣列的示例布局，該陣列同時生成可見和紅外照明以供透明、近眼、混合現(xiàn)實設備的集成眼睛追蹤和顯示光學系統(tǒng)中使用。圖6B示出了包括紅外傳感元件和光源的線性集成光學元件陣列的示例布局，該陣列同時生成可見和紅外照明以供透明、近眼、混合現(xiàn)實設備的集成眼睛追蹤和顯示光學系統(tǒng)中使用。圖6C示出了線性集成光源陣列的另ー示例布局，該陣列同時生成可見和紅外照明，其中紅外光源被放置在適合用于閃光追蹤的布置中的每一行的末端。圖6D示出了包括紅外傳感元件、可見光源和紅外光源的線性集成光學元件陣列的另一示例布局，其中紅外傳感元件、可見光源和紅外光源被放置在適合用于閃光追蹤的布置中的可見光行的末端。圖7A是來自透過集成眼睛追蹤和顯示光學系統(tǒng)的另一實施例的平面波導所看的眼睛的視角的視圖，該集成眼睛追蹤和顯示光學系統(tǒng)使用經調制的光源以及2D掃描鏡。圖7B示出圖7A的實施例的另一版本，其使用單個經調制光源和有源光柵。圖8是用于與包括光源和掃描鏡的圖像生成單元一起使用的透明、近眼、混合現(xiàn)實顯示設備的硬件和軟件組件的另一實施例的框圖。圖9是可被用于控制使用至少一個光源和掃描鏡的集成眼睛追蹤和顯示光學系統(tǒng)的硬件組件的電子模塊的實施例的框圖。
具體實施方式
描述了具有集成眼睛追蹤和顯示光學系統(tǒng)的透明、近眼、頭戴式混合現(xiàn)實顯示設備系統(tǒng)的各實施例。眼睛追蹤系統(tǒng)共享透視頭戴式顯示器(HMD)光路的一部分以將眼睛追蹤紅外照明投射到眼睛并通過紅外傳感器捕捉來自眼睛的紅外反射。眼睛追蹤系統(tǒng)使用紅外(IR)照明使得照明對用戶不可見。IR傳感器可以是提供眼睛的紅外圖像數(shù)據的IR相機或探測由眼睛的IR照明所生成的從眼睛的角膜射出的閃光或反射的IR傳感器。在以下描述的實施例中，對于包括透明、平面波導的每只眼睛，存在一個顯示光學系統(tǒng)。在實際實現(xiàn)中，波導基于全內反射的工作原理提供光路。一個或多個波長可選濾波器被定位于波導中與顯示光學系統(tǒng)的光軸共軸地對齊。現(xiàn)實系統(tǒng)的光軸與名義上的眼睛視線共軸或非常接近于共軸。名義上的眼睛視線以瞳孔為中心并且當用戶向前平看時從瞳孔中心延伸。由于一個或多個過濾器和光軸共軸地對齊，呈現(xiàn)圖像的可見照明和紅外照明被沿著光軸導出波導并導向眼睛，而來自眼睛的、以光軸為中心的反射被導入波導中。照射眼睛并且捕捉來自眼睛的反射(以光軸附近為中心，接近于眼睛視線)簡化了由于眼睛圖像數(shù)據的圖像處理算法，并且更能夠容許人類面部特征的個體差異。例如，相比于如果照明沿眼睛的各個顯示的光軸被引導，眼睛上的麥粒腫或低眼皮可能更多地遮擋從眼鏡框實施例的上邊角導出的照明。更好的照明和以光軸為中心的眼睛數(shù)據捕捉能夠改進許多應用的結果，諸如用于光柵確定的角膜閃光追蹤和瞳孔追蹤、用于用戶命令解釋的眨眼追蹤、用于基于生物識別的應用的虹膜掃描和視網膜靜脈追蹤、測量收斂、標識瞳孔與光軸的對齊以及確定瞳孔間距(iro)、以及用于角膜追蹤的結構化光模式技術。請參見以下文獻以獲取這些能從以下呈現(xiàn)的實施例受益的應用中的一些的示例=Lewis等人的美國專利申請?zhí)?3/221，739題為“Gaze Detection in a See-Through, Near-Eye, Mixed Reality Display，，、Lewis 等人的美國專利申請?zhí)?13/221，662 題為“Aligning Inter-Pupillary Distance in a Near-EyeDisplay System”、Lewis等人的美國專利申請?zhí)?13/221，707題為“Adjustment of a MixedReality Display for Inter-Pupillary Distance Alignment，，、以及Perez 等人的美國專利申請?zhí)?13/221，669 題為 “Head Mounted Display with Iris Scan Profiling” 的專利申請。圖I是描繪透明、混合現(xiàn)實顯示設備系統(tǒng)的一個實施例的示例組件的框圖。系統(tǒng)8包括作為通過線6與處理單元4進行通信的近眼、頭戴式顯示設備2的透明顯示設備。在其他實施例中，頭戴式顯示設備2通過無線通信來與處理單元4進行通信。處理單元4可以采取各種實施例。例如，處理單元4可實現(xiàn)在如智能手機、平板或膝上型計算機之類的移動設備中。在一些實施例中，處理單元4是可以佩戴在用戶的身體(例如，在所示示例中的腕)上或置于口袋中的分開的單元，并且包括用于操作近眼顯示設備2的計算能力中的大部分能力。處理單元4可在通信網絡50上與一個或多個集線器計算系統(tǒng)12無線地通信(例如，WiFi、藍牙、紅外、RFID傳輸、無線通用串行總線(WUSB)、蜂窩、3G、4G或其它無線通信裝置)，而無論如本示例中的位于附近或位于遠程位置。在其他實施例中，處理單元4的功能可被集成在顯示設備2的軟件和硬件組件中。頭戴式顯示設備2 (在一個實施例中它是帶框115眼鏡的形狀)被佩戴在用戶的頭上，使得用戶可以透視顯示器(在該示例中該顯示器被體現(xiàn)為用于每一只眼睛的顯示光學系統(tǒng)14)，并且從而具有對該用戶前方的空間的實際直接視圖。
使用術語“實際直接視圖”來指直接用人眼看到現(xiàn)實世界物體的能力，而非看到物體的所創(chuàng)建的圖像表示。例如，在房間中透過眼鏡看將允許用戶具有該房間的實際直接視圖，而在電視機上查看房間的視頻不是該房間的實際直接視圖?；趫?zhí)行軟件(例如，游戲應用)的上下文，該系統(tǒng)可以將虛擬對象的圖像(有時稱為虛擬圖像)投影在可由佩戴該透明顯示設備的人觀看的顯示器上，同時該人還透過該顯示器觀看現(xiàn)實世界物體。鏡架115提供用于將該系統(tǒng)的各元件保持在原位的支承體以及用于電連接的管道。在該實施例中，鏡架115提供了便利的眼鏡架作為對下面進一步討論的系統(tǒng)的各元件的支承體。在其他實施例中，可以使用其他支承結構。這樣的結構的示例是帽舌或護目鏡。鏡架115包括用于擱在用戶的每一只耳朵上的鏡腿或側臂。鏡腿102代表右鏡腿的實施例，并且包括顯示設備2的控制電路136。鏡架的鼻梁104包括用于記錄聲音并向處理單元4傳送音頻數(shù)據的話筒110。圖2A是被具體化為提供對硬件和軟件組件的支持的眼鏡的透明、混合真實顯示設備的實施例中的鏡架115的眼鏡腿102的側視圖。在鏡架115的正面朝向物理環(huán)境或朝向外側的視頻相機113，其捕捉發(fā)送給處理單元4的視頻和靜態(tài)圖像。來自相機的數(shù)據可被發(fā)送到控制電路136的處理器210、或處理單元4、或者這兩者，它們可以處理該數(shù)據，但單元4也可將數(shù)據通過網絡50或發(fā)送到一個或多個計算機系統(tǒng)12。該處理標識并映射用戶的真實世界視野?？刂齐娐?36提供支持頭戴式顯示設備2的其他組件的各種電子裝置?？刂齐娐?36的更多細節(jié)在下文參考圖3A提供。耳機130、慣性傳感器132、GPS收發(fā)機144、以及溫度傳感器138處于鏡腿102內部或安裝在鏡腿102上。在一個實施例中，慣性傳感器132包括三軸磁力計132A、三軸陀螺儀132B、以及三軸加速度計132C (參見圖3A)。慣性傳感器用于感測頭戴式顯示設備2的位置、定向、以及突然加速。從這些移動中，也可以確定頭部位置。圖像源或圖像生成單元120可安裝在眼鏡腿102上或眼鏡腿102內。在一個實施例中，圖像源包括用于投射一個或多個虛擬對象的圖像微顯示器120和用于將來自微顯示器120的圖像導入透明平面波導112中的透鏡系統(tǒng)122。透鏡系統(tǒng)122可包括一個或多個透鏡。在一個實施例中，透鏡系統(tǒng)122包括一個或多個準直的透鏡。在示出的示例中，反射元件124接收由透鏡系統(tǒng)122引導的圖像并且將圖像數(shù)據光學地耦合至平面波導112中。
存在著可用于實現(xiàn)微顯示器120的不同的圖像生成技術。例如，微顯示器120可以使用透射投影技術來實現(xiàn)，其中光源由光學有源材料來調制，用白光從背后照亮。這些技術通常是使用具有強大背光和高光能量密度的LCD類型的顯示器來實現(xiàn)的。微顯示器120還可使用反射技術來實現(xiàn)，其中外部光被光學活性材料反射并調制。數(shù)字光處理(DLP)、硅基液晶(LCOS)以及高通公司的Mirasol 顯示技術都是反射技術的示例。另外，微顯示器120可使用發(fā)射技術來實現(xiàn)，其中由顯示器產生光，例如，Mi croVi s ion有限公司的Pi coPTM顯示引擎。發(fā)射顯示技術的另一示例是微型有機發(fā)光二極管(OLED)顯示器。eMagin和Microoled公司提供了微型OLED顯示器的示例。圖2B是透明、近眼、增強或混合現(xiàn)實設備的顯示光學系統(tǒng)14的實施例的頂視圖。近眼顯示設備2的鏡架115的一部分將環(huán)繞顯示光學系統(tǒng)14，以提供對如此處以及之后的附圖中所示出的一個或多個光學元件的支持并進行電氣連接。為了示出頭戴式顯示設備2 中的顯示光學系統(tǒng)14 (在該情況下是右眼系統(tǒng)14r)的各個組件，在顯示光學系統(tǒng)周圍的鏡架115的一部分未被描繪。在一個實施例中，顯示光學系統(tǒng)14包括平面波導112、可選的不透明度過濾器114、透明透鏡116和透明透鏡118。在一個實施例中，不透明度過濾器114處于透明透鏡116之后并與其對準，平面波導112處于不透明度過濾器114之后并與其對準，并且透明透鏡118處于平面波導112之后并與其對準。透明透鏡116和118可以是眼鏡中使用的標準透鏡，并且可根據任何處方(包括無處方)來制作。在一些實施例中，頭戴式顯示設備2將僅僅包括一個透明透鏡或者不包括透明透鏡。與平面波導112對齊的不透明度過濾器114要么均勻地、要么以每像素為基礎來選擇性地阻擋自然光，以免其穿過平面波導112。例如，不透明度過濾器增強了虛擬影像的對比度。于2010年9月21日提交的美國專利申請?zhí)?2/887, 426 “Opacity Filter For See-Through Mounted Display (用于透射安裝顯不器的不透明度過濾器)”中提供了不透明度過濾器的更多細節(jié)，該專利申請的全部內容通過引用并入本文。平面波導112將來自微顯示器120的可見光傳送到佩戴頭戴式顯示設備2的用戶的眼睛140。透明平面波導112還允許如代表顯示光學系統(tǒng)14r的光軸箭頭142所示那樣將可見光從頭戴式顯示設備2的前方透過光導光學元件112透射到用戶的眼睛，從而除接收來自微顯示器120的虛擬圖像之外還允許用戶具有頭戴式顯示設備2的前方的空間的實際直接視圖。因此，平面波導112的壁是透明的。平面波導112包括第一反射面124 (例如，鏡面或其他表面)。來自微顯示器120的可見光穿過透鏡122并入射在反射面124上。反射面124反射來自微顯示器120的入射的可見光，使得可見光由于以下將進一步描述的內部反射而被限制在包括平面波導112的平面基板內。紅外照明和反射還穿越平面波導112達到用于追蹤用戶眼睛的位置的眼睛追蹤系統(tǒng)134。用戶的眼睛將被引導到環(huán)境中的子集，該子集是用戶的聚焦或凝視區(qū)域。眼睛追蹤系統(tǒng)134包括在本示例中位于眼鏡腿102上的眼睛追蹤照明源134A以及位于透鏡118和眼鏡腿102之間的眼睛追蹤IR傳感器134B。本技術允許為圖像生成單元120、照明源134A以及IR傳感器134B靈活地放置進出波導的光路的光學耦合器。呈現(xiàn)圖像的可見照明以及紅外照明可從相對波導112的任何方向進入，并且一個或多個波長可選過濾器(例如127)以顯示光學系統(tǒng)14的光軸142為中心將照明導出波導。類似的，IR傳感器的放置也是靈活的，只要其被光學地耦合以接收由被定位以接收沿光軸142的紅外反射的一個或多個波長可選過濾器所引導的紅外反射。在一個實施例中，眼睛追蹤照明源134A可包括一個或多個紅外(IR)發(fā)射器，諸如紅外發(fā)光二極管(LED)或以大約預定IR波長或一定范圍的波長發(fā)射的激光器(例如，VCSEL)。在一些實施例中，眼睛追蹤傳感器134B可以是用于追蹤閃光位置的IR相機或IR位置靈敏探測器(PSD)。在這一實施例中，波長可選過濾器123被實施為光柵123，其讓來自微顯示器123的經過反射面124的可見光譜的光通過，并且將來自眼睛追蹤照明源134A的紅外波長照明導入平面波導112，在平面波導112中，IR照明在平面波導內部反射直至到達與光軸142對 齊的另一波長可選過濾器127。光柵123可以是衍射光柵或反射光柵。在這一不例中，IR傳感器134B也被光學地耦合至光柵125，其也可以是衍射光柵或反射光柵。這些光柵是層疊的。然而，至少光柵125是單向的，這體現(xiàn)在光柵125讓光路中來自源134A的朝向鼻梁104方向的IR照明通過，而將包括從光軸142向光柵125的紅外反射的紅外反射導出波導112并導向IR傳感器134B。在一些示例中，光柵可以是諸如空氣腔光柵(air space grating)之類的固定衍射元件、固定反射光柵、或有源或可開關光柵，以用于不同波長的衍射、反射、或其組合中的任一種。從IR反射中，當IR傳感器是IR相機時，瞳孔在眼框內的位置可通過已知的成像技術來標識，而當IR傳感器是一種位置靈敏探測器(PSD)時，瞳孔在眼框內的位置可通過閃光位置數(shù)據來標識。在耦合到波導112中之后，呈現(xiàn)來自微顯示器120的圖像數(shù)據的可見照明和IR照明在波導112中內部反射。在圖2B的示例中，平面波導是反射型陣列平面波導。其它類型的平面波導也可被使用，例如，衍射型光學元件平面波導或具有全內反射(TIR)槽的平面波導。在圖2B的示例中，在數(shù)個從基板的表面射出的反射之后，被留下的可見光波到達在本示例中實現(xiàn)為可選擇反射表面1261至126N的波長可選過濾器陣列。另外，與顯示光學系統(tǒng)的光軸對齊的波長可選過濾器127也被定位于波導112中。反射面126對從基板射出并入射在那些反射面上的、沿用戶的眼睛140的方向引導的可見光波長進行耦合。反射面126還讓波導內的紅外照射通過。然而，一個或多個波長可選過濾器127與顯示光學系統(tǒng)14r的光軸142對齊，波長可選過濾器127不僅引導可見照明，還接收來自照明源134A的紅外照明。例如，如果反射元件Uei至126,各自反射可見光譜的不同部分，則一個或多個可選過濾器127可反射紅色可見光譜和紅外光譜中的波長。在其它實施例中，過濾器127可反射覆蓋整個可見光譜或其較大部分以及IR反射的波長的紅外光譜的波長以及那些由IR照明源生成的波長。另外，一個或多個波長可選過濾器127將來自眼睛的、透過平面波導的透明壁的、并且以光軸142為中心的紅外反射引導到平面波導的光路中，但是是以朝向波長可選過濾器125的相反方向來引導的，其中波長可選過濾器125選擇性地過濾來自波導的紅外反射并將其引導至IR傳感器134B。過濾器127可包括雙向紅外過濾器。另外，可見和紅外過濾器可在從透鏡116至118的方向上層疊，使得它們與光軸共軸。例如，相對于眼睛放置在可見反射元件之前的雙向熱鏡(hot mirror)讓可見光通過但反射IR波長。另外，一個或多個過濾器127可被實現(xiàn)為有源光柵，其被調制在可見和紅外光譜之間的過濾波長之間。這將會以人眼無法探測到的足夠快的速率來完成。圖2C是圖2B的實施例的另一版本的頂視圖，其中紅外反射沿與IR照明所走的相同方向而不是相反方向穿越波導112。在這一實施例中，IR傳感器134B被定位于鼻梁104內。除了將IR照明導向眼睛的波長可選過濾器127之外，另一個波長可選過濾器125被實現(xiàn)為IR反射元件，其讓可見光通過波導，并將接收到的IR反射沿光軸142導入波導并導向IR傳感器134B。這一 IR反射元件125的示例是熱鏡實施例。在其它示例中，衍射或反射光柵也可被使用。另外，傳感器134B是位于鼻梁104內的波導112的一部分，使得不會遮擋用戶視野?？山⒌奖橇翰糠种械膫鞲衅?34B的電氣連接(未示出)以讀出傳感器數(shù)據。在一個實施例中，每只眼睛將具有其自己的平面波導112。當頭戴式顯示設備具有兩個平面波導時，每只眼睛都可以具有其自己的微顯示器120，該微顯示器120可以在兩只
眼睛中顯示相同圖像或者在兩只眼睛中顯示不同圖像。在另一示例中，可以有具有兩根光軸的平面波導，每只眼睛一根，其橫跨鼻梁并將可見光同時反射入兩只眼睛。在以上實施例中，所示出的具體數(shù)量的透鏡只是示例?？梢允褂闷渌麛?shù)目和配置的根據相同原理操作的透鏡。另外，圖2A、2B和2C僅示出頭戴式顯示設備2的一半。完整的頭戴式顯示設備可包括例如另一組透視透鏡116和118、另一不透明度過濾器114、具有一個或多個波長可選過濾器127的另一平面波導112、另一微顯不器120、另一透鏡系統(tǒng)122、朝向物理環(huán)境的相機113 (也稱朝向外部或朝向正面的相機113)、眼睛追蹤組件134、耳機130、光柵123、125、以及溫度傳感器138。在通過引用包含于此的2010年10月15日提交的題為“Fusing Virtual Content Into Real Content”(將虛擬內容融合到現(xiàn)實內容中)的美國專利申請?zhí)?2/905952中示出頭戴式顯示器2的附加細節(jié)。圖3A是可以用于一個或多個實施例的透明、近眼、混合現(xiàn)實顯示設備2的硬件和軟件組件的一個實施例的框圖。圖3B是描述處理單元4的各組件的框圖。在這一實施例中，近眼顯示設備2接收來自處理單元4的關于虛擬圖像的指令并將來自傳感器的數(shù)據提供回處理單元4。例如在圖3B中描繪的可被實現(xiàn)在處理單元4中的軟件和硬件組件從顯示設備2接收傳感數(shù)據并且還可通過網絡50從計算系統(tǒng)12接收傳感信息?；谶@一信息，處理單元4將確定在何處以及在何時向用戶提供虛擬圖像并相應地將指令發(fā)送給顯示設備2的控制電路136。值得注意的是，圖3A的某些組件(例如，朝向外部或物理環(huán)境的相機113、眼睛相機134、微顯示器120、不透明度過濾器114、眼睛追蹤照明單元134A、耳機130、用于實現(xiàn)一個或多個波長可選過濾器127中的至少一個的可選的有源光柵127、以及溫度傳感器138)以陰影顯示，以表示那些設備中的每一個可以有至少兩個，其中至少一個在頭戴式顯示設備2的左側而至少一個在右側。圖3A示出控制電路200與電源管理電路202進行通信?？刂齐娐?00包括處理器210、與存儲器244 (例如D-RAM)進行通信的存儲器控制器212、相機接口 216、相機緩沖區(qū)218、顯示驅動器220、顯示格式化器222、定時生成器226、顯示輸出接口 228、以及顯示輸入接口 230。在一個實施例中，控制電路200的所有組件經由一個或多個總線的專用線路彼此進行通信。在另一實施例中，控制電路200的每個組件都與處理器210通信。相機接口 216提供對兩個朝向物理環(huán)境的相機113以及本實施例中的如傳感器134B之類的IR相機的接口，并將從相機113、134B接收的各個圖像存儲在相機緩沖區(qū)218中。顯示驅動器220將驅動微顯示器120。顯示格式化器222可以向執(zhí)行該混合現(xiàn)實系統(tǒng)的處理的一個或多個計算機系統(tǒng)(例如4和12)的一個或多個處理器提供與被顯示在微顯示器120上的虛擬圖像有關的信息。顯示格式化器222可向不透明度控制單元224標識關于顯示光學系統(tǒng)14的透射率設置。定時生成器226被用于向該系統(tǒng)提供定時數(shù)據。顯示輸出228包括用于將來自面向物理環(huán)境的相機113和眼睛相機134B的圖像提供給處理單元4的緩沖區(qū)。顯示輸入接口 230顯示包括用于接收諸如要在微顯示器120上顯示的虛擬圖像之類的圖像的緩沖區(qū)。顯示輸出228和顯示輸入230與作為到處理單元4的接口的帶接口 232進行通信。電源管理電路202包括電壓調節(jié)器234、眼睛跟蹤照明驅動器236、音頻DAC和放大器238、話筒前置放大器和音頻ADC 240、溫度傳感器接口 242、有源光柵控制器237、以及時鐘生成器245。電壓調節(jié)器234通過帶接口 232從處理單元4接收電能，并將該電能提供給頭戴式顯示設備2的其他組件。照明驅動器236例如經由驅動電流或電壓來控制眼睛追 蹤照明單元134A以大約預定波長或在某一波長范圍內操作。音頻DAC和放大器238向耳機130提供音頻數(shù)據。話筒預放大器和音頻ADC 240提供話筒110的接口。溫度傳感器接口 242是用于溫度傳感器138的接口。有源光柵控制器237接收指示一個或多個波長的數(shù)據，每個有源光柵127將用作為對該波長的可選波長過濾器。電源管理單元202還向三軸磁力計132A、三軸陀螺儀132B以及三軸加速度計132C提供電能并從其接收回數(shù)據。電源管理單元202還向GPS收發(fā)機144提供電能并從中接收數(shù)據和向其發(fā)送數(shù)據。圖3B是與透明、近眼、混合現(xiàn)實顯示單元相關聯(lián)的處理單元4的硬件和軟件組件的一個實施例的框圖。圖3B示出控制電路304與電源管理電路306進行通信。控制電路304包括中央處理單元(CPU) 320，圖形處理單元(GPU) 322，高速緩存324，RAM 326，與存儲器330 (例如，D-RAM)進行通信的存儲器控制器328，與閃存334 (或其他類型的非易失性存儲)進行通信的閃存控制器332，經由帶接口 302和帶接口 232與透明、近眼顯示設備2進行通信的顯示輸出緩沖區(qū)336，經由帶接口 302和帶接口 232與近眼顯示設備2進行通信的顯示輸入緩沖區(qū)338，與用于連接到話筒的外部話筒連接器342進行通信的話筒接口 340，用于連接到無線通信設備346的PCI express接口，以及USB端口 348。在一個實施例中，無線通信組件346包括啟用Wi-Fi的通信設備、藍牙通信設備、紅外通信設備、蜂窩、3G、4G通信設備、無線USB (WUSB)通信設備、RFID通信設備等等。無線通信設備346由此允許與例如另一顯示設備系統(tǒng)8的端對端數(shù)據傳輸，以及經由無線路由器或基塔連接到較大網絡。USB端口可被用于將處理單元4接駁到另一顯示設備系統(tǒng)8。另外，處理單元4可接駁到另一計算系統(tǒng)12以便將數(shù)據或軟件加載到處理單元4以及對處理單元4充電。在一個實施例中，CPU 320和GPU 322是用于確定在何處、何時以及如何向用戶的視野內插入虛擬圖像的主負荷設備。電源管理電路306包括時鐘生成器360，模數(shù)轉換器362，電池充電器364，電壓調節(jié)器366，透明、近眼顯示器電源376，以及與溫度傳感器374進行通信的溫度傳感器接口372 (位于處理單元4的腕帶上)。交流電到直流電轉換器362被連接到充電插座370來接收AC電源并為該系統(tǒng)產生DC電源。電壓調節(jié)器366與用于向該系統(tǒng)提供電能的電池368進行通信。電池充電器364被用來在從充電插座370接收到電能后對電池368進行充電(經由電壓調節(jié)器366)。設備電源接口 376向顯示設備2提供電能。
在前進到其它系統(tǒng)實施例之前，圖4是用于處理可見和紅外波長以供透視的平面波導的光路中的圖像顯示和眼睛追蹤的方法的實施例的流程圖，其中透明、平面波導被定位成能夠被透明、近眼、混合現(xiàn)實顯示設備的顯示光學系統(tǒng)所透視。在步驟402，沿光路的第一方向將可視和紅外照明光學地耦合到平面波導中。例如，在圖2B和2C中，反射元件124將可見光耦合到波導中，并且光柵123將IR照明耦合到波導中，并導向元件126和一個或多個過濾器127。在步驟404，與各顯示光學系統(tǒng)的光軸共軸地對齊的一個或多個波長可選過濾器被導出平面波導并導向眼睛。例如，參見圖2B中的光柵127和圖2C中的光柵125。通過沿光軸引導IR照明，照明被集中在眼睛上，從而提供對瞳孔的最多照明以供追蹤或者提供對虹膜的最多照明以供掃描。同樣，存在以下假設顯示光學系統(tǒng)的光軸與用戶在朝前方平視時的瞳孔對準或盡可能地對準。在步驟406，一個或多個波長可選過濾器(例如，127、125)將來自眼睛的紅外反射沿相同光路的第二方向導入平面波導。在步驟408，紅外反射被光學地從平面波導耦合至紅外傳感器。在步驟410，由紅外傳感器(例如，電荷耦合設備(CXD)或CMOS像素傳感器陣列)所生成的數(shù)據被存儲成眼睛追蹤數(shù)據。眼睛追蹤數(shù)據的一些示例是來自IR相機或由位·置靈敏探測器(PSD)所探測到閃光的位置的圖像數(shù)據。在一些實施例中，第一和第二方向可以是相同的，如圖2C中所示。在其它實施例中，第一方向和第二方向可以是不同的，如圖2B中所示。不同方向的示例是相反方向。圖5A是來自透過集成眼睛追蹤和顯示光學系統(tǒng)的另一實施例的平面波導看的眼睛的視角的視圖，該集成眼睛追蹤和顯示光學系統(tǒng)使用集成線性光源陣列以及用于生成圖像的掃描鏡。在這一實施例中，集成的光源陣列504和IR傳感器516電氣地連接至電子模塊，例如位于眼鏡框115的眉處且位于顯示光學系統(tǒng)14上方的印刷電路板(PCB)502。電子模塊經由電氣連接140連接至控制電路136。顯示光學系統(tǒng)14至少包括一個透明透鏡118和一個透明平面波導112。在這一實施例中，波導112可以被實現(xiàn)為TIR槽式的平面波導。圖像生成單兀通過集成的光源陣列504、光學兀件508、光束組合器506、掃描鏡510、以及光耦合器512實現(xiàn)。如以下的圖9中所描述的電子模塊502確定并設置不同可見光源的輸出波長以供生成圖像。另外，光源包括用于生成用于眼睛追蹤的紅外照明的紅外發(fā)光器。光源504的輸出(例如集成LED或激光器(例如，VCSELS))由光束組合器506組合成組合光束，并且由光學元件508 (例如，反射元件)光學地耦合到掃描鏡510。在一些實施例中，掃描鏡可用微機電系統(tǒng)(MEMS)技術來實施。鏡子可被移動以將接收到的照明沿一根軸引導以供單向掃描，或沿兩根軸(例如，水平軸和垂直軸)引導以供雙向掃描。在返回將照明光學地耦合到平面波導之前，接著先討論陣列的布局。圖6A示出了線性集成光源陣列的示例布局，該線性集成光源陣列同時生成可見和紅外照明以供透明、近眼、混合現(xiàn)實設備的集成眼睛追蹤和顯示光學系統(tǒng)中使用。如圖6A的示例中所示，光源陣列504可被實現(xiàn)為線性集成可見光源陣列，例如LED或VSSELS。在這一示例中，使用了多行用“R”表示的紅色、用“G”表示的綠色和用“B”藍色?？墒褂闷渌伾秶?，諸如青、品紅以及黃色。在其它示例中，每個可見光源可被單獨地調制成可見光譜中的任何顏色。另外，陣列包括用“I”表示的一行紅外發(fā)光器。陣列的行根據陣列的大小而重復。因此，圖像生成照明器和眼睛追蹤照明器被組合成一個集成的陣列單元。
在這一示例中，紅、綠、藍以及紅外發(fā)光器的各行位于列中，而對各行進行掃描。紅、藍和綠光源的每一個被調制成代表一部分圖像，例如諸如像素之類的圖片元素。一行中的每組紅、綠、藍以及紅外可對應于圖像的一個部分。集成線性陣列504的輸出通過光束組合器506和光學元件508，光學元件508將可見和IR照明兩者的經組合的光束引導至掃描鏡 510。在其它示例中，可以有更少或更多的紅外發(fā)光器散布在可見光源中。例如，每二十
(20)個可見光源可以有一個IR發(fā)光器。這種配置可被用于基于結構化照明的應用。圖6C示出了線性集成光源陣列的另一示 例布局，該陣列同時生成可見和紅外照明，其中紅外光源被放置在適合用于閃光追蹤的布置中的每一行的末端。閃光是從角膜的一個或多個表面上射出的反射。隨著用戶的眼睛移動，不同眼睛部分(如瞳孔、虹膜以及鞏膜)的鏡面反射影響在諸如位置靈敏探測器(PSD)或光探測器之類的IR傳感器處接收到的每個閃光的密度值。可根據由傳感器生成的閃光數(shù)據值來確定瞳孔位置。掃描鏡510掃描每一行并將每一行反射到光學表面512上，由此將圖像再次產生在光學元件的表面512上。在其它示例中，也可使用逐列的掃描。逐行的掃描是使用線性陣列所允許的單向掃描的一個示例。如果需要的話，也可使用采用雙向掃描的實施例。可見和紅外波長沿光路的從發(fā)光器到平面波導112的方向通過光學元件512。如以下討論的，光學元件512的另一側包括針對紅外波長的單向波長可選過濾器511，以便沿光路方向將紅外反射導向紅外傳感器518。光耦合器(例如，一個或多個準直透鏡527)將圖像和IR照明耦合至波導112中。在這一示例中，光柵524對平面波導中的可見和IR照明進行衍射以供全內反射。在一個示例中，光柵524可使用層疊的多個光柵來實現(xiàn)，一個用于引導可見光譜波長，而另一個用于引導IR照射。例如，可在可見光譜反射元件的表面上層疊一個熱鏡。另外，在這一示例中，光柵524包括雙向IR反射光柵以便將IR反射沿路徑529耦合到光學元件512的波長可選過濾器511 (例如，熱鏡)，并且將IR照明反射到定位成與現(xiàn)實光學系統(tǒng)的光軸142共軸的IR波長可選過濾器525。在這一不例中，層疊的光柵526和525都與光軸142共軸地對齊。光柵526位于光柵525之后,光柵526將可見光沿光軸142導出波導,光柵525,例如通過衍射或反射,將紅外照明導出波導并將接收到的IR反射導入波導中。代表從波導中出來(在本示例中是射出頁面)的IR照明以及進入波導(在本示例中是進入頁面)中的IR反射的箭頭522，以光軸142為中心。在一些實施例中，為了更好地減少IR反射中的反向散射的IR照明，可見光柵526和IR光柵525在它們的較長的右側表面都可具有IR阻擋涂層以阻擋正內部反射回光柵524的IR照明。在這一示例中，IR光柵525是雙向的，并且將紅外反射導回對于紅外波長同樣是雙向的光柵524。IR反射529被導回光學兀件512的波長可選過濾器511,其將IR反射導向另一 IR波長可選過濾器514 (例如,熱鏡、反射光柵、衍射光柵),其引導IR反射528穿過耦合的透鏡516并導向IR傳感器518。圖5B示出圖5A的實施例的另一版本，其中集成陣列式光學元件陣列，其中紅外傳感元件被集成到光源陣列中。圖6B示出了包括紅外傳感元件和光源的線性集成光學元件陣列的示例布局，該陣列同時生成可見和紅外照明以供透明、近眼、混合現(xiàn)實設備的集成眼睛追蹤和顯示光學系統(tǒng)中使用。在示出的示例中，光學元件陣列505包括多行用“S”表示的IR傳感元件。在一些示例中，IR傳感元件“S”可以是集成光探測器。對于光源陣列504和光學元件陣列505兩者，所表示的多行發(fā)光器的順序是靈活的。例如，紅、綠、藍、紅外的順序被用于圖6A中的陣列504，而紅、紅外、綠、傳感器、藍的順序被用于圖6B中。其它幾何圖形也可被用于集成光源陣列。例如，取代多行光源，可以有多組或多群集光源。每組可包括顏色光源和IR光源以及IR傳感器(如果采用光學元件布置的話)。每組的幾何布置的示例可以是正方形、圓形、或矩形。在這一實施例中，可見和紅外照明被耦合到如以上對于圖5A的實施例所討論的波導中。在這一實施例中，當紅外反射被導回集成的光學元件陣列時，光學元件612可以是直通光學元件，其中掃描鏡510通過反射可見照明在光學元件612上重新產生圖像。來自光柵524的IR照明穿透光學元件612。由于反射以 光速行進，掃描鏡510將IR反射以相反路徑反射回雙向反射元件508，該路徑向前穿過光束組合器506并回到包括紅外傳感元件(“S”元件)的光學元件陣列505。響應于接收到的IR光子，傳感元件生成電信號。電信號被轉換成代表性的數(shù)據信號，其由電子模塊502傳輸?shù)?例如，電氣連接140)控制電路136的一個或多個處理器以及處理單元4，以供諸如凝視確定、生物監(jiān)視和生物標識之類的應用。圖6D示出了包括紅外傳感元件、可見光源和紅外光源“I”及紅外傳感元件“S”的光學元件線性集成陣列的另一示例布局，其中紅外光源“I”以及紅外傳感元件“S”被放置在適合用于閃光追蹤的布置中的可見光源行末端。以上對于圖5B的實施例所討論的處理也適用于這一使用如圖6D中的集成光學元件陣列的實施例。如在圖6B中的示例一樣，在一些示例中，IR傳感元件可以是集成的光探測器。圖7A是來自透過集成眼睛追蹤和顯示光學系統(tǒng)的另一實施例的平面波導看的眼睛的視角的視圖，該集成眼睛追蹤和顯示光學系統(tǒng)使用經調制的光源以及2D掃描鏡。這一實施例是圖5A的實施例的另一版本，除了集成光源陣列504被獨立的光源507所取代。在這一示例中，四種光源被示出為與采用紅、綠以及藍來生成不同顏色的示例的上下文相一致，但當然也可采用其它組合。在這一示例中，光源中的一個(例如，激光器、LED)發(fā)射紅色光譜照明，另一個發(fā)射藍色光譜照明，另一個發(fā)射綠色光譜照明，并且另一個發(fā)射紅外光譜照明，因此三種光源生成了構成圖像的全部部分的色彩。在這一示例中，掃描鏡510是雙向掃描鏡，其在垂直和水平兩個方向上移動以在光學兀件512上重新產生由激光器的當前輸出所表示的圖像部分以完成圖像。光學元件512類似于投影儀屏幕。圖7B示出圖7A的實施例的另一版本，其使用單個經調制光源和有源光柵。在這一示例中，那組單獨的光源由單個光源509所取代，光源509被調制成可見光譜中的數(shù)個波長中的一個，并且還用于生成紅外光譜中的照明。掃描鏡是雙向掃描鏡。在這一示例中，光源以不同的時間間隔發(fā)射紅外和可見照明。掃描鏡將IR照明導向元件的中心、穿過準直透鏡516并導入波導112中。單個由于光柵(也稱為開關光柵)可被用于波長可選過濾器525，其可對沿光軸142進出波導112并導向及來自眼睛的可見和紅外波長進行過濾。在眼鏡框115內，在電子模塊502和平面波導112之間建立電氣連接141。來自有源光柵控制器237的控制信號根據用于單個源的調制的不同時間間隔的定時將光柵525的波長可選性調制在可見光譜和紅外光譜之間，以生成不同可見和紅外波長。圖8是用于與包括光源和掃描鏡的圖像生成單元一起使用的透明、近眼、混合現(xiàn)實顯示設備的元件和軟件組件的另一實施例的框圖。這一實施例是圖3A的硬件和軟件組件的另一版本，其中控制電路與電子模塊502相接。在這一實施例中，顯示驅動器220將其圖像數(shù)據提供給電子模塊502的顯示照明控制器554。在這一實施例中，505中的IR傳感器518或IR傳感元件“S”是IR圖像傳感元件，而電子模塊502的IR相機接口 558被耦合到相機接口 216以傳輸用于眼睛追蹤處理的IR圖像數(shù)據。圖9是可被用于控制使用至少一個光源和掃描鏡的集成眼睛追蹤和顯示光學系統(tǒng)的硬件組件的電子模塊的實施例的框圖。電子模塊502被例如經由圖5A、5B、7A以及7B中所顯示的電氣連接140通信地耦合到控制電路136。顯示照明控制器554接收來自顯示驅動器220的圖像數(shù)據并將其存儲在顯示數(shù)據緩沖區(qū)560中。顯示照明控制器554將圖像 數(shù)據轉換成用于可見光源568 (此處標記為顏色I光源568i、顏色2光源5682、以及顏色N光源568n)的調制信號?？刂破?54發(fā)送各個光源調制信號以控制光源568的各個驅動器570。顯示照明控制器554還為驅動IR光源569的IR照明驅動器572提供用于預定IR波長或一定范圍的IR波長的調制信號。各個光源568可以是如圖7A以及7B中的單個的不同調制光源，或者是集成的光源陣列504或者集成的光學元件陣列505的一部分。在一些實施例中，驅動器570、572還可以被集成在陣列中，并且各個驅動器驅動相應陣列504、505中的對應的光源568。在其它實施例中，驅動器570可以時間間隔的一定順序在陣列中激活一行光源568或一組光源568。在圖7B的單個不同光源509的情況下，可存在僅僅一個驅動器，其生成IR和可見光譜兩者中的調制信號，或者開關(為示出)可切換來自不同驅動器570和572的調制信號供光源509接收。電子模塊510還包括用于控制掃描鏡510的移動的掃描鏡控制器556。在一些不例中，掃描鏡控制器556可以被編程以執(zhí)行單向掃描或雙向掃描。在這一示例中，IR相機接口 558接收代表IR相機564所接收的光子的數(shù)據，并且將它們存儲在IR數(shù)據緩沖區(qū)562中，接口 558可將該數(shù)據從IR數(shù)據緩沖區(qū)562傳輸至控制電路的相機接口 216。在以上的各實施例中所描述的集成眼睛追蹤和顯示系統(tǒng)簡化了用于許多應用的眼睛追蹤處理，諸如測量趨勢、瞳孔間距(iro)、凝視確定、基于眼睛移動的命令以及生物標識。另外，如此處所描述的眼睛追蹤和顯示系統(tǒng)的集成可以適用于普遍可用的消費品的外形來實現(xiàn)。盡管用結構特征和/或方法動作專用的語言描述了本主題，但可以理解，所附權利要求書中定義的主題不必限于上述具體特征或動作。更確切而言，上述具體特征和動作是作為實現(xiàn)權利要求的示例形式公開的。
權利要求
1.一種用于透明、近眼、混合現(xiàn)實顯示設備的集成眼睛追蹤和顯示系統(tǒng)，所述系統(tǒng)包括 用于每只眼睛的顯示光學系統(tǒng)(14)，所述顯示光學系統(tǒng)具有光軸(142)以及透明、平面波導(112)，所述透明、平面波導被定位成能夠被各只眼睛透視； 一個或多個波長可選過濾器(127、125、525、526),所述波長可選過濾器位于各個透明、平面波導中，與各個顯示光學系統(tǒng)的光軸共軸地對準，用于將紅外和可見照明(522)導出各個平面波導，并用于將紅外反射(522)導入所述平面波導中； 紅外照明源(134A、504、505、507、509 )，所述紅外照明源被定位成使其紅外照明光學地耦合到所述平面波導中； 紅外傳感器(134B、506、518)，所述紅外傳感器被光學地耦合至所述平面波導以接收引導自所述波長可選濾波器的紅外反射；以及 圖像生成單元(120、504、505、506、508、510、512、612)，所述圖像生成單元被光學地耦合以將可見照明傳輸?shù)剿銎矫娌▽е小?br> 2.如權利要求I所述的系統(tǒng)，其特征在于，所述一個或多個波長可選過濾器包括一個或多個光柵，并且所述紅外傳感器由紅外波長可選光柵(125、511、524)光學地稱合到所述平面波導。
3.如權利要求2所述的系統(tǒng)，其特征在于，至少一個光柵包括衍射光柵。
4.如權利要求I所述的系統(tǒng)，其特征在于，所述一個或多個波長可選過濾器包括層疊的光柵(525、526)，并且所述層疊的光柵中的至少一個(526)可選擇以用于一個或多個可見光譜波長，并且所述層疊的光柵中的至少一個(525)可選擇以用于紅外光譜。
5.如權利要求I所述的系統(tǒng)，其特征在于，所述圖像生成單元包括 光源(509)，所述光源被調制以用于以不同的時間間隔以不同波長發(fā)射照明； 紅外照射源還包括光源，并且所述不同波長包括可見光和紅外光譜兩者中的波長；雙向掃描鏡(510),所述雙向掃描鏡光學地I禹合(508)到光源以接收照明，并且光學地耦合(512、527)到通往所述平面波導中的光路以將照明引導至所述平面波導中；以及 所述一個或多個波長可選過濾器進一步包括有源光柵(525)，所述有源光柵被調制以供選擇以用于不同時間間隔的可見和紅外光譜中的不同波長。
6.一種用于透明、近眼、混合現(xiàn)實顯示設備的集成眼睛追蹤和顯示系統(tǒng)，所述系統(tǒng)包括 用于每只眼睛的顯示光學系統(tǒng)(14)，所述顯示光學系統(tǒng)具有光軸(142)以及定位成能夠被各只眼睛透視的透明、平面波導(112)； 一個或多個波長可選過濾器(525、526)，所述波長可選過濾器位于各個透明、平面波導中，與各個顯示光學系統(tǒng)的光軸共軸地對準，用于將紅外和可見照明(522)導出各個平面波導，并用于將紅外反射(522)導入所述平面波導中； 包括用于發(fā)射紅外和可見照明的光源(504)的光學元件的陣列(504、505)，所述光源被光學地耦合(508、510、512、527)至所述平面波導以將其照明導入所述平面波導中；以及紅外傳感器(518、505)，所述紅外傳感器被光學地耦合((527、511、514)、(527、612))至所述平面波導以接收引導自所述波長可選濾波器的紅外反射。
7.如權利要求6所述的系統(tǒng)，其特征在于，所述紅外傳感器包括所述光學元件陣列(505)中的一個或多個傳感器(S),所述一個或多個傳感器散布在所述所述光學兀件陣列(505)中。
8.如權利要求7所述的系統(tǒng)，其特征在于，所述一個或多個波長可選過濾器包括雙向紅外波長可選過濾器(525)。
9.如權利要求6所述的系統(tǒng)，其特征在于，所述光源陣列是由多行光源組成的線性陣列，所述線性陣列由掃描鏡(510)掃描以將可見和紅外照明耦合到所述平面波導中。
10.如權利要求7所述的系統(tǒng)，其特征在于，所述各只眼睛的紅外反射被從所述平面波導中的所述一個或多個波長可選過濾器的至少一個沿相反的光路光學地耦合到所述掃描鏡，并且耦合至所述光學元件陣列的一個或多個傳感器。
全文摘要
本發(fā)明涉及集成眼睛追蹤和顯示系統(tǒng)。提供了一種用于透明、近眼、混合現(xiàn)實顯示設備的集成眼睛追蹤和顯示系統(tǒng)的技術。用于眼睛追蹤的圖像數(shù)據和IR照明被光學地耦合到各個透明、平面波導中，該透明、平面波導被定位成能夠被顯示設備的各個顯示光學系統(tǒng)中的每只眼睛所透視。各個平面波導包括一個或多個波長可選過濾器，這一個或多個波長可選過濾器被定位成與各個顯示光學系統(tǒng)的光軸共軸。波長可選過濾器將IR和可見照明沿各只眼睛的方向導出平面波導，并將包括來自眼睛的反射的IR反射導入平面波導中。反射被光學地耦合出波導并耦合到基于反射生成眼睛追蹤數(shù)據的IR傳感器。
文檔編號G02B27/01GK102955255SQ20121036280
公開日2013年3月6日 申請日期2012年9月25日 優(yōu)先權日2011年9月26日
發(fā)明者D·D·伯恩 申請人:微軟公司