專利名稱：：利用視線跟蹤的自適應顯示的制作方法
技術領域：
：本發(fā)明涉及利用視線跟蹤用于在計算平臺的顯示屏上以自適應的方式輸出信息。
背景技術：
：隨著在例如LCD屏、OLED屏等顯示屏方面的現(xiàn)代技術進步，采用顯示屏的計算平臺的多樣性以及向平臺要求的功能性都在持續(xù)增加。例如，象征著手持式形狀因素(handheldformfactor)的有限的屏面積和電池壽命往往導致了顯示屏的空間分辨率相對低，使得手持式設備的實用性經(jīng)常受到限制，因顯示屏無能力在沒有連續(xù)積極用戶干預(例如，屏幕點擊，滑動，等等)情況下呈現(xiàn)足夠的視場(FOV)以向終端用戶展現(xiàn)最有關數(shù)據(jù)(例如，圖像數(shù)據(jù)幀的子區(qū)域，GUI(圖形用戶接口)的子區(qū)域，等等)。對于另一示范性平臺，象征著家用電視的大屏幕是針對比個人計算機或者手持式設備的視距長得多的視距所設計的。因而，通常有必要在具有獨特接口(例如“10英尺接口”)的家用電視上呈現(xiàn)圖形數(shù)據(jù)對象，要求用戶學習導航(navigate)不同形狀因素的設備之間的多個接口。此外，某些計算平臺提供顯示視頻(即圖像數(shù)據(jù)幀流)的應用，該視頻由集成有計算機渲染圖形對像的視頻圖像傳感器收集。例如，SonyPlaystationEyePet游戲應用程序與由耦合到計算平臺的視頻圖像傳感器所收集的應用程序用戶與用戶環(huán)境(例如，客廳)的視頻一起渲染(render)虛擬寵物的圖形圖像。于是用戶可以在顯示器上觀看他們與其虛擬寵物交互。由于對于這樣的游戲應用程序典型的高清晰度顯示分辨率(例如1080p)，需要有效的帶寬將視頻數(shù)據(jù)從視頻圖像傳感器傳輸?shù)接嬎闫脚_。該帶寬限制或者降低在顯示器上呈現(xiàn)的視頻數(shù)據(jù)的質(zhì)量，減少可用于渲染圖形的處理器周期，或者顯著提高視頻圖像傳感器/傳感器與計算平臺之間的接口的制造成本。對于無線內(nèi)聯(lián)網(wǎng)傳輸模式與互聯(lián)網(wǎng)傳輸模式兩者，視頻傳輸帶寬均成為更多的問題。本發(fā)明的實施例在本說明書結束部分中被特別指出并且清楚地被要求保護。然而，關于組織和操作方法兩者，連同目標、特征及其優(yōu)點，本發(fā)明的實施例可能最好在借助附圖閱讀時通過參考以下詳細說明來理解，其中:圖1示出按照實施例的示范性自適應顯示系統(tǒng)的示意圖2A為按照實施例確定所顯示的圖像數(shù)據(jù)幀的受關注的子區(qū)域的示范性基于網(wǎng)格的方法的流程圖2B為按照實施例確定所顯示的圖像數(shù)據(jù)幀的受關注的子區(qū)域的示范性基于輪廓的方法的流程圖3A為按照實施例基于顯示器用戶關注適配要顯示的數(shù)據(jù)的量的示范性方法的流程圖3B為按照實施例基于顯示器用戶關注適配要傳輸?shù)臄?shù)據(jù)的量的示范性方法的流程圖；圖3C為按照實施例基于顯示器用戶關注適配數(shù)據(jù)壓縮率的示范性方法的流程圖3D為按照實施例基于顯示器用戶關注適配接口數(shù)據(jù)壓縮率的示范性方法的流程圖4示出按照本發(fā)明的一個實施例可被用于適配顯示的用戶接口和硬件；以及圖5示出按照本發(fā)明的一個實施例可被用于處理指令的附加硬件。為了說明的清楚，圖中示出的元件沒有必要地按照比例繪制。另外，在被認為合適的地方，參考數(shù)字在圖之中被重復以指示相應或相似的元件。
發(fā)明內(nèi)容此處描述了用于基于顯示器用戶關注適配顯示屏輸出的方法和系統(tǒng)。實施例采用視線跟蹤(gazetracking)來確定顯示屏區(qū)的處于用戶關注焦點的子區(qū)域，并且自適應地確定為顯示屏的受關注的和不受關注的子區(qū)域提供的數(shù)據(jù)量，其方式是分別處理這兩個組來改善應用程序/平臺的功能性和/或者減少用于傳輸或處理所收集的圖像數(shù)據(jù)幀所需的帶寬。盡管為徹底理解本發(fā)明的實施例陳述了很多具體細節(jié)，本領域技術人員將理解的是，在沒有這些具體細節(jié)的情況下可以實施其他實施例。在其他實例中，并沒有詳細地描述眾所周知的方法、進程、部件和電路，以便不使本發(fā)明不清楚。此處描述的某些部分根據(jù)算法和在計算機存儲器內(nèi)的數(shù)據(jù)比特或者二進制數(shù)字信號上的操作的符號表示來呈現(xiàn)。這些算法描述和表示可能是數(shù)據(jù)處理領域技術人員所使用的技術以將其工作的實質(zhì)傳達給本領域有些技術人員。如此處所使用的算法是導致期望結果的行為或操作的自相一致序列。這些包括物理量的物理操縱。通常、可是并非必要地，這些量采取能夠被存儲、傳遞、組合、比較以及另外操縱的電或者磁信號的形式。主要出于習慣用語的原因，將這些信號稱為比特、值、元素、符號、字符、術語、數(shù)字等等已經(jīng)證明有時是方便的。除非特別聲明或者另外從以下討論中為明顯的，應當理解的是，在整個描述中，利用諸如“處理”、“計算”、“轉(zhuǎn)換”、“調(diào)解”、“確定”、或者“識別”術語的討論，均指計算平臺的行為和處理，該計算平臺是包含處理器的電子計算設備，該處理器將在處理器的寄存器和可訪問的平臺存儲器內(nèi)表示為物理(例如電子)量的數(shù)據(jù)操縱并變換為在計算機平臺存儲器、處理器寄存器或顯示屏內(nèi)類似地表示為物理量的其他數(shù)據(jù)。計算機程序可以被存儲在計算機可讀的存儲介質(zhì)中，例如、但不限于，任意類型的磁盤，包括軟盤、光盤(例如光盤只讀存儲器(⑶-R0M)，數(shù)字視頻光盤(DVD)，Blu-RayDiscs(藍光光盤)等等)和磁光盤、只讀存儲器(ROM)、隨機存取存儲器(RAM)、EPROM、EEPR0M、磁或光卡，或者任意其他類型的適用于存儲電子指令的非暫時介質(zhì)。術語“耦合”和“連接”，連同其衍生詞，可以在此用來描述用于執(zhí)行這里的操作的裝置的部件之間的結構關系。要理解的是，這些術語并不意指為彼此的同義詞。相反地，在特定的實施例中，“連接”可以用于指示兩個或多個元件之間彼此直接物理或者電接觸。“耦合”可用于指示兩個或多個元件之間彼此或者直接或者間接(通過其之間的其他居間元件)物理或者電接觸，以及/或者兩個或多個元件彼此協(xié)作或者通信(例如，如在因果關系(causeaneffectrelationship)中)。圖1示出示范性自適應顯示系統(tǒng)100，其包含耦合到顯示屏110的計算平臺105。計算平臺105包含中央處理器，其至少負責為顯示屏110生成輸出106，并且可以進一步執(zhí)行這里所述的視線跟蹤、顯示子區(qū)域確定以及視頻解碼/幀組裝操作中的一個或多個。計算平臺105可以為所要求的目的專門地被構造，或者可以包括通用計算機，該通用計算機通過在計算機中存儲的計算機程序選擇性地被激活或者重新配置。在一個實施例中，計算平臺105是游戲控制臺(例如，SonyPlaystation),其具有是任意常規(guī)顯示器(例如IXD，OLED，CRT，等等)的顯示屏110。在另一個實施例中，計算平臺105是具有嵌入式顯示屏IlOA(例如，IXD，0LED)的手持式游戲設備105A(例如，索尼便攜式游戲機(SonyPlaystationPortable)(PSP)。在替換的實施例中，計算平臺105是具有嵌入式顯示屏110B(例如，LCD，0LED)的手持式電信設備105B(例如，索尼愛立信手機(SonyEricssonmobilephone))。圖2A和2B示出兩個用于確定在顯示屏中所呈現(xiàn)的信息幀的受關注的子區(qū)域的示范性方法。這些方法可應用于渲染的圖形對象(例如CGI)或者成流的多媒體(例如視頻)。圖2A是說明用于確定圖像數(shù)據(jù)幀的受關注的子區(qū)域的基于網(wǎng)格的方法200的實施例的流程圖，該方法可以由自適應顯示系統(tǒng)100執(zhí)行。在操作205處，一個或多個對象被輸出到顯示屏110(圖1)。例如，在圖2A中進一步示出了顯示區(qū)210中的對象206。對象206可以是被渲染的對象，例如游戲化身、網(wǎng)頁塊，其與由渲染引擎已知的顯示區(qū)210的幀有位置關系。例如，在對象206是網(wǎng)頁上的縮略圖的地方，該縮略圖對象在顯示區(qū)210內(nèi)將具有已知的位置。替換地，對象206可以是在顯示區(qū)210內(nèi)所呈現(xiàn)的視頻幀的一部分，在該情況下計算平臺205不能預先確定在顯示區(qū)210內(nèi)對象206與其他內(nèi)容之間的邏輯關聯(lián)。在操作215處，跟蹤觀看顯示屏110的用戶的視線模式。圖2A進一步描述了針對顯示區(qū)210中的內(nèi)容通過耦合到計算平臺105(圖1中所示)的視線跟蹤器130確定的示范性視線模式208。通常，視線跟蹤器130包含任意在本領域中已知的可操作來跟蹤觀看顯示屏110的平臺用戶170的眼睛位置和/或眼睛運動的硬件和/或軟件模塊。在該示范性實施例中，視線跟蹤器130是基于視頻的系統(tǒng)，其聚焦于平臺用戶170的一只或者兩只眼睛，并且當平臺用戶170觀看顯示屏110時記錄眼睛運動。視線跟蹤器130可以是頭盔式的，或者是依賴視頻圖像傳感器的遠程系統(tǒng)，該視頻圖像傳感器被定位在距平臺用戶170至少一臂長度處。在圖1中所示的示范性實施例中，視線跟蹤器130向視線方向分析器140輸出眼睛視線方向模式131。在其他實施例中，視線跟蹤器130是頭盔式的，并且輸出眼睛轉(zhuǎn)動模式。在其他實施例中，用戶可以佩戴放置在眼睛周圍的皮膚上的電極來測量用于眼睛運動跟蹤的眼電圖(EOG)信號。該EOG信號對于測量由于視線偏移造成的眼睛掃視運動以及探測眨眼將是特別有用的；從而對于確定視線偏移以及眨眼是好的。EOG也對于不同的照明條件是穩(wěn)健的，并且能被作為可穿戴系統(tǒng)實現(xiàn)。在示范性實施例中，由視線跟蹤器130所采用的視頻圖像傳感器是專用攝像機(例如，紅外(IR)敏感的)，該專用攝像機被集成到視線跟蹤器130中。替換地，視線跟蹤器130可以被稱合到通用數(shù)字視頻圖像傳感器120上,例如SonyPlayStationEye,其也被耦合到計算平臺105上。在實施例中，數(shù)字視頻圖像傳感器120以至少1920x1080像素的高清晰度(HD)分辨率利用足以至少捕捉平臺用戶170和用戶直接環(huán)境(例如，客廳家具，地面，房間墻壁等等)的視場(FOV)122收集圖像數(shù)據(jù)幀，并且可以進一步捕捉至少一個其他平臺用戶180以及旁觀者185。因為遠場視線跟蹤在技術上比近場視線跟蹤更具有挑戰(zhàn)性，所以視線跟蹤實現(xiàn)可能取決于計算平臺105的格式。例如，在游戲機格式中，視線跟蹤器130優(yōu)選地使用專用攝像機，其被優(yōu)化用于眼睛/視線跟蹤的目的并且與視頻圖像傳感器120不同。可選地，可以通過拍攝一個/多個用戶的頭像來注冊一個/多個用戶來改善視線跟蹤性能。然而對于手持式游戲設備105A，嵌入式視頻圖像傳感器120A可以可操作來向視線跟蹤器130輸出所收集的視頻數(shù)據(jù)幀125，其包含平臺用戶170的(一只或兩只)眼睛(eys(s))或者臉部。對于這樣的實施例，由嵌入式視頻圖像傳感器120A所收集的圖像數(shù)據(jù)可用于兩個視線跟蹤目的和一般用于在顯示屏IlOA上顯示。類似地，對于手持式電信設備105B，嵌入式視頻圖像傳感器120B可操作來向視線跟蹤器130輸出所收集的聚焦于平臺用戶170的(一只或兩只)眼睛或者臉部的視頻數(shù)據(jù)幀125。在還有其他實施例中，可以不存在通用數(shù)字視頻圖像傳感器120，而只有集成到視線跟蹤器130中的專用攝像機。回到圖2A，在操作220處，視線模式(例如，視線模式208)通過視線方向分析器被映射到顯示屏的子區(qū)域。例如，視線模式208被映射到子區(qū)域的m乘η網(wǎng)格。通常，為顯示屏定義的數(shù)目m和η可以根據(jù)特定顯示屏的物理尺寸以及分辨率而相當大地改變，并且要被最優(yōu)化，例如用于提供最滿意的用戶體驗。網(wǎng)格尺寸參數(shù)的優(yōu)化可以通過研究設備尺寸與網(wǎng)格尺寸參數(shù)之間的關系而離線完成。于是，網(wǎng)格尺寸參數(shù)可以基于顯示器特性而被自動設置/加載，所述顯示器特性可以通過或者向系統(tǒng)注冊顯示器(即用戶可以輸入物理設備的規(guī)格或者選擇預定義的選項中的一個)或者使用計算平臺自動探測顯示器類型、即它是PSP還是索尼愛立信手機(SonyEricsonphone)還是索尼IXDTV來獲得。在操作230處，視線方向分析器基于視線模式208確定對于用戶有較大興趣的子區(qū)域221中的一個或多個。例如，視線模式度量可被分配給子區(qū)域221，并且度量然后被取閾值或者在子區(qū)域中進行比較，來確定受關注的(一個或多個)子區(qū)域。例如，在圖2A中的顯示區(qū)210中，115和111分別是受關注以及不受關注的子區(qū)域。雖然任意常規(guī)視線模式度量都可以在操作230處被采用，但是在示范性實施例中，在每個子區(qū)域內(nèi)多個眼睛注視或者視線模式掃描長度被確定。圖2B是確定圖像數(shù)據(jù)幀的受關注的子區(qū)域的基于輪廓的方法201的實施例的流程圖，該方法可以通過自適應顯示系統(tǒng)100執(zhí)行。在從視頻圖像傳感器120接收的圖像數(shù)據(jù)幀可能并不像渲染的GUI可能的那樣有任意邏輯塊層級的地方，輪廓算法可用于識別是平臺用戶關注的主題的對象。在特定的實施例中，新的輪廓探測過程周期性地或者被事件觸發(fā)，例如當用戶眨眼或者視線偏移時。方法201開始于操作205，其中向顯示屏210輸出一個或多個對象(例如，由視頻圖像傳感器收集的圖像數(shù)據(jù)幀)。如之前在操作215處描述的那樣，視線模式被跟蹤，以生成在圖2B中所表示的視線模式208。在操作223處，執(zhí)行輪廓探測算法(例如，通過視線方向分析器140)，以探測圖像數(shù)據(jù)幀221內(nèi)的輪廓。該輪廓探測算法可以基于視線模式在幀的特定位置被發(fā)起，或者輪廓探測算法可以被應用于整個幀。在第一種情況下，生成包含視線模式閾值量的輪廓，而在第二種情況下，基于視線模式與特定的一個/多個輪廓的重疊水平，從多個輪廓中選擇一個或多個輪廓。例如，基于幀221和視線模式208生成輪廓251。在操作232處，于是確定受關注的子區(qū)域。該確定可能需要選擇輪廓251，或進一步執(zhí)行向上適化算法，用以將幀221的、接近輪廓251的像素包括在與受關注的子區(qū)域115對應的幀的第一部分中。該幀的剩余部分于是被指定為與不受關注的子區(qū)域111對應的幀的第二部分。利用基于輪廓的方法201來使圖像數(shù)據(jù)幀的部分與顯示器的受關注的子區(qū)域相關可以相對于在顯示器與圖像數(shù)據(jù)幀之間m乘η網(wǎng)格的直接映射改善真實感。基于輪廓的方法201也可以減少傳輸帶寬，其中在顯示器與圖像數(shù)據(jù)幀之間m乘η網(wǎng)格的直接映射情況下低于所述傳輸帶寬是可能的，例如在網(wǎng)格尺寸與圖像數(shù)據(jù)中對象的尺寸不是最佳匹配時。圖3Α示出用于適配(adapte)顯示的方法300，其中通過根據(jù)用戶的關注焦點以可變的分辨率顯示數(shù)據(jù)幀的部分，相對于不受關注的子區(qū)域中的對象修改用于表示受關注的子區(qū)域中的一個或多個對象所采用的數(shù)據(jù)量。在操作330處，從方法200或201接收至少一個受關注的子區(qū)域，例如圖2A或圖2B中的受關注的子區(qū)域115。在操作340處，表示在受關注的子區(qū)域內(nèi)所顯示的對象的數(shù)據(jù)量被修改，用以相對于在子區(qū)域確定之前由顯示屏提供的數(shù)據(jù)量改變與受關注的區(qū)域內(nèi)的對象有關系的數(shù)據(jù)量。在內(nèi)容縮放(contentzoom)實施例中，專用于受關注的子區(qū)域的顯示屏分辨率的百分比可以隨著與不受關注的子區(qū)域有關系的顯示屏分辨率的百分比降低而增加，從而受關注的子區(qū)域的分辨率比不受關注的子區(qū)域分辨率高。例如，在操作330處接收到的受關注的子區(qū)域115，其為顯示區(qū)210的25%，在操作340處被提高到顯示區(qū)210的約67%。在操作345處，連同被放大的對象206顯示修改后的輸出。因而，對象206能以更高的分辨率被渲染，或者被擴張(例如，在對象206是縮略圖的地方)。如圖1中進一步所示的，自適應顯示系統(tǒng)100包含自適應顯示處理器150，其被耦合到視線方向分析器140上。在該示范性實施例中，自適應顯示處理器150是信號處理器，其以硬件、軟件或者兩者的組合的方式實現(xiàn)。對于自適應顯示方法300，計算平臺105的處理器從自適應顯示處理器150接收輸出151，用于修改被顯示的數(shù)據(jù)。圖3B是用于適配顯示的示范性方法301的流程圖，其中通過根據(jù)用戶的關注焦點以可變的分辨率將圖像數(shù)據(jù)幀的部分(例如，由視頻圖像傳感器(如視頻圖像傳感器120)所收集的)傳輸給計算平臺150，相對于不受關注的子區(qū)域中的對象修改表示受關注的子區(qū)域中的對象的數(shù)據(jù)量。在實施例中，受關注的子區(qū)域被以較高分辨率傳輸，而不受關注的子區(qū)域被以較低分辨率傳輸。由于圖像數(shù)據(jù)幀將被以高速率傳輸，因此方法301可以被周期性地以低于在受關注的子區(qū)域情況下幀速率的頻率執(zhí)行，一旦被確定，被應用于多個幀。方法301可以基于事件來被觸發(fā)，例如但不限于，預定數(shù)目的幀、確定眼睛視線是否偏離所選的(即受關注的)子區(qū)域的距離度量或者用戶眨眼的指示，該指示是預期的眼睛視線偏移的可能標志。從操作325開始，視頻圖像傳感器120收集圖像數(shù)據(jù)幀。對于圖1中所示的實施例，視頻圖像傳感器120具有FOV122，其包括平臺用戶170、第二平臺用戶180以及旁觀者185。在操作330處，從視線方向分析器140接收受關注的子區(qū)域141。在操作365處，使顯示器的受關注的子區(qū)域與所收集的(一個或多個)幀的部分相關，并且與受關注的子區(qū)域?qū)乃占?一個或多個)幀的第一部分以高分辨率(例如，視頻圖像傳感器120的至少1920x1080像素的HD分辨率)被傳輸?shù)接嬎闫脚_。在操作370處，與不受關注的子區(qū)域?qū)乃占?一個或多個)幀的第二部分以低分辨率被傳輸?shù)接嬎闫脚_，該分辨率低于第一部分的分辨率。例如，在視頻圖像傳感器120以高分辨率收集的地方，自適應顯示處理器150使用任意的常規(guī)比特率整形技術降采樣所收集的(一個或多個)幀的第二部分以減少表示第二部分的數(shù)據(jù)量。因而，使比特率整形算法取決于對所顯示的輸出的用戶關注。在一個實施例中，自適應顯示處理器150相對于第一部分減少第二部分的空間(水平和/或垂直)分辨率，減少傳輸帶寬需求。舉一個例子來說，其中第一部分以對應于每掃描線1920個樣本的采樣的分辨率被傳輸，第二部分被降采樣到每掃描線1440或1280個樣本的采樣。在另一個實施例中，自適應顯示處理器150相對于第一部分減少第二幀部分的時間分辨率，以減少傳輸帶寬需求。例如，可以相對于第一部分在第二部分內(nèi)減少幀速率。顯示屏部分然后例如在圖1中通過鏈接161被傳輸?shù)接嬎闫脚_105的處理器。在操作375處，計算平臺處理器利用任意常規(guī)方法將第一和第二部分聚集成重構幀，用于輸出給顯示屏110。在一些實施例中，其中由視頻圖像傳感器所收集的圖像數(shù)據(jù)幀被輸出到顯示屏，通過可變比特率壓縮，表示受關注的子區(qū)域中的對象的數(shù)據(jù)量相對于不受關注的子區(qū)域中的那些被修改。對于這樣的實施例，圖像傳感器本地的壓縮引擎用于接收來自自適應顯示處理器150的輸出。例如，參照圖1，壓縮引擎160是硬件或者軟件，其可操作用于壓縮從視頻圖像傳感器120接收的圖像數(shù)據(jù)幀125。壓縮引擎160可以執(zhí)行本領域中已知的任意(一個或多個)壓縮算法，例如執(zhí)行一個或多個專有的或者標準兼容的編解碼器(例如，MPEG-4)用以執(zhí)行幀內(nèi)(空間)壓縮和幀間(動作)壓縮中的至少一個。在該示范性實施例中，壓縮引擎160用于執(zhí)行對所收集的圖像數(shù)據(jù)幀125的幀內(nèi)和幀間壓縮兩者。圖3C是用于適配顯示的示范性方法350的流程圖，其中壓縮引擎基于視線跟蹤信息應用所收集的圖像數(shù)據(jù)幀的可變比特率壓縮。再次從操作325開始，視頻圖像傳感器收集圖像數(shù)據(jù)幀。如圖1中所示，視頻圖像傳感器120具有FOV122，其包括平臺用戶170、第二平臺用戶180以及旁觀者185。在操作380處，可變比特率壓縮算法被應用于所收集的圖像數(shù)據(jù)幀上。在一個實施例中，與受關注的子區(qū)域?qū)乃占膸牡谝徊糠忠愿弑忍芈时粔嚎s(空間地和/或時間地)，而與不受關注的子區(qū)域?qū)乃占膸牡诙糠忠缘捅忍芈?即低于第一部分)被壓縮(空間地和/或時間地)?！ぴ诓僮?90處，被壓縮的幀例如被傳輸?shù)接嬎闫脚_105。在操作395處，計算平臺105上的與壓縮引擎160耦合的處理器然后用適當?shù)慕獯a算法(例如，如應用于每個部分)對幀的第一和第二部分解碼，以將傳輸?shù)?一個或多個)圖像數(shù)據(jù)幀聚集成重構幀，用以在顯示屏110上顯示。圖3D是進一步示出示范性可變比特率壓縮方法377的流程圖，其可以在方法350(圖3C)的操作380處被執(zhí)行。方法377從在操作330處接收(一個或多個)受關注的子區(qū)域開始。(一個或多個)受關注的子區(qū)域可以基本上如對于圖2A中的方法200所述的或者參照圖2B的方法201所述那樣被識別/確定。例如，在圖2A中的方法200的情況中，顯示屏100被劃分成由m乘η個子區(qū)域的網(wǎng)格。數(shù)目m和η可以被優(yōu)化用以最大化顯示器感知質(zhì)量與傳輸帶寬降低的組合。視線方向分析器140將來自視線跟蹤器130的眼睛視線方向模式輸出131映射到此m乘η子區(qū)域。視線模式準則橫越子區(qū)域被應用，并且受關注的子區(qū)域115被識別?；氐綀D3D，在操作378處，壓縮引擎160確定要首先基于標準壓縮算法被壓縮的像素或圖像部分。例如，在幀之間變化的圖像部分利用幀間壓縮算法來識別。在操作382處，壓縮引擎160確定那些具有差異的圖像部分中的哪些位于受關注的子區(qū)域115內(nèi)，并且在操作384處，那些差異以高比特率被發(fā)送(例如，至計算平臺105)。在操作386處，針對不受關注的子區(qū)域111的差異以低比特率(例如，比受關注的子區(qū)域低)被發(fā)送(例如，至計算平臺105)。類似地，壓縮引擎160可以按根據(jù)由視線方向分析器140識別的子區(qū)域的方式來執(zhí)行幀內(nèi)壓縮算法。例如，壓縮引擎160可以以以下方式在空間冗余算法中應用不同的閾值，所述方式在受關注的子區(qū)域115和不受關注的子區(qū)域111之間進行區(qū)別。在另一實施例中，在操作380處執(zhí)行的可變比特率壓縮可以在與顯示器的受關注的和不受關注的子區(qū)域?qū)乃占膸牟糠种g辨別I幀處理法。例如，對于與不受關注的子區(qū)域?qū)膸糠?，防止I幀從其他幀復制數(shù)據(jù)的規(guī)則可以是不嚴格的。在一些實施例中，可以采用具有包含至少平臺用戶170的FOV的視頻圖像傳感器120。然而，在其他實施例中，如由圖2B中的幀221所示，所收集的幀不包含平臺用戶170。對于這樣的實施例，所收集的圖像數(shù)據(jù)幀源自(sourceby)遠離平臺用戶位置的視頻圖像傳感器(例如，在圖1中，被聯(lián)網(wǎng)到計算平臺105上的遠程視頻圖像傳感器128)，或者之前收集的圖像數(shù)據(jù)幀的服務器(例如，通過互聯(lián)網(wǎng)127聯(lián)網(wǎng)的視頻存檔站點129)。對于這樣的實施例，遠程壓縮引擎165可以被用于響應從自適應顯示處理器150接收的信息實現(xiàn)此處所述的依賴視線的壓縮算法。也應注意的是，方法301，350和377都類似地可應用于從視頻歸檔站點129或者遠程視頻圖像傳感器128傳輸圖像數(shù)據(jù)幀。在另外的實施例中，針對多個用戶中的每一個跟蹤視線模式。例如，參考回圖1，可以針對平臺用戶170和平臺用戶180中的每一個跟蹤視線模式。由多個用戶中的每一個關注的顯示屏子區(qū)域的單獨確定于是可以被確定(例如，在操作215處)。例如，視線171的方向可以被跟蹤并且受關注的子區(qū)域115被識別，并且視線181的方向也被跟蹤并且受關注的子區(qū)域116被識別。于是，遵循此處所述的方法適配顯示屏輸出，以相對于不受關注的子區(qū)域修改受關注的子區(qū)域內(nèi)的數(shù)據(jù)量。雖然這些方法可以以該方式被擴展到多個用戶，當用戶數(shù)目增加時，帶寬減少率可能下降。然而，這將取決于所顯示的信息的性質(zhì)。例如，在一些游戲應用程序中，用戶的視線可能由于任務驅(qū)動關注而相當多地重疊。例如，在網(wǎng)球游戲中，兩個用戶的視線在游戲中將處于網(wǎng)球上是非常有可能的。在其他多用戶實施例中，例如其中`在平臺用戶170和平臺用戶180之間輪流游戲玩法，可能只針對與輸入設備(例如SonyPlayStationMoveMotionController(動作控制器))關聯(lián)的用戶執(zhí)行視線跟蹤和/或視線方向分析。在圖1所示的示范性實施例中，例如基于由視頻圖像傳感器120所收集的圖像幀，平臺用戶170與動作控制器190關聯(lián)，并且當所關聯(lián)的動作控制器190處在激活的游戲玩法模式中時，只針對平臺用戶170執(zhí)行視線模式跟蹤。當游戲玩法轉(zhuǎn)移到動作控制器195時，于是只對與該控制器相關聯(lián)的平臺用戶180執(zhí)行視線跟蹤。任意在此描述的顯示適配方法于是都可以跨多個用戶被個性化。圖4根據(jù)本發(fā)明的一個實施例進一步示出硬件和用戶接口，其可用于基于視線跟蹤適配顯示。圖4示意性示出SonyPlaystation3娛樂設備的總系統(tǒng)架構，即可以是兼容的用于實現(xiàn)此處所述的自適應顯示方法的控制臺。提供平臺單元1400，連同可連接到平臺單元1400的不同外圍設備。該平臺單元包括=Cell處理器1428;Rambus動態(tài)隨機存取存儲器(XDRAM)單元1426;具有專用視頻隨機存取存儲器(VRAM)單元1432的真實仿真器圖形單元1430；以及I/O橋1434。平臺單元1400也包含用于從盤1440A讀取的BluRayDiskBD-ROM光盤讀取器1440和可移動吸入式(slot_in)硬盤驅(qū)動器(HDD)1436，其通過I/O橋1434可訪問?？蛇x擇地，平臺單元1400還包含存儲卡讀取器1438用于讀取快閃存儲卡(compactflashmemorycard)、MemoryStick存儲卡等等，其類似地可通過I/O橋1434訪問。I/O橋1434也連接到多通用串行總線(USB)2.0端口1424;千兆位以太網(wǎng)端口1422;IEEE802.llb/g無線網(wǎng)絡(W1-Fi)端口1420;能支持高達7個藍牙連接的Bluetooth無線鏈接端口1418。在操作中，1/0橋1434處理所有無線、USB和以太網(wǎng)數(shù)據(jù)，其包括來自一個或多個游戲控制器1402的數(shù)據(jù)。例如，當用戶在玩游戲時，1/0橋1434通過藍牙鏈接從游戲(動作)控制器1402接收數(shù)據(jù)，并將其引導給Cell處理器1428，該處理器相應地更新游戲的當前狀態(tài)。無線、USB和以太網(wǎng)端口除了游戲控制器1402之外還為諸如遠程控制裝置1404；鍵盤1406;鼠標1408;便攜式娛樂設備1410如SonyPlaystation便攜式娛樂設備；視頻圖像傳感器如Playstation眼睛視頻圖像傳感器1412;麥克風耳機1414;麥克風或麥克風陣列1415或者視線跟蹤器130的其他外圍設備提供連通性。因此這樣的外圍設備原則上可以無線地連接到平臺單元1400上；例如便攜式娛樂設備1410可以通過W1-Fiad-hoc連接通信，而麥克風耳機1414可以通過藍牙鏈接通信。提供這些接口意味著Playstation3設備也可能與例如數(shù)字視頻記錄機(DVR),機頂盒，數(shù)字視頻圖像傳感器，便攜式媒體播放器，IP電話上的語音，移動電話，打印機以及掃描儀的其他外圍設備兼容。游戲控制器1402可操作用于通過藍牙鏈接與平臺單元1400無線通信，或者與USB端口連接，從而也提供用于給游戲控制器1402的電池充電的功率。游戲控制器1402也可以包含存儲器，處理器，存儲卡讀取器，永久性存儲器如閃存，光發(fā)射器如LED或者紅外光，麥克風和揚聲器，聲室，數(shù)字視頻圖像傳感器，內(nèi)部時鐘，可辨認/可識別的形狀如面向游戲控制臺的球形部分，以及采用如Bluetooth、WiFi等協(xié)議的無線通信。游戲(動作)控制器1402是被設計用雙手使用的控制器。除了一個或多個模擬操縱桿和常規(guī)控制按鈕之外，游戲控制器容許三維位置確定。因此，除了或者代替常規(guī)按鈕和操縱桿命令，游戲控制器用戶的姿勢和運動可以被轉(zhuǎn)化為游戲輸入?？蛇x地，其他無線使能外圍設備，例如Playstation便攜式設備，可以被用作控制器。在Playstation便攜式設備的情況下，可以在設備的屏幕上提供附加的游戲或者控制信息(例如，控制指令或者生命數(shù))。其他替換的或者補充的控制設備也可以被使用，例如跳舞毯(未示出)、光槍(未示出)、方向盤和踏板(未示出)等等。遠程控制器1404也可操作用于通過藍牙鏈接與平臺單元1400無線通信。遠程控制器1404包含控制裝置，其適用于BluRayTMDiskBD-ROM讀取器1440的操作以及盤內(nèi)容的導航。除了常規(guī)的預錄式和可錄的⑶以及所謂的超音頻⑶之外，BluRayTMDiskBD-ROM讀取器1440可操作用于讀取兼容于Playstation和PlayStation2設備的CD-ROM。除了常規(guī)的預錄式和可錄的DVD之外,讀取器1440也可操作用于讀取兼容于Playstation2和Playstation3設備的DVD-ROM。進一步地，讀取器1440可操作用于讀取兼容于Playstation3設備以及常規(guī)的預錄式和可錄的藍光盤的BD-R0M。平臺單元1400可操作用于通過音頻和視頻連接器將經(jīng)由真實合成器圖形單元1430由Playstation3設備生成或者解碼的音頻和視頻提供給顯示器和聲音輸出設備,例如顯示屏110。音頻連接器1450可以包含常規(guī)的模擬和數(shù)字輸出，而視頻連接器1452可以多方面地包含分量視頻，S視頻，復合視頻，以及一個或者多個高清晰度多媒體接口(HDMI)輸出。因此，視頻輸出可以處于諸如PAL或NTSC的格式，或者處于720p，1080i或1080p高清晰度。在一個實施例中，視頻圖像傳感器1412包含單獨的電荷耦合器件(CXD)以及LED指示器。傳感器1412可以進一步包含基于軟件或硬件的數(shù)據(jù)壓縮和編碼裝置，以便壓縮的視頻數(shù)據(jù)能夠以合適的格式被傳輸，例如用于由平臺單元1400解碼的基于圖像內(nèi)MPEG(活動圖像專家組(motionpictureexpertgroup))標準。視頻圖像傳感器LED指示器被設置用于響應于來自平臺單元1400的適當?shù)目刂茢?shù)據(jù)照亮，例如用于表示不利的照明條件。視頻圖像傳感器1412的實施例可以多方面地通過HDMI，USB，藍牙或者W1-Fi通信端口連接到平臺單元1400。視頻圖像傳感器的實施例可以包含一個或多個相關聯(lián)的麥克風，并且也可以能夠用于傳輸音頻數(shù)據(jù)。在視頻圖像傳感器的實施例中，CCD可以具有適用于高清晰度視頻捕捉的分辨率。在使用中，由視頻圖像傳感器捕捉到的圖像可以例如被合并到游戲內(nèi)或者被解釋為游戲控制輸入。在另一實施例中，視頻圖像傳感器是紅外視頻圖像傳感器，其適用于探測紅外光。圖5根據(jù)本發(fā)明的一個實施例示出可用于處理指令的附加硬件。圖4的Cell處理器1428如在圖5中進一步所示，具有包含4個基本部件的架構:外部輸入和輸出結構，其包含存儲器控制器1560和雙總線接口控制器1570A，B;主處理器，其被稱為主處理元件(PowerProcessingElement)1550;8個協(xié)處理器，其被稱為協(xié)同處理元件(SPE)1510A-H;以及連接以上部件的循環(huán)數(shù)據(jù)總線，其被稱為元件互連總線(EIB)1580。相比于Playstation2設備的情感引擎的6.2GFL0P，Cell處理器的總浮點性能為218GFLOPS0主處理元件(PPE)1550基于雙向同時多線程電源(Power)1470，其適應以3.2GHz的內(nèi)部時鐘運行的PowerPC核(PPU)1555。它包含512kB2級(L2)緩存1552和32kBI級(LI)緩存1551。PPE1550能夠?qū)崿F(xiàn)每時鐘循環(huán)8個單獨的位置操作，轉(zhuǎn)變?yōu)?.2GHz處的25.6GFL0P。PPE1550的主要任務是充當用于SPE1510A-H的控制器，其處理大部分的計算工作量。在操作中，PPE1550維持工作隊列，為SPE1510A-H調(diào)度任務并且監(jiān)控其進展。因此，每個SPE1510A-H運行內(nèi)核，該內(nèi)核的作用是取得工作，執(zhí)行工作，并且與PPE1550同步。每個協(xié)同處理元件(SPE)1510A-H均包含相應的協(xié)同處理單元(SPU)1520A-H，以及相應的存儲流控制器(MFC)1540A-H，所述存儲流控制器依次包含相應的動態(tài)存儲器存取控制器(DMAC)1542A-H，相應的存儲器管理單元(MMU)1544A-H，以及總線接口(未示出)。每個SPU1520A-H是RISC處理器，其以3.2GHz被時鐘控制并包含256kB本地RAM1530A-H,原則上可擴展為4GB。每個SPE給出單精度性能的理論25.6GFLOPS0SPU在單個時鐘循環(huán)內(nèi)可以對4個單精度浮點成員，4個32比特數(shù)字，8個16比特整數(shù)，或者16個8比特整數(shù)操作。在相同的時鐘循環(huán)內(nèi)，該SPU還能執(zhí)行存儲操作。SPU1520A-H不直接訪問系統(tǒng)存儲器XDRAM1426;由SPU1520A-H形成的64比特地址被傳遞給MFC1540A-H，該MFC指示其DMAC控制器1542A-H通過EIB1580和存儲器控制器1560訪問存儲器。元件互連總線(EIB)1580是Cell處理器1428內(nèi)部的邏輯循環(huán)通信總線，其連接以上處理器元件，即PPE1550，存儲器控制器1560，雙總線接口控制器1570A，B以及8個SPE1510A-H，總計12個參與者。參與者可以以每時鐘循環(huán)8字節(jié)的速率對總線同時地讀和寫。如前所注釋的，每個SPE1510A-H包含DMAC1542A-H，用于調(diào)度較長的讀或?qū)懶蛄?。EIB包含4個通道，其中兩個分別沿順時針方向和逆時針方向。因此對12個參與者，任意兩個參與者之間最長的逐步數(shù)據(jù)流在適當方向上是6步。因此，在通過在參與者之間仲裁的充分利用事件中，用于12槽的理論峰值瞬時EIB帶寬為每時鐘96B。這等于在3.2GHz時鐘速率時307.2GB/s(每秒千兆字節(jié))的理論峰值帶寬。存儲器控制器1560包含由Rambus公司開發(fā)的XDRAM接口1378。存儲器控制器以25.6GB/s的理論峰值帶寬與RambusXDRAM1426相連。雙總線接口控制器1570A，B包含RambusFlexIO系統(tǒng)接口1572A，B。接口被組織成12個通道，每個通道為8比特寬，其中5個路徑是入站，7個是出站。要理解的是以上描述意圖是說明性的，而不是限制性的。例如，盡管圖中的流程圖示出由本發(fā)明的某些實施例執(zhí)行的特定操作順序，應當理解的是，這樣的順序并不是需要的(例如，替換的實施例可以以不同的順序執(zhí)行操作，組合某些操作，重疊某些操作，等等)。此外，在閱讀和理解以上描述時，許多其他的實施例將對于本領域技術人員是顯而易見的。雖然參照具體示范性實施例描述了本發(fā)明，但將認識到，本發(fā)明并不局限于所述的實施例，而是可以在所附的權利要求的精神和范圍內(nèi)以修改與改動來實施。因此，本發(fā)明的范圍應當參照所附的權利要求連同這樣的權利要求所授權給的等價物的全部范圍來確定。權利要求1.一種用于適配顯示的方法，包括:在顯示屏上呈現(xiàn)輸出；對觀看顯示屏輸出的用戶的視線模式進行跟蹤；將視線模式映射到顯示屏的物理位置；基于該映射，確定顯示屏的被用戶正關注的子區(qū)域；以及通過相對于在顯示屏的不受關注的子區(qū)域中顯示的對象改變表示在受關注的子區(qū)域內(nèi)顯示的對象的數(shù)據(jù)量來修改顯示屏輸出。2.權利要求1的方法，其中通過將不受關注的子區(qū)域的分辨率改變?yōu)榈陀谑荜P注的子區(qū)域分辨率來修改顯示屏輸出，或者通過將受關注的子區(qū)域的分辨率改變?yōu)楦哂诓皇荜P注的子區(qū)域分辨率來修改。3.權利要求1的方法，其中映射視線模式進一步包括:將顯示屏劃分為m乘η網(wǎng)格的子區(qū)域；將視線模式度量分配給一個或者多個子區(qū)域；并且其中確定受關注的子區(qū)域進一步包括在子區(qū)域之間視線模式度量的比較。4.權利要求1的方法,進一步包括:利用視頻圖像傳感器收集圖像數(shù)據(jù)幀；以對于與受關注的子區(qū)域?qū)乃占膱D像數(shù)據(jù)幀的第一部分比對于與不受關注的子區(qū)域?qū)乃占膱D像數(shù)據(jù)幀的第二部分大的比特率將所收集的圖像數(shù)據(jù)幀傳輸給計算平臺；利用計算平臺將所收集的圖像數(shù)據(jù)幀的第一和第二部分聚集成重構圖像數(shù)據(jù)幀；并且在顯示屏上顯示重構圖像數(shù)據(jù)幀。5.權利要求4的方法，進一步包括，對于所收集的圖像數(shù)據(jù)幀的第一部分比對于所收集的圖像數(shù)據(jù)幀的第二部分應用較低的幀內(nèi)或幀間壓縮；或者對所收集的圖像數(shù)據(jù)幀的第二部分進行次采樣。6.權利要求4的方法，其中圖像數(shù)據(jù)幀以至少1920x1080像素的HD分辨率被收集，并且其中與受關注的子區(qū)域?qū)闹貥媹D像數(shù)據(jù)幀以HD分辨率被顯示，而不受關注的子區(qū)域以低于HD分辨率的分辨率被顯示。7.權利要求4的方法，其中基于所收集的圖像數(shù)據(jù)幀跟蹤用戶的視線模式。8.權利要求4的方法，其中通過對所收集的圖像幀執(zhí)行輪廓探測算法來確定與受關注的子區(qū)域?qū)乃涗浀膱D像數(shù)據(jù)幀的部分。9.權利要求8的方法，其中新的輪廓探測算法或者周期性地或者響應于接收到指示用戶眨眼或者視線偏移高于閾值而被發(fā)起。10.權利要求1的方法，其中針對多個用戶中的每一個跟蹤視線模式，其中確定由多個用戶中的每一個關注的顯示屏的子區(qū)域，并且其中針對每一個受關注的子區(qū)域修改顯示屏輸出。11.權利要求10的方法，進一步包括，基于所收集的圖像幀，將多個用戶中的用戶與輸入設備關聯(lián)，并且其中只針對與輸入設備相關聯(lián)的用戶執(zhí)行視線模式跟蹤。12.—種非暫時計算機可讀介質(zhì)，具有其上所存儲的一組指令，所述指令在被處理系統(tǒng)執(zhí)行時，使處理系統(tǒng)執(zhí)行權利要求1的方法。13.—種自適應顯不系統(tǒng),包括:具有顯示屏的計算平臺；視線跟蹤器，用于跟蹤觀看來自顯示屏的輸出的用戶的視線模式；視線方向分析器，用于將視線模式映射到顯示屏的物理位置并且基于該映射確定被用戶正關注的顯示屏的子區(qū)域；以及自適應顯示處理器，用于相對于在顯示屏的不受關注的子區(qū)域中顯示的對象改變表示在受關注的子區(qū)域內(nèi)顯示的對象的數(shù)據(jù)量。14.權利要求13的系統(tǒng)，其中自適應顯示處理器用于通過將不受關注的子區(qū)域的分辨率改變?yōu)榈陀谑荜P注的子區(qū)域分辨率，或者通過將受關注的子區(qū)域的分辨率改變?yōu)楦哂诓皇荜P注的子區(qū)域分辨率來修改顯示屏輸出。15.權利要求13的系統(tǒng)，其中視線方向分析器用于通過將顯示屏劃分成m乘η網(wǎng)格的子區(qū)域并且將視線模式度量分配給一個或多個子區(qū)域來映射視線模式；并且其中視線方向分析器用于基于子區(qū)域之間視線模式度量的比較來確定受關注的子區(qū)域。16.權利要求15的系統(tǒng)，其中視線模式度量可以是如下中的任一個:多個注視，視線模式掃描長度，或者視線模式掃描區(qū)。17.權利要求13的系統(tǒng)，進一步包括視頻圖像傳感器，用來收集圖像數(shù)據(jù)幀，其中自適應顯示處理器用于以對于與受關注的子區(qū)域?qū)乃占膱D像數(shù)據(jù)幀的第一部分比對于與不受關注的子區(qū)域?qū)乃占膱D像數(shù)據(jù)幀的第二部分大的比特率使所收集的圖像數(shù)據(jù)幀傳輸給計算平臺，并且其中計算平臺用于將所收集的圖像數(shù)據(jù)幀的第一和第二部分聚集成重構圖像數(shù)據(jù)幀，并且其中顯示屏用于顯示重構圖像數(shù)據(jù)幀。18.權利要求17的系統(tǒng)，進一步包括壓縮引擎，用于對于所收集的圖像數(shù)據(jù)幀的第一部分比對于所收集的圖像數(shù)據(jù)幀的第二部分應用較低的幀內(nèi)或幀間壓縮；或者其中自適應顯示處理器用于對所收集的圖像數(shù)據(jù)幀的第二部分進行次采樣。19.權利要求17的系統(tǒng)，其中視頻圖像傳感器用于以至少1920x1080像素的HD分辨率收集圖像數(shù)據(jù)幀，并且其中顯示屏用于以HD分辨率顯示與受關注的子區(qū)域?qū)闹貥媹D像數(shù)據(jù)幀并且以低于HD分辨率的分辨率顯示不受關注的子區(qū)域。20.權利要求13的系統(tǒng)，其中視線跟蹤器用于基于所收集的圖像數(shù)據(jù)幀跟蹤用戶的視線模式。21.權利要求13的系統(tǒng)，其中視線方向分析器用于通過對所收集的圖像幀執(zhí)行輪廓探測算法來確定與受關注的子區(qū)域?qū)乃涗浀膱D像數(shù)據(jù)幀的部分。22.權利要求21的系統(tǒng)，其中視線方向分析器用于或者周期性地或者響應于接收到指示用戶眨眼或者視線偏移高于閾值而發(fā)起新的輪廓探測算法。23.權利要求13的系統(tǒng)，其中視線跟蹤器用于對于多個用戶中的每一個跟蹤視線模式，其中視線方向分析器用于確定由多個用戶中的每一個關注的顯示屏的子區(qū)域。24.權利要求23的系統(tǒng)，進一步包括可被計算平臺識別的用戶輸入設備，并且其中視線跟蹤器用于只跟蹤基于所收集的圖像數(shù)據(jù)幀與輸入設備相關聯(lián)的用戶的視線模式。全文摘要本發(fā)明涉及用于基于顯示器用戶關注適配顯示屏輸出的方法和系統(tǒng)。采用視線方向跟蹤來確定用戶正關注的顯示屏區(qū)的子區(qū)域。受關注的子區(qū)域的顯示相對于顯示屏的剩余部分被修改，例如，通過相對于在顯示屏的不受關注的子區(qū)域中顯示的對象改變表示在受關注的子區(qū)域內(nèi)顯示的對象的數(shù)據(jù)量。文檔編號A61B3/14GK103249352SQ201180059058公開日2013年8月14日申請日期2011年6月15日優(yōu)先權日2010年12月8日發(fā)明者O.卡林利申請人:索尼電腦娛樂公司