本說明書中描述的技術涉及用于處理追蹤觀察者的移動的圖像的信息處理裝置、信息處理方法、計算機程序以及圖像處理系統。

背景技術：

已知佩帶在用戶的頭部或面部上的圖像顯示裝置(即，頭戴式顯示器)。頭戴式顯示器在右眼和左眼兩者上設置有圖像顯示單元并且被配置為能夠與聽筒一起使用控制視覺和聽覺感知。用于在佩帶在頭部上時完全遮住外部世界的配置在觀看期間提高虛擬現實。頭戴式顯示器能夠將不同的視頻圖像投影到每個眼鏡上并能夠通過在左眼和右眼上顯示具有視差的圖像呈現3D圖像。

這類頭戴式顯示器在眼睛的視網膜上形成虛擬圖象以允許用戶對其進行觀察。在這點上，虛擬圖象形成在比焦距更靠近透鏡的物體側。作為一個實例，已開發(fā)了一種頭戴式顯示器，頭戴式顯示器通過將廣視角的虛擬圖像光學系統放置成與瞳孔的前部間隔開25毫米并將具有大約0.7英寸的有效像素范圍的尺寸的顯示面板進一步放置在廣視角光學系統的前方來在用戶的瞳孔上形成顯示圖像的放大虛擬圖像(例如，參見專利文獻1)。

用戶能夠觀察通過使用這類頭戴式顯示器對廣角圖像的一部分進行分割獲得的圖像。作為一個實例，已開發(fā)了一種頭戴式顯示器，頭戴式顯示器允許通過在頭部上安裝包括陀螺儀傳感器等的頭部運動追蹤設備并通過使其追蹤用戶的頭部的移動實現360度旋轉視圖的視頻圖像的真實體驗(參見專利文獻2和3)?？梢酝ㄟ^在廣角圖像中移動顯示區(qū)域以取消陀螺儀傳感器檢測的頭部的移動來實現自由視點觀看和視點移動環(huán)境。

技術實現要素：

技術問題

本說明書中描述的技術的目的是提供能夠適當地處理追蹤觀察者的移動的圖像的一種改善的信息處理裝置、信息處理方法、計算機程序、和圖像處理系統。

解決的問題

已考慮到上述問題做出本申請，并且權利要求1中描述的技術是信息處理裝置，包括：接收器，被配置為接收關于觀察者的頭部的姿勢的第一信息和關于觀察者的除頭部以外身體的姿勢的第二信息；以及圖像渲染處理單元(image rendering processing unit)，被配置為基于第一信息和第二信息生成對應于觀察者的姿勢的顯示圖像。

根據在權利要求2中描述的技術，根據權利要求1所述的信息處理裝置的接收器接收至少觀察者的軀干的姿勢作為第二信息，并且圖像渲染處理單元通過基于第一信息在自由視點空間中定向觀察者的視線方向并通過基于從第二信息獲得的觀察者的軀干的姿勢在自由視點空間中定向觀察者的身體的朝向(視點位置)生成追蹤觀察者的頭部的姿勢的自由視點圖像。

根據在權利要求3中描述的技術，當接收用于指示觀察者在自由視點空間中移動的控制信號作為輸入時，根據權利要求2所述的信息處理裝置的圖像渲染處理單元通過將基于從第二信息獲得的觀察者的軀干的姿勢定向的身體的朝向識別為前向方向確定移動之后的點(視點位置)。

根據在權利要求4中描述的技術，根據權利要求1所述的信息處理裝置的圖像渲染處理單元通過基于第一信息在自由視點空間中定向觀察者的視線方向并通過布置在基于從第二信息獲得的姿勢定向的固定位置中生成追蹤觀察者的頭部的姿勢的自由視點圖像。

根據在權利要求5中描述的技術，根據權利要求1所述的信息處理裝置的接收器接收至少觀察者的軀干的姿勢作為第二信息，并且圖像渲染處理單元通過基于第一信息在自由視點空間中定向觀察者的視線方向，通過基于從第二信息獲得的觀察者的軀干的姿勢在自由視點空間中定向觀察者的身體的朝向(視點位置)，并通過將預定圖像控件布置在基于從觀察者的軀干的姿勢定向的固定位置中生成追蹤觀察者的頭部的姿勢的自由視點圖像。

根據在權利要求6中描述的技術，根據權利要求1至5中任一項所述的信息處理裝置，進一步包括被配置為獲得校準參數的校準處理單元。圖像渲染處理單元使用通過校準參數校正的姿勢信息執(zhí)行圖像生成。

根據在權利要求7中描述的技術，根據權利要求8所述的信息處理裝置的校準處理單元，基于從第一信息獲得的頭部姿勢信息和從第二信息獲得的第二姿勢信息計算用于校正第二姿勢信息的校準參數并且使用校準參數校正第二姿勢信息。

根據在權利要求8中描述的技術，根據權利要求7所述的信息處理裝置的校準處理單元通過使用頭部姿勢信息和第二姿勢信息計算用于將第二姿勢信息與頭部姿勢信息匹配的姿勢轉換參數作為校準參數。

根據在權利要求9中描述的技術，由四元數(quaternion)表示姿勢信息。根據權利要求7所述的信息處理裝置的校準處理單元通過將頭部姿勢信息從右邊乘以第二姿勢信息的四元數的倒數計算用于校正第二姿勢信息的校準四元數，并且通過將第二姿勢信息的四元數從左邊乘以校準四元數執(zhí)行校正。

根據在權利要求10中描述的技術，根據權利要求6所述的信息處理裝置的校準處理單元基于從第一信息獲得的頭部姿勢的坐標系和從第二信息獲得的姿勢的坐標系的某個時段的旋轉位移以及人體的特性估計用于校正第二姿勢信息的校準參數。

根據在權利要求11中描述的技術，根據權利要求6所述的信息處理裝置的校準處理單元將基于從第一信息獲得的頭部姿勢信息和從第二信息獲得的第二姿勢信息計算的某個時段的校準參數的時間序列平均值設置為最后校準參數。

根據在權利要求12中描述的技術，由四元數表示姿勢信息。信息處理裝置的校準處理單元通過在基于從重新接收的第一信息和第二信息中的每一個獲得的姿勢信息的四元數重新計算的校準四元數與由時間序列平均值確定的最后校準四元數之間執(zhí)行球面線性內插更新校準四元數。

根據在權利要求13中描述的技術，基于第二信息計算觀察者的軀干的姿勢，并且當重力方向被設為旋轉軸線時，根據權利要求11所述的信息處理裝置的校準處理單元確定分別從重新接收的第一信息和第二信息獲得的頭部和軀干的姿勢信息的旋轉方向的角度差的平均值，并計算重力方向上的校準參數和平均值。

根據在權利要求14中描述的技術，根據權利要求1所述的信息處理裝置的圖像渲染處理單元基于從第一信息獲得的頭部姿勢與從第二信息獲得的軀干姿勢之間的差異處理顯示單元上的顯示圖像。

根據在權利要求15中描述的技術，在根據權利要求2和3中任一項所述的信息處理裝置中，圖像渲染處理單元通過在生物安全支持模式(biosafety support mode)下以自由視點空間中的頭部姿勢與軀干姿勢之間的差異減少的方式校正世界坐標系生成自由視點圖像。

根據在權利要求16中描述的技術，根據權利要求2和3中任一項所述的信息處理裝置的圖像渲染處理單元通過在設置生物安全支持模式時的時間點在自由視點空間中固定頭部姿勢并通過在生物安全支持模式下根據由頭部姿勢檢測單元檢測的頭部姿勢在自由視點空間中改變軀干姿勢生成自由視點圖像。

根據在權利要求17中描述的技術，在根據權利要求15和16中任一項所述的信息處理裝置中，當從第一信息獲得的頭部姿勢與從第二信息獲得的軀干姿勢之間的差異超過第一閾值的狀態(tài)持續(xù)某個時間時設置生物安全支持模式，并且當差異小于或等于第二閾值時釋放生物安全支持模式，第二閾值小于第一閾值。

在權利要求18中描述的技術是一種信息處理方法，包括：接收步驟，接收關于觀察者的頭部的姿勢的第一信息和關于觀察者的除身體的頭部以外的姿勢的第二信息；以及圖像渲染處理步驟，基于第一信息和第二信息生成對應于觀察者的姿勢的顯示圖像。

在權利要求19中描述的技術是一種計算機程序，其以計算機可讀格式編寫，用于使計算機用作：頭部姿勢操作單元，被配置為基于通過在頭部姿勢檢測單元中的檢測獲得的結果計算觀察者的頭部的姿勢信息，頭部姿勢檢測單元被配置為檢測觀察者的頭部的姿勢；第二姿勢操作單元，被配置為基于通過第二姿勢檢測單元中的檢測獲得的結果計算觀察者的除頭部以外的身體的第二部分的姿勢信息，第二姿勢檢測單元被配置為檢測第二部分的一個或多個的姿勢；以及圖像渲染處理單元，被配置為基于觀察者的頭部的姿勢和第二部分的姿勢處理待顯示在顯示單元上的圖像，顯示單元被固定至觀察者的頭部或面部。

根據本申請的權利要求19所述的計算機程序定義一種以計算機可讀格式描述的計算機程序，以便在計算機上執(zhí)行預定處理。換言之，通過將根據本申請的權利要求19的計算機程序安裝在計算機中，在計算機上發(fā)揮協作作用，使得可以提供與根據本申請的權利要求1所述的信息處理裝置的效果相同的操作效果。

在權利要求20中描述的技術是圖像處理系統，包括：顯示單元，被固定至觀察者的頭部或面部；頭部姿勢檢測單元，被配置為檢測觀察者的頭部的姿勢；第二姿勢檢測單元，被配置為檢測身體的觀察者的除頭部以外的一個或多個第二部分的姿勢；以及圖像渲染處理單元，被配置為基于觀察者的頭部的姿勢和第二部分中的每一個的姿勢處理顯示單元上的顯示圖像。

有益效果

根據本說明書中描述的技術是提供能夠適當地處理追蹤觀察者的移動的圖像的一種改善的信息處理裝置、信息處理方法、計算機程序、和圖像處理系統。

應注意，在本說明書中描述的有益效果僅為了示例，并且本發(fā)明的有益效果不限于此。此外，在一些情況下，本發(fā)明還可以表現出除以上給出的有益效果以外的附加有益效果。

將基于在下文中論述的示例性實施方式和附圖通過更詳細說明闡明在本說明書中公開的技術的進一步目的、特征、以及優(yōu)點。

附圖說明

[圖1]圖1是示意性地示出應用本文中公開的技術的圖像顯示系統100的示例性配置的示圖。

[圖2]圖2是示出了圖像顯示系統100的變形的示圖。

[圖3]圖3是示出了圖像顯示系統100的變形的示圖。

[圖4]圖4是示出了圖像顯示系統100的另一變形的示圖。

[圖5]圖5是佩帶顯示設備500的用戶的俯視圖。

[圖6]圖6是佩帶顯示設備500的用戶的前視圖。

[圖7]圖7是示出了用于渲染僅追蹤用戶頭部的移動的自由視點圖像的處理過程的流程圖。

[圖8]圖8是示出了如何基于從頭部運動追蹤設備200和軀干運動追蹤設備300中的每一個提供的姿勢信息在自由視點空間中單獨定向用戶的視線方向和軀干朝向的示圖。

[圖9]圖9是示出了通過考慮用戶的頭部的頭部姿勢和身體姿勢渲染自由視點圖像的處理過程的流程圖。

[圖10]圖10是示出以描述僅追蹤用戶頭部的移動的自由視點圖像的示圖。

[圖11]圖11是示出以描述通過考慮用戶的頭部姿勢和身體姿勢生成的自由視點圖像的示圖。

[圖12]圖12是示出了使用通過校準參數校正的姿勢信息渲染自由視點圖像的處理過程的流程圖。

[圖13]圖13是示出了使用通過校準參數校正的姿勢信息渲染自由視點圖像的另一處理過程的流程圖。

[圖14]圖14是示出了使用通過校準參數校正的姿勢信息渲染自由視點圖像的又一處理過程的流程圖。

[圖15]圖15是示出了用于處理自動校準的過程的流程圖。

[圖16]圖16是示出了用于處理自動校準的另一過程的流程圖。

[圖17]圖17是示出了如何移動自由視點圖像使得通過在圖像中移動固定點1701用戶的視線方向1702朝向軀干的前方方向返回至初始位置的示圖。

[圖18]圖18是示出了自由視點圖像的圖像渲染處理過程的流程圖，其包括使用第一方法減少或避免用戶的不自然的觀看姿勢的過程。

[圖19]圖19是示出了自由視點圖像的圖像渲染處理過程的流程圖，其包括使用第二方法減少或避免用戶的不自然的觀看姿勢的過程。

[圖20]圖20是示出了自由視點圖像的圖像渲染處理過程的流程圖，其包括使用第二方法減少或避免用戶的不自然的觀看姿勢的過程。

[圖21]圖21是示出了四元數q的示圖。

[圖22]圖22是示出了通過球面線性內插(Slerp)補償四元數的方法的示圖。

[圖23]圖23是示出了通過將UI控件布置在基于用戶的軀干姿勢定向的固定位置中來渲染自由視點圖像的處理過程的流程圖。

[圖24]圖24是示出了通過將UI控件布置在基于用戶的軀干姿勢定向的固定位置中來渲染自由視點圖像的處理過程的流程圖。

[圖25]圖25是示出了當將UI控件布置在基于用戶的頭部姿勢定向的固定位置中時用于渲染自由視點圖像的處理過程的示圖。

[圖26]圖26是示出了當將UI控件布置在基于用戶的頭部姿勢定向的固定位置中時用于渲染自由視點圖像的處理過程的示圖。

[圖27]圖27是示出了當將UI控件布置在基于用戶的頭部姿勢定向的固定位置中時用于渲染自由視點圖像的處理過程的示圖。

[圖28]圖28是示出了當將UI控件布置在基于用戶的頭部姿勢定向的固定位置中時用于渲染自由視點圖像的處理過程的示圖。

[圖29]圖29是示出了當將UI控件布置在基于用戶的軀干姿勢定向的固定位置中時的自由視點圖像的顯示實例的示圖。

[圖30]圖30是示出了當將UI控件布置在基于用戶的軀干姿勢定向的固定位置中時的自由視點圖像的顯示實例的示圖。

[圖31]圖31是示出了當將UI控件布置在基于用戶的軀干姿勢定向的固定位置中時的自由視點圖像的顯示實例的示圖。

[圖32]圖32是示出了當將UI控件布置在基于用戶的軀干姿勢定向的固定位置中時的自由視點圖像的顯示實例的示圖。

具體實施方式

在下文中將參考附圖詳細描述本說明書中所公開的技術的實施方式。

A.系統配置

圖1是示意性地示出了應用本文中公開的技術的圖像顯示系統100的示例性配置。所示出的圖像顯示系統100被配置為包括頭部運動追蹤設備200、軀干運動追蹤設備300、圖像渲染設備400、以及顯示設備500。

當佩帶在觀察在顯示設備500上顯示的圖像的用戶頭部上時使用頭部運動追蹤設備200，并以預定發(fā)送間隔將用戶頭部的姿勢信息輸出至圖像渲染設備400。當佩帶在用戶的軀干上時使用軀干運動追蹤設備300并以預定發(fā)送間隔將用戶的軀干的姿勢信息輸出至圖像渲染設備400。在所示出的實例中，頭部運動追蹤設備200被配置為包括傳感器單元201、姿勢角度操作單元202、以及用于將所獲得的姿勢信息發(fā)送至圖像渲染設備400的發(fā)送器203。軀干運動追蹤設備300被配置為包括傳感器單元301、姿勢角度操作單元302、以及用于將所獲得的姿勢信息發(fā)送至圖像渲染設備400的發(fā)送器303。頭部運動追蹤設備200和軀干運動追蹤設備300的不同之處可僅在于其附接至用戶的身體的部分或者彼此附接的方法，但在內部配置和操作特征上可彼此相似。下面僅對頭部運動追蹤設備200的內部配置進行描述，但軀干運動追蹤設備300的內部配置同樣適用。

作為一個實例，通過多個傳感器設備(諸如，陀螺儀傳感器、加速度傳感器、以及地磁傳感器)的組合配置傳感器單元201。在該說明書中，這是可檢測總共九個軸的傳感器(包括三軸陀螺儀傳感器、三軸加速度傳感器、以及三軸地磁傳感器)。姿勢角度操作單元202基于通過檢測傳感器單元201中的九個軸獲得的結果對諸如其所附接的用戶的頭部的部分的姿勢信息執(zhí)行運算。發(fā)送器203將所獲得的姿勢信息發(fā)送至圖像渲染設備400。然而，當軀干運動追蹤設備300僅必須檢測用戶的軀干的朝向時，傳感器單元301可被配置為具有僅設置有陀螺儀傳感器且不必是九個軸的檢測傳感器的簡單結構。

在本實施方式中，通過用四元數的形式表示其來處理頭部或軀干的姿勢信息。由于不存在奇點，因此四元數適于使用計算機的計算。在計算計制圖的領域中，通常使用四元數表示物體的姿勢。如在以下式(1)和圖21中所示出的，四元數q是包括旋轉軸(矢量)和旋轉角度(標量)的四元數。

[數學式1]

然而，在頭部運動追蹤設備200或軀干運動追蹤設備300中，不必對由傳感器201和301檢測的姿勢角的信息中由四元數表示的姿勢信息執(zhí)行運算。頭部運動追蹤設備200或軀干運動追蹤設備300可以將其中用除了四元數以外的形式表示姿勢角度的信息發(fā)送至圖像渲染設備400，用以允許在圖像渲染設備400側上計算四元數。如在圖2中示出的，頭部運動追蹤設備200或軀干運動追蹤設備300可以在沒有任何修改地輸出傳感器單元201和傳感器單元301的傳感器信息，以允許布置在圖像渲染設備400中的姿勢角度操作單元202以四元數的形式或其他形式從傳感器信息中計算姿勢角度。

在所示出的圖像顯示系統100中，通過無線通信(諸如，藍牙(注冊商標)通信)在頭部運動追蹤設備200與圖像渲染設備400之間以及軀干運動追蹤設備300與圖像渲染設備400之間建立連接?？梢越浻筛咚儆芯€接口(諸如，通用串行總線(USB))代替無線通信在頭部運動追蹤設備200與圖像渲染設備400之間以及軀干運動追蹤設備300與圖像渲染設備400之間有保證地建立連接。

圖像渲染設備400對在顯示設備500上顯示的圖像執(zhí)行渲染處理。作為一個實例，圖像渲染設備400可被配置為配備有安卓(注冊商標)的終端，諸如，智能手機和平板電腦、個人計算機、或游戲機，但不限于這些設備。

在所示出的實例中，圖像渲染設備400被配置為包括用于從頭部運動追蹤設備200和軀干運動追蹤設備300接收姿勢信息的接收器401，用于基于姿勢信息執(zhí)行圖像的渲染處理的圖像渲染處理單元402，用于將渲染圖像發(fā)送至顯示設備500的發(fā)送器402，以及用作圖像數據的源的圖像源404。盡管未示出，圖像渲染設備400可被配置為包括音頻輸出單元。

接收器401經由藍牙(注冊商標)通信等從頭部運動追蹤設備200和軀干運動追蹤設備300接收姿勢信息。如上所述，用四元數形式(quaternion form)表示來自頭部運動追蹤設備200的姿勢信息。

作為一個實例，圖像源404包括：存儲設備，諸如，硬盤驅動器(HDD)和固態(tài)驅動器(SSD)，用于記錄圖像內容；媒介回放設備，用于回放記錄媒介，諸如，藍光(注冊商標)；廣播調諧器，用于選擇信道以接收由游戲機或數字廣播信號產生的游戲圖像；通信接口，用于接收在互聯網上從服務器流式傳輸的圖像內容；以及無線接口，用于無線接收由設置在移動設備(諸如，無線電控制車和汽車)上的外部相機捕捉的圖像。

圖像渲染處理單元402渲染在顯示設備500一側顯示的來自圖像源404的圖像數據的圖像。作為一個實例，圖像渲染處理單元402通過將對應于用戶的頭部和軀干的姿勢信息的顯示視角進行分割渲染自由視點圖像，自由視點圖像是由接收器401從全方位類型的原始圖像或具有廣視角的原始圖像(諸如，從圖像源404提供的4K)接收的。設想互聯網上的服務器渲染自由視點圖像的示例性系統配置。在這種情況下，作為一個實例，優(yōu)選的是，頭部運動追蹤設備200或軀干運動追蹤設備300中的每一個將姿勢信息發(fā)送至用作圖像渲染設備400的服務器，并且顯示設備500接收并顯示由服務器分割的圖像。

作為一個實例，經由有線電纜(諸如，高清晰度多媒體接口(HDMI，注冊商標)和動高清晰度連接(MHL))在圖像渲染設備400與顯示設備之間建立連接。替換地，可以通過無線通信(諸如，wirelessHD和Miracast)建立這種連接。發(fā)送器403使用通信路徑中的任何一個將由圖像渲染處理單元402渲染的未壓縮圖像數據(或者，也可采用壓縮圖像數據)發(fā)送至顯示設備500。

顯示設備500被配置為包括用于從圖像渲染設備400接收圖像數據的接收器501和用于顯示所接收的圖像的顯示單元502。作為一個實例，顯示設備500(或顯示單元502)被配置為頭戴式顯示器，頭戴式顯示器被固定到觀察圖像的用戶的頭部或面部部分(例如，參見專利文獻1)。

作為一個實例，接收器501經由通信路徑(諸如，HDMI(注冊商標)和MHL)從圖像渲染設備400接收圖像數據。當存在壓縮圖像數據時，接收器執(zhí)行解碼和解壓縮處理。顯示單元502在屏幕上顯示所接收的圖像數據。

作為一個實例，當顯示設備500被配置為頭戴式顯示器時，顯示單元502設置有分別固定地安裝在用戶的左眼和右眼中的左屏幕和右屏幕，并且顯示左眼圖像和右眼圖像。作為一個實例，顯示單元502的屏幕包括顯示面板或激光掃描顯示器(諸如，視網膜直接顯示器)，顯示面板包括微型顯示器(諸如，有機電動發(fā)光設備(OLED))和液晶顯示器(LCD)。顯示單元502設置有虛擬圖像光學系統，虛擬圖像光學系統擴大顯示屏幕，對其進行投影，并將具有預定圖像視角的放大的虛擬圖象聚焦在用戶的瞳孔上。

作為一個實例，在圖像渲染設備400一側，渲染通過從全方位類型的原始圖像或具有廣視角的原始圖像(諸如,4K)中分割對應于用戶的頭部和軀干的姿勢信息的顯示視角獲得的圖像。在顯示設備500一側，移動原始圖像中的顯示區(qū)域以抵消用戶的頭部的姿勢的改變。因此，可以再現追蹤頭部的移動的自由視點圖像，從而允許用戶體驗大屏幕的觀看。顯示設備500可以根據圖像的移動定位聲音圖像的方向。

圖3示意性地示出了圖像顯示系統100的變形。在圖1和圖2中示出的實例中，圖像顯示系統100被配置為包括四個單獨的設備，即，頭部運動追蹤設備200、軀干運動追蹤設備300、圖像渲染設備400、以及顯示設備500。然而，在圖3中示出的實例中，在顯示設備500中配備圖像渲染設備400的功能。在圖3中，由相同的參考標號表示與圖1中包含的部件相同的部件。如在圖1中示出的，如果頭部運動追蹤設備200或軀干運動追蹤設備300中至少一個被配置為與顯示設備500分開出售的可選擇產品(附帶商品，諸如，配件)，則顯示設備500將是緊湊的、重量輕的、且便宜的。

圖4示意性地示出了圖像顯示系統100的另一變形。在圖1和圖2中示出的實例中，圖像顯示系統100被配置為包括四個單獨的設備，即，頭部運動追蹤設備200、軀干運動追蹤設備300、圖像渲染設備400、以及顯示設備500。然而，在圖4中示出的實例中，在顯示設備500中配備頭戴式顯示器和圖像渲染設備400的功能。在圖4中，由相同的參考標號表示與圖1中包含的部件相同的部件。如在圖1中示出的，只有軀干運動追蹤設備300可被配置為用作外部連接至顯示設備500的設備。

圖5和圖6示出了用戶1如何使用圖像顯示系統100。圖5是佩帶顯示設備500的用戶1的俯視圖，以及圖6是佩帶顯示設備500的用戶1的前視圖。

顯示設備500是頭戴式顯示器，并具有易于佩帶在人的頭部上的外觀構造，諸如，類似眼鏡或者類似帽子的構造。用戶1將顯示設備500佩帶在頭部上。頭部運動追蹤設備200(作為顯示設備500的配件)相似地附接至用戶1的頭部以檢測用戶1的頭部的姿勢信息。

如在圖6中示出的，軀干運動追蹤設備300附接至用戶1的軀干以檢測用戶1的軀干的姿勢信息。在所示出的實例中，盡管軀干運動追蹤設備300附接至用戶1的腰部附近，但其可以附接至除了腰部以外的部分(諸如，臂部或肩部)，只要檢測的姿勢信息可對應于用戶1的軀干的朝向。在所示出的實例中，軀干運動追蹤設備300包含于附接至用戶1的軀干的盒子600中。

盒子600可以是專用設備，或者可以是具有內置陀螺儀傳感器的設備，諸如，游戲機控制器。在后者的情況下，盒子600位于顯示設備500(諸如，頭戴式顯示器)與軀干運動追蹤設備300之間。軀干運動追蹤設備300可被配置為整體包括圖像渲染設備400的功能的設備，諸如，智能手機或平板電腦終端。用戶1將軀干運動追蹤設備300附接至軀干的方式是可選擇的，但盒子600不必設置在它們之間?？紤]到用戶的可用性，優(yōu)選允許用戶選擇性地選擇附接有軀干運動追蹤設備300的位置而不是嚴格限定附接位置。作為一個實例，設想用戶將其放入口袋的狀態(tài)或者用戶將其鉤在皮帶上的狀態(tài)。除此之外，附接至用戶1的軀干的軀干運動追蹤設備300的數目不限于一個，但可以布置兩個或更多個設備，從而根據具有高精確度的設備的數目檢測軀干的朝向。

如上所述，經由無線通信(諸如，藍牙(注冊商標)通信)或高速有線接口(諸如，通用串行總線(USB))在頭部運動追蹤設備200與圖像渲染設備400以及軀干運動追蹤設備300與圖像渲染設備400之間建立連接。

當用戶觀看在顯示設備500上顯示的圖像的同時用戶1改變他的頭部或軀干的朝向。圖像渲染設備400基于由頭部運動追蹤設備200和軀干運動追蹤設備300檢測的方向生成自由視點圖像(free viewpoint image)，并且然后將其輸出至顯示設備500。

應用為顯示設備500的頭戴式顯示器可被配置為所謂的沉浸(immersive)、透視、視頻透視中的任一個。

作為一個實例，沉浸頭戴式顯示器附接至用戶的頭部或面部以覆蓋用戶的眼睛，并且設置有布置為面向用戶的眼睛的顯示單元(諸如，LCD和OLED)。由于這個原因，佩帶沉浸頭戴式顯示器的用戶難以看到外面的風景(即，現實世界的風景)。換言之，只有在顯示單元上顯示的視頻圖像落在視野內，并且因此，可以為觀看圖像的用戶提供沉浸的感覺。

透視頭戴式顯示器設置有包括半反射鏡或導光板的透明的虛擬圖像光學系統使得虛擬圖像光學系統可以面向用戶的眼睛，并在虛擬圖像光學系統的內部顯示圖像。因此，即使在用戶觀看在虛擬圖像光學系統的內部顯示的圖像時的時間期間，佩帶透視頭戴式顯示器的用戶可通過圖像看到外面的風景。

作為一個實例，視頻透視頭戴式顯示器附接至用戶的頭部或面部以覆蓋用戶的眼鏡，并設置有顯示單元，顯示單元布置為面向用戶的眼睛，視頻透視頭戴式顯示器與沉浸頭戴式顯示器相似。然而，視頻透視頭戴式顯示器可被配置為還包括用于捕捉周圍的風景的圖像捕捉單元(諸如，相機)，從而通過顯示單元上的圖像捕捉單元顯示沿著用戶的視線捕捉的圖像。盡管佩帶視頻透視頭戴式顯示器的用戶不能直接看到外面的風景，但用戶可通過在顯示單元上顯示的所捕捉的圖像觀察外面的風景。

B.自由視點圖像的圖像渲染處理

將描述由圖像顯示系統100顯示的自由視點圖像的圖像渲染處理。

在設置有僅安裝在用戶的頭部上的陀螺儀傳感器的頭戴式顯示器的情況下(例如，參見專利文獻2和3)，可以從頭部的位移中檢測用戶的視線，從而呈現追蹤用戶的頭部的移動的自由視點圖像。

圖7通過流程圖示出了用于在圖像顯示系統100中渲染追蹤用戶頭部的移動的自由視點圖像的處理過程。僅追蹤用戶頭部的移動意味著考慮用戶頭部的姿勢，而不考慮用戶的身體。更具體地，這表示圖像渲染設備400僅從頭部運動追蹤設備200接收姿勢信息q^H作為輸入，但不從軀干運動追蹤設備300接收姿勢信息q^B。

在頭部運動追蹤設備200中，傳感器單元201檢測用戶頭部的姿勢(步驟S701)，并且姿勢角度操作單元202基于檢測結果對表示用戶頭部的姿勢的四元數q^H執(zhí)行運算(步驟S702)并通過發(fā)送器203將其發(fā)送至圖像渲染設備400。

圖像渲染設備400從頭部運動追蹤設備200接收表示頭部的姿勢的四元數q^H并接收用于在自由視點空間移動的控制信號v(諸如，位移速度和位移量)作為輸入(步驟S703)。作為一個實例，當生成三維圖像(諸如，游戲)時，圖像渲染設備400接收對應于游戲控制器的操縱桿等的操縱變量的控制信號v作為輸入。通過使智能手機顯示用戶要操縱的操縱屏幕，可以接收控制信號v作為輸入。替換地，可以輸入使用安裝在外部的相機等檢測的用戶的頭部的物理位置的移動作為控制信號v。

圖像渲染處理單元402根據所輸入的控制信號v計算自由視點空間中的移動量Δ^H(步驟S704)。在該處理例程中，不使用可從軀干運動追蹤設備300獲得的用戶的軀干的姿勢信息，并且因此，控制信號v可僅與用戶頭部的姿勢信息q^H相關聯，并且如在以下式(2)中示出的確定移動量Δ^H。在以下式(2)中，g是用于基于表示姿勢信息的四元數q^H從表示位移速度或位移量的控制信號v中計算自由視點空間中的移動量Δ^H的函數。

[數學式2]

Δ^H＝g(v，q^H)…(2)

圖像渲染處理單元402計算通過在自由視點空間中沿著用戶頭部的姿勢q^H的方向(視線方向)將當前點移動移動量Δ^H獲得的點p^H(步驟S705)。與用戶頭部的姿勢q^H相關聯的點p^H被設為新視點位置，從視點位置p^H渲染在表示為四元數q^H的視線方向看到的圖像I^H(步驟S706)，并且然后在顯示設備500上顯示所渲染的圖像作為輸出。如在以下式(3)中示出的，基于用于生成從視點位置p^H和視線方向q^H看到的圖像的函數f生成在這個過程中獲得的自由視點圖像I^H。

[數學式3]

I^H＝f(p^H，q^H)…(3)

在從檢測用戶頭部的姿勢到顯示追蹤姿勢的圖像的時間期間，存在由于各種原因引起的時間延遲，諸如，當頭部運動追蹤設備200將姿勢信息發(fā)送至圖像渲染設備400時發(fā)生的發(fā)送延遲，當圖像渲染設備400對圖像執(zhí)行渲染處理時發(fā)生的渲染延遲，以及當顯示設備500顯示圖像渲染數據時發(fā)生的顯示延遲。如果延遲時間增加，則渲染對應于頭部的先前姿勢的圖像。因此，圖像追蹤頭部的運動的身體感覺劣化，這不利地使用戶經歷運動病(motion sickness，暈動病)。因此，圖像渲染設備400可被配置為通過考慮延遲時間執(zhí)行圖像校正。作為一個實例，在轉讓給本申請人的PCT/2014/079205的說明書中公開的圖像處理技術是可適用的(圖像渲染設備400預測延遲時間并且然后在經過延遲時間之后從所接收的姿勢角數據中預測姿勢角數據，從而在預測延遲時間中渲染圖像)。

在圖7中示出的處理過程中，圖像渲染設備400生成追蹤用戶頭部的姿勢的自由視點圖像I^H。然而，在僅檢測用戶頭部的姿勢同時忽視用戶的軀干的姿勢時，用戶界面(UI)處于無論軀干的朝向如何視線方向都向前的狀態(tài)或者其中通過游戲控制器確定自由視點空間中的移動方向使UI不自然地偏離真實空間的狀態(tài)。換言之，在視線與軀干的前方不匹配的狀態(tài)中(例如，當頭部與一個側面成角度的同時向前移動)，僅基于頭部檢測姿勢位移使空間移動至軀干的前方(軀干的前向方向)，從而防止真實空間中的自然行為被表示成視頻圖像。這顯著減少了用于沉浸于視頻圖像中的感覺。

同時，在根據本實施方式的圖像顯示系統100中，可以基于由頭部運動追蹤設備200獲得的用戶頭部的姿勢信息q^H和由軀干運動追蹤設備300獲得的用戶的軀干的姿勢信息q^B在顯示設備500上顯示的自由視點空間中為用戶的視線方向和軀干朝向單獨進行定向。

圖8示出了如何在自由視點空間中單獨定向用戶的視線方向和軀干朝向。如示出的，基于從頭部運動追蹤設備200提供的姿勢信息q^H為由參考標號801表示的視線方向定向。基于從軀干運動追蹤設備300提供的姿勢信息q^B定向由參考標號802表示的身體的朝向。當圖像渲染設備400渲染自由視點圖像時，通過將身體的朝向802設置為自由視點空間的身體的朝向，可以獲得用戶將其識別為前方的方向。

因此，根據本實施方式的圖像顯示系統100允許使用自由視點圖像表示在視線與軀干前方不匹配(例如，在頭部與一側邊成角度時向前移動)的狀態(tài)下空間移動至軀干前方(軀干的前向方向)的真實空間中的自然行為。防止UI處于無論軀干的朝向如何視線方向都移動的狀態(tài)(例如，在頭部與一側面成角度時向前移動)或者其中通過游戲控制器確定自由視點空間中的移動方向使UI不自然地偏離真實空間的狀態(tài)。

圖9通過流程圖示出了通過考慮圖像顯示系統100中的用戶的身體的姿勢和頭部的姿勢渲染自由視點圖像的處理過程。

在頭部運動追蹤設備200中，傳感器單元201檢測用戶頭部的姿勢(步驟S901)，并且姿勢角度操作單元202基于檢測結果對表示用戶頭部的姿勢的四元數q^H執(zhí)行運算(步驟S902)并通過發(fā)送器203將其發(fā)送至圖像渲染設備400。

在軀干運動追蹤設備300中，傳感器單元301檢測用戶的軀干姿勢(步驟S911)。姿勢角度操作單元202基于檢測結果對表示用戶的軀干的姿勢的四元數q^B執(zhí)行運算(步驟S912)并通過發(fā)送器303將其發(fā)送至圖像渲染設備400。

然后，圖像渲染設備400從頭部運動追蹤設備200接收表示頭部姿勢的四元數q^H并從軀干運動追蹤設備300接收表示軀干姿勢的四元數q^B，并接收用于在自由視點空間中移動的控制信號v(諸如，位移的速度和位移量)作為輸入(步驟S903)。作為一個實例，當生成三維圖像(諸如，游戲)時，圖像渲染設備400接收對應于游戲控制器的操縱桿等的操縱變量的控制信號v作為輸入。通過使智能手機顯示用戶要操作的操作屏幕，可以接收控制信號v作為輸入。替換地，可以輸入使用安裝在外部的相機等檢測的用戶的頭部的物理位置的移動作為控制信號v。

圖像渲染處理單元402根據所輸入的控制信號v計算自由視點空間中的移動量Δ^B(步驟S904)。在該處理例程中，使用可從軀干運動追蹤設備300獲得的用戶的軀干的姿勢信息，并且因此，控制信號v可僅與用戶的軀干的姿勢信息q^B相關聯，并且如以下式(4)中所示確定移動量Δ^B。在以下式(4)中，g是用于基于表示姿勢信息的四元數q^B從表示位移速度或位移量的控制信號v中計算自由視點空間中的移動量Δ^B的函數(同上)。

[數學式4]

Δ^B＝g(v，q^B)…(4)

圖像渲染處理單元402計算通過在自由視點空間中沿著用戶的軀干姿勢q^B(即，軀干的前向方向)的方向將當前點移動移動量Δ^B獲得的點p^B(步驟S905)。與用戶的軀干姿勢信息q^B相關聯的點p^B被設為自由視點空間中的視點位置，從視點位置p^B渲染在表示為四元數q^H的視線方向看到的圖像I^B(步驟S906)，并且然后在顯示設備500上顯示渲染的圖像作為輸出。如在以下式(5)中示出的，基于用于生成從視點位置p^H和視線方向q^H(同上)看到的圖像的函數f生成在這個過程中生成的自由視點圖像I^H。

[數學式5]

I^B＝f(p^B，q^H)…(5)

在上述式(4)中，基于用戶的軀干姿勢信息q^B計算移動量Δ^B。因此，在步驟S905中，相比使用基于用戶的頭部姿勢信息計算移動量q^H的上述式(2)的情況，可以計算更加自然的移動之后的點p^B。因此，在步驟S906中生成的自由視點圖像I^B變成UI，該UI比根據在圖7中示出的處理過程生成的自由視點圖像I^H更自然。換言之，在視線與軀干的前方不一致的狀態(tài)中(例如，在頭部與一側面成角度時向前移動)可以通過將空間移動至軀干的前方(軀干的前向方向)表示真實空間中的自然行為。

同樣在圖9中示出的處理過程中，可以通過考慮在從檢測用戶的頭部和軀干姿勢到顯示圖像的時間期間出現的延遲時間執(zhí)行圖像渲染(同上)。

在本實施方式中，如參照圖8描述的，基于從頭部運動追蹤設備200提供的姿勢信息q^H定向用戶在自由視點空間中的視線方向801，并且基于從軀干運動追蹤設備300提供的姿勢信息q^B定向用戶的身體在自由視點空間中的朝向802。然后，將身體的朝向802設為用戶將其識別為前方的方向。

如在圖7和以上式(2)中示出的，當僅考慮頭部姿勢信息時，與頭部姿勢q^H(即，視線的朝向)相關聯地計算自由視點空間中的移動量。在這種情況下，參照圖8，將提供其中自由視點空間朝向視線方向801而不是用戶的前向方向802移動的圖像，并且因此圖像移動不自然。作為一個實例，使用游戲控制器的操縱桿等輸入用于指示移動至前向方向的控制信號v。圖10示出了僅追蹤用戶頭部的移動的自由視點圖像。如示出的，在用戶將他的頭部(視線方向1001)傾斜至左側的姿勢中，即使從控制器輸入指向前向方向1002的指令，在從當前點沿著用戶的頭部姿勢q^H(視線方向)1001的方向移動移動量Δ^H的點處生成圖像I^H并從點p^H處沿視線方向q^H觀看該圖像。換言之，即使存在移動至前向方向的指令，待生成的圖像I^H行進至視線方向1001，并且因此圖像將不自然。

同時，如在圖9中和以上式(4)中示出的，存在通過考慮頭部和軀干姿勢信息計算自由視點空間中的移動量的情況。在這種情況下，參照圖8，基于頭部姿勢信息定向視線方向801并基于軀干姿勢信息定向自由視點空間中的用戶的身體朝向802。因此，可以通過將身體朝向802識別為用戶前方的位置來計算在自由視點空間中的移動量。因此，可以渲染追蹤用戶的頭部和身體的移動的自然自由視點圖像。作為一個實例，使用游戲控制器的操縱桿等輸入用于指示移動至前向方向的控制信號v。

圖11示出了通過考慮用戶的頭部姿勢和身體姿勢生成的自由視點圖像。如示出的，在用戶將他的頭部傾斜(視線方向1001)至左側的姿勢中，當從控制器輸入指向前向方向1102的指令時，在從當前點沿著用戶的軀干姿勢q^B的方向(視線方向)1102移動移動量Δ^B的點處生成圖像I^B并從點p^B處沿視線方向q^H觀看。換言之，生成視線方向1101的風景行進至前向方向1102的自然圖像I^B。

C.校準

當如上所述在自由視點空間中單獨定向用戶的視線方向和軀干朝向時，需要使頭部運動追蹤設備200檢測用戶的頭部姿勢的坐標系與軀干運動追蹤設備300檢測用戶的軀干姿勢的坐標系相關聯。

當頭部運動追蹤設備200結合到用作顯示設備500的頭戴式顯示器中時，可以機械的方式大致嚴格地限定頭部運動追蹤設備200附接至用戶的頭部的位置。這是因為根據用戶通過左眼和右眼中的每一個的圖像顯示單元觀看的事實每次佩戴時用戶都將其佩戴在基本固定的位置。

另一方面，嚴格限定以機械的方式附接至用戶的軀干的初始朝向的方法也可以考慮用于軀干運動追蹤設備300。然而，在使用包含于附接至用戶的軀干的盒子600中的軀干運動追蹤設備300的模式中(例如，參照圖6)，難以如頭戴式顯示器一樣嚴格地限定附接位置。

考慮到用戶可用性，優(yōu)選用戶通過用戶自身的選擇來選擇軀干運動追蹤設備300的附接位置而不是嚴格地限定。作為一個實例，設想用戶將其放入口袋的狀態(tài)或者用戶將其鉤在皮帶上的狀態(tài)。

因此，需要通過校準確定用于相互轉換頭部運動追蹤設備200檢測用戶的頭部姿勢的坐標系和軀干運動追蹤設備300檢測用戶的軀干姿勢的坐標系的參數。當嚴格限定附接頭部運動追蹤設備200的位置時，可以校準軀干運動追蹤設備300的初始位置。換言之，只要在用戶佩帶軀干運動追蹤設備300之后僅執(zhí)行一次校準，用戶可以通過用戶自身的選擇確定附接軀干運動追蹤設備300的位置。

在用戶面向用戶頭部正前方并且身體布置在一條線上(即，直立姿勢)的狀態(tài)下，通過確定頭部運動追蹤設備200的檢測坐標系與軀干運動追蹤設備300的檢測坐標系之間的相應關系來執(zhí)行校準。下面描述了用于執(zhí)行包括項(a)至(c)的校準的觸發(fā)器的實例。

(a)設置在頭部運動追蹤設備200或軀干運動追蹤設備300中的觸發(fā)按鈕的用戶操作。

(b)用戶選擇通過在顯示設備500上顯示的圖形用戶界面(GUI)執(zhí)行校準。

(c)用戶輸入用于頭部運動追蹤設備200或軀干運動追蹤設備300的特定輸入(例如，當頭部豎直地搖動兩次時頭部運動追蹤設備200和軀干運動追蹤設備300的旋轉角速度同步的時刻被設置為觸發(fā)器)。

替換地，可在圖像顯示系統100中自動地執(zhí)行校準，而不是使用戶執(zhí)行如在以上項(a)至(c)中描述的校準的觸發(fā)操作。

作為一個實例，在某個時段可以顯示(或者，通過聲音表示)誘導用戶采用直立姿勢的圖像，并且在該時段可以執(zhí)行校準。

替換地，可以記錄從記錄用戶發(fā)起自由視點觀看的狀態(tài)起的某個時段坐標系的旋轉位移，并且可以從坐標系的旋轉位移的記錄數據和人體的特性確定在用戶站立的狀態(tài)下的軀干運動追蹤設備300的傳感器單元301的坐標系。

圖12通過流程圖示出了在圖像顯示系統100中使用由校準參數校正的姿勢信息來渲染自由視點圖像的處理過程。在執(zhí)行校準之后的正常操作期間執(zhí)行所示出的處理過程。

在頭部運動追蹤設備200中，傳感器單元201檢測用戶頭部的姿勢(步驟S1201)，并且姿勢角度操作單元202基于檢測結果對表示用戶頭部的姿勢的四元數q^H執(zhí)行運算(步驟S1202)并通過發(fā)送器203將其發(fā)送至圖像渲染設備400。

在軀干運動追蹤設備300中，傳感器單元301檢測用戶的軀干姿勢(步驟S1211)。姿勢角度操作單元202基于檢測結果對表示用戶的軀干的姿勢的四元數q^B執(zhí)行運算(步驟S1212)并通過發(fā)送器303將其發(fā)送至圖像渲染設備400。

圖像渲染設備400從頭部運動追蹤設備200接收表示頭部姿勢的四元數q^H并且從軀干運動追蹤設備300接收表示軀干姿勢的四元數q^B。然后，獲得校準四元數q作為校準參數(步驟S1221)。然后，使用校準參數q校正表示軀干姿勢的四元數q^B，并且獲得校正的四元數q′^B(步驟S1213)。

校準四元數q是用于相互轉換頭部運動追蹤設備200檢測用戶的頭部姿勢的坐標系和軀干運動追蹤設備300檢測用戶的軀干姿勢的坐標系并通過校正確定的參數。當使用四元數表示姿勢信息時，用于對其進行校正的校準參數是用四元數形式表示的校準四元數。在步驟S1213中，通過根據以下式(6)從左側乘以校準四元數q來校正表示軀干姿勢的四元數q^B。

[數學式6]

q′^B＝qq^B…(6)

然后，圖像渲染設備400接收用于在自由視點空間中移動的控制信號v(諸如，位移速度和位移量)作為輸入(步驟S1203)。作為一個實例，當生成三維圖像(諸如，游戲)時，圖像渲染設備400接收對應于游戲控制器的操縱桿等的操縱變量的控制信號v作為輸入。通過使智能手機顯示用戶要操作的操作屏幕，可以接收控制信號v作為輸入。替換地，可以輸入使用安裝在外部的相機等檢測的用戶的頭部的物理位置的移動作為控制信號v。

圖像渲染處理單元402根據所輸入的控制信號v計算自由視點空間中的移動量Δ^B(步驟S1204)。在該處理例程中，使用可從軀干運動追蹤設備300獲得的用戶的軀干的姿勢信息，并且因此，控制信號v可與用戶的軀干的校正姿勢信息q’^B相關聯，并且如以下式(7)中所示確定移動量Δ^B。在以下式(7)中，g是用于基于表示姿勢信息的校正四元數q’^B從表示位移速度或位移量的控制信號v計算自由視點空間中的移動量Δ^B的函數(同上)。

[數學式7]

Δ^B＝g(v，q′^B)…(7)

圖像渲染處理單元402計算通過在自由視點空間中沿著用戶的軀干姿勢q^B(即，軀干的前向方向)的方向將當前點移動移動量Δ^B獲得的點p^B(步驟S1205)。與用戶的軀干姿勢信息q^B相關聯的點p^B被設為自由視點空間中的視點位置，從視點位置p^B渲染在表示為四元數q^H的視線方向看到的圖像I^B(步驟S1206)，并且然后在顯示設備500上顯示渲染的圖像作為輸出。如在以上式(5)中示出的，基于用于生成從視點位置p^H和視線方向q^H(同上)看到的圖像的函數f生成在這個過程中生成的自由視點圖像I^H。

同樣在圖12中示出的處理過程中，可以通過考慮在從檢測用戶的頭部和軀干姿勢到顯示圖像的時間期間出現的延遲時間執(zhí)行圖像渲染(同上)。

圖13通過流程圖示出了在圖像顯示系統100中使用由校準參數校正的姿勢信息渲染自由視點圖像的另一處理過程。在所示出的處理過程中，根據如在以上項(a)至(c)中描述的明確操作執(zhí)行校準。

在頭部運動追蹤設備200中，傳感器單元201檢測用戶頭部的姿勢(步驟S1301)，并且姿勢角度操作單元202基于檢測結果對表示用戶頭部的姿勢的四元數q^H執(zhí)行運算(步驟S1302)并通過發(fā)送器203將其發(fā)送至圖像渲染設備400。

在軀干運動追蹤設備300中，傳感器單元301檢測用戶的軀干姿勢(步驟S1311)。姿勢角度操作單元202基于檢測結果對表示用戶的軀干的姿勢的四元數q^B執(zhí)行運算(步驟S1312)并通過發(fā)送器203將其發(fā)送至圖像渲染設備400。

圖像渲染設備400使用以下式(8)從表示用戶的頭部姿勢的從頭部運動追蹤設備200發(fā)送的四元數q^H和從軀干運動追蹤設備300發(fā)送的表示用戶的軀干姿勢的四元數q^B計算校準四元數q(步驟S1321)，并將其暫時存儲。在以下式(8)中，“q^B-1”的上標“-1”表示四元數“q^B”的倒數(inverse)(以下同樣)。

[數學式8]

q＝q^Hq^B-1…(8)

然后，圖像渲染設備400根據以上式(6)通過從左側乘以校準四元數q來校正表示軀干姿勢的四元數(步驟S1313)。

接下來，圖像渲染設備400接收用于在自由視點空間中移動的控制信號v(諸如，位移速度和位移量)作為輸入(步驟S1303)。作為一個實例，當生成三維圖像(諸如，游戲)時，圖像渲染設備400接收對應于游戲控制器的操縱桿等的操縱變量的控制信號v作為輸入。通過使智能手機顯示用戶要操作的操作屏幕，可以接收控制信號v作為輸入。替換地，可以輸入使用安裝在外部的相機等檢測的用戶的頭部的物理位置的移動作為控制信號v。

圖像渲染處理單元402由控制信號v計算在自由視點空間中的移動量Δ^B(步驟S1304)。在該處理例程中，使用可從軀干運動追蹤設備300獲得的用戶軀干的姿勢信息使得可以使控制信號v與用戶的軀干的校正姿勢信息q′^B相關聯，從而根據以上式(7)確定移動量Δ^B。

圖像渲染處理單元402計算通過在自由視點空間中沿著用戶的軀干姿勢q^B的方向(即，軀干的前向方向)將當前點移動移動量Δ^B獲得的點p^B(步驟S1305)。與用戶的軀干姿勢信息q^B相關聯的點p^B被設為自由視點空間中的視點位置，從視點位置p^B渲染在表示為四元數q^H的視線方向看到的圖像I^B(步驟S1306)，并且然后在顯示設備500上顯示渲染的圖像作為輸出。如在以上式(5)中示出的，基于用于生成從視點位置p^H和視線方向q^H(同上)看到的圖像的函數f生成在這個過程中生成的自由視點圖像I^H。

同樣在圖13中示出的處理過程中，可以通過考慮在從檢測用戶的頭部和軀干姿勢到顯示圖像的時間期間出現的延遲時間執(zhí)行圖像渲染(同上)。

圖14通過流程圖示出了在圖像顯示系統100中使用由校準參數校正的姿勢信息渲染自由視點圖像的又一處理過程。在所示出的處理過程中，基于某個時段的坐標系的旋轉位移和人體的特性自動執(zhí)行校準。

在頭部運動追蹤設備200中，傳感器單元201檢測用戶頭部的姿勢(步驟S1401)，并且姿勢角度操作單元202基于檢測結果對表示用戶頭部的姿勢的四元數q^H執(zhí)行運算(步驟S1402)并通過發(fā)送器203將其發(fā)送至圖像渲染設備400。

在軀干運動追蹤設備300中，傳感器單元301檢測用戶的軀干姿勢(步驟S1411)。姿勢角度操作單元202基于檢測結果對表示用戶的軀干的姿勢的四元數q^B執(zhí)行運算(步驟S1412)并通過發(fā)送器203將其發(fā)送至圖像渲染設備400。

圖像渲染設備400基于某個時段的坐標系的旋轉位移和人體的特性估計校準四元數q(步驟S1421)。在這個過程中，一直而不是僅在特定時間點執(zhí)行校準四元數q的估計。下面將更詳細地描述在步驟S1421中估計校準四元數q的方法。

然后，圖像渲染設備400根據以上式(6)通過從左側乘以校準四元數q來校正表示軀干姿勢的四元數q^B(步驟S1413)。

接下來，圖像渲染設備400接收用于在自由視點空間中移動的控制信號v(諸如，位移速度和位移量)作為輸入(步驟S1403)。作為一個實例，當生成三維圖像(諸如，游戲)時，圖像渲染設備400接收對應于游戲控制器的操縱桿等的操縱變量的控制信號v作為輸入。通過使智能手機顯示用戶要操作的操作屏幕，可以接收控制信號v作為輸入。替換地，可以輸入使用安裝在外部的相機等檢測的用戶的頭部的物理位置的移動作為控制信號v。

圖像渲染處理單元402由控制信號v計算在自由視點空間中的移動量Δ^B(步驟S1404)。在該處理例程中，使用可從軀干運動追蹤設備300獲得的用戶軀干的姿勢信息使得可以使控制信號v與用戶的軀干的校正姿勢信息q′^B相關聯，從而根據以上式(7)確定移動量Δ^B(同上)。

圖像渲染處理單元402計算通過在自由視點空間中沿著用戶的軀干姿勢q^B的方向(即，軀干的前向方向)將當前點移動移動量Δ^B獲得的點p^B(步驟S1405)。與用戶的軀干姿勢信息q^B相關聯的點p^B被設為自由視點空間中的視點位置，從視點位置p^B渲染沿表示為四元數q^H的視線方向看到的圖像I^B(步驟S1406)，并且然后在顯示設備500上顯示渲染的圖像作為輸出。如在以上式(5)中示出的，基于用于生成從視點位置p^H和視線方向q^H(同上)看到的圖像的函數f生成在這個過程中生成的自由視點圖像I^H。

同樣在圖14中示出的處理過程中，可以通過考慮在從檢測用戶的頭部和軀干姿勢到顯示圖像的時間期間出現的延遲時間執(zhí)行圖像渲染(同上)。

圖15通過流程圖示出了在圖14中示出的流程圖的步驟S1421中執(zhí)行的自動校準的處理過程。在所示出的處理過程中，基于某個時段的坐標系的旋轉位移和人體的特性估計校準四元數q。盡管可在圖像顯示系統100的設備200至500中的任何一個中執(zhí)行這個處理過程，但假定在圖像渲染設備400中執(zhí)行處理過程為方便起見將進行描述。

圖像渲染設備400接收從頭部運動追蹤設備200發(fā)送的表示用戶的頭部姿勢的四元數q^H作為常數輸入以及從軀干運動追蹤設備300發(fā)送的表示用戶的軀干姿勢的四元數q^B作為時間序列數據(步驟S1501)。

根據以下式(9)，基于由頭部運動追蹤設備200和軀干運動追蹤設備300中的每一個重新檢測的姿勢信息的四元數，計算新校準四元數q′并依次進行記錄(步驟S1502)。

[數學式9]

q′＝q^Hq^B-1…(9)

由在用戶面向用戶頭部的正前方并且軀干布置成一直線(即，直立姿勢)的時刻檢測的四元數q^H和q^B計算的四元數q′是合適的校準四元數。因此，在該處理過程中，基于當長時間測量用戶的頭部和軀干姿勢時平均說來用戶經常面向頭部的正前方并且身體布置成一直線的假設，通過采用在步驟S1502中記錄的校準四元數q′的時間序列平均值計算最后校準四元數q(步驟S1503)，并輸出(S1504)。

與根據在圖13中示出的明確操作執(zhí)行校準的情況不同，在圖15中示出的處理過程中，校準四元數q不是固定值而是會隨時發(fā)生變化，并且可以除去傳感器單元201或301的干擾因素，諸如站著或坐著的用戶。

在步驟S1502中，通過求取校準四元數q′的時間序列的平均值更新最終校準四元數，內插更新前(pre-updated)的校準四元數q_prev和新計算的校準四元數q′以確定更新的校準四元數q_updated。

表示姿勢的四元數被描述為三維球體上的一點。因此，如在以下式(10)和圖22中示出的，通過球面線性內插(Slerp)更新的校準四元數q_updated可以用于對四元數q_prev與q′之間的三維球體執(zhí)行線性內插。

[數學式10]

在以上式(10)中，通過用權重(1-δ)加權的更新前的校準四元數q_prev和用δ加權的新的計算值q′的加權平均值確定更新的校準四元數q_updated(內插(interpolation)而不是外插(extrapolation，外推))。作為一個實例，權重系數δ＝0.01。首先，用權重1更新四元數q_updated。因此，當用戶在啟動的時候采用正確姿勢時(頭部面向正前方并且身體成一條線)，不久達到收斂。

Slerp的運算僅定義為二元關系，如在以上式(10)中示出的。因此，不適合同時用大量四元數計算平均值(如上所述，四元數的順序更新q_updated是可以的)。為了解決這個問題(即，為了同時用大量四元數計算平均值)，考慮對數空間中的算術平均值。利用單位向量u，表示繞u旋轉的角度θ的四元數q可表示為如在以下式(11)中示出的。采用這個對數，得出以下式(12)。

[數學式11]

[數學式12]

因此，通過對數變換將校準四元數{q′}的時間序列映射到三維空間以計算代表值(諸如，算術平均值)，并且然后可以通過如在以下式(13)中示出的指數轉換設置回四元數。當計算算術平均值時，可視情況執(zhí)行所需過程，諸如，去除異常值。

[數學式13]

圖16通過流程圖示出了在圖14中示出的流程圖的步驟S1421中執(zhí)行的自動校準的另一處理過程。在所示出的處理過程中，基于某個時段的坐標系的旋轉位移和人體的特性估計校準參數q?？深A見用戶的頭部和軀干姿勢在作為共用軸線的重力方向上的情況，并且假設傳感器單元201和301具有檢測重力方向并執(zhí)行自動校準的功能。盡管可在圖像顯示系統100的設備200至500中的任何一個中執(zhí)行這個處理過程，但假定在圖像渲染設備400中執(zhí)行處理過程為方便起見將進行描述。

圖像渲染設備400接收從頭部運動追蹤設備200發(fā)送的表示用戶的頭部姿勢的四元數q^H作為常數輸入并接收從軀干運動追蹤設備300發(fā)送的表示用戶的軀干姿勢的四元數q^B作為時間序列數據(步驟S1601)。

用戶的頭部和軀干姿勢在作為共用軸線的重力方向上，并且坐標系的偏差僅累加成θ的一個參數。因此，當重力方向被設為旋轉軸線時，計算并依次進行記錄表示用戶的頭部姿勢的四元數q^H和表示用戶的軀干姿勢的四元數q^B的旋轉方向的角度差θ(t)(步驟S1602)。

然后，計算角度差θ(t)的平均值，并且估計計算結果作為在頭部運動追蹤設備200的傳感器單元201和軀干運動追蹤設備300的傳感器單元301所附接的位置的偏差量(步驟S1603)。

因此，基于重力方向和角度差θ(t)的平均值計算校準四元數q(步驟S1604)，并輸出(步驟S1605)。

在步驟S1604中，假設計算用于將用戶的軀干姿勢的四元數q^B轉換成與頭部姿勢的四元數q^H相同的坐標系的表示的校準四元數。

在圖16中示出的處理過程中，校準四元數q不是固定值而是會隨時發(fā)生變化，并且可以去除傳感器單元201或301的干擾因素(諸如，站著或坐著的用戶)(同上)。

在步驟S1603中，除了計算角度差θ(t)的簡單平均之外，可以采用以下項(d)至(g)的任意計算方法。

(d)頻率分布的中值

(e)去除異常值之后的平均值

(f)用于確定材料的速度和加速度數據的組合

(g)用于確定材料的頭部旋轉的極限值的組合

在項(f)中描述的“用于確定材料的速度和加速度數據的組合”僅使用在自由視點空間中以某個范圍的速度和加速度執(zhí)行移動時的數據。當長時間保持靜止狀態(tài)時，不包含于樣本。

在項(g)中描述了“用于確定材料的頭部旋轉的極限值的組合”，僅使用在范圍[θ_max-θ_th,θ_min+θ_th]內的數據計算角度差θ(t)的平均值，其中，極限值θ_th暫時被設為120度，測量數據中的角度差的最大值被設為θ_max并且最小值被設為θ_min。

D.生物安全支持

在由顯示設備500(諸如，頭戴式顯示器)呈現的自由視點空間中，當用戶試圖通過從初始位置移動固定點超過90度而往回看時，用戶可以采用以下(A)和(B)兩種類型的運動。

(A)僅轉動頭部90度

(B)轉動整個軀干90度

當僅通過檢測用戶的頭部姿勢渲染自由視點圖像時，用戶不能確定是否執(zhí)行以上項(A)和(B)的運動中的任一個。運動(A)是不自然的姿勢，并且因此擔心影響人體，從而導致生產安全性問題。

同時，在根據本實施方式的圖像顯示系統100中，除了通過頭部運動追蹤設備200得到的用戶的頭部的姿勢信息q^H之外，可使用通過軀干運動追蹤設備300得到的用戶的軀干的姿勢信息q^B。因此，用戶可以確定所執(zhí)行的運動是項(A)還是(B)。因此，可以引入用于基于通過確定運動得出的結果來減少或避免由于自由視點觀看引起的頭部的不自然的觀看姿勢的機構。

作為一個實例，用于減少或避免用戶不自然的觀看姿勢的第一方法可以包括顯示圖像以將用戶的頭部返回到正常位置。如果由用戶的頭部和軀干的姿勢信息q^H和q^B確定某個時段保持伴有用戶的不自然的姿勢的運動(A)(諸如，極度地扭轉頭部或軀干)的狀態(tài)，以低速無意識地顯示用戶的頭部朝向軀干的前向方向返回到初始位置的圖像。圖17示出了如何移動自由視點圖像使得可以通過在圖像中移動固定點1701而使用戶的視線方向1702朝向軀干的前向方向回到初始位置。

在圖9、圖12、圖13、以及圖14中示出的處理過程中，渲染通過將分別通過頭部運動追蹤設備200和軀干運動追蹤設備300實際上檢測的頭部姿勢q^H和軀干姿勢q^B沒有任何修改地映射至自由視點空間的世界坐標系得到的自由視點圖像。同時，在減少或避免用戶的不自然的觀看姿勢的第一方法中，如果在用戶觀看自由視點圖像時用戶的姿勢不自然(頭部相對于軀干扭曲)，則對自由視點空間的世界坐標系進行校正使得自由視點空間中的頭部姿勢q^H*與軀干姿勢q^B*之間的差異可以減小，從而提示甚至在真實空間中要減小用戶的頭部姿勢q^H與軀干姿勢q^B之間的差異。

作為減少或避免用戶的不自然的觀看姿勢的第二方法可以包括自動取消追蹤頭部的移動(頭部追蹤)。如果確定在某個時段保持伴有用戶的不自然的姿勢的運動(A)的狀態(tài)，則自動取消追蹤頭部的移動(頭部追蹤)并且使用戶的頭部利用在前方顯示的固定點朝向軀干的前向方向返回到初始位置，從而重新執(zhí)行坐標對準?？梢酝ㄟ^用戶的主動操作(諸如，按壓按鈕)取消頭部追蹤而不是自動取消。

在減少或避免用戶的不自然的觀看姿勢的第二方法中，當指示取消頭部追蹤時通過在自由視點空間中固定頭部姿勢而保持在前方顯示固定點。然后，在取消頭部追蹤的期間，根據由頭部運動追蹤設備200檢測的頭部姿勢q^H引起自由視點空間中的軀干姿勢發(fā)生改變(即，用戶移動脖子相同的量)。這提示用戶的頭部朝向軀干的前向方向回到初始姿勢。

圖18通過流程圖示出了用于渲染自由視點圖像的處理過程，其包括使用第一方法減少或避免用戶的不自然的觀看姿勢的過程。通過校正自由視點空間的世界坐標系執(zhí)行這個過程。盡管在圖18中未示出，表示世界坐標系的校正的四元數q^W的初始值被設為單位四元數。

在頭部運動追蹤設備200中，傳感器單元201檢測用戶頭部的姿勢(步驟S1801)，并且姿勢角度操作單元202基于檢測結果對表示用戶頭部的姿勢的四元數q^H執(zhí)行運算(步驟S1802)并通過發(fā)送器203將其發(fā)送至圖像渲染設備400。

在軀干運動追蹤設備300中，傳感器單元301檢測用戶的軀干姿勢(步驟S1811)。姿勢角度操作單元202基于檢測結果對表示用戶的軀干的姿勢的四元數q^B執(zhí)行運算(步驟S1812)并通過發(fā)送器303將其發(fā)送至圖像渲染設備400。

圖像渲染設備400從頭部運動追蹤設備200接收表示頭部姿勢的四元數q^H并且從軀干運動追蹤設備300接收表示軀干姿勢的四元數q^B。然后，獲得校準四元數q作為校準參數(步驟S1821)。然后，使用校準參數q校正表示軀干姿勢的四元數q^B，并且獲得校正的四元數q′^B(步驟S1813)。

校準四元數q是用于相互轉換頭部運動追蹤設備200檢測用戶的頭部姿勢的坐標系和軀干運動追蹤設備300檢測用戶的軀干姿勢的坐標系的參數(如上所述)。獲得校準四元數q的方法是可選擇的。在步驟S1813中，通過根據以上式(6)從左邊乘以校準四元數q校正表示軀干姿勢的四元數q^B。

然后，基于從頭部運動追蹤設備200接收的頭部姿勢四元數q^H和校正后的軀干姿勢四元數q′^B執(zhí)行圖像顯示系統100是否處于生物安全支持模式的模式確定(步驟S1831)。模式確定的方法是可選擇的。作為一個實例，根據如下所述的條件(C1)至(C3)執(zhí)行模式確定。

(C1)在初始狀態(tài)下關掉生物安全支持模式。

(C2)當在關掉生物安全支持模式的狀態(tài)下用戶的頭部與軀干姿勢之間的差異ψ超過第一閾值ψ_th1的狀態(tài)持續(xù)一定時間時，開啟生物安全支持模式。

(C3)當在開啟生物安全支持模式的狀態(tài)下用戶的頭部與軀干姿勢之間的差異ψ降到第二閾值ψ_th2以下時，關掉生物安全支持模式。

在這點上，在以上條件(C2)中，可通過以下式(14)使用頭部姿勢四元數q^H和校正后的軀干姿勢四元數q′^B計算用戶的頭部與軀干姿勢之間的差異ψ。

[數學式14]

ψ＝||q^Hq′^B-1||...(14)

通過將通過以上式(14)計算的頭部與軀干姿勢之間的差異ψ與閾值ψ_th2和ψ_th2中的每一個進行比較可以確定是否設置生物安全支持模式。然而，根據以上條件(C1)至(C3)，當用戶處于不舒服的姿勢可以主動(或手動)執(zhí)行生物安全支持模式的開/關之間的轉換，而不是生物安全支持模式的開/關之間的自動轉換。

然后，在生物安全支持模式下(在步驟S1831中為是)，對自由視點空間中的世界坐標系進行校正使得自由視點空間中的頭部姿勢與軀干姿勢之間的差異可以減少(步驟S1832)。如果未處于生物安全支持模式中(在步驟S1831中為否)，則跳過世界坐標系的校正處理。

在步驟S1832中執(zhí)行的世界坐標系的校正對應于通過逐漸旋轉世界坐標系使頭部姿勢接近軀干姿勢的操作。如在以下式(15)中示出的，當表示世界坐標系的校正的四元數是q^W時，通過從左側乘以接近軀干姿勢的四元數δ來更新世界坐標系的校正四元數q^W。世界坐標系的校正四元數q^W的初始值是單位四元數(如上所述)。

[數學式15]

q^W＝δq^W…(15)

如在以下式(16)中示出的，逐漸接近軀干姿勢的四元數δ是通過將表示頭部姿勢與軀干姿勢之間的差異的四元數劃分成n得出的四元數。在此，n是允許用戶不費事地(或無意識地)觀察的劃分的數目。替換地，如在以下式(17)中示出的，逐漸接近軀干姿勢的四元數δ是通過將通過標準化頭部姿勢與軀干姿勢之間的差異得出的四元數乘以小標量ε得出的四元數。

[數學式16]

[數學式17]

當使用以上式(16)校正世界坐標系時，每當它出現時校正量都發(fā)生變化。因此，如果改變大，可能會被觀察為不自然的移動。同時，當使用以上式(17)校正世界坐標系時，可使每當出現時校正量恒定。

然后，通過將在步驟S1802中計算的頭部姿勢的四元數q^H和在步驟S1813中校正的軀干姿勢的四元數q′^B中的每一個從左側乘以四元數q^W來執(zhí)行在自由視點空間中的頭部姿勢q^H*和軀干姿勢q′^B*中的每一個的校正(步驟S1833和S1834)，并且通過逐漸旋轉世界坐標系執(zhí)行使頭部姿勢接近軀干姿勢的操作。

圖像渲染設備400接收用于在自由視點空間中移動的控制信號v(諸如，位移速度和位移量)作為輸入(步驟S1803)。作為一個實例，當生成三維圖像(諸如，游戲)時，圖像渲染設備400接收對應于游戲控制器的操縱桿等的操縱變量的控制信號v作為輸入。通過使智能手機顯示用戶要操作的操作屏幕，可以接收控制信號v作為輸入。替換地，可以輸入使用安裝在外部的相機等檢測的用戶的頭部的物理位置的移動作為控制信號v。

然后，在圖像渲染處理單元402中，基于通過用四元數q^W校正世界坐標系得出的自由視點空間中的軀干姿勢q′^B*，使用以下式(18)計算對應于所輸入的控制信號v的移動量Δ^B*(步驟S1804)。在以下式(18)中，g是用于基于表示姿勢信息的校正四元數q′^B*由表示位移速度和位移量的控制信號v計算自由視點空間中的移動量Δ^B*的函數(同上)。

[數學式18]

Δ^B*＝g(v，q′^B*)…(18)

然后，圖像渲染處理單元402計算通過在自由視點空間中沿著用戶的軀干姿勢q^B的方向(即，軀干的前向方向)將當前點移動移動量Δ^B*獲得的點p^B*(步驟S1805)。與校正后的用戶的軀干姿勢信息q^B*相關聯的點p^B*被設為自由視點空間中的視點位置，從視點位置p^B*渲染在表示為頭部姿勢的校正后的四元數q^H*的視線方向看到的圖像I^B*(步驟S1806)，并且然后在顯示設備500上顯示渲染的圖像作為輸出?；谟糜谏蓮囊朁c位置p^B*和視線方向q^H*看到的圖像的函數f生成在這個過程中生成的自由視點圖像I^B*(同上)。

同樣在圖18中示出的處理過程中，可以通過考慮在從檢測用戶的頭部和軀干姿勢到顯示圖像的時間期間出現的延遲時間執(zhí)行圖像渲染(同上)。

圖19和圖20通過流程圖示出了用于渲染自由視點圖像的處理過程，其包括使用第一方法減少或避免用戶的不自然的觀看姿勢的過程。通過校正自由視點空間的世界坐標系執(zhí)行這個過程。盡管在圖19和圖20中未示出，但表示世界坐標系的校正的四元數q^W的初始值被設為單位四元數。

在頭部運動追蹤設備200中，傳感器單元201檢測用戶頭部的姿勢(步驟S1901)，并且姿勢角度操作單元202基于檢測結果對表示用戶頭部的姿勢的四元數q^H執(zhí)行操作(步驟S1902)并通過發(fā)送器203將其發(fā)送至圖像渲染設備400。

在軀干運動追蹤設備300中，傳感器單元301檢測用戶的軀干姿勢(步驟S1911)。姿勢角度操作單元202基于檢測結果對表示用戶的軀干的姿勢的四元數q^B執(zhí)行運算(步驟S1912)并通過發(fā)送器303將其發(fā)送至圖像渲染設備400。

圖像渲染設備400從頭部運動追蹤設備200接收表示頭部姿勢的四元數q^H并且從軀干運動追蹤設備300接收表示軀干姿勢的四元數q^B。然后，獲得校準四元數q作為校準參數(步驟S1921)。然后，使用校準參數q校正表示軀干姿勢的四元數q^B，并且獲得軀干姿勢的校正后的四元數q′^B(步驟S1913)。

校準四元數q是用于相互轉換頭部運動追蹤設備200檢測用戶的頭部姿勢的坐標系和軀干運動追蹤設備300檢測用戶的軀干姿勢的坐標系的參數(如上所述)。獲得校準四元數q的方法是可選擇的。在步驟S1913中，通過根據以上式(6)從左側乘以校準四元數q來校正表示軀干姿勢的四元數q^B。

然后，確定圖像顯示系統100是否處于生物安全支持模式(步驟S1941)。作為一個實例，通過判斷根據以上式(14)計算的頭部和軀干姿勢之間的差異ψ是否超過預定閥值可以自動執(zhí)行確定是否設置生物安全支持模式。替換地，可以由判斷是否指示取消頭部追蹤的用戶主動執(zhí)行這個確定(或者，通過手動，諸如，按壓按鈕)。

如果設置生物安全支持模式(在步驟S1941中為是)，進一步檢查當前時間是否是設置生物安全支持模式的時刻(步驟S1942)，然后在設置模式的時刻的用戶的頭部姿勢q^H被保存為q^H0(步驟S1943)。

然后，在生物安全支持模式期間，通過用q^H0替換重新檢測并計算的頭部姿勢的四元數q^H來固定自由視點空間中的頭部姿勢，從而防止在渲染時執(zhí)行頭部追蹤。通過替換根據以下式(19)在步驟S1913中校正的軀干姿勢的q′^B，自由視點空間中的軀干姿勢q′^B可以改變通過由頭部運動追蹤設備200檢測的頭部姿勢q^H改變的量(步驟S1944)。更具體地，通過將軀干姿勢q′^B從左側乘以當前頭部姿勢的四元數q^H的倒數和在取消頭部追蹤的時刻頭部姿勢的四元數q^H0(按以上順序)，使用軀干姿勢補償頭部姿勢上的改變。

[數學式19]

另一方面，如果沒有設置生物安全支持模式(在步驟S1941中為否)，確定這個時間是否是釋放生物安全支持模式的時刻(步驟S1945)。然后，如果這個時間是釋放生物安全支持模式的時刻(在步驟S1945中為是)，則使用以下式(20)更新用于校正世界坐標系的四元數以補償在生物安全支持模式期間頭部姿勢實際上的改變(步驟S1946)。更具體地，通過將四元數q^W從左側乘以當前頭部姿勢的四元數q^H的倒數和在取消頭部追蹤的時刻頭部姿勢的四元數q^H0(按以上順序)，使用軀干姿勢補償頭部姿勢上的改變。

[數學式20]

q^W＝q^Wq^H0q^H-1…(20)

然后，通過將頭部姿勢的四元數q^H和軀干姿勢的四元數q′^B中的每一個從左側乘以四元數q^W執(zhí)行自由視點空間中的頭部姿勢q^H*和軀干姿勢q′^B*中的每一個的校正(步驟S1947和S1948)，并且通過逐漸旋轉世界坐標系執(zhí)行使頭部姿勢接近軀干姿勢的操作。

圖像渲染設備400接收用于在自由視點空間中移動的控制信號v(諸如，位移速度和位移量)作為輸入(步驟S1903)。作為一個實例，當生成三維圖像(諸如，游戲)時，圖像渲染設備400接收對應于游戲控制器的操縱桿等的操縱變量的控制信號v作為輸入。通過使智能手機顯示用戶要操作的操作屏幕，可以接收控制信號v作為輸入。替換地，可以輸入使用安裝在外部的相機等檢測的用戶的頭部的物理位置的移動作為控制信號v。

然后，在圖像渲染處理單元402中，基于通過用四元數q^W校正世界坐標系得出的自由視點空間中的軀干姿勢q′^B*，使用以上式(18)計算對應于所輸入的控制信號v的移動量Δ^B*(步驟S1904)。

圖像渲染處理單元402計算通過在自由視點空間中沿著用戶的軀干姿勢q^B的方向(即，軀干的前向方向)將當前點移動移動量Δ^B*獲得的點p^B*(步驟S1905)。與校正后的用戶的軀干姿勢信息q^B*相關聯的點p^B*被設為自由視點空間中的視點位置，從視點位置p^B*渲染在表示為頭部姿勢的校正后的四元數q^H*的視線方向看到的圖像I^B*(步驟S1906)，并且然后在顯示設備500上顯示渲染的圖像作為輸出?；谟糜谏蓮囊朁c位置p^B*和視線方向q^H*看到的圖像的函數f生成在這個過程中生成的自由視點圖像I^B*(同上)。

同樣在圖19和圖20中示出的處理過程中，可以通過考慮在從檢測用戶的頭部和軀干姿勢到顯示圖像的時間期間出現的延遲時間執(zhí)行圖像渲染(同上)。

以這種方式，在根據本實施方式的圖像顯示系統100中，除了由頭部運動追蹤設備200得到的用戶的頭部姿勢信息q^H之外，可以使用由軀干運動追蹤設備300得到的用戶的軀干姿勢信息q^B。因此，可以減少或避免由于自由視點觀看引起的頭部的不自然的觀看姿勢。

E.自由視點圖像的元信息的顯示

除了現有的TV廣播之外，自由視點圖像內容的實例可以包括由安置在移動設備(諸如，汽車)和無線電控制中的廣角相機捕捉的圖像和第一人稱視點的游戲圖像。

用戶有時想要指的是與正在觀看的自由視點圖像內容有關的元信息。本文中所指的元信息的實例可包括與內容播放位置或剩余播放時間有關的信息，與指示其在虛擬空間中自身的當前位置的地圖或坐標有關的信息，以及在游戲中操縱的人物的狀態(tài)(例如，在戰(zhàn)斗游戲中，疲勞或損傷程度、武器或彈藥的剩余數量、迄今進行的破壞、分數等)。

觀看自由視點圖像的用戶的視野與外部世界隔絕或者用戶沉浸于虛擬世界中。因此，用戶有時想要指的是真實世界信息而不是如上所述的元信息。真實世界信息的實例可包括當前時間或其他環(huán)境信息、電子郵件或電話呼叫通知等。

用戶可以通過在自由視點圖像中用在其上描述的這樣的內容元信息或真實世界信息顯示用戶界面組件而在不妨礙觀看自由視點圖像的情況下檢查期望元信息或真實世界信息。

當通過僅考慮用戶的頭部姿勢布置這樣的UI控件時，即，當UI控件布置在基于頭部姿勢定向的固定位置中時，自由視點圖像追蹤用戶的頭部姿勢，即，視線方向，并且繼續(xù)在同一地方顯示UI控件。

當始終在同一地方顯示UI控件時，用戶可以在觀看期間在任何時間檢查元信息或真實世界信息。自由視點圖像隨著頭部姿勢的移動而改變，但始終在同一地方的UI控件的布置是反常的，這會導致顯著削弱真實或沉浸的感覺。與自由視點圖像有關的信息通常將位于布置UI控件的地點，從而使用戶感覺觀看或播放游戲困難。有時，存在用戶不想看元信息或真實世界信息的時域，并且用戶從UI控件的顯示中可以感覺到繁重。

圖25和圖26示出了當UI控件布置在基于從頭部運動追蹤設備200獲得的用戶的頭部姿勢定向的固定位置中時的自由視點圖像的顯示實例。

在圖25中示出的實例中，用戶的頭部面向前方，并且UI控件布置在用戶的頭部的前向方向上，如由參考標號2501表示的。因此，在這種情況下，如由參考標號2502表示的，UI控件投影到自由視點圖像2500上。

在圖26中示出的實例中，用戶鞠躬且他的頭部朝下。在這種情況下，UI控件布置在用戶的頭部的前向方向上，如由參考標號2601表示。因此，同樣在這種情況下，UI控件被投影到自由視點圖像2600上，如由參考標號2602表示。換言之，無論用戶的頭部姿勢怎樣，UI控件一直存在于自由視點圖像中。

圖27和圖28示出了當UI控件布置在基于從頭部運動追蹤設備200獲得的用戶的頭部姿勢定向的固定位置中時的自由視點圖像的另一顯示實例。

在圖27中示出的實例中，用戶的頭部面向前方，并且UI控件布置在如由參考標號2701表示的用戶的頭部的前向方向上。因此，在這種情況下，UI控件投影到自由視點圖像2700上，如由參考標號2702表示的。

在圖28中示出的實例中，用戶向左轉彎并且頭朝向左邊。在這種情況下，UI控件如由參考標號2801表示的布置在用戶的頭部的前向方向上。因此，在這種情況下，UI控件如由參考標號2802表示的被投影到自由視點圖像2800上。換言之，無論用戶的頭部姿勢怎樣，UI控件一直存在于自由視點圖像中。

另一方面，圖29和圖30示出了當UI控件布置在基于從軀干運動追蹤設備300獲得的用戶的軀干姿勢定向的固定位置中時自由視點圖像的顯示實例。

在圖29中示出的實例中，用戶的頭部面向前方，但UI控件布置在用戶的軀干的前向方向上，如由參考標號2901表示的。因此，在這種情況下，自由視點圖像2600中不存在UI控件。

在圖30中示出的實例中，用戶鞠躬且他的頭部向下轉。在這種情況下，UI控件如由參考標號3001表示的布置在用戶的軀干的前向方向上。因此，用戶的頭向下轉使得UI控件能夠顯示在自由視點圖像3000上，如由參考標號3002表示的。

換言之，盡管在用戶將他的頭向前轉的正常的姿勢中UI控件隱藏，但可以通過向下轉動頭使UI控件在自由視點圖像中顯示。三維UI控件可以通過根據用戶的頭部姿勢校正基于用戶面向前方的軀干姿勢定向在固定位置的UI控件的姿勢而布置在自由視點圖像中。

另一方面，圖31和圖32示出了當UI控件布置在基于從軀干運動追蹤設備300獲得的用戶的軀干姿勢定向的固定位置中時自由視點圖像的另一顯示實例。

在圖31中示出的實例中，用戶的頭部面向前方，但UI控件布置在用戶的軀干的左側方向上，如由參考標號3101表示的。因此，在這種情況下，自由視點圖像3100中不存在UI控件。

在圖32中示出的實例中，用戶向左轉彎并且頭朝向左邊。在這種情況下，UI控件如由參考標號3201表示的布置在用戶的軀干的左側方向上。因此，用戶的頭向左轉使得UI控件能夠顯示在自由視點圖像3200上，如由參考標號3202表示的。

換言之，盡管在用戶將他的頭向前轉的正常的姿勢中UI控件隱藏，但可以通過向左轉動頭使UI控件顯示在自由視點圖像中。三維UI控件可以通過根據用戶的頭部姿勢校正基于用戶面向前方的軀干姿勢定向在固定位置的UI控件的姿勢而布置在自由視點圖像中。

圖23通過流程圖示出了其中UI控件布置在基于用戶的軀干姿勢定向的固定位置中的自由視點圖像的圖像渲染處理的過程。

在頭部運動追蹤設備200中，傳感器單元201檢測用戶頭部的姿勢(步驟S2301)，并且姿勢角度操作單元202基于檢測結果對表示用戶頭部的姿勢的四元數q^H執(zhí)行運算(步驟S2302)并通過發(fā)送器203將其發(fā)送至圖像渲染設備400。

在軀干運動追蹤設備300中，傳感器單元301檢測用戶的軀干姿勢(步驟S2311)。姿勢角度操作單元202基于檢測結果對表示用戶的軀干的姿勢的四元數q^B執(zhí)行運算(步驟S2312)并通過發(fā)送器303將其發(fā)送至圖像渲染設備400。

然后，如果圖像渲染設備400接收上述內容元信息或真實世界信息作為輸入(步驟S2321)，表示所輸入的信息的UI控件布置在基于表示用戶的軀干姿勢的四元數q^B定向在用戶軀干坐標系上的固定位置中(步驟S2313)。然后，圖像渲染處理單元402基于表示用戶的頭部姿勢的四元數q^H將布置在用戶軀干坐標系上的UI控件的位置和姿勢轉換成頭部坐標系上的位置和姿勢(步驟S2314)。

當將用戶軀干坐標系中的第i個UI控件的位置設為p_i，并將其姿勢設為q_i時，可以根據以下式(21)和(22)將位置和姿勢轉換成用戶頭部坐標系中的位置p′_i和姿勢q′_i。

[數學式21]

p′_i＝p_i+p^BH…(21)

[數學式22]

q′_i＝q^Bq^H-1q_i…(22)

在以上式(21)中，p^BH是如從用戶頭部坐標系的原點看到的用戶軀干坐標系的原點位置。如果可以獲得頭部或軀干的位置信息(以及姿勢信息)，實際測量值可以用于p^BH。作為一個實例，通過使用日本成年男性的平均值，p^BH可以參數化，諸如，p^BH＝(0m、0m、-0.75m)等。

在以上式(22)中，通過將表示用戶的軀干姿勢的四元數q^B從右側乘以表示頭部姿勢的四元數q^H的倒數得出右側中的q^Bq^H-1，并且是用于將軀干坐標系中的物體(UI控件)的姿勢轉換成頭部坐標系中的姿勢的四元數。

然后，圖像渲染處理單元402渲染其中在由四元數q^H表示的視線方向上觀看布置有UI控件的自由視點的圖像(步驟S2315)，并且然后渲染的圖像顯示在顯示設備500上作為輸出。

同樣在圖23中示出的處理過程中，可以通過考慮在從檢測用戶的頭部和軀干姿勢到顯示圖像的時間期間出現的延遲時間執(zhí)行圖像渲染(同上)。

盡管在圖23中示出的流程圖中未示出，通過采用在以上項C中描述的校準處理，可以執(zhí)行由頭部運動追蹤設備200檢測的用戶的頭部姿勢的坐標系與由軀干運動追蹤設備300檢測的用戶的軀干姿勢的坐標系之間的關聯。

圖24通過流程圖示出了用于渲染其中UI控件布置在基于用戶的軀干姿勢定向的固定位置中的自由視點圖像的處理過程的另一實例。圖24中示出的處理過程與圖23中示出的處理過程的不同之處在于基于用戶的軀干姿勢控制自由視點中的用戶的視點位置。

在頭部運動追蹤設備200中，傳感器單元201檢測用戶頭部的姿勢(步驟S2401)，并且姿勢角度操作單元202基于檢測結果對表示用戶頭部的姿勢的四元數q^H執(zhí)行運算(步驟S2402)并通過發(fā)送器203將其發(fā)送至圖像渲染設備400。

在軀干運動追蹤設備300中，傳感器單元301檢測用戶的軀干姿勢(步驟S2411)。姿勢角度操作單元202基于檢測結果對表示用戶的軀干的姿勢的四元數q^B執(zhí)行運算(步驟S2412)并通過發(fā)送器303將其發(fā)送至圖像渲染設備400。

然后，如果圖像渲染設備400接收上述內容元信息或真實世界信息作為輸入(步驟S2421)，則表示所輸入的信息的UI控件布置在基于表示用戶的軀干姿勢的四元數q^B定向在用戶軀干坐標系上的固定位置中(步驟S2413)。然后，圖像渲染處理單元402根據以上式(21)和(22)基于表示用戶的頭部姿勢的四元數q^H將布置在用戶軀干坐標系上的UI控件的位置和姿勢轉換成頭部坐標系上的位置和姿勢(步驟S2414)。

圖像渲染設備400接收用于在自由視點空間中移動的控制信號v(諸如，位移速度和位移量)作為輸入(步驟S2431)。作為一個實例，當生成三維圖像(諸如，游戲)時，圖像渲染設備400接收對應于游戲控制器的操縱桿等的操縱變量的控制信號v作為輸入。通過使智能手機顯示用戶要操作的操作屏幕，可以接收控制信號v作為輸入。替換地，可以輸入使用安裝在外部的相機等檢測的用戶的頭部的物理位置的移動作為控制信號v。

圖像渲染處理單元402根據所輸入的控制信號v計算自由視點空間中的移動量Δ^B(步驟S2432)。在該處理例程中，使用可從軀干運動追蹤設備300獲得的用戶的軀干的姿勢信息，并且因此，控制信號v可與用戶的軀干的姿勢信息q^B相關聯，并且如以上式(4)中所示確定移動量Δ^B。

圖像渲染處理單元402計算通過在自由視點空間中沿著用戶的軀干姿勢q^B的方向(即，軀干的前向方向)將當前點移動移動量Δ^B獲得的點p^B(步驟S2433)。

與用戶的軀干姿勢信息q^B相關聯的點p^B被設為自由視點空間中的視點位置，從視點位置p^B渲染在表示為頭部姿勢的四元數q^H的視線方向看到的圖像(步驟S2415)，并且然后在顯示設備500上顯示渲染的圖像作為輸出。

同樣在圖24中示出的處理過程中，可以通過考慮在從檢測用戶的頭部和軀干姿勢到顯示圖像的時間期間出現的延遲時間執(zhí)行圖像渲染(同上)。

盡管在圖24中示出的流程圖中未示出，通過采用在以上項C中描述的校準處理，可以執(zhí)行由頭部運動追蹤設備200檢測的用戶的頭部姿勢的坐標系與由軀干運動追蹤設備300檢測的用戶的軀干姿勢的坐標系之間的關聯。

現有技術文獻

專利文獻

專利文獻1：特開2012-141461號公報

專利文獻2：特開平9-106322號公報

專利文獻3：特開2010-256534號公報

工業(yè)實用性

因此上文參照具體實施方式詳細地描述了本說明書中公開的技術。然而，對本領域中的技術人員顯而易見的是，在不偏離在本說明書中公開的精神的前提下，可以對這些實施方式進行修改和替換。

盡管本文中已主要描述了用于實現自由視點觀看和具有頭戴式顯示器的視點移動的環(huán)境的實施方式，但本文中描述的技術可應用于其他使用案例。作為一個實例，坐在大屏幕顯示器(諸如，電視或投影儀)的前方玩游戲的用戶可佩帶頭部運動追蹤設備200和軀干運動追蹤設備300，從而在電視的游戲屏幕中實現自由視點觀看和視點移動的環(huán)境。

本文中描述的技術可應用于任何類型的沉浸、透視、視頻透視頭戴式顯示器。本文中描述的技術可應用于任何類型的雙眼和單眼頭戴式顯示器。

基本上，已通過舉例的方式描述了本說明書中公開的技術，并且本說明書陳述的內容不應當被解釋為限制性的。應當考慮到權利要求確定本說明書中公開的技術的精神。

此外，還可以如下配置本技術。

(1)

一種信息處理裝置，包括：

接收器，被配置為接收關于觀察者的頭部的姿勢的第一信息和關于觀察者的除頭部以外的身體的姿勢的第二信息；以及

圖像渲染處理單元，被配置為基于第一信息和第二信息生成對應于觀察者的姿勢的顯示圖像。

(2)

根據(1)所述的信息處理裝置，

其中，接收器接收至少觀察者的軀干的姿勢作為第二信息，并且

圖像渲染處理單元通過基于第一信息在自由視點空間中定向觀察者的視線方向并通過基于從第二信息獲得的觀察者的軀干的姿勢在自由視點空間中定向觀察者的身體的朝向(視點位置)，來生成追蹤觀察者的頭部的姿勢的自由視點圖像。

(3)

根據(2)所述的信息處理裝置，

其中，當接收用于指示觀察者在自由視點空間中移動的控制信號作為輸入時，圖像渲染處理單元通過將基于從第二信息獲得的觀察者的軀干的姿勢定向的身體的朝向識別為前向方向，來確定移動之后的點(視點位置)。

(4)

根據(1)所述的信息處理裝置，

其中，圖像渲染處理單元通過基于第一信息在自由視點空間中定向觀察者的視線方向并通過布置在基于從第二信息獲得的姿勢定向的固定位置中，來生成追蹤觀察者的頭部的姿勢的自由視點圖像。

(5)

根據(1)所述的信息處理裝置，

其中，接收器接收至少觀察者的軀干的姿勢作為第二信息，并且

圖像渲染處理單元通過基于第一信息在自由視點空間中定向觀察者的視線方向、通過基于從第二信息獲得的觀察者的軀干的姿勢在自由視點空間中定向觀察者的身體的朝向(視點位置)、并通過將預定圖像控件布置在基于觀察者的軀干的姿勢定向的固定位置中，來生成追蹤觀察者的頭部的姿勢的自由視點圖像。

(5-1)

根據(4)和(5)中任一項所述的信息處理裝置，

其中圖像渲染處理單元布置包括與自由視點圖像有關的原信息的圖像控件。

(6)

根據(1)至(5)中任一項所述的信息處理裝置，進一步包括：

校準處理單元，被配置為獲得校準參數，

其中，圖像渲染處理單元使用通過校準參數校正的姿勢信息執(zhí)行圖像生成。

(7)

根據(6)所述的信息處理裝置，

其中，校準處理單元基于從第一信息獲得的頭部姿勢信息和從第二信息獲得的第二姿勢信息計算用于校正第二姿勢信息的校準參數并且使用校準參數校正第二姿勢信息。

(8)

根據(7)所述的信息處理裝置，

其中，校準處理單元通過使用頭部姿勢信息和第二姿勢信息計算用于將第二姿勢信息與頭部姿勢信息匹配的姿勢轉換參數作為校準參數。

(9)

根據(7)所述的信息處理裝置，

其中，由四元數表示姿勢信息，

校準處理單元通過將頭部姿勢信息從右側乘以第二姿勢信息的四元數的倒數計算用于校正第二姿勢信息的校準四元數，并且

通過將第二姿勢信息的四元數從左側乘以校準四元數執(zhí)行校正。

(10)

根據(6)所述的信息處理裝置，

其中，校準處理單元基于從第一信息獲得的頭部姿勢的坐標系和從第二信息獲得的姿勢的坐標系的某個時段的旋轉位移以及人體的特性估計用于校正第二姿勢信息的校準參數。

(11)

根據(6)所述的信息處理裝置，

其中，校準處理單元將基于從第一信息獲得的頭部姿勢信息和從第二信息獲得的第二姿勢信息計算的某個時段的校準參數的時間序列平均值設置為最終校準參數。

(12)

根據(11)所述的信息處理裝置，

其中，由四元數表示姿勢信息，并且

校準處理單元通過在基于從重新接收的第一信息和第二信息中的每一個獲得的姿勢信息的四元數重新計算的校準四元數與由時間序列平均值確定的最后校準四元數之間執(zhí)行球面線性內插，來更新校準四元數。

(12-1)

根據(11)所述的圖像顯示設備，

其中校準處理單元通過對數轉換將校準四元數的時間序列映射到三維空間上、計算包括算術平均值的代表值、并且然后通過指數轉換將所得出的值返回至四元數。

(13)

根據(11)所述的信息處理裝置，

其中，基于第二信息計算觀察者的軀干的姿勢，并且

當重力方向被設為旋轉軸線時，校準處理單元確定分別從重新接收的第一信息和第二信息獲得的頭部和軀干的姿勢信息的旋轉方向的角度差的平均值、并計算重力方向上的校準參數和平均值。

(14)

根據(1)所述的信息處理裝置，

其中，圖像渲染處理單元基于從第一信息獲得的頭部姿勢與從第二信息獲得的軀干姿勢之間的差異處理顯示單元上的顯示圖像。

(15)

根據(2)和(3)中任一項所述的信息處理裝置，

其中，圖像渲染處理單元通過在生物安全支持模式下以自由視點空間中的頭部姿勢與軀干姿勢之間的差異減少的方式校正世界坐標系，來生成自由視點圖像。

(16)

根據(2)和(3)中任一項所述的信息處理裝置，

其中，圖像渲染處理單元通過在設置生物安全支持模式時的時間點在自由視點空間中固定頭部姿勢并通過在生物安全支持模式下根據由頭部姿勢檢測單元檢測的頭部姿勢在自由視點空間中改變軀干姿勢，來生成自由視點圖像。

(17)

根據(15)和(16)中任一項所述的信息處理裝置，

其中，當從第一信息獲得的頭部姿勢與從第二信息獲得的軀干姿勢之間的差異超過第一閾值的狀態(tài)持續(xù)一定時間時設置生物安全支持模式，并且當差異等于或小于第二閾值時釋放生物安全支持模式，第二閾值小于第一閾值。

(18)

一種信息處理方法，包括：

接收步驟，接收關于觀察者的頭部的姿勢的第一信息以及關于觀察者的除頭部以外的身體的姿勢的第二信息；以及

圖像渲染處理步驟，基于第一信息和第二信息生成對應于觀察者的姿勢的顯示圖像。

(19)

一種計算機程序，其以計算機可讀格式編寫，用于使計算機用作：

頭部姿勢操作單元，被配置為基于通過在頭部姿勢檢測單元中的檢測獲得的結果計算觀察者的頭部的姿勢信息，頭部姿勢檢測單元被配置為檢測觀察者的頭部的姿勢；

第二姿勢操作單元，被配置為基于通過第二姿勢檢測單元中的檢測獲得的結果計算觀察者的除頭部以外的身體的第二部分的姿勢信息，第二姿勢檢測單元被配置為檢測第二部分的一個或多個的姿勢；以及

圖像渲染處理單元，被配置為基于觀察者的頭部的姿勢和第二部分的姿勢處理待顯示在顯示單元上的圖像，顯示單元被固定至觀察者的頭部或面部。

(20)

一種圖像處理系統，包括：

顯示單元，被固定至觀察者的頭部或面部；

頭部姿勢檢測單元，被配置為檢測觀察者的頭部的姿勢；

第二姿勢檢測單元，被配置為檢測觀察者的除頭部以外的身體的一個或多個第二部分的姿勢；以及

圖像渲染處理單元，被配置為基于觀察者的頭部的姿勢和第二部分中的每一個的姿勢處理顯示單元上的顯示圖像。

符號說明

100 圖像顯示系統

200 頭部運動追蹤設備

201 傳感器單元

202 姿勢角度操作單元

203 發(fā)送器

300 軀干運動追蹤設備

301 傳感器單元

302 姿勢角度操作單元

303 發(fā)送器

400 圖像渲染設備

401 接收器

402 圖像渲染處理單元

403 發(fā)送器

404 圖像源

500 顯示設備

501 接收器

502 顯示單元。