信息處理裝置、信息處理方法以及程序的制作方法
【專利摘要】[問題]為了提出在減輕用戶的操作負(fù)擔(dān)的同時利用其可以將用戶的視點(diǎn)引導(dǎo)至期望范圍的信息處理裝置、信息處理方法以及程序。[解決方案]根據(jù)本公開內(nèi)容的信息處理裝置包括：視點(diǎn)位置確定單元，該視點(diǎn)位置確定單元基于所獲取的有關(guān)用戶的視點(diǎn)信息的視點(diǎn)位置信息來確定用戶的視點(diǎn)位置是否被包括在適合于內(nèi)容的視點(diǎn)位置范圍中；以及對象顯示控制單元，當(dāng)用戶的視點(diǎn)位置未被包括在適合于內(nèi)容的視點(diǎn)位置范圍中時，該對象顯示控制單元執(zhí)行顯示視點(diǎn)引導(dǎo)對象的顯示控制，該視點(diǎn)引導(dǎo)對象將用戶的視點(diǎn)引導(dǎo)至適合于內(nèi)容的視點(diǎn)位置范圍。
【專利說明】信息處理裝置、信息處理方法以及程序

【技術(shù)領(lǐng)域】
[0001] 本公開內(nèi)容涉及信息處理裝置、信息處理方法以及程序。

【背景技術(shù)】
[0002] 近年來，開發(fā)了使用戶可以通過利用人類雙眼視差立體地感受對象的顯示器。在 這些立體顯示器中，存在著許多當(dāng)注視顯示器時的視點(diǎn)位置受限制的立體顯示器（例如， 參照下列專利文獻(xiàn)1)。
[0003] 特別地，在類似所謂的phantogram的瀏覽方法中，并不是從屏幕的前面進(jìn)行立體 3D顯示，而是通過偏移視點(diǎn)位置來進(jìn)行瀏覽，因?yàn)閮H在從某一特定的位置注視內(nèi)容時才會 增強(qiáng)立體感，所以用戶的視點(diǎn)位置成為重要因素。
[0004] 引用列表
[0005] 專利文獻(xiàn)
[0006] 專利文獻(xiàn) 1 :JP 2012-10086A


【發(fā)明內(nèi)容】

[0007] 技術(shù)問題
[0008] 在如上文提及的立體內(nèi)容中，當(dāng)不是在特定的視點(diǎn)位置進(jìn)行內(nèi)容的瀏覽時，會出 現(xiàn)各種瀏覽負(fù)擔(dān)，如發(fā)生串?dāng)_（crosstalk)、對象表現(xiàn)出失真、以及不能形成顯示對象的圖 像。
[0009] 對此，還存在著限制立體觀看、停止立體觀看或者校正內(nèi)容的技術(shù)，使得當(dāng)不是在 特定的視點(diǎn)位置進(jìn)行內(nèi)容的瀏覽時可以進(jìn)行立體觀看。然而，用戶的操作負(fù)擔(dān)增加，并且還 有必要進(jìn)行設(shè)計(jì)以使內(nèi)容本身適應(yīng)于這樣的瀏覽格式，因而內(nèi)容創(chuàng)建者的負(fù)擔(dān)也增加。
[0010] 而且，在通過計(jì)算機(jī)圖形技術(shù)等生成的內(nèi)容中，通過諸如桌面虛擬現(xiàn)實(shí)（Desktop VR)或魚缸虛擬現(xiàn)實(shí)（Fishtank VR)的表示，可以在任意視點(diǎn)位置處生成顯示視場。然而， 難以將這樣的技術(shù)應(yīng)用到采集的視頻圖像或者應(yīng)用到僅從特定視點(diǎn)具有意義的特殊內(nèi)容。 [0011] 因而，考慮到上文提及的情形，本發(fā)明提出了可以在減低用戶的操作負(fù)擔(dān)的同時 將用戶的視點(diǎn)引導(dǎo)至優(yōu)選視點(diǎn)范圍的一種信息處理裝置、一種信息處理方法以及一種程 序。
[0012] 問題的解決方案
[0013] 根據(jù)本公開內(nèi)容，提供了一種信息處理裝置，包括：視點(diǎn)位置確定單元，該視點(diǎn)位 置確定單元基于所獲取的有關(guān)用戶的視點(diǎn)位置的視點(diǎn)位置信息來確定用戶的視點(diǎn)位置是 否被包括在適合于內(nèi)容的視點(diǎn)位置范圍中；以及對象顯示控制單元，如果用戶的視點(diǎn)位置 未被包括在適合于內(nèi)容的視點(diǎn)位置范圍中，則該對象顯示控制單元進(jìn)行顯示控制，所述顯 示控制用于顯示視點(diǎn)引導(dǎo)對象，所述視點(diǎn)引導(dǎo)對象將用戶的視點(diǎn)引導(dǎo)至適合于內(nèi)容的視點(diǎn) 位置范圍。
[0014] 根據(jù)本公開內(nèi)容，提供了一種信息處理方法，包括：基于所獲取的有關(guān)用戶的視點(diǎn) 位置的視點(diǎn)位置信息來確定用戶的視點(diǎn)位置是否被包括在適合于內(nèi)容的視點(diǎn)位置范圍中； 以及如果用戶的視點(diǎn)位置未被包括在適合于內(nèi)容的視點(diǎn)位置范圍中，則進(jìn)行顯示控制，所 述顯示控制用于顯示視點(diǎn)位置引導(dǎo)對象，所述視點(diǎn)位置引導(dǎo)對象將用戶的視點(diǎn)引導(dǎo)至適合 于內(nèi)容的視點(diǎn)位置范圍。
[0015] 根據(jù)本公開內(nèi)容，提供了一種程序，該程序用于使計(jì)算機(jī)實(shí)現(xiàn)：視點(diǎn)位置確定功 能，該視點(diǎn)位置確定功能基于所獲取的有關(guān)用戶的視點(diǎn)位置的視點(diǎn)位置信息來確定用戶的 視點(diǎn)位置是否被包括在適合于內(nèi)容的視點(diǎn)位置范圍中；以及對象顯示控制功能，如果用戶 的視點(diǎn)位置未被包括在適合于內(nèi)容的視點(diǎn)位置范圍中，則該對象顯示控制功能進(jìn)行顯示控 制，所述顯示控制用于顯示視點(diǎn)位置引導(dǎo)對象，所述視點(diǎn)位置引導(dǎo)對象將用戶的視點(diǎn)引導(dǎo) 至適合于內(nèi)容的視點(diǎn)位置范圍。
[0016] 根據(jù)本公開內(nèi)容，基于與用戶的視點(diǎn)位置相關(guān)的視點(diǎn)位置信息，確定用戶的視點(diǎn) 位置是否被包括在適合于內(nèi)容的視點(diǎn)位置范圍中，并且，如果用戶的視點(diǎn)位置未被包括在 適合于內(nèi)容的視點(diǎn)位置范圍中，則執(zhí)行顯示控制，該顯示控制用于顯示將用戶的視點(diǎn)引導(dǎo) 至適合于內(nèi)容的視點(diǎn)位置范圍的視點(diǎn)位置引導(dǎo)對象。
[0017] 發(fā)明的有益效果
[0018] 根據(jù)上文說明的本公開內(nèi)容，可以在減低用戶的操作負(fù)擔(dān)的同時將用戶的視點(diǎn)引 導(dǎo)至優(yōu)選范圍。

【專利附圖】

【附圖說明】
[0019] 圖1A是示出了立體內(nèi)容的一個示例的說明圖。
[0020] 圖1B是示出了立體內(nèi)容的一個示例的說明圖。
[0021] 圖1C是示出了立體內(nèi)容的一個示例的說明圖。
[0022] 圖2是示出了根據(jù)本公開內(nèi)容的實(shí)施方式的信息處理裝置的配置的框圖。
[0023] 圖3是示出了根據(jù)本公開內(nèi)容的實(shí)施方式的包括在信息處理裝置中的控制單元 的配置的框圖。
[0024] 圖4是示出了信息處理裝置的持握狀態(tài)與視點(diǎn)位置之間的關(guān)系的一個示例的說 明圖。
[0025] 圖5是示出了在本公開內(nèi)容中所使用的坐標(biāo)系統(tǒng)的一個示例的說明圖。
[0026] 圖6是示出了根據(jù)本公開內(nèi)容的第一實(shí)施方式的包括在控制單元中的用戶視點(diǎn) 位置指定單元的配置的框圖。
[0027] 圖7A是示出了表示信息處理裝置的持握狀態(tài)的角度的說明圖。
[0028] 圖7B是示出了表示信息處理裝置的持握狀態(tài)的角度的說明圖。
[0029] 圖8是不出了根據(jù)同一實(shí)施方式的簡檔（profile)的一個不例的說明圖。
[0030] 圖9是用于對用戶的視點(diǎn)位置進(jìn)行說明的說明圖。
[0031] 圖10A是用于說明根據(jù)同一實(shí)施方式的簡檔的說明圖。
[0032] 圖10B是用于說明根據(jù)同一實(shí)施方式的簡檔的說明圖。
[0033] 圖10C是用于說明根據(jù)同一實(shí)施方式的簡檔的說明圖。
[0034] 圖11A是用于說明根據(jù)同一實(shí)施方式的簡檔的說明圖。
[0035] 圖11B是用于說明根據(jù)同一實(shí)施方式的簡檔的說明圖。
[0036] 圖11C是用于說明根據(jù)同一實(shí)施方式的簡檔的說明圖。
[0037] 圖12A是用于說明根據(jù)同一實(shí)施方式的簡檔的說明圖。
[0038] 圖12B是用于說明根據(jù)同一實(shí)施方式的簡檔的說明圖。
[0039] 圖12C是用于說明根據(jù)同一實(shí)施方式的簡檔的說明圖。
[0040] 圖13是用于說明當(dāng)與采集的圖像一起被使用時視點(diǎn)位置的估計(jì)過程的說明圖。
[0041] 圖14是示出了根據(jù)同一實(shí)施方式的信息處理方法的流程的一個示例的流程圖。
[0042] 圖15是示出了根據(jù)本公開內(nèi)容的第二實(shí)施方式的包括在信息處理裝置中的顯示 控制單元的配置的框圖。
[0043] 圖16是示出了根據(jù)同一實(shí)施方式的信息處理裝置中的顯示控制的說明圖。
[0044] 圖17A是示出了根據(jù)同一實(shí)施方式的視點(diǎn)引導(dǎo)對象的一個示例的說明圖。
[0045] 圖17B是示出了根據(jù)同一實(shí)施方式的視點(diǎn)引導(dǎo)對象的一個示例的說明圖。
[0046] 圖18A是示出了根據(jù)同一實(shí)施方式的視點(diǎn)引導(dǎo)對象的一個示例的說明圖。
[0047] 圖18B是示出了根據(jù)同一實(shí)施方式的視點(diǎn)引導(dǎo)對象的一個示例的說明圖。
[0048] 圖19A是示出了根據(jù)同一實(shí)施方式的視點(diǎn)引導(dǎo)對象的一個示例的說明圖。
[0049] 圖19B是示出了根據(jù)同一實(shí)施方式的視點(diǎn)引導(dǎo)對象的一個示例的說明圖。
[0050] 圖20A是示出了根據(jù)同一實(shí)施方式的視點(diǎn)引導(dǎo)對象的一個示例的說明圖。
[0051] 圖20B是示出了根據(jù)同一實(shí)施方式的視點(diǎn)引導(dǎo)對象的一個示例的說明圖。
[0052] 圖21A是示出了根據(jù)同一實(shí)施方式的視點(diǎn)引導(dǎo)對象的一個示例的說明圖。
[0053] 圖21B是示出了根據(jù)同一實(shí)施方式的視點(diǎn)引導(dǎo)對象的一個示例的說明圖。
[0054] 圖22是示出了根據(jù)同一實(shí)施方式的信息處理方法的流程的一個示例的流程圖。
[0055] 圖23是示出了根據(jù)本公開內(nèi)容的實(shí)施方式的信息處理裝置的硬件配置的一個示 例的框圖。

【具體實(shí)施方式】
[0056] 在下文中，將參照附圖詳細(xì)地描述本公開內(nèi)容的優(yōu)選實(shí)施方式。注意，在本說明書 和附圖中，將以相同的附圖標(biāo)記來表示具有基本相同的功能和結(jié)構(gòu)的元件，并且省略了重 復(fù)的說明。
[0057] 按以下順序進(jìn)行說明：
[0058] (1)關(guān)于立體內(nèi)容的一個示例
[0059] (2)第一實(shí)施方式
[0060] (2-1)關(guān)于信息處理裝置的配置
[0061] (2-2)關(guān)于用戶視點(diǎn)位置指定單元的配置
[0062] (2-3)關(guān)于信息處理方法（用戶的視點(diǎn)位置的估計(jì)方法）
[0063] (3)第二實(shí)施方式
[0064] (3-1)關(guān)于顯示控制單元的配置
[0065] (3-2)關(guān)于信息處理方法（顯示控制方法）
[0066] (4)關(guān)于根據(jù)本公開內(nèi)容的每個實(shí)施方式的信息處理裝置的硬件配置。
[0067](關(guān)于立體內(nèi)容的一個示例）
[0068] 在對根據(jù)本公開內(nèi)容的實(shí)施方式的信息處理裝置進(jìn)行說明前，參照圖1A至圖1C 簡單地說明通過根據(jù)本公開內(nèi)容的實(shí)施方式的信息處理裝置執(zhí)行的立體內(nèi)容的一個示例。 圖1A至圖1C是示出了立體內(nèi)容的一個示例的說明圖。
[0069] 在根據(jù)本公開內(nèi)容的實(shí)施方式的信息處理裝置10中，例如，執(zhí)行利用下述顯示方 法的內(nèi)容（立體內(nèi)容）：在該顯示方法中，不是從屏幕的前面進(jìn)行立體3D顯示，而是通過偏 移視點(diǎn)位置來進(jìn)行瀏覽?？梢蕴岬缴衔奶峒暗膒hantogram、桌面虛擬顯示、魚缸虛擬顯示 等，作為這樣的顯示方法的示例。
[0070] 在圖1A至圖1C中，示意性地示出了在某個信息處理裝置中設(shè)置的顯示屏D上顯 示的內(nèi)容的內(nèi)容。假定在圖1A至圖1C中所示的內(nèi)容中顯示三棱柱對象0BJ1、女性人物 0BJ2以及男性人物0BJ3。在圖1A至圖1C中，還用箭頭對象L簡便地示出了用戶觀看顯示 屏D的視點(diǎn)方向。
[0071] 假定在顯示屏D上使用固定坐標(biāo)系將上文提及的顯示對象0BJ1、0BJ2以及0BJ3 的互相的相對位置關(guān)系進(jìn)行彼此關(guān)聯(lián)。在這種情況下，如果如圖1A所示從顯示屏D的前面 來觀看內(nèi)容，則三棱柱對象0BJ1被顯示為三角形形狀，而人形人物0BJ2、0BJ3被顯示為人 物的頭部部分。
[0072] 而且，如圖1B所示，如果用戶從顯示屏的正面向前方向（在圖1B中由對象L所示 的方向）觀看顯示屏D，則三棱柱對象0BJ1被顯示為三棱柱的側(cè)表面，而人形人物0BJ2、 0BJ3被顯示為人物的整個身體。
[0073] 此外，如圖1C所示，如果用戶從顯示屏的正面斜方向（在圖1C中由對象L所示的 方向）觀看顯示屏D，則每個對象0BJU0BJ2以及0BJ3被顯示為與圖1B不同的外形。
[0074] 因而，通過立體顯示方法，諸如phantogram、桌面虛擬現(xiàn)實(shí)以及魚缸虛擬現(xiàn)實(shí)，根 據(jù)用戶觀看顯示屏D的視點(diǎn)位置，在顯示屏上呈現(xiàn)出通過這樣的斜視點(diǎn)校正屏幕上的失真 的效果。出于該原因，因?yàn)閮H在從某一特定位置（例如正面向前30°位置等）注視內(nèi)容時 通過這些顯示方法才增強(qiáng)立體感，所以用戶的視點(diǎn)位置在哪里成為重要要素。
[0075] 因而，在根據(jù)下文說明的本公開內(nèi)容的第一實(shí)施方式的信息處理裝置中，在減低 處理負(fù)擔(dān)并減低用戶的操作感惡化的同時指定用戶的視點(diǎn)位置。
[0076] 而且，在根據(jù)下文說明的本公開內(nèi)容的第二實(shí)施方式的信息處理裝置中，使得用 戶可以更容易地瀏覽如上文提及的立體內(nèi)容，用戶的視點(diǎn)被引導(dǎo)以使得用戶的視點(diǎn)被包括 在適合于內(nèi)容的范圍中。
[0077](第一實(shí)施方式）
[0078] 在下文中，參照圖2至圖14對根據(jù)本公開內(nèi)容的第一實(shí)施方式的信息處理裝置和 信息處理方法詳細(xì)地進(jìn)行了說明。根據(jù)本實(shí)施方式的信息處理裝置10是可以在減低處理 附加并減低用戶的操作感惡化的同時指定用戶的視點(diǎn)位置的裝置。
[0079] 〈關(guān)于信息處理裝置的配置〉
[0080] 首先，參照圖2對關(guān)于根據(jù)本實(shí)施方式的信息處理裝置10的整個配置進(jìn)行了說 明。圖2是示出了根據(jù)本實(shí)施方式的信息處理裝置10的配置的框圖。
[0081] 可以提到例如便攜式裝置（諸如數(shù)碼相機(jī)、智能電話、平板電腦）、可以立體成像 的裝備等，作為根據(jù)本實(shí)施方式的信息處理裝置10。在下文中，給出了當(dāng)根據(jù)本實(shí)施方式的 信息處理裝置10是智能電話或平板電腦時的示例來進(jìn)行說明。
[0082] 如圖2所示，根據(jù)本實(shí)施方式的信息處理裝置10主要包括控制單元101、傳感器 103以及存儲單元105。而且，根據(jù)本實(shí)施方式的信息處理裝置10還可以包括成像單元107。
[0083] 通過例如中央處理單元（CPU)、只讀存儲器（ROM)、隨機(jī)存取存儲器（RAM)等來實(shí) 現(xiàn)控制單元101。控制單元101是對可由根據(jù)本實(shí)施方式的信息處理裝置10執(zhí)行的各種處 理進(jìn)行執(zhí)行控制的處理單元。在下文進(jìn)一步詳細(xì)地說明該控制單元101的配置。
[0084] 傳感器103測量在根據(jù)本實(shí)施方式的信息處理裝置10上作用的加速度。例如，可 以提及包括了加速度傳感器和重力檢測傳感器的三軸加速度傳感器，作為這樣的傳感器的 一個示例。傳感器103在控制單元101的控制下，以給定速率測量加速度，并且將示出測量 結(jié)果的數(shù)據(jù)（在下文中也稱為傳感器信息）輸入至控制單元101。而且，傳感器103可以將 所獲得的傳感器信息存儲在下文提及的存儲單元105等中。
[0085] 通過包括在根據(jù)本實(shí)施方式的信息處理裝置10中的RAM、存儲裝置等來實(shí)現(xiàn)存儲 單元105。由控制單元101執(zhí)行的各種處理中所使用的各種數(shù)據(jù)、各種數(shù)據(jù)庫、查閱表等被 存儲在存儲單元105中。而且，由根據(jù)本實(shí)施方式的傳感器103所測量的測量數(shù)據(jù)、由下文 提及的成像單元107所成像的采集圖像的實(shí)體數(shù)據(jù)、各種程序、參數(shù)、由本實(shí)施方式的控制 單元101執(zhí)行的處理中所使用的數(shù)據(jù)等可以被記錄在存儲單元105中。而且，除這些數(shù)據(jù) 以外，還可以在存儲單元105中任意地存儲可由根據(jù)本實(shí)施方式的信息處理裝置10執(zhí)行的 各種內(nèi)容，以及當(dāng)信息處理裝置10進(jìn)行一些處理時有必要存儲的處理的各種參數(shù)和中間 進(jìn)展等。該存儲單元105可以由每個處理單元，諸如控制單元101、傳感器103以及成像單 元107自由地訪問，并且可以自由地寫入和讀出數(shù)據(jù)。
[0086] 通過外部地連接至信息處理裝置10的攝像機(jī)、嵌入在信息處理裝置10中的攝像 機(jī)等來實(shí)現(xiàn)成像單元107。成像單元107在控制單元101的控制下，以給定的幀速率對包括 了信息處理裝置10的用戶的臉部的采集圖像進(jìn)行成像，并且將所獲得的采集圖像的數(shù)據(jù) 輸出至控制單元101。而且，成像單元107可以將所獲得的采集圖像的數(shù)據(jù)存儲在存儲單元 105等中。
[0087] 而且，根據(jù)本實(shí)施方式的信息處理裝置10除了具有圖2所示的處理單元以外，還 可以根據(jù)信息處理裝置10提供給用戶的各種功能而具有用于執(zhí)行這些功能的各種已知的 處理單元。
[0088] 以上參照圖2對關(guān)于根據(jù)本實(shí)施方式的信息處理裝置10的整個配置進(jìn)行了說明。
[0089] [關(guān)于控制單元101的配置]
[0090] 接下來，參照圖3對關(guān)于根據(jù)本實(shí)施方式的包括在信息處理裝置10中的控制單元 101的配置進(jìn)行說明。圖3是示出了根據(jù)本實(shí)施方式的包括在信息處理裝置10中的控制單 元101的配置的框圖。
[0091] 如圖3所示，根據(jù)本實(shí)施方式的控制單元101主要包括集成控制單元111、用戶視 點(diǎn)位置指定單元113以及顯示控制單元115。
[0092] 通過例如CPU、R0M、RAM等來實(shí)現(xiàn)集成控制單元111。集成控制單元111是通過將 根據(jù)本實(shí)施方式的信息處理裝置10執(zhí)行的各種處理進(jìn)行集成來控制的處理單元。在集成 控制單元111的控制下，根據(jù)本實(shí)施方式的信息處理裝置10具有的每個處理單元可以實(shí)現(xiàn) 各種處理，同時根據(jù)必要性而彼此協(xié)作。
[0093] 通過例如CPU、R0M、RAM等來實(shí)現(xiàn)用戶視點(diǎn)位置指定單元113。根據(jù)本實(shí)施方式的 用戶視點(diǎn)位置指定單元113使用由包括在信息處理裝置10中的傳感器103生成的傳感器 信息，以便基于信息處理裝置10的姿態(tài)（通過被用戶拿著而實(shí)現(xiàn)的姿態(tài)）來指定用戶的視 點(diǎn)位置。用戶視點(diǎn)位置指定單元113可以在每次從傳感器103輸出傳感器信息時估計(jì)用 戶的視點(diǎn)位置，或者可以以與傳感器信息的輸出速率不同的給定周期來估計(jì)用戶的視點(diǎn)位 置。
[0094] 表示由用戶視點(diǎn)位置指定單元113指定的用戶的視點(diǎn)位置的信息（在下文中，也 稱為視點(diǎn)位置信息）被輸出至集成控制單元111以及下文提及的顯示控制單元113,并且被 使用在通過這些處理單元執(zhí)行的各種處理中。
[0095] 以下對關(guān)于根據(jù)本實(shí)施方式的用戶視點(diǎn)位置指定單元113的特定配置詳細(xì)地進(jìn) 行說明。
[0096] 通過CPU、ROM、RAM、輸出裝置等來實(shí)現(xiàn)顯示控制單元115。顯示控制單元115進(jìn) 行下述顯示裝置中的顯示屏的顯示控制：該顯示裝置諸如包括在信息處理裝置10中的顯 示器、設(shè)置在信息處理裝置10外部的并且可以與信息處理裝置10進(jìn)行通信的顯示裝置等。 具體地，根據(jù)本實(shí)施方式的顯示控制單元115執(zhí)行存儲在存儲單元105等中的內(nèi)容，以便將 該內(nèi)容的內(nèi)容顯示在顯示屏上。而且，當(dāng)顯示控制單元115執(zhí)行如圖1A至圖1C中所示的 立體內(nèi)容時，例如，可以應(yīng)用用于實(shí)現(xiàn)與攝像機(jī)鏡頭的移軸成像（tilt-shift imaging)類 似的效果的已知的圖像透視變換技術(shù)。
[0097] 通過對顯示屏進(jìn)行控制的顯示控制單元115,使得將用戶可瀏覽的各種信息例如 顯示在信息處理裝置10的顯示屏上。
[0098] 〈關(guān)于用戶視點(diǎn)位置指定單元的配置〉
[0099] 接下來，參照圖4至圖13對關(guān)于根據(jù)本實(shí)施方式的用戶視點(diǎn)位置指定單元113的 配置進(jìn)行說明。
[0100] 圖4是示出了信息處理裝置的持握狀態(tài)與視點(diǎn)位置之間的關(guān)系的一個示例的說 明圖。如圖4(a)至圖4(c)所示，通過用戶用他的/她的手Η持握信息處理裝置10,使得視 點(diǎn)Ε與顯示屏D之間的相對位置關(guān)系以及視點(diǎn)Ε與顯示屏D之間的距離L改變。
[0101] 在根據(jù)本實(shí)施方式的用戶視點(diǎn)位置指定單元113中，對在信息處理裝置10的殼體 的正常持握狀態(tài)中信息處理裝置10所變成的姿態(tài)進(jìn)行預(yù)先采樣，然后將這些姿態(tài)的集合 用作為參考姿態(tài)信息。在該參考姿態(tài)信息中，視點(diǎn)Ε與顯示屏D之間的正常相對位置關(guān)系 以及視點(diǎn)Ε和顯示屏D之間的距離L的參考值被關(guān)聯(lián)作為參考信息。用戶視點(diǎn)位置指定單 元113基于傳感器信息來指定信息處理裝置10的姿態(tài)，在所指定的姿態(tài)附近提取一個或多 個參考姿態(tài)狀態(tài)，并且基于所提取的參考姿態(tài)狀態(tài)來指定用戶的視點(diǎn)位置。
[0102] 圖5是示出了在本實(shí)施方式的說明中所使用的坐標(biāo)系的一個示例的說明圖。如圖 5所示，在以下說明中，簡便地使用了顯示屏D是xy平面而顯示屏D的法向是ζ軸正方向的 坐標(biāo)系。在根據(jù)本實(shí)施方式的信息處理裝置10中，基于例如如圖5所示的裝置所固有的坐 標(biāo)系來顯示包括在內(nèi)容中的對象（如圖1A至圖1C所示的對象）。
[0103] 圖6是示出了根據(jù)本實(shí)施方式的用戶視點(diǎn)位置指定單元113的配置的框圖。如圖 6所示例的，根據(jù)本實(shí)施方式的用戶視點(diǎn)位置指定單元113主要包括傳感器信息獲取單元 151、采集圖像獲取單元15、傳感器信息分析單元155以及視點(diǎn)位置估計(jì)單元157。
[0104] 通過例如CPU、ROM、RAM、通信裝置等來實(shí)現(xiàn)傳感器信息獲取單元151。傳感器信 息獲取單元151例如獲取由包括在信息處理裝置10中的傳感器103生成的傳感器信息，并 將該傳感器信息傳送至下文提及的傳感器信息分析單元155。而且，傳感器信息獲取單元 151可以將表示傳感器信息被獲取時的日期和時間等的時間信息與所獲取的傳感器信息相 關(guān)聯(lián)，并且將其在存儲單元105中存儲為歷史信息。
[0105] 通過例如CPU、ROM、RAM、通信裝置等來實(shí)現(xiàn)采集圖像獲取單元153。例如，如果存 在采集圖像，該采集圖像包括由包括在信息處理裝置10中的成像單元107生成的用戶臉部 的附近部分，則采集圖像獲取單元153獲取該采集圖像，并且將其傳送至下文提及的視點(diǎn) 位置估計(jì)單元157。而且，采集圖像獲取單元153可以將表示這些數(shù)據(jù)被獲取時的日期和時 間等的時間信息與所獲取的采集圖像的數(shù)據(jù)相關(guān)聯(lián)，并將其在存儲單元105等中存儲為歷 史信息。
[0106] 通過例如CPU、R0M、RAM等來實(shí)現(xiàn)傳感器信息分析單元155。傳感器信息分析單元 155基于從傳感器信息獲取單元151傳送的傳感器信息，分析在信息處理裝置10上作用的 重力的方向（重力方向），并且指定信息處理裝置10的姿態(tài)（信息處理裝置10的殼體的姿 態(tài)）。
[0107] 本文中，傳感器信息分析單元155在分析重力方向時著重于如圖7A和圖7B所示 的兩類角度。圖7A和圖7B是示出了表示信息處理裝置10的持握狀態(tài)的角度的說明圖。如 圖7A所示，在本實(shí)施方式中，將水平方向PL用作為參考，用傾斜角Θ表示當(dāng)信息處理裝置 10繞圖5中所示的y軸旋轉(zhuǎn)地移動時信息處理裝置10的旋轉(zhuǎn)量。而且，如圖7B所示，在本 實(shí)施方式中，用偏航角（yaw angle) ψ表示當(dāng)信息處理裝置10繞圖5中所示的z軸旋轉(zhuǎn)地 移動時信息處理裝置10的旋轉(zhuǎn)量。換句話說，傾斜角Θ表示當(dāng)信息處理裝置10在上下方 向旋轉(zhuǎn)時的旋轉(zhuǎn)角，而偏航角f表示當(dāng)信息處理裝置10在左右方向旋轉(zhuǎn)時的旋轉(zhuǎn)角。
[0108] 傳感器信息分析單兀155著重于所獲取的傳感器信息中的在y軸方向上的重力分 量和在z軸方向上的重力分量，來計(jì)算根據(jù)該y軸方向分量和該z軸方向分量定義的yz平 面中的矢量（換句話說，重力方向）的角度Θ。該角度Θ與圖7A所示的傾斜角Θ對應(yīng)。 類似地，傳感器信息分析單元155著重于所獲取的傳感器信息中的在X軸方向上的重力分 量和在z軸方向上的重力分量，來計(jì)算根據(jù)該X軸方向分量和該z軸方向分量定義的XZ平 面中的矢量（換句話說，重力分量）的角度f。該角度與圖7B所示的偏航角f對應(yīng)。
[0109] 當(dāng)傳感器信息分析單元155進(jìn)行重力方向的分析并計(jì)算上文提及的角度Θ和角 度f時，關(guān)于這些計(jì)算的角度的信息（在下文中，也稱為角度信息）被輸入至下文提及的視 點(diǎn)位置估計(jì)單元157。
[0110] 此外，傳感器信息分析單元155可以將表示所述角度信息被獲取時的日期和時間 等的時間信息與所計(jì)算的角度信息相關(guān)聯(lián)，并將其在存儲單元105等中存儲為歷史信息。
[0111] 通過例如CPU、ROM、RAM等來實(shí)現(xiàn)視點(diǎn)位置估計(jì)單元157。視點(diǎn)位置估計(jì)單元157 基于簡檔（profile)來估計(jì)用戶的視點(diǎn)位置，該簡檔與預(yù)先設(shè)定的用戶的視點(diǎn)位置和由傳 感器信息分析單兀155分析的殼體的姿態(tài)有關(guān)。
[0112] 在根據(jù)本實(shí)施方式的信息處理裝置10中，如上文所提及的，信息處理裝置10的正 常持握狀態(tài)被預(yù)先分類成若干類型，并且，在這些持握狀態(tài)中的每一個持握狀態(tài)中，當(dāng)信息 處理裝置10的殼體被以各種角度（傾斜角）移動時殼體的姿態(tài)與在這些時候相對于殼體 的用戶視點(diǎn)位置被彼此相關(guān)聯(lián)。將這樣的在先信息（prior information)預(yù)先存儲在存儲 單元105等中，并且在視點(diǎn)位置估計(jì)單元157中將其用作為參考姿態(tài)信息，即簡檔。
[0113] 圖8是用于對用戶的視點(diǎn)位置進(jìn)行說明的說明圖，而圖9是示出了根據(jù)本實(shí)施方 式的在視點(diǎn)位置估計(jì)單元157中所使用的簡檔的一個示例的說明圖。如圖9所示，在根據(jù) 本實(shí)施方式的信息處理裝置10中，由用戶將信息處理裝置10的持握狀態(tài)分類成多種狀態(tài)， 諸如保持直立狀態(tài)、從上方瞥視狀態(tài)、平躺狀態(tài)等。圖9所示的持握狀態(tài)僅是一個示例，并 不限于圖9所示的持握狀態(tài)。此外，可以設(shè)定可以考慮到的各種狀態(tài)，諸如側(cè)躺狀態(tài)等。
[0114] 而且，如圖9所示，在每個持握狀態(tài)的簡檔中，用戶的視點(diǎn)方向（圖8中的角度ξ : 單位：度）以及視點(diǎn)與顯示屏之間的間隔距離d(單位：_)根據(jù)殼體的姿態(tài)（換句話說，所 計(jì)算的傾斜角Θ)而彼此相關(guān)聯(lián)。關(guān)于每個持握狀態(tài)，以〇°至180°范圍內(nèi)的給定角度間 隔（在圖9中，30°的角度間隔）多個地設(shè)定殼體的姿態(tài)。角度間隔并不限于圖8所示的 示例，并且根據(jù)所要求的估計(jì)精度、裝置中可用的資源等，可以以例如10°的增量來設(shè)定， 或者以更精細(xì)的角度來設(shè)定。
[0115] 圖10A至圖10C示出了在保持直立狀態(tài)（換句話說，用戶以直立的狀態(tài)持握信息 處理裝置10的狀態(tài)）中的簡檔的一個示例。在這些簡檔中，角度ξ被定義為在視點(diǎn)方向 與ζ軸之間形成的角度。如圖10Α和圖10Β所示，如果殼體的姿態(tài)Θ相對于水平方向PL 傾斜（θ = ΘΑ1，ΘΑ2的情況），則可以設(shè)定視點(diǎn)方向L和視點(diǎn)位置Ε。然而，如圖10C所示， 在保持直立狀態(tài)中，如果信息處理裝置10被水平放置（θ Α3 = 0°的情況），則不能確定視 點(diǎn)方向L和視點(diǎn)位置Ε。
[0116] 圖11Α至圖11C示出了與用戶從上方瞥視信息處理裝置10的情況對應(yīng)的簡檔的 一個示例。而且，圖12Α至圖12C示出了與用戶在仰面平躺的狀態(tài)下持握信息處理裝置的 情況對應(yīng)的簡檔的一個示例。在這些簡檔中，也將角度ξ定義為視點(diǎn)方向與ζ軸之間形成 的角度。
[0117] 從圖9至圖12C可以清楚地看出，可以理解的是，對于這些持握狀態(tài)中的每個持握 狀態(tài)，存在著不能基于殼體的姿態(tài)角度Θ來指定用戶的視點(diǎn)方向L和視點(diǎn)位置Ε的范圍。 通過根據(jù)本實(shí)施方式的視點(diǎn)位置估計(jì)單元157,可以基于由這些在先采樣處理而得到的知 識（簡檔），僅使用來自加速度傳感器的輸出來估計(jì)用戶的視點(diǎn)位置。
[0118] 在下文中，參照圖8和圖9對由視點(diǎn)位置估計(jì)單元157執(zhí)行的視點(diǎn)位置的估計(jì)處 理進(jìn)行具體地說明。
[0119] 視點(diǎn)位置估計(jì)單元157首先通過參照從傳感器信息分析單元155輸出的角度信息 來指定如圖8所示的表示殼體姿態(tài)的角度Θ。接下來，視點(diǎn)位置估計(jì)單元157通過參照圖 9所示的簡檔來獲取最接近所獲得的角度Θ的簡檔，或者獲取角度Θ附近的一個或多個 值，并且指定對應(yīng)的視點(diǎn)方向和距離。而且，在獲取附近的值時，可以進(jìn)行使用多個接近數(shù) 據(jù)的補(bǔ)充處理，以補(bǔ)充所獲得的視點(diǎn)方向和距離。通過這樣的處理，視點(diǎn)位置估計(jì)單元157 可以例如指定圖8中所示的用戶的視線方向ξ。
[0120] 接下來，視點(diǎn)位置估計(jì)單元157通過參照從傳感器信息分析單元155輸出的角度 信息來指定偏航角的大小。此后，視點(diǎn)位置估計(jì)單元157通過使用所獲得的角度φ將所指 定的用戶的視線方向ξ僅旋轉(zhuǎn)f。因此，視點(diǎn)位置估計(jì)單元157可以估計(jì)最終的用戶的視 線方向和視點(diǎn)位置。
[0121] 此外，如果所獲得的角度Θ處于簡檔中的不適當(dāng)范圍中，視點(diǎn)位置估計(jì)單元157 可以阻止繼續(xù)處理。因此，使得可以防止錯誤反應(yīng)和錯誤操作。此外，如果阻止了繼續(xù)處 理，信息處理裝置10可以進(jìn)行諸如停止對所顯示的視點(diǎn)位置的更新、返回至正面附近視點(diǎn) 等的處理。
[0122] 視點(diǎn)位置估計(jì)單元157將這樣獲得的與用戶的視點(diǎn)位置相關(guān)的信息（視點(diǎn)位置信 息）輸出至例如顯示控制單元115。顯示控制單元115可以例如通過參照所傳送的視點(diǎn)位 置信息來進(jìn)行立體內(nèi)容的顯示控制。
[0123] 在上文提及的說明中，關(guān)于視點(diǎn)位置估計(jì)單元157通過僅參照傳感器信息來估計(jì) 用戶的視點(diǎn)位置的情況進(jìn)行了說明。在本文中，如果視點(diǎn)位置估計(jì)單元157可以使用由成 像單元107成像的采集圖像，則可以通過使用如下文說明的方法來更精確地估計(jì)用戶的視 點(diǎn)位置。
[0124] 在下文中，參照圖8、圖9以及圖13詳細(xì)說明使用傳感器信息和采集圖像二者對用 戶的視點(diǎn)位置的估計(jì)方法。圖13是用于說明當(dāng)與采集圖像一起使用時的視點(diǎn)位置的估計(jì) 過程的說明圖。
[0125] 預(yù)計(jì)的是，用戶對信息處理裝置10的持握姿態(tài)可以顯著地不斷改變，尤其是在信 息處理裝置10實(shí)現(xiàn)為移動終端的情況中。針對這一點(diǎn)，通過單個持握狀態(tài)簡檔，在根據(jù)用 戶姿態(tài)的改變進(jìn)行顯示方面存在著不適感。
[0126] 為了克服這樣的持握姿態(tài)改變所伴有的不適，可以考慮通過連接至信息處理裝置 或嵌入在信息處理裝置中的攝像機(jī)來檢測用戶眼睛的位置，并且基于眼睛的位置以及雙眼 之間的距離來粗略地計(jì)算顯示屏與用戶之間的絕對位置關(guān)系。然而，如上文提及的，攝像機(jī) 的視角通常小于視點(diǎn)的瞥視角度，距離等的計(jì)算過程復(fù)雜，并且與加速度傳感器的感測速 率相比，攝像機(jī)幀速率較差。
[0127] 因此，通過根據(jù)本實(shí)施方式的視點(diǎn)位置估計(jì)單元157,除了加速度傳感器進(jìn)行的高 速率（例如，60 Hz或更高）的姿態(tài)改變檢測以外，還可以進(jìn)行使用攝像機(jī)以常規(guī)低速率 (例如，幾 Hz或更低）采集的圖像的視點(diǎn)位置的校正處理。
[0128] 當(dāng)這樣做時，如果攝像機(jī)的低幀速率被直接地應(yīng)用至用戶操作，則考慮到會發(fā)生 因更新速率低導(dǎo)致的各種不適，諸如延遲、咯咯作響（rattling)等。因而，如圖13所示，根 據(jù)本實(shí)施方式的視點(diǎn)位置估計(jì)單元157首先通過使用了由攝像機(jī)（S1)成像的采集圖像的 已知方法來計(jì)算用戶的視點(diǎn)位置。此后，視點(diǎn)位置估計(jì)單元157將處理中基于成像圖像而 計(jì)算的絕對視點(diǎn)位置不是用作為用戶的視點(diǎn)位置，而是用于選擇如上文提及的簡檔（S2)。 視點(diǎn)位置估計(jì)單元157基于加速度傳感器的傳感器信息來檢測殼體的姿態(tài)（S3)，并且使用 采集圖像基于所選擇的簡檔來估計(jì)用戶的視點(diǎn)位置（S4)。
[0129] 因此，對用戶的操作（例如，殼體的持握姿態(tài)的改變）的反饋?zhàn)兂苫谟杉铀俣葌?感器所估計(jì)的值，并且不被可檢測到的角度范圍和幀速率的下降所影響。因此，可以實(shí)現(xiàn)以 高幀速率對用戶的反饋。
[0130] 在下文中，參照圖8和圖9具體說明關(guān)于使用傳感器信息和采集圖像的用戶視點(diǎn) 位置的估計(jì)方法。
[0131] 現(xiàn)在，如圖8所示，通過視點(diǎn)位置估計(jì)單元157,基于傳感器信息獲得殼體的姿態(tài) Θ，而且，也通過基于采集圖像的已知方法計(jì)算了用戶的視點(diǎn)方向ξ和距視點(diǎn)的距離d。在 此情況下，簡檔所具有的殼體姿態(tài)被寫為θ ρ，簡檔所具有的視點(diǎn)方向被寫為ξρ，以及簡檔 所具有的視點(diǎn)距離被寫為dp。針對對于每個簡檔| Θ-Θρ|變?yōu)樽钚〉摩é?，視點(diǎn)位置估計(jì) 單元157通過例如下文提及的公式101來計(jì)算差D0。在下文提及的公式101中，k為某一 常量。
[0132] [等式 1]
[0133]

【權(quán)利要求】
1. 一種信息處理裝置，包括： 視點(diǎn)位置確定單元，所述視點(diǎn)位置確定單元基于所獲取的有關(guān)用戶的視點(diǎn)位置的視點(diǎn) 位置信息來確定所述用戶的所述視點(diǎn)位置是否被包括在適合于內(nèi)容的視點(diǎn)位置范圍中；以 及 對象顯示控制單元，如果所述用戶的所述視點(diǎn)位置未被包括在適合于所述內(nèi)容的所 述視點(diǎn)位置范圍中，則所述對象顯示控制單元進(jìn)行顯示控制，所述顯示控制用于顯示視點(diǎn) 引導(dǎo)對象，所述視點(diǎn)引導(dǎo)對象將所述用戶的視點(diǎn)引導(dǎo)至適合于所述內(nèi)容的所述視點(diǎn)位置范 圍。
2. 根據(jù)權(quán)利要求1所述的信息處理裝置，其中，所述對象顯示控制單元根據(jù)與所述視 點(diǎn)位置信息對應(yīng)的所述用戶的所述視點(diǎn)位置的隨時間的遷移，來改變所述視點(diǎn)引導(dǎo)對象的 顯不。
3. 根據(jù)權(quán)利要求2所述的信息處理裝置，還包括： 內(nèi)容顯示控制單元，所述內(nèi)容顯示控制單元被配置成控制所述內(nèi)容的顯示， 其中，所述內(nèi)容顯示控制單元在所述視點(diǎn)引導(dǎo)對象的顯示期間不執(zhí)行所述內(nèi)容的顯示 控制，以及 其中，如果所述用戶的所述視點(diǎn)位置變成被包括在適合于所述內(nèi)容的所述視點(diǎn)位置范 圍中，則所述對象顯示控制單元不顯示所述視點(diǎn)引導(dǎo)對象，并且所述內(nèi)容顯示控制單元開 始控制所述內(nèi)容的顯示。
4. 根據(jù)權(quán)利要求3所述的信息處理裝置，其中，所述對象顯示控制單元將用于引導(dǎo)所 述用戶的文本與所述視點(diǎn)引導(dǎo)對象一起顯示。
5. 根據(jù)權(quán)利要求1所述的信息處理裝置，其中，所述內(nèi)容是立體內(nèi)容，對于所述立體內(nèi) 容，當(dāng)所述用戶從給定的視點(diǎn)位置范圍觀看時，立體感增強(qiáng)。
6. -種信息處理方法，包括： 基于所獲取的有關(guān)用戶的視點(diǎn)位置的視點(diǎn)位置信息來確定所述用戶的所述視點(diǎn)位置 是否被包括在適合于內(nèi)容的視點(diǎn)位置范圍中；以及 如果所述用戶的所述視點(diǎn)位置未被包括在適合于所述內(nèi)容的所述視點(diǎn)位置范圍中，則 進(jìn)行顯示控制，所述顯示控制用于顯示視點(diǎn)位置引導(dǎo)對象，所述視點(diǎn)位置引導(dǎo)對象將所述 用戶的視點(diǎn)引導(dǎo)至適合于所述內(nèi)容的所述視點(diǎn)位置范圍。
7. -種程序，用于使計(jì)算機(jī)實(shí)現(xiàn)： 視點(diǎn)位置確定功能，所述視點(diǎn)位置確定功能基于所獲取的有關(guān)用戶的視點(diǎn)位置的視點(diǎn) 位置信息來確定所述用戶的所述視點(diǎn)位置是否被包括在適合于內(nèi)容的視點(diǎn)位置范圍中；以 及 對象顯示控制功能，如果所述用戶的所述視點(diǎn)位置未被包括在適合于所述內(nèi)容的所述 視點(diǎn)位置范圍中，則所述對象顯示控制功能進(jìn)行顯示控制，所述顯示控制用于顯示視點(diǎn)位 置引導(dǎo)對象，所述視點(diǎn)位置引導(dǎo)對象將所述用戶的視點(diǎn)引導(dǎo)至適合于所述內(nèi)容的所述視點(diǎn) 位置范圍。
【文檔編號】G06F3/0346GK104145234SQ201380011844
【公開日】2014年11月12日 申請日期:2013年1月15日 優(yōu)先權(quán)日:2012年3月7日
【發(fā)明者】成田智也, 川名陽方, 高岡綾, 廣大輔, 矢野茜 申請人:索尼公司