專利名稱：圖像處理裝置和方法
技術(shù)領(lǐng)域：
本技術(shù)涉及圖像處理裝置和方法。特別地，本技術(shù)涉及這樣的圖像處理裝置和方法，其中通過該裝置和方法從任意角度觀看的外形可以被檢查。
背景技術(shù)：
人們?cè)趥鹘y(tǒng)上使用鏡子來檢查他們的外形。人們很難僅使用一個(gè)鏡子來檢查他們自己外形的側(cè)面和背面，所以人們使用通過結(jié)合兩個(gè)鏡子得到的耦合鏡子或者三折疊鏡子。最近幾年，作為使用耦合鏡子或者三折疊鏡子的方法的替代，存在用于在顯示器上顯示由相機(jī)拍攝的人的側(cè)面和背面外形、以及正面外形的方法
發(fā)明內(nèi)容
但是，在日本未審查專利申請(qǐng)公開No. 2010-87569中公開的相關(guān)技術(shù)方法中，人們很難從沒有設(shè)置相機(jī)的角度檢查他/她自己的外形。另外，在日本未審查專利申請(qǐng)公開No. 2010-87569中公開的相關(guān)技術(shù)方法中，存在人的除了正面以外的側(cè)面的外形的顯示位置或者尺寸被限制的情況，所以人們很難檢查正面以外的側(cè)面的外形。期望使能對(duì)從任意角度觀看的ー個(gè)人自己的外形的檢查。根據(jù)本技術(shù)的實(shí)施例的圖像處理裝置，包括圖像生成単元，被配置為根據(jù)對(duì)象的關(guān)注部分的改變量，生成通過從不同的視角拍攝對(duì)象得到的圖像、或者相當(dāng)于通過從不同的視角拍攝對(duì)象得到的圖像的圖像，作為對(duì)象圖像；以及顯示控制單元，被配置為允許顯示屏幕顯示由圖像生成単元生成的對(duì)象圖像。圖像生成單元可以生成通過從參考位置和參考方向的視角拍攝對(duì)象得到的圖像、或者相當(dāng)于通過從參考位置和參考方向的視角拍攝對(duì)象得到的圖像的圖像，作為參考對(duì)象圖像；并且可以在對(duì)象的關(guān)注部分從參考對(duì)象圖像被生成時(shí)的初始狀態(tài)開始改變時(shí)根據(jù)改變量來改變視角的位置和方向中的至少ー者，以生成通過從改變后的視角拍攝對(duì)象得到的圖像或者相當(dāng)于通過從改變后的視角拍攝對(duì)象得到的圖像的圖像，作為對(duì)象圖像。圖像處理裝置還可以包括被配置為檢測(cè)對(duì)象的關(guān)注部分的改變量的檢測(cè)單元，并且圖像生成単元可以根據(jù)檢測(cè)單元檢測(cè)出的改變量生成對(duì)象圖像。圖像處理裝置還可以包括分別被放置在不同的位置并且在各個(gè)拍攝方向拍攝對(duì)象從而分別輸出拍攝圖像的數(shù)據(jù)的多個(gè)拍攝単元，并且當(dāng)改變后的視角的位置和方向不與多個(gè)拍攝単元中的任意拍攝單元的設(shè)置位置和拍攝方向一致時(shí)，圖像生成単元可以對(duì)從多個(gè)拍攝單元選出的拍攝單元所輸出的拍攝圖像的數(shù)據(jù)進(jìn)行合成，以生成相當(dāng)于通過從改變后的視角拍攝對(duì)象得到的圖像的圖像，作為對(duì)象圖像。對(duì)象的關(guān)注部分的改變量可以是對(duì)象的關(guān)注部分被從初始狀態(tài)開始旋轉(zhuǎn)并移動(dòng)的情況下的旋轉(zhuǎn)角度。旋轉(zhuǎn)方向可以是水平方向的。旋轉(zhuǎn)方向可以是豎直方向的。
合成圖像為靜止圖像的情況下的改變量可以為對(duì)象的姿勢(shì)的操作內(nèi)容的改變量。合成圖像為運(yùn)動(dòng)圖像的情況下的改變量可以為對(duì)象的面部位置的改變量或者對(duì)象的視線方向的改變量。圖像生成単元可以生成對(duì)象圖像，從而使得顯示屏幕上的對(duì)象圖像的尺寸和對(duì)象圖像的顯示區(qū)域與顯示屏幕上的參考對(duì)象圖像的尺寸和參考對(duì)象圖像的顯示區(qū)域一致。對(duì)象圖像可以是通過拍攝對(duì)象的過去的外形得到的圖像或者相當(dāng)于對(duì)象的過去的外形的圖像的圖像。對(duì)象圖像可以是通過拍攝不同于該對(duì)象的另ー對(duì)象得到的圖像或者相當(dāng)于通過拍攝另一對(duì)象得到的圖像的圖像。顯示控制単元可以允許疊加作為對(duì)象圖像的以下圖像中的兩個(gè)以上圖像以顯示疊加圖像通過拍攝對(duì)象的過去的外形得到的圖像或者相當(dāng)于通過拍攝對(duì)象的過去的外形 得到的圖像的圖像，通過拍攝對(duì)象的當(dāng)前的外形得到的圖像或者相當(dāng)于通過拍攝對(duì)象的當(dāng)前的外形得到的圖像的圖像，以及通過拍攝對(duì)象的未來的外形得到的圖像或者相當(dāng)于通過拍攝對(duì)象的未來的外形得到的圖像的圖像。顯示控制単元可以允許并排顯示作為對(duì)象圖像的以下圖像中的兩個(gè)以上圖像通過拍攝對(duì)象的過去的外形得到的圖像或者相當(dāng)于通過拍攝對(duì)象的過去的外形得到的圖像的圖像，通過拍攝對(duì)象的當(dāng)前的外形得到的圖像或者相當(dāng)于通過拍攝對(duì)象的當(dāng)前的外形得到的圖像的圖像，以及通過拍攝對(duì)象的未來的外形得到的圖像或者相當(dāng)于通過拍攝對(duì)象的未來的外形得到的圖像的圖像。顯示控制単元可以允許以使各個(gè)圖像具有不同透射率的方式顯示以下圖像通過拍攝對(duì)象的過去的外形得到的圖像或者相當(dāng)于通過拍攝對(duì)象的過去的外形得到的圖像的圖像，通過拍攝對(duì)象的當(dāng)前的外形得到的圖像或者相當(dāng)于通過拍攝對(duì)象的當(dāng)前的外形得到的圖像的圖像，以及通過拍攝對(duì)象的未來的外形得到的圖像或者相當(dāng)于通過拍攝對(duì)象的未來的外形得到的圖像的圖像。根據(jù)本技術(shù)的另ー實(shí)施例的圖像處理方法對(duì)應(yīng)于本技術(shù)的上述實(shí)施例的圖像處
理裝置。根據(jù)本技術(shù)的另ー實(shí)施例的圖像處理裝置和方法根據(jù)對(duì)象的關(guān)注對(duì)象的改變量，生成通過從不同的視角拍攝對(duì)象得到的圖像或者相當(dāng)于通過從不同的視角拍攝對(duì)象得到的圖像的圖像，作為對(duì)象圖像；以及允許顯示屏幕顯示所生成的對(duì)象圖像。如上所述，根據(jù)本技術(shù)的實(shí)施例，從任意角度觀看的自己的外形可以被檢查。


圖I示出了本技術(shù)的實(shí)施例的概況；圖2示出了用戶面部的改變量和預(yù)定視角之間的關(guān)系；圖3示意性地示出了用于生成用戶圖像的數(shù)據(jù)的方法；圖4示意性地示出了用于生成用戶圖像的數(shù)據(jù)的方法；圖5示出了顯示類型鏡像裝置的外部配置示例；圖6是示出主控制設(shè)備的功能配置示例的框圖；圖7是示出顯示處理的示例的流程圖8示出了用于轉(zhuǎn)變用戶圖像的顯示內(nèi)容的方法；圖9示出了顯示類型鏡像裝置的另一外部配置示例；圖10示出了疊加顯示模式中的顯示示例；圖11示出了并列顯示模式中的顯示示例；以及圖12是示出根據(jù)本技術(shù)的實(shí)施例的圖像處理裝置的硬件的配置示例的框圖。
具體實(shí)施例方式[本技術(shù)的實(shí)施例的概況] 首先描述本技術(shù)的實(shí)施例的概況，以比較容易地理解本技術(shù)。圖I示出了本技術(shù)的實(shí)施例的概況。根據(jù)本技術(shù)的實(shí)施例的顯示類型鏡像裝置I包括顯示器11和用于拍攝用戶U的正面圖像的相機(jī)(圖I中未示出)，其中用戶U是處于與顯示器11相対的位置的人。這里，用戶U的正面圖像不僅包括由單個(gè)相機(jī)拍攝的拍攝圖像，而且包括通過處理分別由多個(gè)相機(jī)拍攝的多個(gè)拍攝圖像得到的合成圖像。換言之，用于拍攝用戶U的正面圖像的相機(jī)不僅包括從正面拍攝用戶U的單個(gè)相機(jī)，而且包括從各個(gè)方向拍攝用戶U的多個(gè)相機(jī)。所以，不僅由單個(gè)相機(jī)拍攝并被直接用作正面圖像的拍攝圖像，而且通過處理由多個(gè)相機(jī)拍攝的多個(gè)拍攝圖像得到并且被用作正面圖像的合成圖像被稱為由相機(jī)拍攝的正面圖像。當(dāng)用戶U站在與顯示器11相対的位置時(shí)，作為初始狀態(tài)的圖像，顯示器11顯示由相機(jī)拍攝的正面圖像(即，相當(dāng)于在顯示器11被當(dāng)作鏡子時(shí)得到的鏡像圖像的圖像)，作為用戶圖像UP，如圖I的左側(cè)示圖中所描繪的。這里，顯示器11的系統(tǒng)沒有被特別限制，并且可以是顯示普通ニ維圖像的系統(tǒng)或者是使能三維觀看的系統(tǒng)。 當(dāng)用戶U移動(dòng)她/他的面部吋，顯示在顯示器11上的用戶圖像UP的外形改變。具體地，在用戶U被從預(yù)定視角拍攝時(shí)所得到的用戶圖像UP被顯示在顯示器11上。在初始狀態(tài)的情況中，例如，顯示器11的從后向前的方向被設(shè)置為預(yù)定視角的方向。結(jié)果，用戶U的正面圖像被作為用戶圖像UP顯示在顯示器11上。預(yù)定視角的位置和方向根據(jù)用戶U的面部的移動(dòng)方向和移動(dòng)量改變，其中從預(yù)定視角對(duì)用戶U進(jìn)行拍攝，并且在下文中通過結(jié)合移動(dòng)方向和移動(dòng)量將它們統(tǒng)稱為改變量。即，在用戶U站在與顯示器11相対的位置之后當(dāng)用戶U移動(dòng)她/他的面部吋，預(yù)定視角的位置和方向也根據(jù)改變量而改變。然后，當(dāng)從位置和方向改變之后得到的預(yù)定視角對(duì)用戶U進(jìn)行拍攝時(shí)得到的圖像被作為用戶圖像UP顯示在顯示器11上。例如，在用戶U的側(cè)面被拍攝之前預(yù)定視角的位置和方向改變的情況下，用戶U的側(cè)面圖像被作為用戶圖像UP顯示在顯示器11上，如圖I的中心示圖所描繪的。當(dāng)用戶U的面部進(jìn)ー步移動(dòng)并且面部的改變量進(jìn)ー步增加時(shí)，預(yù)定視角的位置和方向進(jìn)ー步根據(jù)改變量而改變。例如，在用戶U的背面被拍攝之前預(yù)定視角的位置和方向改變的情況下，用戶U的背面圖像被作為用戶圖像UP顯示在顯示器11上，如圖I的右側(cè)示圖所描繪的。這里，盡管沒有在圖I中描繪，但是除了上述用于拍攝用戶U的正面圖像的相機(jī)以外的用于拍攝用戶U的多個(gè)相機(jī)被放置在顯示類型鏡像裝置I的各個(gè)位置上(參考隨后描述的圖5)。因此，在該多個(gè)相機(jī)中的一個(gè)相機(jī)的設(shè)置位置和拍攝方向(即，透鏡的光軸方向)與預(yù)定視角的位置和方向一致的情況下，當(dāng)一個(gè)相機(jī)實(shí)際拍攝用戶U時(shí)得到的拍攝圖像被作為用戶圖像UP顯示在顯示器11上。但是，由于在多個(gè)相機(jī)的設(shè)置數(shù)目方面存在限制，所以自由改變的預(yù)定視角的位置和方向很少與相機(jī)的設(shè)置位置和拍攝方向一致。所以，當(dāng)預(yù)定視角的位置和方向不與任意相機(jī)的設(shè)置位置和拍攝方向一致時(shí)，顯示類型鏡像裝置I選擇被放置在接近預(yù)定視角的位置上的多個(gè)相機(jī)。然后，顯示類型鏡像裝置I對(duì)通過利用多個(gè)所選擇的相機(jī)實(shí)際拍攝用戶U得到的多個(gè)拍攝圖像的數(shù)據(jù)進(jìn)行合成，來生成相當(dāng)于通過從預(yù)定視角實(shí)際拍攝用戶U所得到的圖像的合成圖像的數(shù)據(jù)。然后，顯示類型鏡像裝置I在顯示器11上顯示作為用戶圖像UP的合成圖像。所以，當(dāng)用戶U的面部移動(dòng)時(shí)，顯示類型鏡像裝置I根據(jù)面部的改變量來更新預(yù)定視角的位置和方向，并且在顯示器11上顯示在用戶U被從更新后的預(yù)定視角的位置和方向 拍攝時(shí)所得到的圖像。因此，用戶U可以僅通過執(zhí)行諸如站在顯示類型鏡像裝置I的顯示器11的前面，然后在保持將視線對(duì)準(zhǔn)顯示器11的同時(shí)將她/他的面部向預(yù)定方向移動(dòng)預(yù)定量之類的簡單且直觀的操作，來如同她/他的外形被從任意位置和方向上的預(yù)定視角查看ー樣檢查她/他自己的外形。下面描述根據(jù)本技術(shù)的實(shí)施例的顯示類型鏡像裝置I。[面部的改變量和預(yù)定相機(jī)的拍攝角度之間的關(guān)系]圖2示出了用戶U的面部的改變量和預(yù)定視角之間的關(guān)系。這里，從用戶U的頭部的后面到面部的通過中心(圖2中的鼻子的一部分)的方向在下面被稱為用戶觀看方向。另外，用戶U站在與顯示器11的顯示表面相対的位置并且顯示器11的正常方向和用戶觀看方向基本相互一致的狀態(tài)被設(shè)置為初始狀態(tài)。S卩，在初始狀態(tài)的情況中，用戶U的正面圖像被作為用戶圖像UP顯示在顯示器11上，如圖I的上述左圖中所描繪的。假設(shè)用戶U例如在關(guān)于通過豎直方向中的頭部中心的軸ax的水平方向(即，平行于圖2的面部的方向)中，以逆時(shí)針旋轉(zhuǎn)的方式轉(zhuǎn)動(dòng)她/他的頭部。在這種情況中，用戶U的面部的移動(dòng)量Ax可以由初始狀態(tài)中的用戶觀看方向(即，基本與顯示器11的正常方向一致的方向)和移動(dòng)面部之后的用戶觀看方向之間的角度表示，如圖2中所描繪的。另外，根據(jù)移動(dòng)量Ax改變的視角P被預(yù)先確定，并且改變量△ 0被表示為例如下面的公式(I)。A 9 = aX A x+b ... (I)在公式(I)中，系數(shù)a和b是用于調(diào)節(jié)的參數(shù)，并且顯示類型鏡像裝置I的設(shè)計(jì)者、制造者、或者用戶U可以隨意改變并設(shè)置參數(shù)a和b。S卩，視角P對(duì)應(yīng)于用于拍攝被顯示在顯示器11上的用戶U的圖像的相機(jī)實(shí)際被放置的位置，并且視角P沿著以用戶U的頭部中心的軸ax為中心的預(yù)定圓周移動(dòng)。特別地，當(dāng)假設(shè)在初始狀態(tài)中視角P在圓周rp上的位置Al被設(shè)置為初始位置時(shí)，視角P根據(jù)用戶U的面部的移動(dòng)量為Ax的移動(dòng)，從初始位置Al移動(dòng)到圓周rp上的對(duì)應(yīng)于改變量A 0的旋轉(zhuǎn)的位置A2。在這種情況下，視角P沿著連接視角P和用戶U的頭部中心的軸ax的直線對(duì)準(zhǔn)用戶U。因此，當(dāng)用戶被以下面的方式拍攝時(shí)所得到的圖像被作為用戶圖像UP顯示在顯示器11上，其中存在于圓周rp上的位置A2上的視角P被定向在去往用戶U的頭部中心的軸ax的方向。這 里，如上所述，位置A2和由改變量A 0指定的視角P的方向很少與實(shí)際被放置在顯示類型鏡像裝置I中的相機(jī)的設(shè)置位置和拍攝方向一致。因此，顯示類型鏡像裝置I通常選擇被放置在接近視角P的位置上的多個(gè)相機(jī)，并且對(duì)通過利用多個(gè)所選擇的相機(jī)實(shí)際拍攝用戶U所得到的多個(gè)拍攝圖像的數(shù)據(jù)進(jìn)行合成來生成來自視角P的用戶圖像UP的數(shù)據(jù)。下文中，將參考圖3和圖4，描述在位置A2和由改變量A 0指定的視角P的方向與顯示類型鏡像裝置I的任意相機(jī)的設(shè)置位置和拍攝方向不一致的情況下用于生成用戶圖像UP的數(shù)據(jù)的方法。[用于生成用戶圖像UP的數(shù)據(jù)的方法的先決條件]圖3示意性地示出了用于生成用戶圖像UP的數(shù)據(jù)的方法，并且示出了該描述的先決條件。在圖3的示例中，相機(jī)Cl被放置在相機(jī)Cl可以拍攝用戶U的正面的位置(S卩，對(duì)應(yīng)于圓周rp上的初始位置Al的位置)上。另外，相機(jī)C2被放置在相機(jī)C2可以拍攝用戶U的左側(cè)面的位置(即，從初始位置Al開始沿著圓周rp向左移動(dòng)90度的位置)上。這里，作為視角P移動(dòng)到相機(jī)Cl和相機(jī)C2的設(shè)置位置以外的位置的情況的示例，分別假設(shè)視角P移動(dòng)到圓周rp上的對(duì)應(yīng)于改變量A 0 I的第一位置A21的情況和視角P移動(dòng)到圓周rp上的對(duì)應(yīng)于改變量A 0 2的第二位置A22的情況，如圖3中所示。[用于生成用戶圖像UP的數(shù)據(jù)的方法的具體示例]圖4示意性地示出了用于生成用戶圖像UP的數(shù)據(jù)的方法，并且示出了基于圖3的先決條件生成的用戶圖像UP的數(shù)據(jù)的具體示例。在圖4中，拍攝圖像CPl是通過利用相機(jī)Cl實(shí)際拍攝用戶U得到的圖像，并且拍攝圖像CP2是通過利用相機(jī)C2實(shí)際拍攝用戶U得到的圖像。在視角P移動(dòng)改變量A 0 I而移動(dòng)到圓周rp上的位置A21的情況中，顯示類型鏡像裝置I對(duì)相機(jī)Cl的拍攝圖像CPl的數(shù)據(jù)和相機(jī)C2的拍攝圖像CP2的數(shù)據(jù)進(jìn)行合成，以生成相當(dāng)于從視角P實(shí)際拍攝用戶U得到的圖像的合成圖像的數(shù)據(jù)，作為用戶圖像UP21的數(shù)據(jù)，如圖4的右上示圖中所描繪的。另ー方面，在視角P移動(dòng)改變量A 0 2而移動(dòng)到圓周rp上的位置A22的情況中，顯示類型鏡像裝置I對(duì)相機(jī)Cl的拍攝圖像CPl的數(shù)據(jù)與相機(jī)C2的拍攝圖像CP2的數(shù)據(jù)進(jìn)行合成。從而，相當(dāng)于通過從視角P實(shí)際拍攝用戶U得到的圖像的合成圖像的數(shù)據(jù)被生成，作為用戶圖像UP22的數(shù)據(jù)，如圖4的右下示圖中所描繪的。在用戶U在相反的方向轉(zhuǎn)動(dòng)他/她的面部(即，水平方向的順時(shí)針旋轉(zhuǎn))的情況下，相當(dāng)于通過在右側(cè)方向從視角P實(shí)際拍攝用戶U所得到的圖像的合成圖像的數(shù)據(jù)被生成，作為用戶圖像UP的數(shù)據(jù)。S卩，顯示類型鏡像裝置I通過使用被放置在用戶U的右側(cè)方向中的預(yù)定相機(jī)的拍攝圖像，來生成用戶圖像UP的數(shù)據(jù)。所以，即使在視角P的位置和方向不與任意相機(jī)的設(shè)置位置和拍攝方向相一致的情況下，從由多個(gè)相機(jī)得到的拍攝圖像的數(shù)據(jù)生成的合成圖像的數(shù)據(jù)可以被用作用戶圖像UP的數(shù)據(jù)。因此，顯示類型鏡像裝置I中的相機(jī)的設(shè)置數(shù)目可以被減少，從而可以減少顯示類型鏡像裝置I的制造成本。
另外，顯示器11上顯示的用戶圖像UP響應(yīng)于用戶U的面部的移動(dòng)而平滑改變，從而使得用戶U可以檢查自己的外形的改變而不會(huì)感到奇怪。這里，顯示器11上顯示的用戶圖像UP可以是靜止圖像或者運(yùn)動(dòng)圖像。另外，用戶U可以隨意設(shè)置顯示器11上顯示的用戶圖像UP的幀率。另外，可以通過設(shè)置用戶U的面部的移動(dòng)量Ax的預(yù)定閾值，來設(shè)置根據(jù)移動(dòng)量Ax改變的視角P的改變量A 0的上限。在這種情況下，可以規(guī)定，當(dāng)用戶U的面部的移動(dòng)量△ X變得大于預(yù)定閾值吋，防止基于根據(jù)移動(dòng)量Ax而改變的視角P生成的用戶圖像UP的顯示內(nèi)容進(jìn)ー步改變。顯示類型鏡像裝置I可以根據(jù)用戶U的預(yù)定操作，終止根據(jù)用戶U的面部的移動(dòng)量A X而改變的用戶圖像UP的顯示內(nèi)容。因此，在終止用戶圖像UP的顯示內(nèi) 容之后，用戶U可以如同用戶U在任意姿勢(shì)(例如，用戶將他/她的面部轉(zhuǎn)向顯示器11的正面的姿勢(shì))從任意位置和方向的預(yù)定視角看她/他自己一樣檢查她/他自己的外形。另外，在顯示類型鏡像裝置I從由多個(gè)相機(jī)得到的拍攝圖像的數(shù)據(jù)生成用戶圖像UP的情況中，顯示類型鏡像裝置I可以使用人體的形狀作為約束條件?，F(xiàn)在描述顯示類型鏡像裝置I的外觀。[顯示類型鏡像裝置I的外部配置示例]圖5示出了顯示類型鏡像裝置I的外部配置示例。如圖5中所描繪的，顯示類型鏡像裝置I除了包括上述顯示器11タト，還包括相機(jī)12-1至12-10(任意包括圖3的相機(jī)Cl和C2)以及主控制設(shè)備13。相機(jī)12-1和12_2被放置在顯示器11的側(cè)面，并且相機(jī)12-3至12-10以被相機(jī)支架CF按照基本相等的間隔保持的方式被放置。當(dāng)不必單獨(dú)區(qū)分相機(jī)12-1至12-10時(shí)，這些相機(jī)被統(tǒng)稱為相機(jī)12。相機(jī)支架CF被放置在相機(jī)支架CF不打擾用戶U的移動(dòng)的位置上，例如，在圖5的示例中被放置在用戶U的站立位置之上(比用戶U的高度更高的位置)。在這種情況中，被放置在相機(jī)支架CF上的相機(jī)12-3至12-10的拍攝方向是圖中箭頭所示的斜向下的方向。結(jié)果，通過利用相機(jī)12-3至12-10拍攝用戶U所得到的拍攝圖像示出了被從上往下看的用戶U。另ー方面，在被放置在顯示器11的側(cè)面、基本處于用戶U的一半高度的水平的相機(jī)12-1和12-2方面，拍攝方向是水平方向，但是設(shè)置位置低于用戶U的面部。結(jié)果，通過利用相機(jī)12-1和12-2拍攝用戶U所得到的拍攝圖像主要示出了用戶U的面部以下的身體。因此，顯示類型鏡像裝置I隨意地對(duì)從相機(jī)12-1和12-2輸出的拍攝圖像的數(shù)據(jù)與從被放置在相機(jī)支架CF上的相機(jī)12-3至12-10中的一些相機(jī)輸出的拍攝圖像的數(shù)據(jù)進(jìn)行合成，能夠生成作為用戶圖像UP的數(shù)據(jù)的、其中用戶U的整個(gè)外形被從水平方向觀看的圖像的數(shù)據(jù)。所以，相機(jī)12可以被以圍繞用戶U的方式接近用戶U所站立的地面放置，并且可以對(duì)從被放置在上側(cè)和下側(cè)的相機(jī)12輸出的拍攝圖像的數(shù)據(jù)進(jìn)行合成。這里，相機(jī)支架CF的形狀在圖5的示例中為正方形。但是，該形狀不限于圖5的示例，并且形狀可以是諸如長方形和圓形之類的其他形狀。另外，相機(jī)12的設(shè)置位置不限于圖5的示例，并且相機(jī)12可以被以例如可移動(dòng)的方式設(shè)置。另外，相機(jī)12的設(shè)置數(shù)目不限于圖5的示例。另外，相機(jī)12可以是常用的單鏡頭相機(jī)或者立體相機(jī)。顯示器11、相機(jī)12、以及主控制設(shè)備13的各個(gè)通信系統(tǒng)沒有被特別限制，并且可以是有線系統(tǒng)或者無線系統(tǒng)。另外，在圖5的示例中，顯示器11和主控制設(shè)備13被以物理上分離的方式配置。然而，顯示器11和主控制設(shè)備13的配置沒有被特別限制為圖5的示例，并且顯示器11和主控制設(shè)備13可以被以集成方式配置。在圖5中所描繪的顯示類型鏡像裝置I的主控制設(shè)備13的功能中，現(xiàn)在將參考圖6描述用于實(shí)現(xiàn)各種功能以在顯示器11上顯示用戶圖像UP的功能配置示例。[顯示類型鏡像裝置I的主控制設(shè)備13的功能配置示例]圖6是示出顯示類型鏡像裝置I的主控制設(shè)備13的功能配置示例的框圖。圖6的顯示類型鏡像裝置I的主控制設(shè)備13包括圖像處理單元31、設(shè)備位置信息記錄單元32、以及圖像信息記錄單元33。圖像處理單元31包括相機(jī)控制單元51、圖像獲取單元52、面部位置檢測(cè)單元53、顯示圖像生成單元54、以及圖像顯示控制單元55。相機(jī)控制單元51進(jìn)行控制，以使相機(jī)12-1至12-10中的至少ー個(gè)相機(jī)拍攝用戶 U。當(dāng)拍攝圖像的相應(yīng)數(shù)據(jù)被從相機(jī)12-1至12-10中的ー個(gè)或多個(gè)相機(jī)輸出時(shí)，圖像獲取單元52根據(jù)相機(jī)控制單元51的控制獲取拍攝圖像的相應(yīng)數(shù)據(jù)，以將相應(yīng)數(shù)據(jù)存儲(chǔ)在圖像信息記錄單元33中。設(shè)備位置信息記錄單元32起初記錄表示相機(jī)12-1至12-1中的每個(gè)相機(jī)相對(duì)于顯示器11的位置關(guān)系的信息(下面稱為設(shè)備位置信息)。當(dāng)圖像獲取単元52獲取到相機(jī)12-K(K是I到10中的任意整數(shù))的拍攝圖像的數(shù)據(jù)時(shí)，圖像獲取単元52從設(shè)備位置信息記錄單元32讀取相機(jī)12-K的設(shè)備位置信息，以使圖像信息記錄單元33記錄設(shè)備位置信息和相機(jī)12-K的拍攝圖像的數(shù)據(jù)。面部位置檢測(cè)單元53從圖像信息記錄單元33讀出拍攝圖像的數(shù)據(jù)，以從拍攝圖像中檢測(cè)用戶U的面部的位置。面部位置檢測(cè)單元53的檢測(cè)結(jié)果被供應(yīng)給顯示圖像生成單元54。這里，面部位置檢測(cè)單元53的檢測(cè)結(jié)果還被根據(jù)需要供應(yīng)給相機(jī)控制單元51。在這種情況下，相機(jī)控制單元51可以基于檢測(cè)結(jié)果減少相機(jī)12-1至12-10中將被操作的相機(jī)(即，被允許輸出由圖像獲取単元52獲取的拍攝圖像的數(shù)據(jù)的相機(jī))。顯示圖像生成単元54根據(jù)從被以時(shí)間分離的方式拍攝的多個(gè)拍攝圖像的每個(gè)數(shù)據(jù)檢測(cè)出的用戶U的面部的每個(gè)位置，計(jì)算用戶U的面部的移動(dòng)量AX。然后，顯示圖像生成単元54向公式(I)指派移動(dòng)量Ax，以計(jì)算視角P的改變量A 0。另外，顯示圖像生成単元54從圖像信息記錄單元33讀出拍攝圖像的數(shù)據(jù)，以生成相當(dāng)于通過從移動(dòng)了改變量A 0的視角P拍攝用戶U得到的圖像的圖像的數(shù)據(jù)，作為用戶圖像UP的數(shù)據(jù)。圖像顯示控制單元55允許顯示器11顯示對(duì)應(yīng)于顯示圖像生成單元54所生成的圖像的用戶圖像UP。這里，設(shè)備位置信息可以被圖像獲取單元52利用相機(jī)12-K的拍攝圖像的數(shù)據(jù)規(guī)律地獲取，而不必最初被記錄在設(shè)備位置信息記錄單兀32中。描述具有這種配置的顯示類型鏡像裝置I顯示用戶圖像UP (下面稱為顯示處理)的示例。[顯示處理]圖7是示出顯示處理的示例的流程圖。當(dāng)用戶U站立在與顯示器11相対的位置上時(shí)，顯示類型鏡像裝置I開始處理。在步驟SI，顯示圖像生成単元54讀出相機(jī)12的拍攝圖像的數(shù)據(jù)。即，顯示圖像生成単元54根據(jù)相機(jī)控制單元51的控制，從圖像信息記錄單元33讀出由相機(jī)12進(jìn)行拍攝處理所得到的拍攝圖像的用于生成用戶U的正面圖像的數(shù)據(jù)所必需的數(shù)據(jù)。在這種情況中，例如，由相機(jī)12-1、12-2、和12-10進(jìn)行的拍攝處理所得到的拍攝圖像的數(shù)據(jù)被讀出。在步驟S2，顯示圖像生成単元54從在步驟SI中讀出的相應(yīng)圖像數(shù)據(jù)，生成用戶U的正面圖像的數(shù)據(jù)。在步驟S3，圖像顯示控制單元55允許顯示器11顯示用戶U的正面圖像。即，圖像顯示控制単元55允許顯示器11顯示對(duì)應(yīng)于在步驟S2中由顯示圖像生成単元54生成的數(shù)據(jù)的用戶U的正面圖像，作為用戶圖像UP。在步驟S4，面部位置檢測(cè)單元53從圖像信息記錄單元33讀出拍攝圖像的數(shù)據(jù)，以從拍攝圖像的數(shù)據(jù)檢測(cè)用戶U的面部的位置。在步驟S5，顯示圖像生成単元54計(jì)算從以前的時(shí)間移動(dòng)后(包括沒有移動(dòng))的視角P的位置和方向。即，顯示圖像生成単元54從面部位置檢測(cè)單元53檢測(cè)出的用戶U的 面部的位置，計(jì)算用戶U的面部的移動(dòng)量AX。然后，顯示圖像生成単元54通過向公式(I)指派移動(dòng)量Ax執(zhí)行操作，以計(jì)算視角P的改變量A 0，從而指定視角P的位置和方向。在步驟S6，顯示圖像生成単元54從圖像信息記錄單元33讀出處于視角P的位置上的一個(gè)相機(jī)12或者處于接近視角P的位置的多個(gè)相機(jī)12輸出的拍攝圖像的數(shù)據(jù)。在步驟S7，顯示圖像生成単元54基于在步驟S6中讀出的一個(gè)或多個(gè)拍攝圖像的數(shù)據(jù)生成用戶圖像UP的數(shù)據(jù)。即，顯示圖像生成単元54生成相當(dāng)于通過從移動(dòng)了改變量A 0 (該改變量在步驟S5中被計(jì)算出來)的視角P拍攝用戶U所得到的圖像的圖像的數(shù)據(jù)，作為用戶圖像UP的數(shù)據(jù)。在步驟S8，顯示圖像生成単元54校正用戶圖像UP的數(shù)據(jù)。即，顯示圖像生成単元54校正用戶圖像UP的數(shù)據(jù)，從而使得由在步驟S7中生成的用戶圖像UP的數(shù)據(jù)表示的用戶U的整個(gè)身體的尺寸(即，在顯示器11的顯示屏幕中用戶U的整個(gè)身體的區(qū)域的占用)對(duì)應(yīng)于在步驟S2中生成的正面圖像的數(shù)據(jù)(S卩，顯示高度相互一致)。另外，顯示圖像生成單元54允許在步驟S7中生成的用戶圖像UP的數(shù)據(jù)所表示的用戶圖像UP在顯示器11上的顯示區(qū)域?qū)?yīng)于在步驟S2中生成的用戶U的正面圖像的數(shù)據(jù)。該校正被執(zhí)行，以不向用戶U提供奇怪的感覺。在步驟S9，圖像顯示控制單元55允許顯示器11顯示經(jīng)過校正的用戶圖像UP。此時(shí)，用戶U可以通過在移動(dòng)面部的位置的同時(shí)僅將視線對(duì)準(zhǔn)顯示器11來檢查用戶圖像UP。在步驟S10，圖像處理單元31確定處理的結(jié)束是否被指示。這里，處理結(jié)束的指示沒有被特別限制。例如，相機(jī)12檢測(cè)出用戶U不再存在于顯示器11的前面可以被用作處理結(jié)束的指示。另外，例如，用戶U用于指示處理結(jié)束的表達(dá)操作可以是處理結(jié)束的指示。當(dāng)處理結(jié)束沒有被指示時(shí)，在步驟SlO中確定為“否(NO)”。然后，處理返回到步驟S4，并且步驟S4的處理和隨后的處理被重復(fù)。即，從步驟S4到步驟SlO的循環(huán)處理被重復(fù)，直到處理結(jié)束被指示為止。然后，當(dāng)處理結(jié)束被指示時(shí)，在步驟SlO中確定為“是(YES) ”，并且顯示處理結(jié)束。這里，在步驟S3和S9中，用戶U可以隨意設(shè)置被顯示在顯示器11上的用戶圖像UP的尺寸。例如，用戶U可以允許顯示器11顯示比用戶自己的實(shí)際外形更苗條或者更高大的用戶圖像UP。另外，在步驟S3和S9中被顯示在顯示器11上的用戶圖像UP的顯示區(qū)域經(jīng)?？梢允秋@示器11的顯示區(qū)域中的任意區(qū)域或者中心。例如，當(dāng)顯示類型鏡像裝置I辨認(rèn)出用戶U站立在與顯示器11相対的位置上并保持靜止持續(xù)等于或長于預(yù)定時(shí)間時(shí)(例如，數(shù)秒)，顯示類型鏡像裝置I可以在正面對(duì)該位置的顯示器11的顯示區(qū)域中顯示用戶圖像UP。在 上述示例中，被顯示在顯示器11上的用戶圖像UP的顯示內(nèi)容(S卩，用戶U的姿勢(shì))在視角P的位置和方向根據(jù)用戶U的面部的移動(dòng)量A x改變時(shí)被轉(zhuǎn)變。但是，用戶圖像UP的顯示內(nèi)容的轉(zhuǎn)變可以通過根據(jù)其他目標(biāo)的改變而改變視角P的位置和方向來執(zhí)行。[用于轉(zhuǎn)變用戶圖像UP的顯示內(nèi)容的方法]圖8示出了用于轉(zhuǎn)變用戶圖像UP的顯示內(nèi)容的方法。作為用于轉(zhuǎn)變用戶圖像UP的顯示內(nèi)容的方法，可以根據(jù)用戶U的操作類型使用多種方法。在圖8的示例中，存在根據(jù)用戶U的面部位置的移動(dòng)操作、根據(jù)用戶U的視線方向的移動(dòng)操作、根據(jù)手和手指的手勢(shì)操作、以及根據(jù)利用単獨(dú)提供的游戲面板的操作來改變視角P的位置和方向的方法。下面在比較以下三個(gè)特征的同時(shí)分別描述這些方法“可以面向前方在視覺上進(jìn)行觀察”、“可以空手進(jìn)行操作”、以及“沒有姿勢(shì)的限制”。這里，“可以面向前方在視覺上進(jìn)行觀察”表示用戶U可以在相對(duì)于顯示器11面向前方的同時(shí)在視覺上觀察被顯示的用戶圖像UP，并且各個(gè)方法中采用的操作可以被執(zhí)行?！翱梢钥帐诌M(jìn)行操作”表示各個(gè)方法中采用的操作可以在用戶U空手的狀態(tài)下被執(zhí)行?！皼]有姿勢(shì)的限制”表示各個(gè)方法中采用的操作可以在用戶U的姿勢(shì)不受限制的狀態(tài)下被執(zhí)行。用于根據(jù)面部位置的移動(dòng)操作來轉(zhuǎn)變用戶圖像UP的顯示內(nèi)容的方法是這樣的一種方法當(dāng)用戶U執(zhí)行移動(dòng)她/他的面部位置的操作時(shí)，視角P的位置和方向根據(jù)面部位置的移動(dòng)量Ax而改變，從而使得被顯示在顯示器11上的用戶圖像UP的顯示內(nèi)容被轉(zhuǎn)變。如圖8中所示，針對(duì)各個(gè)條目描繪了圓圈，并且在使用這種方法時(shí)，用戶U可以以下面的方式操作她/他的面部的移動(dòng)操作用戶U可以在空手面向前方的同時(shí)視覺地觀察被顯示在顯示器11上的用戶圖像UP，并且用戶U的姿勢(shì)沒有被限制。用于根據(jù)視線方向的移動(dòng)操作來轉(zhuǎn)變用戶圖像UP的顯示內(nèi)容的方法是這樣ー種方法當(dāng)用戶U執(zhí)行移動(dòng)視線方向的操作時(shí)，視角P的位置和方向根據(jù)視線的移動(dòng)量Ax而改變，從而使得顯示在顯示器11上的用戶圖像UP的顯示內(nèi)容被轉(zhuǎn)變。如圖8中所示，針對(duì)各個(gè)條目描繪了圓圈，并且在使用這種方法時(shí)，用戶U可以按照以下方式操作視線方向的移動(dòng)操作用戶U可以在空手面向前方的同時(shí)視覺地觀察顯示在顯示器11上的用戶圖像UP，并且用戶U的姿勢(shì)不受限制。如上所述，用戶U可以通過執(zhí)行預(yù)定操作終止用戶圖像UP的顯示內(nèi)容。作為預(yù)定操作，例如，用戶U的持續(xù)等于或長于預(yù)定時(shí)間的眨眼操作可以被采用。因此，在用戶U通過持續(xù)等于或者長于預(yù)定時(shí)間的眨眼操作等終止用戶圖像UP的顯示內(nèi)容之后，用戶U可以在將視線對(duì)準(zhǔn)顯示器11的正面的同時(shí)，如同用戶U自己被從任意位置和方向的預(yù)定視角觀看ー樣檢查外形。用于根據(jù)手和手指的手勢(shì)操作轉(zhuǎn)變用戶圖像UP的顯示內(nèi)容的方法是這樣ー種方法當(dāng)用戶U執(zhí)行手和手指的預(yù)定手勢(shì)操作時(shí)，視角P的位置和方向根據(jù)操作內(nèi)容的改變而改變，從而使得顯示在顯示器11上的用戶圖像UP的顯示內(nèi)容被轉(zhuǎn)變。如圖8中所示，針對(duì)各個(gè)條目描繪出了圓圈和交叉標(biāo)記，在使用這種方法吋，用戶U可以以下面的方式操作手和手指的手勢(shì)操作用戶U在空手面向前方的同時(shí)以視覺地觀察被顯示在顯示器11上的用戶圖像UP。但是，用戶U在姿勢(shì)被限制的狀態(tài)下執(zhí)行手和手指的手勢(shì)操作。用于根據(jù)利用游戲面板進(jìn)行的操作來轉(zhuǎn)變用戶圖像UP的顯示內(nèi)容的方法是這樣ー種方法當(dāng)用戶U針對(duì)游戲面板執(zhí)行操作時(shí)，視角P的位置和方向根據(jù)操作內(nèi)容的改變而改變，從而使得被顯示在顯示器11上的用戶圖像UP的顯示內(nèi)容被轉(zhuǎn)變。如圖8中所示，針對(duì)各個(gè)條目描繪了圓圈、交叉標(biāo)記、以及三角標(biāo)記，在使用這種方法時(shí)，用戶U可以按照以下方式針對(duì)游戲面板執(zhí)行操作用戶U可以在面向前方的同時(shí)視覺地觀察被顯示在顯示器11上的用戶圖像UP。但是，用戶U不能空手針對(duì)游戲面板執(zhí)行操作。另外，用戶U在針對(duì)游戲面板執(zhí)行操作時(shí)沒有困難，并且無需限制用戶U的姿勢(shì)。所以，作為用于轉(zhuǎn)變用戶圖像UP的顯示內(nèi)容的用戶U的操作，優(yōu)選采用滿足所有的以下三個(gè)特征的操作“可以面向前方在視覺上進(jìn)行觀察”、“可以空手進(jìn)行操作”、“沒有姿勢(shì)的限制”(即，上述的面部位置的移動(dòng)操作以及上述的視線方向的移動(dòng)操作)。如果三個(gè)特征中的某些點(diǎn)被滿足，則諸如手和手指的手勢(shì)操作和利用游戲面板的操作之類的各種類型的操作可以被用作用戶U轉(zhuǎn)變用戶圖像UP的顯示內(nèi)容的操作。 在被顯示在顯示器11上的用戶圖像UP為靜止圖像的情況下，優(yōu)選的是手和手指的手勢(shì)操作被用作轉(zhuǎn)變用戶圖像UP的顯示內(nèi)容的方法。另ー方面，在被顯示在顯示器11上的用戶圖像UP為運(yùn)動(dòng)圖像的情況下，優(yōu)選的是用戶U的面部的移動(dòng)操作以及視線方向的移動(dòng)操作被用作轉(zhuǎn)變用戶圖像UP的顯示內(nèi)容的方法。在任何情況下，不會(huì)對(duì)用戶造成負(fù)擔(dān)的簡單且直觀的操作可以被用作用戶U轉(zhuǎn)變用戶圖像UP的顯示內(nèi)容的操作。這里，應(yīng)該注意，用戶U用于轉(zhuǎn)變用戶圖像UP的顯示內(nèi)容的操作不限于上述示例。[顯示類型鏡像裝置I的另一外部配置示例]在上述示例中，在顯示類型鏡像裝置I中，多個(gè)相機(jī)12被放置在相機(jī)支架CF上。但是，顯示類型鏡像裝置I的外部配置不限于此。圖9示出了顯示類型鏡像裝置I的另一外部配置示例。如圖9中所描繪的，顯示類型鏡像裝置I包括顯示器11、周邊鏡子(circumferencemirror) 71、以及相機(jī)72_1至72_3。相機(jī)72_1和72_2被放置在顯示器11的側(cè)面，并且相機(jī)72-3被放置在顯示器11的上面。周邊鏡子71被放置在周邊鏡子71不會(huì)妨礙用戶U的移動(dòng)的位置，例如，在圖9的示例中被放置在用戶U的站立位置上方。當(dāng)不必單獨(dú)區(qū)別相機(jī)71-1至71-3時(shí)，這些相機(jī)被統(tǒng)稱為相機(jī)72。相機(jī)72-3拍攝被反射在周邊鏡子71上的用戶U。即，相機(jī)72_3任意移動(dòng)拍攝方向以攝取由周邊鏡子71反射的光束，能夠輸出相當(dāng)于從多個(gè)方向拍攝用戶U所得到的圖像的拍攝圖像的數(shù)據(jù)。即，相機(jī)72-3獨(dú)立施加與被放置在圖5的相機(jī)支架CF上的多個(gè)相機(jī)12-3至12-10相同的功能。另外，通過精確控制相機(jī)72-3的拍攝方向的移動(dòng)，ー個(gè)拍攝圖像的數(shù)據(jù)可以被直接用作通過從任意方向拍攝用戶U獲取的用戶圖像UP的數(shù)據(jù)，而無需對(duì)多個(gè)拍攝圖像的數(shù)據(jù)進(jìn)行合成。這里，周邊鏡子71在圖9的示例中為正方形，但是周邊鏡子71的形狀不限于圖9的示例。周邊鏡子71可以具有諸如圓形或者半球形之類的其他形狀。另外，相機(jī)72的設(shè)置位置不限于圖9的示例，并且相機(jī)72例如是可移動(dòng)的。另外，相機(jī)72的設(shè)置數(shù)目不限于圖9的示例。
在上述示例中，用戶U的當(dāng)前外形被作為用戶圖像UP顯示在顯示器11上。但是，用戶圖像UP可以是用戶U的過去的或者未來的外形、或者是用戶U以外的其他人的外形。在這種情況下，用戶U可以允許顯示類型鏡像裝置I將用戶U的過去或者未來的外形的用戶圖像UP或者其他人的外形的用戶圖像UP疊加在用戶U的當(dāng)前的外形的用戶圖像UP上以顯示疊加圖像，或者并排顯示用戶U的過去或者未來的外形的用戶圖像UP或者其他人的外形的用戶圖像UP與用戶U的當(dāng)前的外形的用戶圖像UP。然后，前ー種用戶圖像UP的顯示方法被稱為疊加顯示模式，并且后ー種用戶圖像UP的顯示方法被稱為并列顯示模式。參考圖10和11描述用戶圖像UP的顯示示例。[疊加顯示模式的顯示示例]圖10示出了疊加顯示模式的顯示示例。被顯示在顯示器11上并被用實(shí)線描繪出來的用戶圖像UP41、被顯示在顯示器11上并被用虛線描繪出來的用戶圖像UP42、以及被顯示在顯示器11上并被用點(diǎn)劃線 (dashed-dotted line)描繪出來的用戶圖像UP43分別表示用戶U的當(dāng)前的外形、過去的外形、以及未來的外形。如圖10中所描繪的，在疊加顯示模式中，用戶圖像UP42和用戶圖像UP43相對(duì)于參考用戶圖像UP41的顯示區(qū)域被相疊加，從而被以身體的中心相互一致的方式顯示在用戶圖像UP41的顯示區(qū)域上。示出了用戶U的過去的外形的用戶圖像UP42由顯示圖像生成単元54利用圖像信息記錄單元33中記錄的用戶U的過去的拍攝圖像的數(shù)據(jù)生成。示出了用戶U的未來的外形的用戶圖像UP43由顯示圖像生成単元54利用用戶U的未來的拍攝圖像的數(shù)據(jù)生成，其中用戶U的未來的拍攝圖像的數(shù)據(jù)是利用圖像信息記錄單元33中記錄的用戶U的過去的拍攝圖像的數(shù)據(jù)和用戶U的當(dāng)前的拍攝圖像的數(shù)據(jù)計(jì)算出來的。具體地，例如，顯示圖像生成単元54使用諸如校正函數(shù)和預(yù)測(cè)函數(shù)之類的預(yù)定函數(shù)，基于分別被包括在用戶U的過去和當(dāng)前的拍攝圖像的數(shù)據(jù)中的用戶U的形狀的差異來計(jì)算用戶U的未來的外形，從而生成用戶圖像UP43。在疊加顯示模式中，用戶圖像UP41至UP43被分別顯示，從而使得用戶圖像UP41至UP43可以被以時(shí)間順序辨認(rèn)出來。具體地，用戶圖像UP41至UP43被顯示，從而使得透射率按照用戶圖像UP42、用戶圖像UP41、以及用戶圖像UP43的次序(S卩，用戶U的過去的外形、當(dāng)前的外形、以及未來的外形的次序)増大。顯然，顯示器可以被執(zhí)行從而使得透射率被按照以上次序的相反次序增大。在示出用戶U的過去的外形的用戶圖像UP42中，顯示可以被執(zhí)行，從而使得基于更早的拍攝圖像的數(shù)據(jù)生成的用戶圖像UP42的透射率高，并且基于更當(dāng)前的拍攝圖像的數(shù)據(jù)生成的用戶圖像UP42的透射率低。以同樣的方式，在示出了用戶U的未來的外形的用戶圖像UP43中，顯示可以被執(zhí)行，從而使得基于更未來的預(yù)測(cè)生成的用戶圖像UP43的透射率高，并且基于更當(dāng)前的拍攝圖像的數(shù)據(jù)生成的用戶圖像UP43的透射率低。所以，分別示出了用戶U的當(dāng)前的外形、過去的外形、以及未來的外形的用戶圖像UP41至UP43被疊加并被按照可辨認(rèn)的時(shí)間順序顯示在顯示器11上，從而使得用戶U可以容易地察覺到自己身體形態(tài)的改變。這里，用戶圖像UP41至UP43分別示出了用戶U以外的人的當(dāng)前的、過去的、以及未來的外形。另外，用戶圖像UP41至UP43可以是示出同一對(duì)象的全部圖像(S卩，所有圖像示出了用戶U或者用戶U以外的其他人)或者是其中的一部分示出了其他對(duì)象的圖像(即，用戶U和用戶U以外的其他人被混合在一起)。另外，所有用戶圖像UP41至UP43不必被相互疊加，但是用戶圖像UP41至UP43可以被顯示從而使得用戶圖像UP41至UP43中的任意兩個(gè)被相互疊加。[并列顯示模式的顯示示例]圖11示出了并列顯示模式的顯示示例。如圖11中所描繪的，在并列顯示模式中，示出了用戶U的過去的外形的用戶圖像UP42鄰接示出了用戶U的當(dāng)前的外形的用戶圖像UP41被顯示。這里，被以并列顯示模式顯示的用戶圖像UP不限于此，并且用戶圖像UP41至UP43中的任意兩個(gè)或者全部圖像可以被顯不。所以，分別示出了用戶U的當(dāng)前的外形、過去的外形、以及未來的外形的用戶圖像UP41至UP43被以能夠按照時(shí)間順序辨認(rèn)出來的方式并排顯示在顯示器11上。所以，用戶 U可以在詳細(xì)檢查她/他自己的當(dāng)前的外形、過去的外形、以及未來的外形中的每個(gè)外形的身體形態(tài)的同時(shí)察覺到自己身體形態(tài)的改變。另外，在并列顯示模式中，如同在疊加顯示模式中的情況ー樣，用戶圖像UP41至UP43分別示出了用戶U以外的其他人的當(dāng)前的外形、過去的外形、以及未來的外形。另外，用戶圖像UP41至UP43可以是示出同一對(duì)象的所有圖像(即，所有圖像示出了用戶U或者用戶U以外的其他人)，或者是其中的一部分示出了其他對(duì)象的圖像(即，用戶U和用戶U以外的其他人被混合在一起)。這里，示出了用戶U以外的其他人的用戶圖像UP42由顯示圖像生成単元54使用示出了用戶U以外的其他人的拍攝圖像的被記錄在圖像信息記錄單元33中的數(shù)據(jù)生成。盡管在上述示例中用戶圖像UP的數(shù)據(jù)被基于用戶U的面部的移動(dòng)量Ax而更新，但是用戶圖像UP的數(shù)據(jù)也可以被基于用戶U的面部的移動(dòng)速度而更新。即，顯示類型鏡像裝置I可以生成用戶圖像UP的數(shù)據(jù)，從而使得顯示類型鏡像裝置I在用戶U的面部的移動(dòng)速度增大時(shí)增大視角P的改變量A 0。另外，盡管用戶U的面部的移動(dòng)量A X是用戶U在水平方向轉(zhuǎn)動(dòng)并移動(dòng)她/他的面部的情況的旋轉(zhuǎn)角，但是轉(zhuǎn)動(dòng)方向也可以是豎直方向。在這種情況下，例如，當(dāng)用戶U向上看或者伸手時(shí)，顯示類型鏡像裝置I可以在顯示器11上顯示用戶U的頭部的頂部，并且當(dāng)用戶U向下看或者蹲下時(shí)，顯示類型鏡像裝置I可以在顯示器11上顯示用戶被從較低的方向觀看的外形。另外，盡管在上述示例中用戶U的整個(gè)身體被顯示在顯示器11上，但是很顯然可以僅顯示用戶U的面部、上半身、或者下半身。另外，在上述示例中相當(dāng)于顯示器11被假設(shè)為鏡子的情況的鏡像圖像的圖像被顯示為用戶圖像UP，但是用戶圖像UP不限于此。示出了從其他方向觀看的用戶U的外形的圖像(即，與相當(dāng)于鏡像圖像的圖像對(duì)稱的圖像)可以被作為用戶圖像UP顯示。在這種情況下，用于顯示用戶圖像UP的前一種模式被設(shè)置為鏡像模式，并且用于顯示用戶圖像UP的后一種模式被設(shè)置為正常模式，以使用戶U能夠選擇任意的顯示模式。另外，在上述示例中用戶U的面部的移動(dòng)量Ax由面部位置檢測(cè)單元53檢測(cè)出來，并且用戶圖像UP的數(shù)據(jù)被基于移動(dòng)量Ax更新，但是不必特別采用面部位置檢測(cè)單元53。即，可以被用在更新對(duì)象的圖像的數(shù)據(jù)的處理中并且可以檢測(cè)對(duì)象的被關(guān)注點(diǎn)的改變量的檢測(cè)單元可以被用作面部位置檢測(cè)單元53的替代。換言之，這種檢測(cè)單元被用在顯示類型鏡像裝置I中是足夠了，并且面部位置檢測(cè)單元53僅是用戶U被用作對(duì)象并且拍攝圖像中所包括的用戶U的面部的區(qū)域被用作關(guān)注點(diǎn)的情況的檢測(cè)單元的示例。[本技術(shù)的實(shí)施例到程序的應(yīng)用]以上所述的一系列處理可以由硬件或軟件執(zhí)行。在這種情況下，圖12中描繪的個(gè)人計(jì)算機(jī)例如可以被用作上述圖像處理裝置的至少一部分。在圖12中，CPU 101根據(jù)ROM 102中記錄的程序執(zhí)行各種處理。替代地，CPU 101根據(jù)從存儲(chǔ)單元108裝載到RAM 103上的程序執(zhí)行各種處理。RAM 103隨意記錄例如CPU101的各種處理的執(zhí)行所必需的數(shù)據(jù)。
CPU 10UR0M 102 JPRAM 103經(jīng)由總線104相互連接。輸入/輸出接ロ 105也被連接至該總線104。包括鍵盤、鼠標(biāo)等的輸入單元106和包括顯示器等的輸出單元107被連接至輸入/輸出接ロ 105。包括硬盤等的存儲(chǔ)單元108、以及包括調(diào)制解調(diào)器、終端適配器等的通信單元109也被連接至輸入/輸出接ロ 105。通信單元109控制經(jīng)由包括互聯(lián)網(wǎng)的網(wǎng)絡(luò)與其他設(shè)備(未示出)執(zhí)行的通信。設(shè)備110還在必要時(shí)被連接到輸入/輸出接ロ 105，并且作為磁盤、光盤、磁光盤、半導(dǎo)體存儲(chǔ)器等的可移除介質(zhì)111被任意地附接。從可移除介質(zhì)111讀出的計(jì)算機(jī)程序在必要時(shí)被安裝到存儲(chǔ)單元108上。在一系列處理由軟件執(zhí)行的情況中，構(gòu)成軟件的程序被從網(wǎng)絡(luò)或者記錄介質(zhì)裝載到被合并在專用硬件或者能夠在各種程序被安裝時(shí)執(zhí)行各種功能的通用計(jì)算機(jī)中的計(jì)算機(jī)中。包含有這樣的程序的記錄介質(zhì)不僅包括可移除介質(zhì)(封裝介質(zhì))211而且包括圖12中所示的記錄程序的ROM 102和被包括在存儲(chǔ)單元108中的硬盤?？梢瞥橘|(zhì)211被分發(fā)以向與設(shè)備主體相分離的用戶提供程序，并且是磁盤(包括軟盤)、光盤(包括壓縮盤只讀存儲(chǔ)器(CD-ROM)和數(shù)字通用盤(DVD))、磁光盤(包括迷你盤(MD))、半導(dǎo)體存儲(chǔ)器等。ROM 102和硬盤已經(jīng)被合并到設(shè)備主體中。在本說明書中，描述被記錄在記錄介質(zhì)中的程序的步驟不僅包括被以時(shí)間順序執(zhí)行的處理，而且包括不必以時(shí)間順序執(zhí)行而被并列或者單獨(dú)執(zhí)行的處理。應(yīng)該理解，本技術(shù)的實(shí)施例不限于上述實(shí)施例，并且在本技術(shù)的范圍內(nèi)可以想出各種修改。本技術(shù)的實(shí)施例還可以采用以下配置。(I) ー種圖像處理裝置，包括圖像生成単元，被配置為根據(jù)對(duì)象的關(guān)注部分的改變量，生成通過從不同的視角拍攝所述對(duì)象得到的圖像或者相當(dāng)于通過從不同的視角拍攝所述對(duì)象得到的圖像的圖像，作為對(duì)象圖像；以及顯示控制單元，被配置為使顯示屏幕顯示由所述圖像生成単元生成的所述對(duì)象圖像。(2)在根據(jù)(I)所述的圖像處理裝置中，所述圖像生成単元生成通過從參考位置和參考方向的視角拍攝所述對(duì)象得到的圖像以及相當(dāng)于從所述參考位置和所述參考方向的視角拍攝所述對(duì)象得到的所述圖像的圖像，作為參考對(duì)象圖像，并且當(dāng)所述對(duì)象的所述關(guān)注部分從所述參考對(duì)象圖像被生成的初始狀態(tài)開始改變時(shí)根據(jù)所述改變量來改變所述視角的位置和方向中的至少ー者，以生成通過從改變后的視角拍攝所述對(duì)象得到的圖像或者相當(dāng)于通過從所述改變后的視角拍攝所述對(duì)象得到的所述圖像的圖像，作為所述對(duì)象圖像。(3)根據(jù)(I)或(2)所述的圖像處理裝置，還包括檢測(cè)單元，被配置為檢測(cè)所述對(duì)象的關(guān)注部分的改變量。在該圖像處理裝置中，所述圖像生成単元根據(jù)由所述檢測(cè)単元檢測(cè)出的所述改變量生成所述對(duì)象圖像。(4)根據(jù)(I)、(2)或(3)所述的圖像處理裝置，還包括多個(gè)拍攝単元，分別被放置在不同的位置上，并且在各個(gè)拍攝方向中拍攝所述對(duì)象以分別輸出拍攝圖像的數(shù)據(jù)。在該圖像處理裝置中，當(dāng)所述改變后的視角的位置和方向不與所述多個(gè)拍攝單元中的任意拍攝單元的設(shè)置位置和拍攝方向一致時(shí)，所述圖像生成単元對(duì)從所述多個(gè)拍攝單元中選出的拍攝單元所輸出的拍攝圖像的數(shù)據(jù)進(jìn)行合成，以生成相當(dāng)于通過從所述改變后的視角拍攝 所述對(duì)象獲取的圖像的圖像，作為所述對(duì)象圖像。(5)根據(jù)(I)至(4)中任ー項(xiàng)所述的圖像處理裝置，其中所述對(duì)象的所述關(guān)注部分的改變量是所述對(duì)象的所述關(guān)注部分被從所述初始狀態(tài)開始旋轉(zhuǎn)并移動(dòng)的情況下的旋轉(zhuǎn)角度。(6)根據(jù)(I)至(5)中任ー項(xiàng)所述的圖像處理裝置，其中旋轉(zhuǎn)方向是水平方向。(7)根據(jù)(I)至出)中任ー項(xiàng)所述的圖像處理裝置，其中所述旋轉(zhuǎn)方向是豎直方向。(8)在根據(jù)(I)至(7)中任ー項(xiàng)所述的圖像處理裝置中，其中合成圖像為靜止圖像的情況下的改變量為所述對(duì)象的姿態(tài)的操作內(nèi)容的改變量。(9)根據(jù)(I)至(8)中任ー項(xiàng)所述的圖像處理裝置，其中所述合成圖像為運(yùn)動(dòng)圖像的情況下的改變量為所述對(duì)象的面部位置的改變量或者所述對(duì)象的視線方向的改變量。(10)在根據(jù)(I)至(9)中任ー項(xiàng)所述的圖像處理裝置中，其中所述圖像生成単元生成所述對(duì)象圖像，從而使得所述對(duì)象圖像的尺寸和所述顯示屏幕上的所述對(duì)象圖像的顯示區(qū)域與所述參考對(duì)象圖像的尺寸和所述顯示屏幕上的所述參考對(duì)象圖像的顯示區(qū)域一致。(11)在根據(jù)⑴至(10)中任ー項(xiàng)所述的圖像處理裝置中，其中所述對(duì)象圖像是通過拍攝所述對(duì)象的過去的外形得到的圖像，或者相當(dāng)于所述對(duì)象的過去的外形的圖像的圖像。(12)在根據(jù)⑴至(11)中任ー項(xiàng)所述的圖像處理裝置中，其中所述對(duì)象圖像是通過拍攝不同于所述對(duì)象的另ー對(duì)象得到的圖像或者相當(dāng)于通過拍攝所述另ー對(duì)象得到的圖像的圖像。(13)在根據(jù)(I)至(12)中任ー項(xiàng)所述的圖像處理裝置中，其中所述顯示控制單元允許疊加作為所述對(duì)象圖像的以下圖像中的兩個(gè)以上圖像以顯示疊加圖像通過拍攝所述對(duì)象的過去的外形得到的圖像或者相當(dāng)于通過拍攝所述對(duì)象的過去的外形得到的圖像的圖像，通過拍攝所述對(duì)象的當(dāng)前的外形得到的圖像或者相當(dāng)于通過拍攝所述對(duì)象的當(dāng)前的外形得到的圖像的圖像，以及通過拍攝所述對(duì)象的未來的外形得到的圖像或者相當(dāng)于通過拍攝所述對(duì)象的未來的外形得到的圖像的圖像。(14)在根據(jù)(I)至(13)中任ー項(xiàng)所述的圖像處理裝置中，其中所述顯示控制單元允許并排顯示作為所述對(duì)象圖像的以下圖像中的兩個(gè)以上圖像通過拍攝所述對(duì)象的過去的外形得到的圖像或者相當(dāng)于通過拍攝所述對(duì)象的過去的外形得到的圖像的圖像，通過拍攝所述對(duì)象的當(dāng)前的外形得到的圖像或者相當(dāng)于通過拍攝所述對(duì)象的當(dāng)前的外形得到的圖像的圖像，以及通過拍攝所述對(duì)象的未來的外形得到的圖像或者相當(dāng)于通過拍攝所述對(duì)象的未來的外形得到的圖像的圖像。(15)在根據(jù)(I)至(14)中任ー項(xiàng)所述的圖像處理裝置中，其中所述顯示控制單元允許以使各個(gè)圖像具有不同透射率的方式顯示以下圖像通過拍攝所述對(duì)象的過去的外形得到的圖像或者相當(dāng)于通過拍攝所述對(duì)象的過去的外形得到的圖像的圖像，通過拍攝所述對(duì)象的當(dāng)前的外形得到的圖像或者相當(dāng)于通過拍攝所述對(duì)象的當(dāng)前的外形得到的圖像的圖像，以及通過拍攝所述對(duì)象的未來的外形得到的圖像或者相當(dāng)于通過拍攝所述對(duì)象的未來的外形得到的圖像的圖像。
本技術(shù)的實(shí)施例可以應(yīng)用于顯示對(duì)象的圖像的圖像處理裝置中。本公開包含涉及于2011年5月13日在日本專利局遞交的日本優(yōu)先權(quán)專利申請(qǐng)JP2011-108843中公開的內(nèi)容的主題，其全部內(nèi)容通過引用被結(jié)合于此。
權(quán)利要求
1.ー種圖像處理裝置，包括 圖像生成単元，被配置為根據(jù)對(duì)象的關(guān)注部分的改變量，生成通過從不同的視角拍攝所述對(duì)象得到的圖像或者相當(dāng)于通過從不同的視角拍攝所述對(duì)象得到的圖像的圖像，作為對(duì)象圖像；以及 顯示控制単元，被配置為使顯示屏幕顯示由所述圖像生成単元生成的所述對(duì)象圖像。
2.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中 所述圖像生成単元 生成通過從參考位置和參考方向的視角拍攝所述對(duì)象得到的圖像或者相當(dāng)于從所述參考位置和所述參考方向的視角拍攝所述對(duì)象得到的所述圖像的圖像，作為參考對(duì)象圖像，并且 當(dāng)所述對(duì)象的所述關(guān)注部分從所述參考對(duì)象圖像被生成的初始狀態(tài)開始改變時(shí)根據(jù)所述改變量來改變所述視角的位置和方向中的至少ー者，以生成通過從改變后的視角拍攝所述對(duì)象得到的圖像或者相當(dāng)于通過從所述改變后的視角拍攝所述對(duì)象得到的所述圖像的圖像，作為所述對(duì)象圖像。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，還包括 檢測(cè)單元，被配置為檢測(cè)所述對(duì)象的關(guān)注部分的改變量，其中 所述圖像生成単元根據(jù)由所述檢測(cè)単元檢測(cè)出的所述改變量生成所述對(duì)象圖像。
4.根據(jù)權(quán)利要求3所述的圖像處理裝置，還包括 多個(gè)拍攝単元，分別被放置在不同的位置上，并且在各個(gè)拍攝方向中拍攝所述對(duì)象以分別輸出拍攝圖像的數(shù)據(jù)，其中 當(dāng)所述改變后的視角的位置和方向不與所述多個(gè)拍攝單元中的任意拍攝單元的設(shè)置位置和拍攝方向一致時(shí)，所述圖像生成単元對(duì)從所述多個(gè)拍攝單元中選出的拍攝單元所輸出的拍攝圖像的數(shù)據(jù)進(jìn)行合成，以生成相當(dāng)于通過從所述改變后的視角拍攝所述對(duì)象獲取的圖像的圖像，作為所述對(duì)象圖像。
5.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中所述對(duì)象的所述關(guān)注部分的改變量是所述對(duì)象的所述關(guān)注部分被從所述初始狀態(tài)開始旋轉(zhuǎn)并移動(dòng)的情況下的旋轉(zhuǎn)角度。
6.根據(jù)權(quán)利要求5所述的圖像處理裝置，其中旋轉(zhuǎn)方向是水平方向。
7.根據(jù)權(quán)利要求5所述的圖像處理裝置，其中所述旋轉(zhuǎn)方向是豎直方向。
8.根據(jù)權(quán)利要求6所述的圖像處理裝置，其中合成圖像為靜止圖像的情況下的改變量是所述對(duì)象的姿態(tài)的操作內(nèi)容的改變量。
9.根據(jù)權(quán)利要求6所述的圖像處理裝置，其中所述合成圖像為運(yùn)動(dòng)圖像的情況下的改變量是所述對(duì)象的面部位置的改變量或者所述對(duì)象的視線方向的改變量。
10.根據(jù)權(quán)利要求8所述的圖像處理裝置，其中所述圖像生成単元生成所述對(duì)象圖像，從而使得所述對(duì)象圖像的尺寸和所述顯示屏幕上的所述對(duì)象圖像的顯示區(qū)域與所述參考對(duì)象圖像的尺寸和所述顯示屏幕上的所述參考對(duì)象圖像的顯示區(qū)域一致。
11.根據(jù)權(quán)利要求10所述的圖像處理裝置，其中所述對(duì)象圖像是通過拍攝所述對(duì)象的過去的外形得到的圖像，或者相當(dāng)于通過拍攝所述對(duì)象的過去的外形得到的所述圖像的圖像。
12.根據(jù)權(quán)利要求10所述的圖像處理裝置，其中所述對(duì)象圖像是通過拍攝不同于所述對(duì)象的另ー對(duì)象得到的圖像或者相當(dāng)于通過拍攝所述另ー對(duì)象得到的所述圖像的圖像。
13.根據(jù)權(quán)利要求10所述的圖像處理裝置，其中所述顯示控制單元允許疊加作為所述對(duì)象圖像的以下圖像中的兩個(gè)以上圖像以顯示疊加圖像通過拍攝所述對(duì)象的過去的外形得到的圖像或者相當(dāng)于通過拍攝所述對(duì)象的過去的外形得到的圖像的圖像，通過拍攝所述對(duì)象的當(dāng)前的外形得到的圖像或者相當(dāng)于通過拍攝所述對(duì)象的當(dāng)前的外形得到的圖像的圖像，以及通過拍攝所述對(duì)象的未來的外形得到的圖像或者相當(dāng)于通過拍攝所述對(duì)象的未來的外形得到的圖像的圖像。
14.根據(jù)權(quán)利要求10所述的圖像處理裝置，其中所述顯示控制單元允許并排顯示作為所述對(duì)象圖像的以下圖像中的兩個(gè)以上圖像通過拍攝所述對(duì)象的過去的外形得到的圖像或者相當(dāng)于通過拍攝所述對(duì)象的過去的外形得到的圖像的圖像，通過拍攝所述對(duì)象的當(dāng)前的外形得到的圖像或者相當(dāng)于通過拍攝所述對(duì)象的當(dāng)前的外形得到的圖像的圖像，以及通過拍攝所述對(duì)象的未來的外形得到的圖像或者相當(dāng)于通過拍攝所述對(duì)象的未來的外形得到的圖像的圖像。
15.根據(jù)權(quán)利要求13所述的圖像處理裝置，其中所述顯示控制單元允許以使各個(gè)圖像具有不同透射率的方式顯示以下圖像通過拍攝所述對(duì)象的過去的外形得到的圖像或者相當(dāng)于通過拍攝所述對(duì)象的過去的外形得到的圖像的圖像，通過拍攝所述對(duì)象的當(dāng)前的外形得到的圖像或者相當(dāng)于通過拍攝所述對(duì)象的當(dāng)前的外形得到的圖像的圖像，以及通過拍攝所述對(duì)象的未來的外形得到的圖像或者相當(dāng)于通過拍攝所述對(duì)象的未來的外形得到的圖像的圖像。
16.—種圖像處理方法,包括 根據(jù)對(duì)象的關(guān)注部分的改變量，生成通過從不同的視角拍攝所述對(duì)象得到的圖像或者相當(dāng)于通過從不同的視角拍攝所述對(duì)象得到的圖像的圖像，作為對(duì)象圖像；以及 使顯示屏幕顯示在生成圖像的處理中生成的所述對(duì)象圖像。
全文摘要
公開了一種圖像處理裝置和方法。該圖像處理裝置包括圖像生成單元，被配置為根據(jù)對(duì)象的關(guān)注部分的改變量，生成通過從不同角度拍攝所述對(duì)象得到的圖像或者相當(dāng)于通過從不同角度拍攝所述對(duì)象得到的圖像的圖像，作為對(duì)象圖像；以及顯示控制單元，被配置為使得顯示屏幕顯示由所述圖像生成單元生成的所述對(duì)象圖像。
文檔編號(hào)H04N5/265GK102780873SQ20121014727
公開日2012年11月14日 申請(qǐng)日期2012年5月7日 優(yōu)先權(quán)日2011年5月13日
發(fā)明者坂口龍己, 小林誠司, 梶甾博, 鹿島浩司 申請(qǐng)人:索尼公司