專利名稱：圖像處理設備和圖像處理方法及其程序的制作方法
技術領域：
本公開涉及圖像處理設備和圖像處理方法及其程序。更具體地講，本公開涉及一種圖像處理設備和圖像處理方法及其程序，通過該圖像處理設備和圖像處理方法及其程序實現(xiàn)如下的顯示當在三維圖像顯示中執(zhí)行諸如消息、疊加字幕或圖標的附加信息在另 一三維圖像對象上的重疊顯示時抑制不適感。
背景技術：
當前，已開發(fā)并使用能夠顯示三維圖像(3D圖像)的顯示設備(諸如，電視機和PC)以及能夠記錄三維圖像(3D圖像)的攝像機、靜止照相機等。通過使用從不同視點拾取的圖像(在這種情況下為左眼用圖像和右眼用圖像)，對3D圖像執(zhí)行顯示處理。在執(zhí)行三維圖像的上述顯示的情況下，當附加信息(諸如，消息、疊加字幕、錯誤顯示、菜單或圖標)重疊在要顯示的三維圖像上時，根據(jù)三維顯示的狀態(tài)，當附加信息重疊時可能產(chǎn)生不適感，并且在三維圖像的視覺識別方面發(fā)生問題。例如，在就三維深度位置而言附加信息顯示在剛好0的位置(顯示圖像的深度方向(遠側)/彈出方向(近側)的中心)的情況下，在相對于該0位置顯示在近側的進行彈出顯示的對象部分與附加信息的顯示位置重疊的情況下，形成如下情況朝著近側彈出的對象(顯示對象)的一部分看起來向后退縮，這導致觀看者具有不適感。公開用于解決上述情況的結構的現(xiàn)有技術包括專利申請No. W2008/41313的PCT國際公開的日本再公開Image display apparatus (Pioneer),其將被稱為專利文件I。關于重疊在原始三維圖像上的附加信息，專利文件I提出一種方法改變附加信息在深度方向上的相對位置，把附加信息設置在具有最大視差的最近側顯示，另外，改變顯示位置以改變重疊位置。然而，類似于專利文件I中公開的結構，如果在緊挨著三維運動圖像顯示中具有最強彈出效果的對象之前規(guī)則地放置附加信息的情況下執(zhí)行動態(tài)控制，則可見性變差，因為附加信息自身的顯示位置改變。為了避免這一點，例如，可設想固定附加信息的顯示位置的設置，從而使附加信息規(guī)則地位于構成一系列運動圖像的三維圖像的所有對象前面。然而，在這種設置中，附加信息顯示在具有最大左右視差的位置前面。在三維圖像在深度方向上位于較深位置的情況下，由于三維圖像和附加信息之間的深度的差變大，所以可見性變差。另外，提出了把附加信息貼附在具有預定范圍的深度的對象上的結構，但對象可能不具有能夠顯示附加信息的區(qū)域(例如，能夠容納文字的區(qū)域)。在執(zhí)行上述應對措施的情況下，會發(fā)生可能無法顯示附加信息的問題。

發(fā)明內容
鑒于例如上述情況而提出本公開，并且希望提供一種在三維圖像顯示處理時執(zhí)行附加信息(諸如，各種消息)的重疊顯示的情況下可以防止可見性降低的圖像處理設備和圖像處理方法及其程序。本公開廣泛地包括設備、方法和編碼有使處理器執(zhí)行所述方法的程序的計算機可讀介質。在一個實施例中，所述設備包括重疊檢測器和顯示修改單元。重疊檢測器被構造為確定與第二圖像疊加的第一圖像是否與第二圖像中的對象重疊大于閾值。顯示修改單元被構造為當重疊檢測器檢測到第一圖像與第二圖像中的所述對象重疊大于所述閾值時改變與第二圖像疊加的第一圖像的內容以使得第一圖像不再與第二圖像中的所述對象重疊大于所述閾值。


圖I是用于描述附加信息的顯示處理例子的說明圖；圖2是用于描述在遵循處理例子I的同時控制的附加信息的顯示處理例子的說明圖；圖3是用于描述在遵循處理例子2的同時控制的附加信息的顯示處理例子的說明圖；圖4是用于描述在遵循處理例子3的同時控制的附加信息的顯示處理例子的說明圖；圖5是用于描述在遵循處理例子4的同時控制的附加信息的顯示處理例子的說明圖；圖6是用于描述在遵循處理例子5的同時控制的附加信息的顯示處理例子的說明圖；圖7是用于描述附加信息的顯示控制處理序列的流程圖；圖8示出圖像處理設備的結構例子；圖9示出根據(jù)本公開的實施例的圖像處理設備的框圖；以及圖10示出根據(jù)本公開的實施例的圖像處理方法的流程圖。
具體實施例方式以下，參照附圖，將描述根據(jù)本公開實施例的圖像處理設備和圖像處理方法及其程序的細節(jié)。將根據(jù)下面的項目給出描述。I、關于由圖像處理設備執(zhí)行的處理的細節(jié)I-(I)調整附加信息的顯示字符數(shù)的處理例子(處理例子I)I-(2)調整附加信息的顯示字符尺寸的處理例子(處理例子2)I-(3)把附加信息的顯示改變?yōu)閳D標的處理例子(處理例子3)I-(4)執(zhí)行附加信息的字符串的換行調整的處理例子(處理例子4)I-(5)組合了處理例子I至4的處理例子(處理例子5)2、關于由圖像處理設備執(zhí)行的處理序列的細節(jié)、
3、關于圖像處理設備的硬件結構例子I、關于由圖像處理設備執(zhí)行的處理的細節(jié)在顯示三維圖像時，要顯示的附加信息包括例如消息、疊加字幕、錯誤顯示、菜單、圖標等。將描述在不引起不適感的情況下顯示這些附加信息的處理的細節(jié)以下，作為具體的多個處理例子，附加信息與要顯示的三維圖像重疊，將順序地描述下面的處理例子(I)至(5)。(I)調整附加信息的顯示字符數(shù)的處理例子(處理例子I)(2)調整附加信息的顯示字符尺寸的處理例子(處理例子2)(3)把附加信息的顯示改變?yōu)閳D標的處理例子(處理例子3)(4)執(zhí)行附加信息的字符串的換行調整的處理例子(處理例子4)(5)組合了處理例子I至4的處理例子(處理例子5)I-(I)調整附加信息的顯示字符數(shù)的處理例子(處理例子I)作為處理例子1，將描述調整附加信息的顯示字符數(shù)的處理例子。根據(jù)本處理例子，首先，附加信息顯示在深度被設置為規(guī)定值的固定位置。例如，在三維圖像的深度位置設置為0(顯示圖像的深度方向(遠側)/彈出方向(近側)的中心)時執(zhí)行顯示。應該注意的是，附加信息的顯示位置被設置為深度位置=0的例子僅是一個例子，顯示位置可固定在另一深度位置。以這種方式，處理例子I是在附加信息的顯示位置固定在預定深度位置的情況下(例如，在包括其位置與附加信息顯示位置重疊并且還在附加信息前面顯示的被顯示對象(顯示對象)的情況下)的有效處理例子。在上述情況下，執(zhí)行把附加信息的字符數(shù)減小到先前規(guī)定的數(shù)量的處理，從而使附加信息的意義仍然可理解，以避免顯示在附加信息前面的對象(顯示對象)與附加信息重疊。將參照圖I和圖2描述附加信息的這種顯示控制處理例子。如圖I中所示，本處理例子I是在重疊在要顯示的三維圖像100上的附加信息111是字符串(諸如錯誤、消息、疊加字幕或菜單)的情況下的有效處理。如圖I中所示，在原本希望顯示為附加信息111的字符串是12個字符“BATTERYCHECK”的情況下，如果要顯示全部這些字符，則字符串與看起來從深度0的位置(該位置是附加信息的顯示位置)彈出的三維顯示對象(在這種情況下為右側的顯示對象105(路標))重疊。如果上述重疊發(fā)生，則僅重疊的部分看起來凹進到深度O。在期望顯示的附加信息采用圖I中示出的模式的情況下，根據(jù)本公開實施例的圖像處理設備執(zhí)行圖2中示出的附加信息顯示控制。也就是說，如圖2中所示，減少附加信息的顯示字符數(shù)，并且調整附加信息的顯示區(qū)域。更具體地講，顯示為附加信息121的字符的位置和尺寸不改變，要顯示的字符串從“BATTERY CHECK”改變?yōu)椤癇ATTERY”并且顯示字符數(shù)減少。在圖2中表示的例子中，12字符顯示改變?yōu)槠咦址@示。通過這種處理，附加信息的顯示區(qū)域減小，結果，能夠避免右側的顯示對象105 (路標)和附加信息121的重疊區(qū)域的產(chǎn)生。
以這種方式，通過在避免與看起來彈出的顯示對象105 (路標)重疊的區(qū)域的同時顯示附加信息121，看起來彈出的顯示對象105(路標)能夠被觀測為具有自然彈出效果的對象，并且在深度位置=0的位置能夠自然地觀測到附加信息121。I-(2)調整附加信息的顯示字符尺寸的處理例子(處理例子2)接下來，作為處理例子2，將描述調整附加信息的顯示字符尺寸的處理例子。類似于處理例子1，在本處理例子中，附加信息也顯示在預定深度位置。例如，作為三維圖像的深度位置，在0的位置(顯示圖像的深度方向(遠側)/彈出方向(近側)的中心)執(zhí)行顯示。類似于處理例子1，處理例子2也是例如在包括其位置與深度固定的附加信息的顯示位置重疊并且還顯示在附加信息前面的被顯示對象(顯示對象)的情況下的有效例子。 根據(jù)本處理例子，在存在顯示位置與附加信息的顯示位置重疊并且顯示在例如附加信息前面的顯示對象的情況下，減小附加信息的字符字體尺寸以避免重疊部分。類似于先前描述的處理例子1，在期望顯示的附加信息采用圖I中示出的模式的情況下，根據(jù)本公開實施例的圖像處理設備執(zhí)行圖3中示出的對附加信息的顯示控制。也就是說，如圖3中所示，減小附加信息的顯示字符尺寸以調整附加信息的顯示區(qū)域。更具體地講，顯示為附加信息122的字符的位置不改變，顯示字符尺寸被減小以減小附加信息的顯示區(qū)域。類似于處理例子1，本處理例子2也是避免附加信息和顯示對象的重疊的方法，但通過減小字符尺寸而不減少顯示信息。在圖3示出的例子中，即使在相同字符“BATTERYCHECK”的情況下，通過改變字符尺寸以減小字符尺寸，也可以避免與三維圖像的彈出部分重疊。根據(jù)本處理例子，同樣地，通過在避免與看起來彈出的顯示對象105 (路標)重疊的區(qū)域的同時顯示附加信息122，看起來彈出的顯示對象105(路標)能夠被觀測為具有自然彈出效果的對象，并且在深度位置=0的位置能夠自然地觀測到附加信息122。I-(3)把附加信息的顯示改變?yōu)閳D標的處理例子(處理例子3)接下來，作為處理例子3，將描述把附加信息的顯示改變?yōu)閳D標的處理例子。類似于處理例子I和2，在本處理例子中，附加信息顯示在預定深度位置。例如，作為三維圖像的深度位置，在0的位置(顯示圖像的深度方向(遠側)/彈出方向(近側)的中心)執(zhí)行顯示。類似于處理例子1，處理例子3也是例如在包括其位置與深度固定的附加信息的顯示位置重疊并且還顯示在附加信息前面的被顯示對象(顯示對象)的情況下的有效例子。根據(jù)本處理例子，在存在顯示位置與附加信息的顯示位置重疊并且顯示在例如附加信息前面的顯示對象的情況下，通過把附加信息的顯示改變?yōu)閳D標來避免重疊部分。也就是說，字符串顯示被改變?yōu)閳D標顯示。類似于先前描述的處理例子1，在期望顯示的附加信息采用圖I中示出的模式的情況下，根據(jù)本公開實施例的圖像處理設備如圖4中所示改變附加信息的顯示模式。更具體地講，例如，執(zhí)行把模式從字符串顯示改變?yōu)閳D標顯示的顯示模式改變處理。
也就是說，如圖4中所示，圖I中示出的由字符串“BATTERYCHECK”構成的附加信息111被改變?yōu)橛商崾倦姵貦z查的“圖標”構成的附加信息123。類似于處理例子I和2，本處理例子3也是避免附加信息和顯示對象的重疊的方法，但例如通過把模式改變?yōu)槭褂脠D標的顯示模式，即使在顯示字符的數(shù)量大的情況下也可以顯著減小顯示區(qū)域。在圖4示出的例子中，通過把圖I中示出的“BATTERY CHECK”的字符串顯示改變?yōu)榛趫D4示出的圖標的附加信息123，附加信息的顯示區(qū)域顯著減小，并且能夠避免附加信息和三維圖像的彈出對象105的重疊。如果在顯示由字符信息(諸如錯誤、消息、疊加字幕或菜單)構成的附加信息的情況下通過使用字符信息減小顯示區(qū)域，則采用像上述處理例子I和2那樣把字符數(shù)減少為能夠傳達信息的最大字符數(shù)的方法或者減小字符尺寸的方法。然而，關于要減少的字符數(shù)，能夠減少的數(shù)據(jù)均根據(jù)不同的顯示字符串而不同。另外，針對每個字符串信息，要減少的一個或多個規(guī)定字符數(shù)被保持為單獨的數(shù)據(jù)，并且在重疊確定時，關于相關數(shù)據(jù)的確定變得有些復雜。另外，如果字符尺寸過度減小，則可見性變差，并且還存在對字符尺寸減小的限制。與此相比，通過像圖4中示出的處理例子3那樣把字符顯示改變?yōu)閳D標顯示，與基于字符串的顯示信息相比可以顯著減小顯示區(qū)域。此外，不會根據(jù)信息而存在面積的差異，另外，可以為一條字符信息準備替換字符信息的一種類型的圖標，從而可以減少使用的存儲器容量或者處理負荷。I-(4)執(zhí)行附加信息的字符串的換行調整的處理例子(處理例子4)接下來，作為處理例子4，將描述執(zhí)行附加信息的字符串的換行調整的處理例子。類似于上述處理例子I至3，在本處理例子中，附加信息也顯示在預定深度位置。例如，作為三維圖像的深度位置，在0的位置(顯示圖像的深度方向(遠側)/彈出方向(近側)的中心)執(zhí)行顯示。類似于處理例子I至3，處理例子4也是例如在包括其位置與深度固定的附加信息的顯示位置重疊并且還顯示在附加信息前面的被顯示對象(顯示對象)的情況下的有效例子。根據(jù)本處理例子，在存在顯示位置與附加信息的顯示位置重疊并且顯示在附加信息前面的顯示對象的情況下，對附加信息的字符串換行以變更行，并且附加信息的顯示區(qū)域的形狀改變，從而避免與其它三維顯示對象重疊的部分。類似于先前描述的處理例子1，在期望顯示的附加信息采用圖I中示出的模式的情況下，根據(jù)本公開實施例的圖像處理設備執(zhí)行圖5中示出的對附加信息的顯示控制。也就是說，如圖5中所示，對附加信息124的字符串換行以變更段落。通過上述處理，附加信息124的顯示區(qū)域改變，并且消除顯示在附加信息前面的與顯示對象的重疊區(qū)域。
類似于其它處理例子，本處理例子4也是避免附加信息和顯示對象的重疊的方法，但在不減小字符尺寸的情況下，可以在能夠顯示所有字符信息的同時避免與三維圖像的彈出部分重疊。根據(jù)本處理例子，同樣地，通過在避免與看起來彈出的顯示對象105(路標)重疊的區(qū)域的同時顯示附加信息124，看起來彈出的顯示對象105(路標)能夠被觀測為具有自然彈出效果的對象，并且在深度位置 =O的位置能夠自然地觀測到附加信息124。I-(5)組合了處理例子I至4的處理例子(處理例子5)雖然上述處理例子I至4能夠單獨使用，但是也能夠通過任意組合兩個或更多個處理例子來使用這些處理例子。例如，如果在單獨使用上述處理例子I至4的情況下附加信息和三維顯示對象的重疊區(qū)域比較大地保留，則通過組合各方法以及另外通過減小或改變附加信息的顯示區(qū)域，避免與其它三維顯示對象的重疊區(qū)域。例如，圖6中示出的附加信息125是在組合上述處理例子2和處理例子4的同時執(zhí)行的處理例子。也就是說，示出了組合了這兩個處理例子的處理例子(處理例子2)調整附加信息的顯示字符尺寸的處理例子；(處理例子4)執(zhí)行附加信息的字符串的換行調整的處理例子。也就是說，圖6中示出的附加信息125是通過減小字符尺寸并且還執(zhí)行換行以具有兩行顯示而獲得的附加信息。這是即使在遵循處理例子2的同時減小字符串尺寸也未實現(xiàn)消除與其它顯示對象105的重疊的情況，此時，進一步應用處理例子4以換行從而改變字符顯示區(qū)域的形狀。通過這些組合的處理，避免與其它三維顯示對象的重疊。如上所述，根據(jù)通過顯示字符串的操作、尺寸改變、轉換成圖標等減小附加信息的顯示面積的方法，可以避免與存在于近側的三維圖像的重疊。然而，應該注意的是，在作為顯示目標的三維圖像是運動圖像的情況下，即使基于某個時刻的圖像執(zhí)行關于重疊的確定并改變顯示，在近側彈出的圖像在下一時刻改變并產(chǎn)生重疊的情況下，該顯示會進一步改變。在該時刻，如果立即切換顯示，則發(fā)生顯示模式的煩雜改變，這可能相當程度地降低可見性。由于這個原因，執(zhí)行通過評價重疊區(qū)域和它的深度量之間的差、以及重疊時長來確定切換定時的處理。以下將參照圖7中示出的流程圖具體地描述該處理的細節(jié)。通過該處理，在避免頻繁的顯示改變的同時能夠增加附加信息相對于觀測者的可見性。2、關于由圖像處理設備執(zhí)行的處理順序的細節(jié)圖7是用于描述由圖像處理設備執(zhí)行的對附加信息的顯示控制處理的序列的例子的流程圖。在遵循圖7中示出的流程的該處理中，計算與構成期望顯示的附加信息的顯示區(qū)域的每個像素對應的評價值。也就是說，設置根據(jù)與附加信息重疊的對象和深度之間的差的評價值，并且在該評價值的基礎上控制附加信息的顯示模式。例如，在圖像處理設備的控制單元的控制下執(zhí)行圖7中示出的流程，該控制單元設置有具有程序執(zhí)行功能的CPU等。將描述圖7的流程圖的每個步驟中的處理。首先，在步驟SlOl中執(zhí)行初始設置。在初始設置中，構成期望顯示的附加信息的顯示區(qū)域的每個像素的評價值被如下設置。評價值=0在步驟S102中，確定對構成附加信息的顯示預計區(qū)域的所有像素的處理(即，評價值計算處理)是否結束。在確定該處理結束的情況下，流程前進至步驟S105。在對構成期望顯示的附加信息的顯示區(qū)域的每個像素的評價值設置處理未結束的情況下，流程前進至步驟S103。步驟S103中的處理是對構成附加信息的顯示區(qū)域的每個像素順序地執(zhí)行的確定處理，并且確 定是否存在與設置為處理目標的像素重疊的三維顯示對象。在本例子中，將在附加信息的顯示位置在深度位置恰好設置為0的位置(顯示圖像的深度方向(遠側)/彈出方向(近側)的中心)時給出描述。在這種情況下，執(zhí)行步驟S103中的重疊確定，作為關于是否存在在深度位置=0的顯示位置處的附加信息的像素前面(相對于深度位置=0的顯示位置處的附加信息的像素在近側)的位置顯示的三維對象的確定處理。在步驟S103中，在確定在處理目標像素的像素位置處存在在近側的位置顯示的三維對象的情況下，流程前進至步驟S104，并且在確定不存在相關三維對象的情況下，流程返回到步驟S102。在步驟S103中，在確定在處理目標像素的像素位置存在在近側的位置顯示的三維對象的情況下，流程前進至步驟S104，并且在步驟S104中，執(zhí)行對評價值的更新處理。在執(zhí)行的處理中獲得評價值，在該處理中，深度位置=0的顯示位置處的附加信息和三維顯示對象的顯示位置經(jīng)受重疊顯示，也就是說，把深度信息的差與計算的評價值相加。也就是說，評價值E變?yōu)槿缦掠嬎愕闹?。在附加信息的顯示位置(=0)被設置為Ip時，當與附加信息重疊并顯示在附加信息前面的對象的顯示位置被設置為Op時，關于期望顯示的附加信息的每個構成像素，計算I Ip-Op |，關于附加信息的顯示區(qū)域的所有構成像素把這些值相加。也就是說，基于下面的表達式計算評價值E。評價值E=E Ip-Op當對附加信息顯示預計區(qū)域的所有像素的處理結束并且計算出最終評價值時，流程前進至步驟S105。在步驟S105中，把計算的評價值與先前規(guī)定的閾值進行比較。評價值 > 閾值在滿足上述判定表達式的情況下，在該例子中，在計算的評價值大于先前規(guī)定的閾值的情況下，流程前進至步驟S121。另一方面，在計算的評價值不大于先前規(guī)定的閾值的情況下，流程前進至步驟S106。在步驟S105中，確定計算的評價值不大于先前規(guī)定的閾值，并且當流程前進至步驟S106時，確定為附加信息的顯示切換控制設置的切換定時器是否正在計時。切換定時器是用于測量為執(zhí)行附加信息的顯示切換而在先前規(guī)定的時間段的定時器。如果與評價值相加的結果超過閾值，則切換定時器啟動以執(zhí)行時間評價。例如，在本例子中，執(zhí)行附加信息的顯示切換的最短時間間隔設置為兩秒(2sec)。這是防止附加信息的頻繁顯示改變的措施。如果頻繁執(zhí)行附加信息的顯示切換，則產(chǎn)生閃爍。這是用于防止由于這種閃爍使觀測者難以檢查附加信息的情況的措施。切換定時器在產(chǎn)生附加信息的切換條件的情況下開始計時，并且在消除附加信息的切換條件的情況下，計時暫時中斷。
該中斷時間由中斷定時器測量。在中斷時間超過先前規(guī)定的時長(在本例子中，0. 5秒)的時間點未產(chǎn)生附加信息的顯示切換條件的情況下，切換定時器被清零，即復位。在中斷時間超過先前規(guī)定的時長(在本例子中，0. 5秒)的時間點產(chǎn)生附加信息的顯示切換條件的情況下，切換定時器從停止的時間重新開始計時。當切換定時器的該計時(測量的時間)總計超過兩秒(2sec)時，執(zhí)行附加信息的顯示切換。在步驟S106中，在切換定時器未在計時的情況下，流程前進至步驟S124，在步驟S124中，確定用于測量切換定時器的計時的中斷時間的中斷定時器是否正在計時。在步驟S124中，在確定中斷定時器未在計時的情況下，流程前進至步驟S142。在步驟S142中，執(zhí)行附加信息的顯示。該顯示處理是原本期望顯示的附加信息的顯不。也就是說，這個處理是在執(zhí)行以下顯示的情況下的處理附加信息和其它三維顯示對象的重疊小并且即使當附加信息按原樣顯示時也不發(fā)生視覺問題。另一方面，在步驟S105中確定計算的評價值不大于先前規(guī)定的閾值并且在步驟S106中確定為附加信息的顯示切換控制而設置的切換定時器正在計時的情況下，流程前進至步驟S107。在步驟S107中，切換定時器停止。接下來，流程前進至步驟S108，在步驟S108中，中斷定時器啟動。中斷定時器是用于對切換定時器停止的時長進行計時的定時器。接下來，流程前進至步驟S109，在步驟S109中，確定中斷定時器的計時時間是否超過先前規(guī)定的時長(例如，0.5秒)。在計時時間未超過先前規(guī)定的時長的情況下，流程返回到步驟SlOl。在步驟S109中，當確定中斷定時器的計時時間超過先前規(guī)定的時長(例如，0.5秒)時，流程前進至步驟S110，在步驟SllO中，中斷定時器被清零，并且流程前進至步驟S141。在步驟S141中，切換定時器被清零，并且流程前進至步驟S142。在步驟S142中，執(zhí)行附加信息的顯示。該顯示處理是原本期望顯示的附加信息的顯不。也就是說，這個處理是在執(zhí)行以下顯示的情況下的處理附加信息和其它三維顯示對象的重疊小并且即使當附加信息按原樣顯示時也不發(fā)生視覺問題。接下來，將描述在不滿足步驟S105中的確定處理(S卩，不滿足上述確定表達式評價值>閾值)的情況下的處理。在步驟S105中，在計算的評價值大于先前規(guī)定的閾值的情況下，流程前進至步驟S121。在步驟S121中，確定為附加信息的顯示切換控制而設置的切換定時器是否正在計時。在切換定時器未在計時的情況下，流程前進至步驟S122，在步驟S122中，確定用于測量切換定時器的計時的中斷時間的中斷定時器是否正在計時。在步驟S122中，當確定中斷定時器未在計時時，流程前進至步驟S123。、
在步驟S123中，切換定時器啟動，并且流程前進至步驟S131。在步驟S131中，執(zhí)行切換定時器的計時的重新開始，另外，執(zhí)行對中斷定時器的
清零處理。其后，流程前進至步驟S132，在步驟S132中，確定切換定時器的計時時間是否超過先前設置的時長(2秒)。在確定該計時時間未超過先前設置的時長(2秒)的情況下，流程返回到步驟SlOl。在步驟S132中，在確定切換定時器的計時時間超過先前設置的時長(2秒)的情況下，流程前進至步驟S133。在步驟S133中，執(zhí)行切換應該顯示的附加信息的處理。例如，通過遵循上述處理例子I至5之一，執(zhí)行對應該切換并顯示的附加信息的設置。這里，將在假設執(zhí)行處理例子I中的字符數(shù)的減少的同時給出描述。在執(zhí)行步驟S133中基于字符數(shù)減少的應該切換并顯示的附加信息的設置處理之后，流程前進至步驟S134。在步驟S134中，確定切換之后的附加信息的字符串是否大于先前規(guī)定的字符數(shù)。在步驟S134中，在確定切換之后的附加信息的字符串大于先前規(guī)定的字符數(shù)的情況下，流程前進至步驟S135。另外，字符數(shù)減少，并且流程前進至步驟S134。另一方面，在步驟S134中，在確定切換之后的附加信息的字符串不大于先前規(guī)定的字符數(shù)的情況下，流程前進至步驟S141。在步驟S141中，切換定時器被清零，并且流程前進至步驟S142。在步驟S142中，執(zhí)行附加信息的顯示。執(zhí)行這個顯示處理，作為替代于原本期望顯示的附加信息由上述處理例子I至5之一控制的附加信息的顯示處理。也就是說，為了消除或設置以減小附加信息和其它三維顯示對象的重疊，執(zhí)行作為執(zhí)行的控制(諸如，字符數(shù)減少)的結果的附加信息顯示。如參照圖7中示出的流程所述，在根據(jù)本公開實施例的處理中，通過使用用于測量從附加信息的切換條件的產(chǎn)生時間開始的時間段的切換定時器和用于測量從附加信息的切換條件的消除開始的時間段的中斷定時器，執(zhí)行時間測量。把各測量的時間與預定閾值時間進行比較，并且基于比較結果執(zhí)行附加信息的切換控制。這個處理是為了抑制附加信息的頻繁切換以執(zhí)行穩(wěn)定的顯示切換。例如，在微妙顯示條件的情況(比如在由切換定時器測量的兩秒的切換時間期間稍微不滿足該條件的情況等)下，不執(zhí)行切換。也就是說，在某一程度上準備滯后(hysteresis),作為顯示切換處理的時間條件。例如，如在運動圖像的再現(xiàn)顯示中，在 附加信息和彈出對象的重疊區(qū)域頻繁改變的情況下，防止由附加信息的頻繁顯示切換的重復引起的閃爍顯示的情況，并且可以使觀測者穩(wěn)定地檢查附加信息。通過執(zhí)行根據(jù)本公開實施例的處理，當附加信息(諸如字符串、圖標或圖像)與三維圖像重疊時，可以執(zhí)行附加信息與圖像的重疊顯示，通過該重疊顯示，在相對于三維圖像的近側存在彈出的圖像部分的情況下可見性未變差，并且希望由規(guī)定的附加信息傳達的意義能夠被充分傳達給用戶。此外，在三維圖像是運動圖像的情況下，當附加信息(諸如字符串、圖標或圖像)重疊時，可以重疊附加信息以使得在實現(xiàn)信息的傳遞的同時避免根據(jù)圖像的改變的附加信息的顯示模式的煩雜改變并且把對圖像的影響抑制到最小程度。
3、關于圖像處理設備的硬件結構例子接下來，將參照圖8描述執(zhí)行上述處理的圖像處理設備的硬件結構例子。圖8是示出根據(jù)本公開實施例的圖像處理設備的結構例子的框圖。該圖像處理設備是通過對附加信息執(zhí)行上述顯示控制來執(zhí)行產(chǎn)生輸出圖像的處理的設備。更具體地講，例如，該圖像處理設備是諸如電視機、再現(xiàn)設備、攝像機或PC的設備。CPU (中央處理單元)201用作在遵循存儲在ROM (只讀存儲器)202或存儲單元208中的程序的同時執(zhí)行各種處理的控制單元(數(shù)據(jù)處理單元)。例如，CPU 201執(zhí)行上述實施例中描述的對附加信息的顯示控制。RAM(隨機存取存儲器)203適當?shù)卮鎯τ蒀PU 201執(zhí)行的程序、數(shù)據(jù)等。CPU 201、ROM 202和RAM 203通過總線204互相連接。CPU 201經(jīng)由總線204連接到輸入輸出接口 205，并且由各種開關、鍵盤、鼠標、麥克風等構成的輸入單元206和由顯示器、揚聲器等構成的輸出單元207連接到輸入輸出接口 205。CPU 201執(zhí)行與從輸入單元206輸入的指令對應的各種處理并把處理結果輸出給例如輸出單元207。連接到輸入輸出接口 205的存儲單元208由例如硬盤等構成并存儲由CPU 201執(zhí)行的程序和各種數(shù)據(jù)。通信單元209經(jīng)由網(wǎng)絡(諸如互聯(lián)網(wǎng)或局域網(wǎng))與外部設備執(zhí)行通f目。連接到輸入輸出接口 205的驅動器210驅動可移動介質211，諸如磁盤、光盤、磁光盤或半導體存儲器，并獲得各種數(shù)據(jù)，諸如記錄的內容和程序。定時器221用作參照圖7中示出的流程圖描述的切換定時器和中斷定時器。接下來，將參照圖9描述圖像處理設備的另一結構示例。在圖9中，示出了圖像處理設備900。圖像處理設備900包括重疊檢測器910和顯示修改單元920。重疊檢測器910被構造為確定與第二圖像疊加的第一圖像是否與第二圖像中的對象重疊大于閾值。這里，第一圖像是二維圖像，并且第一圖像的內容可以是消息、標題、錯誤顯示、菜單或圖標等；第二圖像是三維圖像，諸如圖1-7中所示的三維圖像。第二圖像中的對象的例子是圖1-7中的路標105。重疊檢測器910被構造為基于第一圖像中的每個像素計算評價值，并把該評價值與所述閾值進行比較以確定第一圖像是否與所述對象重疊。重疊檢測器910被構造為確定是第一圖像在第二圖像前面還是第二圖像在第一圖像前面。為了這樣做，重疊檢測器被構造為基于第一圖像的深度位置確定是第一圖像在第二圖像前面還是第二圖像在第一圖像前面。顯示修改單元920被構造為當重疊檢測器910檢測到第一圖像與第二圖像中的所述對象重疊大于所述閾值時，改變與第二圖像疊加的第一圖像的內容以使得第一圖像不再與第二圖像中的所述對象重疊大于所述閾值。此外，顯示修改單元920被構造為在切換時間改變第一圖像的內容，所述顯示修改單元測量從所述評價值超過所述閾值的時間到通過顯示修改單元改變內容的時間的所述切換時間。顯示修改單元920可以通過去除第一圖像中的文本的至少一部分改變第一圖像的內容(處理例子I)。顯示修改單元920可以通過改變第一圖像中的文本的字體尺寸改變第一圖像的內容(處理例子2)。顯示修改單元920可以通過用圖標替換第一圖像中的文本改變第一圖像的內容(處理例子3)。顯示修改單元920可以通過把第一圖像中的文本的格式改變?yōu)樵谥辽僖粋€附加行上顯示所述文本來改變第一圖像的內容(處理例子4)。圖10示出了根據(jù)本公開的實施例的圖像處理方法的流程圖。該圖像處理方法包括重疊檢測步驟1010和顯示修改步驟1020。在重疊檢測步驟1010中，確定與第二圖像疊加的第一圖像是否與第二圖像中的對象重疊大于閾值。在顯示修改步驟1020中，當檢測到第一圖像與第二圖像中的所述對象重疊大于所述閾值時，使用處理器改變與第二圖像疊加的第一圖像的內容以使得第一圖像不再與第二圖像中的所述對象重疊大于所述閾值。在上面，參照具體實施例詳細描述了本公開。然而，本領域技術人員應該理解，在不脫離所附權利要求或其等同物的范圍的情況下，可以根據(jù)設計的需要和其它因素做出各種變型、組合、子組合和替換。也就是說，本公開借助示例被公開并且不應該以限制的方式進行解釋。
此外，說明書中執(zhí)行的一系列處理能夠由硬件、軟件或它們的組合結構執(zhí)行。在處理由軟件執(zhí)行的情況下，在記錄處理序列的程序被安裝在專用硬件中所包括的計算機中的存儲器中或者該程序被安裝在能夠執(zhí)行各種處理的通用計算機中時，能夠執(zhí)行處理。例如，該程序能夠在先前記錄在記錄介質中。除了從記錄介質安裝到計算機之外，能夠經(jīng)由網(wǎng)絡(諸如LAN(局域網(wǎng))或互聯(lián)網(wǎng))接收該程序并把該程序安裝在諸如內置硬盤的記錄介質中。應該注意的是，在遵循說明書的同時按照時間順序方式執(zhí)行說明書中描述的各種處理，但也可以根據(jù)執(zhí)行處理的設備的處理能力或者在必要時，并行或單獨地執(zhí)行所述各種處理。此外，本說明書中的系統(tǒng)是多個設備的邏輯集合結構并且不限于各結構的設備位于同一殼體中的結構。應該注意的是，本公開還能夠采用下面的結構。I. 一種包括執(zhí)行三維圖像的顯示處理的控制單元的圖像處理設備，其中該控制單元執(zhí)行在先前規(guī)定的規(guī)定深度位置處顯示與所述三維圖像重疊的附加信息的處理，基于附加信息的顯示預計區(qū)域中包括的顯示對象的深度位置和用于顯示附加信息的規(guī)定深度位置之間的差，計算評價值，以及根據(jù)所述評價值執(zhí)行附加信息的顯示模式的改變處理。2.如權利要求I所述的圖像處理設備，其中所述控制單元執(zhí)行附加信息的字符數(shù)的減少處理，作為附加信息的顯示模式改變處理。3.如權利要求I所述的圖像處理設備，其中所述控制單元執(zhí)行附加信息的字符尺寸的改變處理，作為附加信息的顯示模式改變處理。4.如權利要求I所述的圖像處理設備，其中所述控制單元執(zhí)行把附加信息的字符改變成圖標的處理，作為附加信息的顯示模式改變處理。5.如權利要求I所述的圖像處理設備，
其中所述控制單元執(zhí)行對附加信息的字符串設置換行的處理，作為附加信息的顯示模式改變處理。6.如權利要求I所述的圖像處理設備，
其中所述控制單元以附加信息的顯示預計區(qū)域中包括的像素為單位計算與重疊的顯示對象的深度位置的差，并針對附加信息的顯示預計區(qū)域中的所有像素以像素為單位把所述差相加以計算所述評價值，以及基于計算的評價值和先前規(guī)定的閾值之間的比較結果，決定是否改變附加信息的顯示模式。7.如權利要求I所述的圖像處理設備，其中所述控制單元在評價值滿足附加信息的切換條件的時間段持續(xù)了先前規(guī)定的規(guī)定時長以上的情況下，執(zhí)行改變附加信息的顯示模式的處理。8. 一種圖像處理設備中執(zhí)行三維圖像的顯示處理的圖像處理方法，該方法包括在先前規(guī)定的規(guī)定深度位置處顯示與所述三維圖像重疊的附加信息；基于附加信息的顯示預計區(qū)域中包括的顯示對象的深度位置和用于顯示附加信息的規(guī)定深度位置之間的差來計算評價值，以及根據(jù)所述評價值，執(zhí)行附加信息的顯示模式的改變處理。9. 一種用于在圖像處理設備中執(zhí)行三維圖像的顯示處理的程序，該程序使得執(zhí)行在先前規(guī)定的規(guī)定深度位置處顯示與所述三維圖像重疊的附加信息；基于附加信息的顯示預計區(qū)域中包括的顯示對象的深度位置和用于顯示附加信息的規(guī)定深度位置之間的差來計算評價值，以及根據(jù)所述評價值，執(zhí)行附加信息的顯示模式的改變處理。
權利要求
1.一種圖像處理設備，包括 重疊檢測器，被構造為確定與第二圖像疊加的第一圖像是否與第二圖像中的對象重疊大于閾值；和 顯示修改單元，被構造為當重疊檢測器檢測到第一圖像與第二圖像中的所述對象重疊大于所述閾值時，改變與第二圖像疊加的第一圖像的內容以使得第一圖像不再與第二圖像中的所述對象重疊大于所述閾值。
2.如權利要求I所述的設備，其中所述顯示修改單元通過去除第一圖像中的文本的至少一部分改變第一圖像的內容。
3.如權利要求I所述的設備，其中所述顯示修改單元通過改變第一圖像中的文本的字體尺寸改變第一圖像的內容。
4.如權利要求I所述的設備，其中所述顯示修改單元通過用圖標替換第一圖像中的文本改變第一圖像的內容。
5.如權利要求I所述的設備，其中所述顯示修改單元通過把第一圖像中的文本的格式改變?yōu)樵谥辽僖粋€附加行上顯示所述文本來改變第一圖像的內容。
6.如權利要求I所述的設備，其中所述第一圖像是二維圖像。
7.如權利要求I所述的設備，其中所述第二圖像是三維圖像。
8.如權利要求I所述的設備，其中所述重疊檢測器被構造為基于第一圖像中的每個像素計算評價值，并把該評價值與所述閾值進行比較以確定第一圖像是否與所述對象重疊。
9.如權利要求8所述的設備，其中所述顯示修改單元被構造為在切換時間改變第一圖像的內容，所述顯示修改單元測量從所述評價值超過所述閾值的時間到通過顯示修改單元改變內容的時間的所述切換時間。
10.如權利要求I所述的設備，其中所述第一圖像的內容是消息、標題、錯誤顯示、菜單或圖標。
11.如權利要求I所述的設備，其中所述重疊檢測器被構造為確定是第一圖像在第二圖像前面還是第二圖像在第一圖像前面。
12.如權利要求11所述的設備，其中所述重疊檢測器被構造為基于第一圖像的深度位置確定是第一圖像在第二圖像前面還是第二圖像在第一圖像前面。
13.一種圖像處理方法，包括 確定與第二圖像疊加的第一圖像是否與第二圖像中的對象重疊大于閾值；以及 當檢測到第一圖像與第二圖像中的所述對象重疊大于所述閾值時，使用處理器改變與第二圖像疊加的第一圖像的內容以使得第一圖像不再與第二圖像中的所述對象重疊大于所述閾值。
全文摘要
本發(fā)明涉及圖像處理設備和圖像處理方法及其程序。一種設備包括重疊檢測器和顯示修改單元。重疊檢測器被構造為確定與第二圖像疊加的第一圖像是否與第二圖像中的對象重疊大于閾值。顯示修改單元被構造為當重疊檢測器檢測到第一圖像與第二圖像中的所述對象重疊大于所述閾值時改變與第二圖像疊加的第一圖像的內容以使得第一圖像不再與第二圖像中的所述對象重疊大于所述閾值。
文檔編號H04N13/04GK102638697SQ20121002560
公開日2012年8月15日 申請日期2012年2月7日 優(yōu)先權日2011年2月14日
發(fā)明者鈴木浩之 申請人:索尼公司