專利名稱：圖像處理設(shè)備、圖像處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本公開內(nèi)容涉及一種圖像處理設(shè)備、一種圖像處理方法以及一種程序。
背景技術(shù)：
真實(shí)世界中存在以文本、圖示、符號(hào)、圖像等形式表現(xiàn)的各種類型的信息。這些信息通常以從正面和/或從特定方位最佳觀看的方式來呈現(xiàn)。例如，JP2010-202018A公開了一種用于通過識(shí)別存在于汽車周圍的交通標(biāo)志的字符來幫助駕駛的技術(shù)。同樣在這種技術(shù)中，假定從正面捕獲看板上的字符。當(dāng)對(duì)于讀取信 息的主體是人以及主體是計(jì)算機(jī)的情況而言，在視覺上讀取信息同等地真實(shí)時(shí)，從正面觀看息是優(yōu)選的。

發(fā)明內(nèi)容
然而，在真實(shí)世界中，可能沒有相對(duì)于要接收打印信息或其他信息的對(duì)象來最佳地對(duì)信息用戶進(jìn)行定向。因此，如果可以容易地使得表現(xiàn)信息的真實(shí)對(duì)象的表面面向讀者或信息用戶的方向，則這會(huì)是有益的。本發(fā)明的各個(gè)方面包括一種設(shè)備，該設(shè)備包括存儲(chǔ)指令的存儲(chǔ)器和控制單元?？刂茊卧杀慌渲贸蓤?zhí)行指令，以檢測真實(shí)空間圖像內(nèi)的關(guān)注對(duì)象的圖像；檢測真實(shí)空間對(duì)象圖像相對(duì)于真實(shí)空間用戶視角的方位；生成對(duì)應(yīng)于真實(shí)空間對(duì)象的、包括修改對(duì)象的圖像的修改后的圖像，以使得修改對(duì)象圖像的方位對(duì)應(yīng)于期望的用戶視角；并且顯示修改后的圖像。本發(fā)明的各個(gè)方面還包括一種方法，該方法包括檢測真實(shí)空間圖像內(nèi)的關(guān)注對(duì)象的圖像。該方法還可包括檢測真實(shí)空間對(duì)象圖像相對(duì)于真實(shí)空間用戶視角的方位；生成對(duì)應(yīng)于真實(shí)空間對(duì)象的、包括修改對(duì)象的圖像的修改后的圖像，以使得修改對(duì)象圖像的方位對(duì)應(yīng)于期望的用戶視角；以及顯示修改后的圖像。本發(fā)明的各個(gè)方面還包括存儲(chǔ)有指令有形體現(xiàn)的非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，這些指令在由處理器執(zhí)行時(shí)執(zhí)行包括檢測真實(shí)空間圖像內(nèi)的關(guān)注對(duì)象的圖像的方法。該方法還可包括檢測真實(shí)空間對(duì)象圖像相對(duì)于真實(shí)空間用戶視角的方位；生成對(duì)應(yīng)于真實(shí)空間對(duì)象的、包括修改對(duì)象的圖像的修改后的圖像，以使得修改對(duì)象圖像的方位對(duì)應(yīng)于期望的用戶視角；以及顯示修改后的圖像。本說明書中公開的技術(shù)使得能夠容易地使得表現(xiàn)信息的真實(shí)對(duì)象的表面面向讀者(例如，信息用戶)的方向。


圖I是用于描述根據(jù)實(shí)施例的圖像處理設(shè)備的概述的圖；圖2是示出了根據(jù)實(shí)施例的圖像處理設(shè)備的硬件配置的示例的框圖；圖3是示出了根據(jù)實(shí)施例的圖像處理設(shè)備的邏輯功能的配置示例的框圖；圖4是用于描述圖像識(shí)別單元的識(shí)別結(jié)果的示例的圖；圖5A是用于描述由生成單元執(zhí)行的對(duì)準(zhǔn)圖像(aligned image)生成方法的第一示例的第一幅圖，其中，實(shí)現(xiàn)了修改后的用戶視角；圖5B是用于描述由生成單元執(zhí)行的對(duì)準(zhǔn)圖像生成方法的第一示例的第二幅圖，其中，實(shí)現(xiàn)了具有與真實(shí)空間對(duì)象圖像的方位不同的方位的修改對(duì)象的圖像； 圖6是用于描述由生成單元執(zhí)行的對(duì)準(zhǔn)圖像生成方法的第二示例的圖；圖7是示出了根據(jù)實(shí)施例的圖像顯示設(shè)備顯示的輸入圖像的示例的圖；圖8是用于描述對(duì)圖7所示的輸入圖像的處理的第一幅圖；圖9是用于描述對(duì)圖7所示的輸入圖像的處理的第二幅圖；圖10是示出了根據(jù)圖7所示的輸入圖像生成的對(duì)準(zhǔn)圖像的示例的圖；圖11是用于描述與圖10所示的對(duì)準(zhǔn)圖像相關(guān)的虛擬對(duì)象的操作示例的圖；以及圖12是示出了根據(jù)實(shí)施例的圖像處理設(shè)備執(zhí)行的處理流程的示例的流程圖。
具體實(shí)施例方式下文中，將參照附圖詳細(xì)描述本公開內(nèi)容的優(yōu)選實(shí)施例。應(yīng)注意，在本說明書和附圖中，基本上具有相同功能和配置的結(jié)構(gòu)元件用相同的附圖標(biāo)記來表示，并且省略了對(duì)這些結(jié)構(gòu)元件的重復(fù)說明。I.概述圖I是用于描述本說明書中公開的技術(shù)的實(shí)施例的概述的說明圖。參照?qǐng)D1，示出了真實(shí)空間I中的用戶攜帶的圖像處理設(shè)備100。圖像處理設(shè)備100可在屏幕上顯示通過捕獲真實(shí)空間而獲得的圖像。例如，圖像處理設(shè)備100可以是用戶裝置，諸如智能手機(jī)、PDA (個(gè)人數(shù)字助理)、游戲終端或者便攜式音樂播放器，或者圖像處理設(shè)備100可以是信息處理設(shè)備，諸如PC(個(gè)人計(jì)算機(jī))或者工作站。該圖像處理設(shè)備還可包括用戶可遠(yuǎn)程訪問的其他裝置，諸如服務(wù)器。真實(shí)空間I是可以使用圖像處理設(shè)備100的空間的示例。真實(shí)對(duì)象12a和12b存在于真實(shí)空間I中。真實(shí)對(duì)象12a是通告板。然而，應(yīng)當(dāng)理解，真實(shí)對(duì)象12a和12b以及接下來的描述中提供的其他真實(shí)對(duì)象僅僅是示例性的。真實(shí)對(duì)象可以是用戶關(guān)注的任意對(duì)象。符號(hào)標(biāo)記13a附加于真實(shí)對(duì)象12a。真實(shí)對(duì)象12b是用于信息顯示的告示板。圖像處理設(shè)備100獲取通過捕獲這樣的真實(shí)空間I而獲得的圖像，并且在圖像處理設(shè)備100的屏幕上顯示所獲取的圖像。真實(shí)對(duì)象12a和12b的正面不一定與捕獲圖像的裝置的光軸方向一致。這里，如果捕獲圖像的裝置是用戶圖像捕獲裝置，則捕獲圖像的裝置的光軸方向可確定用戶視角。如本文中所使用的，“視角”是指對(duì)象在場景中的出現(xiàn)，如用戶在特定的觀看位置和方向所觀看到的那樣。因而，如果所捕獲到的圖像按原樣顯示在屏幕上，則用戶可能無法正確地讀取圖像上示出的信息(例如，繪制在真實(shí)對(duì)象12a上的信息、或者由真實(shí)對(duì)象12b呈現(xiàn)的信息)。如果例如用戶視角(例如，在某些情況下為裝置的光軸方向)和真實(shí)對(duì)象12a的方位不具有適當(dāng)?shù)年P(guān)系，則這樣的情況可能發(fā)生。從而，如將從以下部分起詳細(xì)地描述的那樣，根據(jù)本實(shí)施例的圖像處理設(shè)備100處理圖像以產(chǎn)生“修改后的圖像”，使得圖像中示出的真實(shí)對(duì)象的基準(zhǔn)平面(例如，“對(duì)象的方位”)面向圖像平面(例如，期望的用戶視角)，并且因此，例如通過使對(duì)象的方位與期望的用戶視角對(duì)準(zhǔn)來提高圖像中示出的信息的可視性。生成“修改后的圖像”還可以或者可替選地包括修改對(duì)象的方位。對(duì)對(duì)象的方位的修改可包括本文中所描述的任意示例修改以及任意其他適當(dāng)?shù)男薷?。例如，?duì)對(duì)象的方位的修改可包括在真實(shí)空間圖像內(nèi)施加對(duì)對(duì)象的方位的“偽修改(pseudo-modification) ”,諸如通過對(duì)真實(shí)空間圖像施加變換。應(yīng)當(dāng)理解，本文中所描述的任意操作(例如，圖像處理等)都可在用戶裝置上在本地執(zhí)行以及/或者可遠(yuǎn)程地執(zhí)行，諸如通過遠(yuǎn)離用戶裝置的服務(wù)器(例如，“遠(yuǎn)程服務(wù)器”)來執(zhí)行。2.根據(jù)實(shí)施例的圖像處理設(shè)備的示例配置2-1.硬件配置圖2是示出了根據(jù)本實(shí)施例的圖像處理設(shè)備100的硬件配置的示例的框圖。參照?qǐng)D2，圖像處理設(shè)備100包括成像單元102、傳感器單元104、輸入單元106、存儲(chǔ)單元108、顯 示單元112、通信單元114、總線118和控制單元120。成像單元成像單元102可包括用于捕獲圖像的攝像裝置模塊。成像單元102通過使用圖像傳感器(諸如，CCD (電荷耦合器件)或CMOS (互補(bǔ)金屬氧化物半導(dǎo)體))來捕獲真實(shí)空間圖像，并且生成所捕獲的圖像。成像單元102還可以包括用于視頻輸入的成像電路和用于靜止圖像輸入的成像電路這兩種電路或者其中的一種電路。傳感器單元傳感器單元104是用于支持對(duì)圖像處理設(shè)備100的位置和姿態(tài)(attitude)的識(shí)別并且檢測至圖像處理設(shè)備100的用戶輸入的一部分的一組傳感器。例如，傳感器單元104可以包括接收GPS (全球定位系統(tǒng))信號(hào)并且測量圖像處理設(shè)備100的緯度、經(jīng)度和高度的GPS傳感器。另外，傳感器單元104還可以包括基于例如從無線接入點(diǎn)接收到的無線電信號(hào)的強(qiáng)度來測量圖像處理設(shè)備100的位置的定位傳感器。此外，傳感器單元104還可以包括運(yùn)動(dòng)傳感器，諸如測量圖像處理設(shè)備100的三軸加速度的加速度傳感器或者測量傾角的陀螺儀傳感器。輸入單元輸入單元106是由用戶用來操作圖像處理設(shè)備100或者用來向圖像處理設(shè)備100輸入信息的輸入裝置。典型地，輸入單元106包括檢測用戶對(duì)顯示單元112的屏幕的觸摸的觸摸傳感器?？商孢x地(或者，除此之外)，輸入單元106可以包括諸如鼠標(biāo)或觸摸板的指向裝置、識(shí)別圖像中示出的用戶的姿勢的姿勢識(shí)別模塊、或者檢測戴著頭戴式顯示器(HMD)的用戶的視線方向的視線檢測模塊。此外，輸入單元106還可以包括其他類型的輸入裝置，諸如鍵盤、鍵座、按鈕、開關(guān)等。存儲(chǔ)單元存儲(chǔ)單元108可以包括存儲(chǔ)介質(zhì)(諸如，半導(dǎo)體存儲(chǔ)器、硬盤等)，并且存儲(chǔ)用于由圖像處理設(shè)備100進(jìn)行的處理的程序和數(shù)據(jù)。例如，存儲(chǔ)在存儲(chǔ)單元108中的數(shù)據(jù)可以包括由成像單元102生成的圖像數(shù)據(jù)和由傳感器單元104生成的傳感器數(shù)據(jù)。要存儲(chǔ)在存儲(chǔ)單元108中的數(shù)據(jù)還可以例如包括在識(shí)別圖像中示出的真實(shí)對(duì)象時(shí)所使用的模型數(shù)據(jù)。
顯示單元顯示單元112是由IXD(液晶顯示器)、OLED(有機(jī)發(fā)光二極管)、CRT(陰極射線管)等配置的顯示模塊。例如，顯示單元112在屏幕上顯示由成像單元102捕獲的圖像或者要由控制單元120處理的圖像。通信單元通信單元114可以包括對(duì)圖像處理設(shè)備100與其他裝置的通信起媒介作用的通信接口。通信單元114可以支持任意無線通信協(xié)議或有線通信協(xié)議，并且建立至其他裝置的通信連接?？偩€總線118可以將成像單元102、傳感器單元104、輸入單元106、存儲(chǔ)單元108、顯示 單元112、通信單元114和控制單元120彼此連接。控制單元控制單元120可以包括處理器，諸如CPU(中央處理器)、DSP(數(shù)字信號(hào)處理器)等?？刂茊卧?20執(zhí)行存儲(chǔ)在存儲(chǔ)單元108或其他存儲(chǔ)介質(zhì)中的程序，并且使圖像處理設(shè)備100的各種功能發(fā)生。2-2.功能配置圖3是示出了由圖2所示的圖像處理設(shè)備100的存儲(chǔ)單元108和控制單元120實(shí)現(xiàn)的邏輯功能的示例性配置的框圖。參照?qǐng)D3，圖像處理設(shè)備100包括圖像獲取單元130、幀存儲(chǔ)器132、模型數(shù)據(jù)庫(DB) 138、圖像識(shí)別單元140、檢測單元150、生成單元160、圖像DB 162和顯示控制單元170。(I)圖像獲取單元圖像獲取單元130可以獲取示出真實(shí)空間的圖像作為輸入圖像。例如，圖像獲取單元130還可以獲取來自成像單元102的視頻輸入的最新幀作為輸入圖像。圖像獲取單元130還可以獲取過去捕獲到的且存儲(chǔ)在存儲(chǔ)單元108中的視頻輸入或者作為快照捕獲到的靜止圖像的每一幀，作為輸入圖像。圖像獲取單元130將所獲取的輸入圖像輸出至圖像識(shí)別單元140。⑵模型DB模型DB 138可以包括如下數(shù)據(jù)庫其中，預(yù)先累積有與作為圖像處理設(shè)備100的識(shí)別目標(biāo)的真實(shí)對(duì)象或其他對(duì)象的形狀或外觀有關(guān)的模型數(shù)據(jù)。在本實(shí)施例中，圖像處理設(shè)備100的識(shí)別目標(biāo)通常是具有可以表現(xiàn)某種信息的表面的真實(shí)對(duì)象，諸如廣告板、通告板、告示板、海報(bào)、屏幕、交通標(biāo)志等。模型數(shù)據(jù)可以包括限定這些真實(shí)對(duì)象的形狀的數(shù)據(jù)。模型數(shù)據(jù)還可以包括附加于這些真實(shí)對(duì)象的符號(hào)標(biāo)記、文本標(biāo)簽等的圖像數(shù)據(jù)。此外，模型數(shù)據(jù)還可以包括從與這些真實(shí)對(duì)象相關(guān)的已知圖像中提取的特征量集合的數(shù)據(jù)。(3)圖像識(shí)別單元圖像識(shí)別單元140識(shí)別從圖像獲取單元130輸入的輸入圖像中示出的是哪個(gè)真實(shí)對(duì)象，并且還識(shí)別輸入圖像中示出的真實(shí)對(duì)象的三維位置和姿態(tài)。由圖像識(shí)別單元140識(shí)別的真實(shí)對(duì)象的位置和姿態(tài)可以包括相對(duì)于已捕獲到輸入圖像的裝置的圖像平面的相對(duì)位置和姿態(tài)。例如，圖像識(shí)別單元140可以對(duì)照可由模型數(shù)據(jù)限定的真實(shí)對(duì)象的形狀來檢查從輸入圖像中提取的特征點(diǎn)集合。圖像識(shí)別單元140還可以對(duì)照輸入圖像來檢查可由模型數(shù)據(jù)限定的符號(hào)標(biāo)記、文本標(biāo)簽等的圖像數(shù)據(jù)。圖像識(shí)別單元140還可以對(duì)照從輸入圖像中提取的特征量來檢查可由模型數(shù)據(jù)限定的已知真實(shí)對(duì)象的圖像的特征量。在任意情況下，圖像識(shí)別單元140都可以識(shí)別出具有大于閾值的更理想的匹配得分(match score)的真實(shí)對(duì)象以與匹配得分對(duì)應(yīng)的位置和姿態(tài)示出在輸入圖像中。另外，圖像識(shí)別單元140可以在不使用模型數(shù)據(jù)的情況下簡單地將出現(xiàn)在輸入圖像中的四邊形圖案識(shí)別為例如具有某種矩形圖案的真實(shí)對(duì)象。圖4是用于描述圖像識(shí)別單元140的識(shí)別結(jié)果的示例的圖。參照?qǐng)D4，示出了要輸入至圖像識(shí)別單元140的示例性輸入圖像ImO。可識(shí)別輸入圖像ImO中示出的真實(shí)對(duì)象12a的位置Xa和姿態(tài)Wa以及真實(shí)對(duì)象12b的位置Xb和姿態(tài)Wb，作為圖像識(shí)別單元140的圖像識(shí)別的結(jié)果?？梢酝ㄟ^三維全局坐標(biāo)系U，1，z)來給出每個(gè)真實(shí)對(duì)象的位置X，作為每個(gè)真實(shí)對(duì)象的參考點(diǎn)(例如，模型坐標(biāo)系的原點(diǎn))的位置。全局坐標(biāo)系可以是將圖像處理設(shè)備100的位置作為原點(diǎn)的、表示相對(duì)位置坐標(biāo)的坐標(biāo)系?？商孢x地，全局坐標(biāo)系可以是固定地限定在真實(shí)空間中的坐標(biāo)系?？梢越o出每個(gè)真實(shí)對(duì)象的姿態(tài)W，作為表示每個(gè)真實(shí)對(duì)象相對(duì)于全局坐標(biāo)系的旋轉(zhuǎn)的旋轉(zhuǎn)矩陣或者四元數(shù)。此外，在本說明書中，為了簡化說明，將每個(gè)真實(shí)對(duì)象的位置X和姿態(tài)W描述為單獨(dú)的變量。然而，每個(gè)真實(shí)對(duì)象的位置X和姿態(tài) W也可以用一個(gè)齊次變換矩陣來表示，其中，該齊次變換矩陣的四行和四列表示全局坐標(biāo)系與每個(gè)真實(shí)對(duì)象的模型坐標(biāo)系之間的變換。在這種情況下，可以根據(jù)需要來從該一個(gè)齊次變換矩陣中提取每個(gè)真實(shí)對(duì)象的位置X和姿態(tài)W，并且可以使用每個(gè)真實(shí)對(duì)象的位置X和姿態(tài)W。圖像識(shí)別單元140將已按以上方式識(shí)別出的、輸入圖像中示出的每個(gè)真實(shí)對(duì)象的標(biāo)識(shí)符、位置和姿態(tài)輸出至生成單元160和顯示控制單元170。(4)檢測單元檢測單元150檢測用戶輸入，并且將用戶輸入信息輸出至生成單元160。要由檢測單元150檢測的用戶輸入(或者“用戶操作”)可以例如包括至圖2所示的輸入單元106的觸摸傳感器的各種觸摸輸入(例如，觸摸、輕擊、雙擊、拖動(dòng)、輕彈、擠壓(pinch in)、伸展(pinch out)等)。此外，要由檢測單元150檢測的用戶輸入例如還可以包括由圖2所示的傳感器單元104的傳感器組測量出的圖像處理設(shè)備100的運(yùn)動(dòng)(例如，傾斜、搖動(dòng)等)。在本實(shí)施例中，由檢測單元150檢測到的第一用戶輸入可以表示用于從正常顯示模式轉(zhuǎn)變?yōu)閷?duì)準(zhǔn)顯示模式的觸發(fā)事件(trigger)。而輸入圖像是由顯示裝置以正常顯示模式來顯示的，由以下描述的生成單元160生成的圖像可以以對(duì)準(zhǔn)顯示模式來顯示。由檢測單元150檢測到的第二用戶輸入表示對(duì)準(zhǔn)顯示模式的終止。當(dāng)對(duì)準(zhǔn)顯示模式終止時(shí)，圖像處理設(shè)備100的狀態(tài)返回到正常顯示模式，并且再次顯示輸入圖像。第一用戶輸入和第二用戶輸入可以是上述各種類型的用戶輸入的任意組合。(5)生成單元在對(duì)準(zhǔn)顯示模式下，生成單元160處理輸入圖像，使得由圖像識(shí)別單元140識(shí)別出的真實(shí)對(duì)象的基準(zhǔn)平面面向已捕獲到輸入圖像的裝置的圖像平面，并且生成單元160從而生成處理后的圖像。第一平面“面向”第二平面例如是指第一平面看起來基本上與第二平面平行。在以下描述中，將主要涉及如下情況其中，真實(shí)對(duì)象的基準(zhǔn)平面為真實(shí)對(duì)象的正面，并且處理后的圖像為已被處理成使得真實(shí)對(duì)象的正面與圖像平面平行對(duì)準(zhǔn)的對(duì)準(zhǔn)圖像。在真實(shí)對(duì)象具有表現(xiàn)某種信息的平面的情況下，該平面的法線方向可以對(duì)應(yīng)于真實(shí)對(duì)象的正面。如從圖4的示例可以了解，如果確定了真實(shí)對(duì)象的姿態(tài)，則可以基于該姿態(tài)來確定真實(shí)對(duì)象的正面的方向。然而，真實(shí)對(duì)象的基準(zhǔn)平面不限于這樣的示例，并且該基準(zhǔn)平面可以是從真實(shí)對(duì)象的側(cè)面、頂面、背面或底面或者從某個(gè)角度看到的平面。例如，可以使用真實(shí)對(duì)象特有的模型坐標(biāo)系來以模型數(shù)據(jù)預(yù)先限定真實(shí)對(duì)象的基準(zhǔn)平面。(5-1)對(duì)準(zhǔn)圖像生成方法如上所述，在本實(shí)施例中，由圖像識(shí)別單元140識(shí)別出的真實(shí)對(duì)象中的很多真實(shí)對(duì)象都是形狀或外觀具有矩形圖案的基本上呈平面狀的真實(shí)對(duì)象。然而，在真實(shí)對(duì)象的正面沒有與圖像平面平行對(duì)準(zhǔn)的情況下，真實(shí)對(duì)象的矩形圖案表示圖像中除了矩形外的四邊形。生成單元160以如下方式生成對(duì)準(zhǔn)圖像使得真實(shí)對(duì)象的這樣的矩形圖案在對(duì)準(zhǔn)圖像中看起來基本上呈矩形。下面，將參照?qǐng)D5和圖6來描述由生成單元160執(zhí)行的對(duì)準(zhǔn)圖像生成方法的兩個(gè)示例。第一方法假定圖像處理設(shè)備100使用三維渲染。在三維渲染中，可以基于以三維(模型)和虛擬視點(diǎn)(攝像裝置位置)限定的真實(shí)對(duì)象的形狀來顯示真實(shí)對(duì)象的虛擬圖形。 因而，在第一方法中，生成單元160通過三維旋轉(zhuǎn)視點(diǎn)或所識(shí)別出的真實(shí)對(duì)象以使得三維渲染的視點(diǎn)定位在真實(shí)對(duì)象的正面方向上來生成對(duì)準(zhǔn)圖像。圖5A和圖5B是用于描述對(duì)準(zhǔn)圖像生成方法的第一示例的說明圖。在圖5A的左邊，示意性地示出了輸入圖像中示出的真實(shí)對(duì)象12與圖像處理設(shè)備100的圖像平面103之間的位置關(guān)系。三維渲染的視點(diǎn)定位在圖像平面103后面。X1和W1均表示真實(shí)對(duì)象12相對(duì)于圖像平面103的相對(duì)位置和姿態(tài)。作為圖像識(shí)別單元140的識(shí)別結(jié)果，獲取位置X1和姿態(tài)Wp生成單元160在三維渲染的虛擬空間中將視點(diǎn)的位置旋轉(zhuǎn)對(duì)應(yīng)于姿態(tài)W1的旋轉(zhuǎn)量a。因而，如從修改后的用戶視角觀看，生成了修改后的圖像。因而，視點(diǎn)位于真實(shí)對(duì)象12的正面，并且可以通過渲染生成對(duì)準(zhǔn)圖像。在圖5B的左邊，再次示出了與圖5A所示的位置關(guān)系相同的、真實(shí)對(duì)象12與圖像處理設(shè)備100的圖像平面103之間的位置關(guān)系。生成單元160可以在三維渲染的虛擬空間中將真實(shí)對(duì)象旋轉(zhuǎn)對(duì)應(yīng)于姿態(tài)W1的旋轉(zhuǎn)量a。從而，生成具有與真實(shí)空間對(duì)象圖像的方位不同的方位的修改對(duì)象的圖像。此外，在這種情況下，視點(diǎn)可以位于真實(shí)對(duì)象12的正面，并且可以通過渲染來生成對(duì)準(zhǔn)圖像。結(jié)果，真實(shí)對(duì)象12的正面上的矩形圖案在對(duì)準(zhǔn)圖像上可以顯示為矩形。在第二種方法中，生成單元160通過對(duì)輸入圖像中對(duì)應(yīng)于所識(shí)別出的真實(shí)對(duì)象的部分區(qū)域施加二維仿射變換來生成對(duì)準(zhǔn)圖像。參照?qǐng)D6，示出了如下情況真實(shí)對(duì)象12的正面上的矩形圖案以歪斜方式示出在輸入圖像中。這里，將真實(shí)對(duì)象12的平面內(nèi)的兩個(gè)基本向量記為\和ye。此外，將在圖像平面內(nèi)正交的兩個(gè)基本向量記為X' e和y' #然后，可以通過以下公式得到用于對(duì)對(duì)應(yīng)于真實(shí)對(duì)象12的部分區(qū)域的形狀進(jìn)行改變以使得部分區(qū)域看起來為矩形的仿射變換的變換矩陣MtMns。Mtrans = (x' e，y' e) (xe, ye)_1 (I)生成單元160可以通過使用這樣的變換矩陣Mtans來將輸入圖像中對(duì)應(yīng)于真實(shí)對(duì)象12的部分區(qū)域中的每個(gè)像素的像素位置映射為對(duì)準(zhǔn)圖像中的處理后的像素位置，來生成對(duì)準(zhǔn)圖像。在圖6的示例中，示出了如下情況通過變換矩陣Mtans將輸入圖像的部分區(qū)域中的像素位置Ptl映射為對(duì)準(zhǔn)圖像中的像素位置P?！?。
此外，上述第一方法和第二方法還可以應(yīng)用于如下情況真實(shí)對(duì)象的基準(zhǔn)平面為除了真實(shí)對(duì)象的正面外的平面。另外，在第一方法和第二方法這兩種方法中，生成單元160都可以放大(或縮小)對(duì)準(zhǔn)圖像中的真實(shí)對(duì)象12的尺寸，使得用真實(shí)對(duì)象12表現(xiàn)的信息將具有適于讀取的尺寸。另外，生成單元160還可以根據(jù)針對(duì)作為對(duì)準(zhǔn)目標(biāo)的真實(shí)對(duì)象的從輸入圖像到對(duì)準(zhǔn)圖像的處理量來處理部分區(qū)域的周圍區(qū)域。在第一方法中，從真實(shí)對(duì)象的輸入圖像到對(duì)準(zhǔn)圖像的處理量表示三維渲染中真實(shí)對(duì)象或視點(diǎn)的三維旋轉(zhuǎn)的旋轉(zhuǎn)量。在第二方法中，從真實(shí)對(duì)象的輸入圖像到對(duì)準(zhǔn)圖像的處理量表示通過變換矩陣Mtrans對(duì)像素位置的平移和旋轉(zhuǎn)的量。在執(zhí)行這樣的處理時(shí)，雖然周圍區(qū)域的圖像會(huì)是歪斜的，但是可以在對(duì)準(zhǔn)圖像中保持在輸入圖像中示出的真實(shí)對(duì)象與其周圍之間的視覺連續(xù)性。從而，使得用戶能夠容易了解已對(duì)輸入圖像中示出的哪個(gè)真實(shí)對(duì)象進(jìn)行了處理。此外，在預(yù)料到在對(duì)準(zhǔn)圖像中也難以讀取用真實(shí)對(duì)象表現(xiàn)的信息的情況下，生成單元160可以用其他圖像來替換真實(shí)對(duì)象的部分區(qū)域的圖像。例如，圖像DB 162預(yù)先將通過以高分辨率捕獲每個(gè)真實(shí)對(duì)象的正面而獲得的圖像和每個(gè)真實(shí)對(duì)象的標(biāo)識(shí)符彼此相關(guān) 聯(lián)地存儲(chǔ)，其中，每個(gè)真實(shí)對(duì)象均為圖像處理設(shè)備100的識(shí)別目標(biāo)。從而，生成單元160可以使用真實(shí)對(duì)象的標(biāo)識(shí)符來從圖像DB162獲取從圖像識(shí)別單元140輸入的與真實(shí)對(duì)象相關(guān)的圖像，并且用所獲取的圖像來替代部分區(qū)域的圖像。(5-2)目標(biāo)真實(shí)對(duì)象的指定如圖4所示，在輸入圖像中可以識(shí)別多個(gè)真實(shí)對(duì)象。在這種情況下，生成單元160可以根據(jù)用戶的明確指定來確定要平行對(duì)準(zhǔn)的真實(shí)對(duì)象。例如，可以通過對(duì)觸摸傳感器的觸摸或者使用指向裝置的點(diǎn)擊來對(duì)與真實(shí)對(duì)象相關(guān)聯(lián)的確定區(qū)域進(jìn)行真實(shí)對(duì)象的指定。此夕卜，生成單元160可以將輸入圖像中的、基準(zhǔn)平面與圖像平面成最大角度的真實(shí)對(duì)象或者具有最大部分區(qū)域的真實(shí)對(duì)象指定為要平行對(duì)準(zhǔn)的真實(shí)對(duì)象。此外，生成單元160可以使輸入圖像中的所有的多個(gè)真實(shí)對(duì)象在對(duì)準(zhǔn)圖像中與圖像平面平行對(duì)準(zhǔn)。(6)顯示控制單元在正常顯示模式下，顯示控制單元170在顯示單元112的屏幕上顯示輸入圖像。此夕卜，在對(duì)準(zhǔn)顯示模式下，顯示控制單元170在顯示單元112的屏幕上顯示由生成單元160生成的對(duì)準(zhǔn)圖像。用于從正常顯示模式轉(zhuǎn)變?yōu)閷?duì)準(zhǔn)顯示模式的觸發(fā)事件可以是上述第一用戶輸入的檢測。例如，第一用戶輸入可以包括至觸摸傳感器的觸摸輸入或者由運(yùn)動(dòng)傳感器檢測到的圖像處理設(shè)備100的運(yùn)動(dòng)。此外，當(dāng)滿足以下條件中的任一條件時(shí)，顯示控制單元170可以轉(zhuǎn)變?yōu)閷?duì)準(zhǔn)顯示模式a)輸入圖像中示出的真實(shí)對(duì)象的基準(zhǔn)平面相對(duì)于圖像平面的角度(真實(shí)對(duì)象的“方位角”)超過閾值，或者b)輸入圖像中對(duì)應(yīng)于所識(shí)別出的真實(shí)對(duì)象的部分區(qū)域的尺寸小于閾值。如果滿足這些條件，則表明難以讀取通過每個(gè)真實(shí)對(duì)象表現(xiàn)的信息。因而，有益的是，即使在用戶輸入的情況下，如果滿足任一條件，則仍自動(dòng)顯示適于讀取信息的對(duì)準(zhǔn)圖像。另外，如果在對(duì)準(zhǔn)顯示模式下檢測到第二用戶輸入，則顯示控制單元170結(jié)束對(duì)準(zhǔn)圖像的顯示，并且返回到正常顯示模式。第二用戶輸入可以是與第一用戶輸入相同類型的用戶輸入，或者可以是與第一用戶輸入不同類型的用戶輸入。此外，顯示控制單元170可以在轉(zhuǎn)變?yōu)閷?duì)準(zhǔn)顯示模式之后過去了一段時(shí)間的情況下返回到正常顯示模式。在從正常顯示模式轉(zhuǎn)變?yōu)閷?duì)準(zhǔn)顯示模式時(shí)，顯示控制單元170可以通過顯示裝置來顯示輸入圖像逐漸變成處理后的圖像所依據(jù)的動(dòng)畫。例如，該動(dòng)畫是目標(biāo)真實(shí)對(duì)象的基準(zhǔn)平面逐漸對(duì)準(zhǔn)成與圖像平面平行所依據(jù)的動(dòng)畫。在這種情況下，生成單元160生成真實(shí)對(duì)象的姿態(tài)在輸入圖像與由生成單元160生成的對(duì)準(zhǔn)圖像之間逐漸變化的多個(gè)中間圖像，并且這些中間圖像通過顯示控制單元170由顯示裝置依次顯示。從而，可以增強(qiáng)輸入圖像與由用戶感測到的對(duì)準(zhǔn)圖像之間的連續(xù)性。因而，用戶可以直觀地且容易地了解已對(duì)輸入圖像中示出的哪個(gè)真實(shí)對(duì)象進(jìn)行了處理。另外，在對(duì)準(zhǔn)顯示模式下，顯示控制單元170還可以在屏幕上顯示與平行于圖像平面而顯示的目標(biāo)真實(shí)對(duì)象相關(guān)的虛擬對(duì)象，并且可以使得虛擬對(duì)象能夠由用戶操作。這里，虛擬對(duì)象可以是所謂的增強(qiáng)現(xiàn)實(shí)(AR)的注釋，并且可以包括表現(xiàn)與每個(gè)真實(shí)對(duì)象相關(guān)的信息內(nèi)容(例如，導(dǎo)航信息、廣告信息、商店信息、新聞等)的對(duì)象。例如，在檢測單元150 檢測到用于虛擬對(duì)象的第三用戶輸入的情況下，顯示控制單元170改變虛擬對(duì)象的狀態(tài)。虛擬對(duì)象的狀態(tài)可以包括虛擬對(duì)象的位置、姿態(tài)、尺寸、滾動(dòng)位置等(例如，在拖動(dòng)虛擬對(duì)象的情況下，信息內(nèi)容滾動(dòng)，而在伸展虛擬對(duì)象的情況下，則信息內(nèi)容放大)。在本實(shí)施例中，通過對(duì)準(zhǔn)圖像的顯示來增強(qiáng)由真實(shí)對(duì)象表現(xiàn)的信息的可視性，并且從而，還使得與真實(shí)對(duì)象相關(guān)的虛擬對(duì)象的操作對(duì)于用戶而言更容易。3.要顯示的圖像的示例接下來，將參照?qǐng)D7至圖11來描述可以在本實(shí)施例中顯示的圖像的示例。參照?qǐng)D7，輸入圖像Imla顯示在圖像處理設(shè)備100的屏幕上。輸入圖像Imla中示出了真實(shí)對(duì)象12d和真實(shí)對(duì)象12e。圖像處理設(shè)備100的圖像識(shí)別單元140識(shí)別到在輸入圖像Imla中示出了真實(shí)對(duì)象12d和真實(shí)對(duì)象12e，并且還識(shí)別出每個(gè)真實(shí)對(duì)象的位置和姿態(tài)。假定在這種情況下，檢測單元150檢測到作為用于對(duì)準(zhǔn)圖像的顯示的觸發(fā)事件的第一用戶輸入(例如，用戶在真實(shí)對(duì)象12d的檢測區(qū)域上的輕擊)。然后，生成單元160生成已被處理成使得真實(shí)對(duì)象12d的正面與圖像平面平行對(duì)準(zhǔn)的對(duì)準(zhǔn)圖像。參照?qǐng)D8，用框13d圍繞在輸入圖像Imla內(nèi)識(shí)別出的真實(shí)對(duì)象12d的部分區(qū)域。真實(shí)對(duì)象12d的部分區(qū)域包括在圖中示出為用對(duì)角線劃上陰影線的矩形圖案14d。生成單元160以如下方式生成對(duì)準(zhǔn)圖像使得真實(shí)對(duì)象12d的矩形圖案14d在對(duì)準(zhǔn)圖像內(nèi)看起來基本上呈矩形。參照?qǐng)D9，示出了矩形圖案14d和圍繞在根據(jù)輸入圖像Imla生成的對(duì)準(zhǔn)圖像Imlb內(nèi)的真實(shí)對(duì)象12d的部分區(qū)域的框13d。矩形圖案14d在對(duì)準(zhǔn)圖案Imlb中基本上為矩形。此外，在本實(shí)施例中，生成單元160不僅處理要平行對(duì)準(zhǔn)的真實(shí)對(duì)象的部分區(qū)域，還處理該部分區(qū)域的周圍區(qū)域。在圖9的示例中，示出了不僅處理由框13d圍繞的真實(shí)對(duì)象12d的部分區(qū)域，而且處理示出真實(shí)對(duì)象12e的周圍區(qū)域。參照?qǐng)D10，由生成單元160生成的對(duì)準(zhǔn)圖像Imlb顯示在圖像處理設(shè)備100的屏幕上。用戶可以通過參照如上所述的對(duì)準(zhǔn)圖像Imlb來從真實(shí)對(duì)象12d的正面觀看由真實(shí)對(duì)象12d表現(xiàn)的信息。此外，在顯示對(duì)準(zhǔn)圖像的狀態(tài)下，圖像處理設(shè)備100的顯示控制單元170可以將與圖像平面平行對(duì)準(zhǔn)的真實(shí)對(duì)象相關(guān)的虛擬對(duì)象疊加到對(duì)準(zhǔn)圖像上，并且顯示該虛擬對(duì)象。此外，虛擬對(duì)象可以是能夠由用戶操作的。參照?qǐng)D11，虛擬對(duì)象15d疊加在圖10中所示的對(duì)準(zhǔn)圖像Imlb中示出的真實(shí)對(duì)象12d上。例如，圖11中示出了如下情況通過用戶在屏幕上拖動(dòng)虛擬對(duì)象15d來使虛擬對(duì)象15d滾動(dòng)至左邊。另外，要疊加到對(duì)準(zhǔn)圖像上的虛擬對(duì)象可以是具有更高分辨率的真實(shí)對(duì)象圖像、添加有信息量的真實(shí)對(duì)象圖像、表現(xiàn)與真實(shí)對(duì)象相關(guān)的某種信息的文本、圖標(biāo)或圖像等。4.處理流程圖12是示出了根據(jù)本實(shí)施例的圖像處理設(shè)備100執(zhí)行的處理流程的示例的流程圖。另外，假定在圖12所示的處理開始時(shí)圖像處理設(shè)備100處于正常顯示模式。參照?qǐng)D12，首先，圖像獲取單元130獲取例如示出真實(shí)空間的圖像作為輸入圖像(步驟S102)。接著，圖像識(shí)別單元140識(shí)別由圖像獲取單元130獲取的輸入圖像中示出了哪個(gè)(哪些)真實(shí)對(duì)象，并且還識(shí)別輸入圖像中示出的真實(shí)對(duì)象的三維位置和姿態(tài)(步驟S104)。 然后，顯示控制單元170可以確定是否檢測到用于轉(zhuǎn)變?yōu)閷?duì)準(zhǔn)顯示模式的觸發(fā)事件(步驟S106)。在檢測到用于對(duì)準(zhǔn)顯示模式的觸發(fā)事件的情況下，顯示控制單元170使得由圖像獲取單元130獲取的輸入圖像顯示在屏幕上(步驟S108)。接著，顯示控制單元170可以將某個(gè)虛擬對(duì)象疊加到輸入圖像上。例如，可以將表示由圖像識(shí)別單元140識(shí)別出的真實(shí)對(duì)象的位置和姿態(tài)的輔助虛擬對(duì)象(諸如，圖8中的框13d)或者表示每個(gè)真實(shí)對(duì)象的上述確定區(qū)域的輔助虛擬對(duì)象疊加到輸入圖像上。接著，處理返回到步驟S102。在步驟S106中已檢測到用于轉(zhuǎn)變?yōu)閷?duì)準(zhǔn)顯示模式的觸發(fā)事件的情況下，處理進(jìn)入步驟S110。在步驟SllO中，生成單元160根據(jù)用戶的明確指定或者輸入圖像中的每個(gè)真實(shí)對(duì)象的尺寸或姿態(tài)來確定要平行對(duì)準(zhǔn)輸入圖像中示出的哪個(gè)真實(shí)對(duì)象(步驟S110)。然后，生成單元160通過處理輸入圖像以使得所確定的真實(shí)對(duì)象的基準(zhǔn)平面(例如，正面)與圖像平面平行對(duì)準(zhǔn)來生成對(duì)準(zhǔn)圖像(步驟S112)。接著，顯示控制單元170使得由生成單元160生成的對(duì)準(zhǔn)圖像顯示在屏幕上(步驟S114)。接著，當(dāng)檢測到用于終止對(duì)準(zhǔn)顯示模式的觸發(fā)事件(例如，上述第二用戶輸入、時(shí)間的流逝等)時(shí)，圖像處理設(shè)備100的狀態(tài)返回到正常顯示狀態(tài)，并且處理返回到步驟S102(步驟 S116)。5.總結(jié)以上，已參照?qǐng)DI至圖12詳細(xì)描述了本技術(shù)的實(shí)施例。根據(jù)上述實(shí)施例，對(duì)輸入圖像進(jìn)行處理，以使得輸入圖像中示出的真實(shí)對(duì)象的基準(zhǔn)平面面向圖像平面，并且顯示處理后的圖像。因而，可以容易地將真實(shí)世界中表現(xiàn)某種信息的真實(shí)對(duì)象的基準(zhǔn)平面轉(zhuǎn)向閱讀者的方向?？梢酝ㄟ^將對(duì)屏幕的觸摸、終端的運(yùn)動(dòng)等作為觸發(fā)事件來執(zhí)行處理后的圖像的顯示。另外，由于通過顯示處理后的圖像增強(qiáng)了由真實(shí)對(duì)象表現(xiàn)的信息的可視性，因此，對(duì)與處理后的圖像中示出的真實(shí)對(duì)象相關(guān)聯(lián)地顯示的虛擬對(duì)象(例如,AR應(yīng)用的注釋)的操作對(duì)于用戶而言也變得容易。此外，根據(jù)本實(shí)施例，當(dāng)所識(shí)別出的真實(shí)對(duì)象的基準(zhǔn)平面相對(duì)于圖像平面的角度超過閾值時(shí)，或者當(dāng)輸入圖像中對(duì)應(yīng)于真實(shí)對(duì)象的部分區(qū)域的尺寸小于閾值時(shí)，也可以顯示處理后的圖像。因而，在很難讀取由每個(gè)真實(shí)對(duì)象表現(xiàn)的信息的情況下，可以向用戶提供適于信息的讀取的圖像，而無需等待用戶輸入。此外，根據(jù)本實(shí)施例，在生成處理后的圖像時(shí)，類似于真實(shí)對(duì)象，不僅處理對(duì)應(yīng)于真實(shí)對(duì)象的部分區(qū)域，而且處理部分區(qū)域的周圍區(qū)域。因此，在處理后的圖像中也保持了輸入圖像中示出的真實(shí)對(duì)象與其周圍之間的視覺連續(xù)性。從而，使得用戶能夠容易了解已經(jīng)對(duì)輸入圖像中示出的哪個(gè)真實(shí)對(duì)象進(jìn)行了處理。此外，本說明書中所描述的圖像處理設(shè)備100執(zhí)行的處理可以通過使用軟件、硬件以及軟件與硬件的組合中的任意一個(gè)來實(shí)現(xiàn)。例如，配置軟件的程序預(yù)先存儲(chǔ)在設(shè)置在裝置內(nèi)部或外部的存儲(chǔ)介質(zhì)中。例如，每個(gè)程序在執(zhí)行時(shí)均被裝載到RAM(隨機(jī)存取存儲(chǔ)器)中，并且通過諸如CPU(中央處理單元)的處理器來執(zhí)行。另外，在本實(shí)施例中，主要描述了如下示例處理后的圖像顯示在圖像處理設(shè)備100的顯示單元112的屏幕上。然而，作為其他實(shí)施例，可以基于輸入圖像中示出的真實(shí)對(duì)象的姿態(tài)的識(shí)別結(jié)果、根據(jù)從用戶攜帶的終端裝置接收輸入圖像的圖像處理設(shè)備處的輸入圖像，生成處理后的圖像。在這種情況下，可以將生成的處理后的圖像從圖像處理設(shè)備傳送 至終端裝置，并且可以在終端裝置的屏幕上顯示處理后的圖像。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，在所附權(quán)利要求或其等同方案的范圍內(nèi)，根據(jù)設(shè)計(jì)要求和其它因素，可進(jìn)行各種修改、組合、子組合以及變更。另外，本技術(shù)還可以進(jìn)行如下配置。(I) 一種圖像處理設(shè)備，包括圖像獲取單元，用于獲取示出真實(shí)空間的輸入圖像；識(shí)別單元，用于識(shí)別輸入圖像中示出的真實(shí)對(duì)象的姿態(tài)；生成單元，用于根據(jù)輸入圖像生成已被處理成使得由識(shí)別單元識(shí)別出的真實(shí)對(duì)象的基準(zhǔn)平面面向輸入圖像的圖像平面的處理后的圖像；以及顯示控制單元，用于使顯示裝置顯示由生成單元生成的處理后的圖像。(2)根據(jù)⑴所述的圖像處理設(shè)備，其中，基準(zhǔn)平面是真實(shí)對(duì)象的正面，以及其中，處理后的圖像是已被處理成使得真實(shí)對(duì)象的正面與圖像平面平行對(duì)準(zhǔn)的對(duì)準(zhǔn)圖像。(3)根據(jù)⑵所述的圖像處理設(shè)備，其中，真實(shí)對(duì)象是具有矩形圖案的基本上呈平面狀的真實(shí)對(duì)象，以及其中，對(duì)準(zhǔn)圖像是已被處理成使得矩形圖案看起來基本上呈矩形的圖像。(4)根據(jù)⑶所述的圖像處理設(shè)備，其中，生成單元通過三維旋轉(zhuǎn)三維渲染的視點(diǎn)或真實(shí)對(duì)象以使得視點(diǎn)將定位在真實(shí)對(duì)象的正面方向上來生成對(duì)準(zhǔn)圖像。(5)根據(jù)⑶所述的圖像處理設(shè)備，其中，生成單元通過對(duì)輸入圖像中對(duì)應(yīng)于真實(shí)對(duì)象的部分區(qū)域施加二維仿射變換來生成對(duì)準(zhǔn)圖像。(6)根據(jù)⑷或(5)所述的圖像處理設(shè)備，其中，生成單元還根據(jù)針對(duì)真實(shí)對(duì)象的從輸入圖像到對(duì)準(zhǔn)圖像的處理量來處理輸入圖像內(nèi)對(duì)應(yīng)于真實(shí)對(duì)象的部分區(qū)域的周圍區(qū)域。
(7)根據(jù)⑴至(6)中任一項(xiàng)所述的圖像處理設(shè)備，其中，顯示控制單元使得顯示裝置在識(shí)別出真實(shí)對(duì)象的狀態(tài)下檢測到第一用戶輸入的情況下顯示處理后的圖像。(8)根據(jù)(7)所述的圖像處理設(shè)備其中，顯示控制單元使得顯示裝置在顯示處理后的圖像的狀態(tài)下檢測到第二用戶輸入的情況下顯示輸入圖像。(9)根據(jù)⑴至(6)中任一項(xiàng)所述的圖像處理設(shè)備，其中，顯示控制單元使得顯示裝置在真實(shí)對(duì)象的正面相對(duì)于圖像平面的角度超過預(yù)定閾值的情況下顯示處理后的圖像。(10)根據(jù)⑴至(6)中任一項(xiàng)所述的圖像處理設(shè)備， 其中，顯示控制單元使得顯示裝置在輸入圖像中對(duì)應(yīng)于真實(shí)對(duì)象的部分區(qū)域的尺寸降到預(yù)定閾值以下的情況下顯示處理后的圖像。(11)根據(jù)(I)至(10)中任一項(xiàng)所述的圖像處理設(shè)備，其中，顯示控制單元使得顯示裝置在顯示處理后的圖像時(shí)顯示輸入圖像逐漸變成處理后的圖像的動(dòng)畫。(12)根據(jù)⑴至(11)中任一項(xiàng)所述的圖像處理設(shè)備，其中，在顯示處理后的圖像的情況下，顯示控制單元使得顯示裝置顯示與真實(shí)對(duì)象相關(guān)的虛擬對(duì)象，并且使得虛擬對(duì)象能夠由用戶來操作。(13) —種圖像處理方法，包括獲取示出真實(shí)空間的輸入圖像；識(shí)別輸入圖像中示出的真實(shí)對(duì)象的姿態(tài)；根據(jù)輸入圖像生成已被處理成使得所識(shí)別出的真實(shí)對(duì)象的基準(zhǔn)平面面向輸入圖像的圖像平面的處理后的圖像；以及使得顯示裝置顯示所生成的處理后的圖像。(14) 一種程序，用于使得用于控制圖像處理設(shè)備的計(jì)算機(jī)用作圖像獲取單元，用于獲取示出真實(shí)空間的輸入圖像；識(shí)別單元，用于識(shí)別輸入圖像中示出的真實(shí)對(duì)象的姿態(tài)；生成單元，用于根據(jù)輸入圖像生成已被處理成使得由識(shí)別單元識(shí)別出的真實(shí)對(duì)象的基準(zhǔn)平面面向輸入圖像的圖像平面的處理后的圖像；以及顯示控制單元，用于使得顯示裝置顯示由生成單元生成的處理后的圖像。另外，本技術(shù)還可以進(jìn)行如下配置。(I) 一種設(shè)備，包括存儲(chǔ)器，存儲(chǔ)指令；以及控制單元，被配置成執(zhí)行所述指令，以檢測真實(shí)空間圖像內(nèi)的關(guān)注對(duì)象；檢測所述真實(shí)空間圖像內(nèi)的對(duì)象相對(duì)于真實(shí)空間用戶視角的方位；生成對(duì)應(yīng)于真實(shí)空間對(duì)象的、包括修改對(duì)象的圖像的修改后的圖像，以使得所述修改對(duì)象的方位對(duì)應(yīng)于期望的用戶視角；并且顯示所述修改后的圖像。
(2)根據(jù)(I)所述的設(shè)備，其中，生成修改后的圖像包括生成具有與所述真實(shí)空間圖像內(nèi)的對(duì)象的方位不同的方位的所述修改對(duì)象的圖像。(3)根據(jù)(I)所述的設(shè)備，其中，生成修改對(duì)象的圖像包括生成所述修改對(duì)象的圖像，以使得修改對(duì)象圖像的形狀不同于真實(shí)空間對(duì)象圖像的形狀。(4)根據(jù)(3)所述的設(shè)備，其中，生成修改后的圖像包括對(duì)所述真實(shí)空間對(duì)象圖像施加變換。(5)根據(jù)(4)所述的設(shè)備，其中，施加變換包括施加仿射變換。(6)根據(jù)(I)所述的設(shè)備，其中，生成修改后的圖像包括生成從修改后的用戶視角觀看的圖像。(7)根據(jù)(6)所述的設(shè)備，其中，生成修改后的圖像包括對(duì)所述真實(shí)空間對(duì)象圖像施加變換。(8)根據(jù)(I)所述的設(shè)備，其中，生成修改后的圖像是通過檢測用戶操作來觸發(fā)的。(9)根據(jù)⑴所述的設(shè)備，其中，生成修改后的圖像是通過檢測條件來觸發(fā)的。(10)根據(jù)(9)所述的設(shè)備，其中，所檢測到的條件與所述真實(shí)空間圖像內(nèi)的對(duì)象的方位相關(guān)。(11)根據(jù)(10)所述的設(shè)備，其中，所檢測到的條件為所述真實(shí)空間圖像內(nèi)的對(duì)象的方位角超過閾值。(12)根據(jù)(10)所述的設(shè)備，其中，所檢測到的條件為所述真實(shí)空間對(duì)象圖像的尺寸小于閾值。(13)根據(jù)(I)所述的設(shè)備，其中，所述指令還包括用于進(jìn)行如下操作的指令顯示疊加在所述修改后的圖像上的虛擬圖像，所述虛擬圖像與所述關(guān)注對(duì)象相關(guān)聯(lián)；以及接收用戶命令，以對(duì)所述虛擬圖像執(zhí)行指定操作。(14)根據(jù)(13)所述的設(shè)備，其中，所述指定操作包括向與所述關(guān)注對(duì)象相關(guān)的用戶提供信息。(15)根據(jù)(14)所述的設(shè)備，其中，所述用戶命令包括滾動(dòng)包含所述信息的至少兩個(gè)頁面的拖動(dòng)操作。(16)根據(jù)(13)所述的設(shè)備，其中所述指定操作包括訪問文檔；以及所述命令包括選擇所述虛擬圖像的一部分。(17)根據(jù)(I)所述的設(shè)備，其中所述設(shè)備遠(yuǎn)離用戶裝置；以及顯示所述修改后的圖像包括將信號(hào)發(fā)送到所述用戶裝置以在所述用戶裝置上顯示所述修改后的圖像。(18)根據(jù)(I)所述的設(shè)備，其中所述設(shè)備是用戶裝置；以及生成修改后的圖像包括從遠(yuǎn)程服務(wù)器接收限定所述修改后的圖像的數(shù)據(jù)。(19)根據(jù)⑴所述的設(shè)備，其中，生成所述修改后的圖像包括通過對(duì)所述真實(shí)空、間圖像中包括所述真實(shí)空間對(duì)象的部分區(qū)域施加二維仿射變換來生成圖像。(20) —種方法，包括檢測真實(shí)空間圖像內(nèi)的關(guān)注對(duì)象；檢測真實(shí)空間對(duì)象相對(duì)于真實(shí)空間用戶視角的方位；生成對(duì)應(yīng)于所述真實(shí)空間對(duì)象的、包括修改對(duì)象的圖像的修改后的圖像，以使得所述修改對(duì)象的方位對(duì)應(yīng)于期望的用戶視角；以及顯示所述修改后的圖像。(21) 一種存儲(chǔ)有指令的有形體現(xiàn)的非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，所述指令當(dāng)由處理器執(zhí)行時(shí)執(zhí)行以下方法，所述方法包括檢測真實(shí)空間圖像內(nèi)的關(guān)注對(duì)象； 檢測真實(shí)空間對(duì)象相對(duì)于真實(shí)空間用戶視角的方位；生成對(duì)應(yīng)于所述真實(shí)空間對(duì)象的、包括修改對(duì)象的圖像的修改后的圖像，以使得所述修改對(duì)象的方位對(duì)應(yīng)于期望的用戶視角；以及顯示所述修改后的圖像。
權(quán)利要求
1.一種設(shè)備，包括 存儲(chǔ)器，存儲(chǔ)指令；以及 控制單元，被配置成執(zhí)行所述指令，以 檢測真實(shí)空間圖像內(nèi)的關(guān)注對(duì)象； 檢測所述真實(shí)空間圖像內(nèi)的對(duì)象相對(duì)于真實(shí)空間用戶視角的方位； 生成對(duì)應(yīng)于真實(shí)空間對(duì)象的、包括修改對(duì)象的圖像的修改后的圖像，以使得所述修改對(duì)象的方位對(duì)應(yīng)于期望的用戶視角；并且顯示所述修改后的圖像。
2.根據(jù)權(quán)利要求I所述的設(shè)備，其中，生成修改后的圖像包括生成具有與所述真實(shí)空間圖像內(nèi)的對(duì)象的方位不同的方位的所述修改對(duì)象的圖像。
3.根據(jù)權(quán)利要求I所述的設(shè)備，其中，生成修改對(duì)象的圖像包括生成所述修改對(duì)象的圖像，以使得修改對(duì)象圖像的形狀不同于真實(shí)空間對(duì)象圖像的形狀。
4.根據(jù)權(quán)利要求3所述的設(shè)備，其中，生成修改后的圖像包括對(duì)所述真實(shí)空間對(duì)象圖像施加變換。
5.根據(jù)權(quán)利要求4所述的設(shè)備，其中，施加變換包括施加仿射變換。
6.根據(jù)權(quán)利要求I所述的設(shè)備，其中，生成修改后的圖像包括生成從修改后的用戶視角觀看的圖像。
7.根據(jù)權(quán)利要求6所述的設(shè)備，其中，生成修改后的圖像包括對(duì)所述真實(shí)空間對(duì)象圖像施加變換。
8.根據(jù)權(quán)利要求I所述的設(shè)備，其中，生成修改后的圖像是通過檢測用戶操作來觸發(fā)的。
9.根據(jù)權(quán)利要求I所述的設(shè)備，其中，生成修改后的圖像是通過檢測條件來觸發(fā)的。
10.根據(jù)權(quán)利要求9所述的設(shè)備，其中，所檢測到的條件與所述真實(shí)空間圖像內(nèi)的對(duì)象的方位相關(guān)。
11.根據(jù)權(quán)利要求10所述的設(shè)備，其中，所檢測到的條件為所述真實(shí)空間圖像內(nèi)的對(duì)象的方位角超過閾值。
12.根據(jù)權(quán)利要求10所述的設(shè)備，其中，所檢測到的條件為所述真實(shí)空間對(duì)象圖像的尺寸小于閾值。
13.根據(jù)權(quán)利要求I所述的設(shè)備，其中，所述指令還包括用于進(jìn)行如下操作的指令 顯示疊加在所述修改后的圖像上的虛擬圖像，所述虛擬圖像與所述關(guān)注對(duì)象相關(guān)聯(lián)；以及 接收用戶命令，以對(duì)所述虛擬圖像執(zhí)行指定操作。
14.根據(jù)權(quán)利要求13所述的設(shè)備，其中，所述指定操作包括向與所述關(guān)注對(duì)象相關(guān)的用戶提供信息。
15.根據(jù)權(quán)利要求14所述的設(shè)備，其中，所述用戶命令包括滾動(dòng)包含所述信息的至少兩個(gè)頁面的拖動(dòng)操作。
16.根據(jù)權(quán)利要求13所述的設(shè)備，其中 所述指定操作包括訪問文檔；以及 所述命令包括選擇所述虛擬圖像的一部分。
17.根據(jù)權(quán)利要求I所述的設(shè)備，其中 所述設(shè)備遠(yuǎn)離用戶裝置；以及 顯示所述修改后的圖像包括將信號(hào)發(fā)送到所述用戶裝置以在所述用戶裝置上顯示所述修改后的圖像。
18.根據(jù)權(quán)利要求I所述的設(shè)備，其中 所述設(shè)備是用戶裝置；以及 生成修改后的圖像包括從遠(yuǎn)程服務(wù)器接收限定所述修改后的圖像的數(shù)據(jù)。
19.根據(jù)權(quán)利要求I所述的設(shè)備，其中，生成所述修改后的圖像包括通過對(duì)所述真實(shí)空間圖像中包括所述真實(shí)空間對(duì)象的部分區(qū)域施加二維仿射變換來生成圖像。
20.—種方法,包括 檢測真實(shí)空間圖像內(nèi)的關(guān)注對(duì)象； 檢測真實(shí)空間對(duì)象相對(duì)于真實(shí)空間用戶視角的方位； 生成對(duì)應(yīng)于所述真實(shí)空間對(duì)象的、包括修改對(duì)象的圖像的修改后的圖像，以使得所述修改對(duì)象的方位對(duì)應(yīng)于期望的用戶視角；以及顯示所述修改后的圖像。
21.一種存儲(chǔ)有指令的有形體現(xiàn)的非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，所述指令當(dāng)由處理器執(zhí)行時(shí)執(zhí)行以下方法，所述方法包括 檢測真實(shí)空間圖像內(nèi)的關(guān)注對(duì)象； 檢測真實(shí)空間對(duì)象相對(duì)于真實(shí)空間用戶視角的方位； 生成對(duì)應(yīng)于所述真實(shí)空間對(duì)象的、包括修改對(duì)象的圖像的修改后的圖像，以使得所述修改對(duì)象的方位對(duì)應(yīng)于期望的用戶視角；以及顯示所述修改后的圖像。
全文摘要
本發(fā)明提供了圖像處理設(shè)備、圖像處理方法和程序，其中，該設(shè)備包括存儲(chǔ)器，存儲(chǔ)指令；以及控制單元，被配置成執(zhí)行指令，以檢測真實(shí)空間圖像內(nèi)的關(guān)注對(duì)象的圖像、檢測真實(shí)空間對(duì)象圖像相對(duì)于真實(shí)空間用戶視角的方位、生成對(duì)應(yīng)于真實(shí)空間對(duì)象的包括修改對(duì)象的圖像的修改后的圖像，以使得修改對(duì)象圖像的方位對(duì)應(yīng)于期望的用戶視角，并且顯示修改后的圖像。
文檔編號(hào)G06F3/01GK102737405SQ20121008053
公開日2012年10月17日 申請(qǐng)日期2012年3月23日 優(yōu)先權(quán)日2011年3月31日
發(fā)明者宮下健, 笠原俊一 申請(qǐng)人:索尼公司