圖像處理裝置、圖像處理方法以及程序的制作方法
【技術(shù)領(lǐng)域】
[0001]本公開涉及圖像處理裝置、圖像處理方法以及程序。
【背景技術(shù)】
[0002]到目前為止，已經(jīng)實(shí)現(xiàn)了用于將用戶引導(dǎo)至某一目的地的各種導(dǎo)航服務(wù)。通?；谂c目的地的位置和用戶的當(dāng)前位置有關(guān)的知識來執(zhí)行導(dǎo)航。為了獲取用戶的當(dāng)前位置，許多導(dǎo)航服務(wù)使用了包括在用戶所持終端中的定位模塊，例如全球定位系統(tǒng)(GPS)模塊或PlaceEngine (注冊商標(biāo))。
[0003]專利文獻(xiàn)1提出:在圖像中突出與作為目的地(例如建筑物或設(shè)施)的地方相對應(yīng)的特定對象，使得用戶能夠在終端的屏幕上容易地找到作為目的地的地方。而且，在專利文獻(xiàn)1中，通過GPS模塊來獲取用戶的當(dāng)前位置。
[0004]引用列表
[0005]專利文獻(xiàn)
[0006]專利文獻(xiàn)1:JP 2012-079129A

【發(fā)明內(nèi)容】

[0007]技術(shù)問題
[0008]然而，并非所有終端均包括定位模塊。再者，即使在終端包括定位模塊的情況下，也難以在終端不能接收到用于定位的無線電信號的環(huán)境下經(jīng)由定位模塊來獲取當(dāng)前位置。
[0009]因此，期望的是實(shí)現(xiàn)一種機(jī)制，該機(jī)制即使在難以經(jīng)由定位模塊來獲取當(dāng)前位置的狀態(tài)下也能夠向用戶提供至目的地的導(dǎo)航。
[0010]問題的解決方案
[0011]根據(jù)本公開，提供了一種圖像處理裝置，該裝置包括:圖像獲取單元，所述圖像獲取單元被配置成獲取圖像，在所述圖像上投影有包括視覺識別目標(biāo)的真實(shí)對象；識別單元，所述識別單元被配置成通過對所述識別目標(biāo)執(zhí)行圖像識別來識別已經(jīng)捕獲所述圖像的終端關(guān)于所述真實(shí)對象的相對布置；以及控制單元，所述控制單元被配置成基于所述終端的由所述識別單元識別的所述相對布置來將指示朝向用戶的目的地的方向的顯示對象顯示在所述終端的屏幕上。
[0012]根據(jù)本公開，提供了一種由圖像處理裝置執(zhí)行的圖像處理方法，該圖像處理方法包括:獲取圖像，在所述圖像上投影有包括視覺識別目標(biāo)的真實(shí)對象；通過對所述識別目標(biāo)執(zhí)行圖像識別來識別已經(jīng)捕獲所述圖像的終端關(guān)于所述真實(shí)對象的相對布置；以及基于所識別的所述終端的相對布置將指示朝向用戶的目的地的方向的顯示對象顯示在所述終端的屏幕上。
[0013]根據(jù)本公開，提供了一種程序，該程序使得控制圖像處理裝置的計(jì)算機(jī)能夠充當(dāng)以下單元:圖像獲取單元，所述圖像獲取單元被配置成獲取圖像，在所述圖像上投影有包括視覺識別目標(biāo)的真實(shí)對象；識別單元，所述識別單元被配置成通過對所述識別目標(biāo)執(zhí)行圖像識別來識別已經(jīng)捕獲所述圖像的終端關(guān)于所述真實(shí)對象的相對布置；以及控制單元，所述控制單元被配置成基于所述終端的由所述識別單元識別的所述相對布置來將指示朝向用戶的目的地的方向的顯示對象顯示在所述終端的屏幕上。
[0014]本發(fā)明的有益效果
[0015]根據(jù)本公開的技術(shù)，即使在難以經(jīng)由定位模塊來獲取當(dāng)前位置的情況下也可以向用戶提供至目的地的導(dǎo)航。
【附圖說明】
[0016][圖1]圖1為示出根據(jù)實(shí)施例的裝置的概要的說明圖。
[0017][圖2]圖2為示出包括識別目標(biāo)的真實(shí)對象的示例的說明圖。
[0018][圖3]圖3為示出實(shí)施例中的導(dǎo)航原理的說明圖。
[0019][圖4]圖4為示出根據(jù)實(shí)施例的圖像處理裝置的硬件配置的示例的框圖。
[0020][圖5]圖5為示出根據(jù)實(shí)施例的圖像處理裝置的邏輯功能的配置的示例的框圖。
[0021][圖6A]圖6A為示出識別詞典數(shù)據(jù)的配置的第一示例的說明圖。
[0022][圖6B]圖6B為示出識別詞典數(shù)據(jù)的配置的第二示例的說明圖。
[0023][圖7]圖7為示出圖6B中例示的附加編碼布置數(shù)據(jù)的說明圖。
[0024][圖8A]圖8A為示出對象布置數(shù)據(jù)的配置的第一示例的說明圖。
[0025][圖8B]圖8B為示出對象布置數(shù)據(jù)的配置的第二示例的說明圖。
[0026][圖9]圖9為示出輸出圖像的取決于終端姿態(tài)的變化的變化的示例的說明圖。
[0027][圖10]圖10為示出如何向用戶呈現(xiàn)圖9中所例示的輸出圖像的說明圖。
[0028][圖11]圖11為示出對終端的布置的跟蹤的示例的說明圖，其中，根據(jù)終端的移動來執(zhí)行跟蹤。
[0029][圖12A]圖12A為示出用于使用戶能夠選擇目的地的窗口的第一示例的說明圖。
[0030][圖12B]圖12B為示出用于使用戶能夠選擇目的地的窗口的第二示例的說明圖。
[0031][圖12C]圖12C為示出用于使用戶能夠選擇目的地的窗口的第三示例的說明圖。
[0032][圖13A]圖13A為示出可以在實(shí)施例中顯示的顯示對象的一些示例的第一說明圖。
[0033][圖13B]圖13B為示出可以在實(shí)施例中顯示的顯示對象的一些示例的第二說明圖。
[0034][圖13C]圖13C為示出可以在實(shí)施例中顯示的顯示對象的一些示例的第三說明圖。
[0035][圖13D]圖13D為示出可以在實(shí)施例中顯示的顯示對象的一些示例的第四說明圖。
[0036][圖14]圖14為示出根據(jù)實(shí)施例的圖像處理的流程的示例的流程圖。
[0037][圖15A]圖15A為示出圖14中所示的終端布置確定處理的詳細(xì)流程的第一示例的流程圖。
[0038][圖15B]圖15B為示出圖14中所示的終端布置確定處理的詳細(xì)流程的第二示例的流程圖。
[0039][圖15C]圖15C為示出圖14中所示的終端布置確定處理的詳細(xì)流程的第三示例的流程圖。
[0040][圖16A]圖16A為示出圖14中所示的目的地方向確定處理的詳細(xì)流程的第一示例的流程圖。
[0041][圖16B]圖16B為示出圖14中所示的目的地方向確定處理的詳細(xì)流程的第二示例的流程圖。
[0042][圖17]圖17為示出可以在蓋章競走的應(yīng)用示例中進(jìn)行顯示的顯示對象的一些示例的說明圖。
[0043][圖18]圖18為示出圖像處理裝置的修改示例的說明圖。
[0044][圖19]圖19為示出可以在圖18的修改示例中進(jìn)行顯示的顯示對象的一些示例的說明圖。
[0045][圖20]圖20為示出多個裝置之間的鏈接的說明圖。
【具體實(shí)施方式】
[0046]在下文中，將參照附圖來詳細(xì)描述本公開的優(yōu)選實(shí)施例。注意，在本說明書及附圖中，具有基本相同的功能和結(jié)構(gòu)的結(jié)構(gòu)元件用相同的附圖標(biāo)記進(jìn)行表示，并且將省去對這些結(jié)構(gòu)元件的重復(fù)說明。
[0047]此外，將按以下順序提供描述。
[0048]1.概要
[0049]2.圖像處理裝置的配置示例
[0050]2-1.硬件配置
[0051]2-2.功能配置
[0052]2-3.處理流程
[0053]3.應(yīng)用示例
[0054]3-1.蓋章競走
[0055]3-2.使用 HMD
[0056]3-3.多個裝置之間的鏈接
[0057]4.結(jié)論
[0058]<1.概要 >
[0059]將參照圖1至圖3來描述根據(jù)本公開的裝置的概要。
[0060]圖1為示出根據(jù)實(shí)施例的裝置的概要的說明圖。圖1示出用戶Ua所攜帶的圖像處理裝置100。圖像處理裝置100包括顯示器110和用于捕獲真實(shí)空間1的圖像的相機(jī)102。在圖1的示例中，真實(shí)對象10存在于真實(shí)空間1中。圖像處理裝置100的相機(jī)102通過捕獲真實(shí)對象10的圖像來生成形成視頻的一系列圖像，在圖像上投影有真實(shí)對象10。然后，圖像處理裝置100關(guān)于由相機(jī)102生成的作為輸入圖像的捕獲圖像執(zhí)行圖像處理并且生成輸出圖像。在該實(shí)施例中，通常通過將導(dǎo)航顯示對象疊加在輸入圖像上來生成輸出圖像。圖像處理裝置100的顯示器110順序地顯示所生成的輸出圖像。注意，圖1中所示的真實(shí)空間1僅為示例。圖像處理裝置100可以對其上投影有任意真實(shí)對象的圖像進(jìn)行處理。
[0061]在圖1中，將智能手機(jī)示為圖像處理裝置100的示例。然而，圖像處理裝置100不限于該示例。圖像處理裝置100可以是如下的移動裝置:平板個人計(jì)算機(jī)(PC)、筆記本PC、便攜式游戲終端、便攜式導(dǎo)航裝置(PND)或數(shù)字相機(jī)?；蛘?，圖像處理裝置100可以是可穿戴裝置，例如頭戴式顯示器(HMD)終端。
[0062]在根據(jù)本公開的技術(shù)中，獲取其上投影有真實(shí)對象的視覺識別目標(biāo)的圖像，作為輸入圖像。本文中的識別目標(biāo)可以是存在于真實(shí)對象的外觀中的已知圖片、標(biāo)記、字符串或設(shè)計(jì)或者其任意組合。識別目標(biāo)可以包括其中編碼有某些信息的視碼(例如條形碼或CyberCode (注冊商標(biāo)))。圖像處理裝置100提前存儲識別目標(biāo)的特征數(shù)據(jù)并且使用特征數(shù)據(jù)對投影在輸入圖像上的識別目標(biāo)的布置(相對于攝像面的布置)進(jìn)行識別。在本說明書中，術(shù)語“布置”包括在兩維或三維坐標(biāo)系中的位置(平移)、姿態(tài)(旋轉(zhuǎn))和尺寸(縮放)中的至少一個。特征數(shù)據(jù)可以包括例如從識別目標(biāo)的已知圖像提取的一組特征點(diǎn)的數(shù)據(jù)。此外，特征數(shù)據(jù)可以包括已知圖案的形狀和尺寸的數(shù)據(jù)。
[0063]圖2為示出包括識別目標(biāo)的真實(shí)對象的示例的說明圖。在圖2的示例中，真實(shí)對象10為置于公共設(shè)施例如車站中的指示牌。指示牌10包括可以印在其表面上或者附接至其表面的識別目標(biāo)11。識別目標(biāo)11具有類似字母“i”的圖形和圍繞圖形的黑白邊框。圖像處理裝置100可以通過例如將從輸入圖像提取的多個特征點(diǎn)與提前存儲的識別目標(biāo)11的一組特征點(diǎn)進(jìn)行匹配來對識別目標(biāo)11被如何布置在輸入圖像中進(jìn)行識別。
[0064]指示牌10在其表面上包括目的地列表15。通過閱讀目的地列表15，用戶可以知道存在于指示牌10被放置的地方的附近的主要場所。然而，目的地列表15并不指示每個場所存在的方向。即使指示牌10具有地圖并且在地圖上示出了每個場所的位置，也難以在二維地圖(二維地圖多數(shù)情況下被垂直張貼)上直觀地表示朝向目的地的方向。因此，用戶被迫在他的/她的頭腦中執(zhí)行地圖上的方向與真實(shí)空間中的方向之間的映射。為了解決這樣的不便，一些導(dǎo)航服務(wù)經(jīng)由包括在終端中的定位模塊例如GPS模塊來獲取終端的當(dāng)前位置并且經(jīng)由傳感器來獲取終端的姿態(tài)，從而引導(dǎo)用戶至目的地。然而，并非所有終端均包括定位模塊。再者，即使在終端包括定位模塊的情況下，也難以在終端不能接收用于進(jìn)行定位的無線電信號的環(huán)境下(例如建筑物的內(nèi)部、地下空間或隧道內(nèi)部)經(jīng)由定位模塊來獲取當(dāng)前位置。同時，在該實(shí)施例中，基于關(guān)于識別目標(biāo)11執(zhí)行的上述圖像識別來確定終端的布置，并且提供用于根據(jù)其確定結(jié)果將用戶引導(dǎo)至目的地的導(dǎo)航。因此，不需要依賴于定位模塊。
[0065]圖3是示出實(shí)施例中的導(dǎo)航原理的說明圖。圖3示出包括識別目標(biāo)的真實(shí)對象
10、所選目的地50以及用于捕獲真實(shí)對象10的圖像的圖像處理裝置100。因?yàn)檎鎸?shí)對象10和目的地50在地理上是固定的，所以已知目的地50關(guān)于真實(shí)對象10的相對位置RAsd。注意，目的地50的姿態(tài)和尺寸不影響導(dǎo)航，因此在此處使用術(shù)語“位置”而不是“布置”?；趯φ鎸?shí)對象所包括的識別目標(biāo)的圖像識別來確定圖像處理裝置100關(guān)于真實(shí)對象10的相對布置RASU。然后，使用圖像處理裝置100關(guān)于真實(shí)對象10的相對布置RAS#目的地50關(guān)于真實(shí)對象10的相對位置RAsd，獲得目的地50關(guān)于圖像處理裝置100的未知的相對位置RAud。圖像處理裝置100可以在其屏幕上顯示例如與相對位置RAud相對應(yīng)的導(dǎo)航顯示對象。
[0066]注意，真實(shí)對象不限于圖2和圖3的示例并且存在于真實(shí)空間中的任意真實(shí)對象可以包括識別目標(biāo)。例如，識別目標(biāo)可以被印在商業(yè)建筑的樓層圖、廣告牌或活動海報(bào)等