国产精品1024永久观看,大尺度欧美暖暖视频在线观看,亚洲宅男精品一区在线观看,欧美日韩一区二区三区视频,2021中文字幕在线观看

  • <option id="fbvk0"></option>
    1. <rt id="fbvk0"><tr id="fbvk0"></tr></rt>
      <center id="fbvk0"><optgroup id="fbvk0"></optgroup></center>
      <center id="fbvk0"></center>

      <li id="fbvk0"><abbr id="fbvk0"><dl id="fbvk0"></dl></abbr></li>

      導航裝置的制作方法

      文檔序號:6102028閱讀:298來源:國知局
      專利名稱:導航裝置的制作方法
      技術(shù)領(lǐng)域
      本發(fā)明涉及導航系統(tǒng),特別是涉及使用便攜式終端為步行者進行路徑誘導的系統(tǒng)。
      背景技術(shù)
      已經(jīng)存在一種三維地圖顯示的導航技術(shù),其為了實現(xiàn)直觀易懂的導航系統(tǒng),將從任意視點眺望三維地圖時得到的投影圖顯示在顯示畫面上。這樣的技術(shù),被例如特開2003-232639號公報所公開。在實現(xiàn)三維地圖顯示的導航裝置的情況下,根據(jù)視點位置,所應(yīng)關(guān)注的地圖構(gòu)成物隱藏在其他地圖構(gòu)成物中而未被顯示。因此,存在如下問題現(xiàn)在地或目的地,或者現(xiàn)在地和目的地之間的連接路徑等用戶想知道的信息沒有在顯示畫面上被顯示。在上述公報中,根據(jù)由公報所公開的技術(shù),其目的為提供一種地圖顯示裝置和導航裝置,其實現(xiàn)三維地圖顯示,能夠在顯示畫面上顯示位于被地圖構(gòu)成物隱藏的位置的信息。
      另外,存在一種被稱作復(fù)合現(xiàn)實感(Mixed Reality)的技術(shù),其作為實現(xiàn)直觀易懂的導航系統(tǒng)的其他方法,將實拍圖像和用于導航的CG圖像疊加而顯示。
      另外,特開平11-108684號公報中所公開的技術(shù),是通過安裝在汽車鼻端的攝像機對行進方向的景色攝像,并通過圖像合成部對該背景圖像疊加導航信息要素而顯示。由此,其目的為僅根據(jù)圖形的顯示,駕駛員能夠更感性地掌握汽車的當前位置和行進路線等。
      本發(fā)明的目的為提供直觀易懂的導航系統(tǒng)。若作為導航的例子,針對步行者考慮,則為了給步行者提供直觀易懂的導航,一般認為可以容易地直觀地得到步行者所可能見到的現(xiàn)實世界的圖像和導航圖像的對應(yīng)關(guān)系較好。因此,在本發(fā)明中,有必要,不僅能夠單純地訪問地理信息數(shù)據(jù)庫,而且檢測終端(顯示屏)的姿勢,顯示終端無論處于何種姿勢,以及在終端的顯示屏上顯示與步行者會看到的現(xiàn)實世界一致的導航圖像。
      另外,為了進行更直觀的向?qū)?,不僅生成與現(xiàn)實世界一致的CG,還要通過攝像機取得現(xiàn)實世界的影像(實拍圖像),并在該實拍圖像上疊加用于路徑等的導航的CG圖像而顯示。此時,附設(shè)有攝像機的便攜式終端,因為由步行者手持而進行操作,為了正確地疊加實拍圖像和CG圖像,攝像機姿勢和顯示屏姿勢的檢測變得重要。因此,在特開2003-232639號公報所公開的技術(shù)中,將顯示畫面全部以CG圖像顯示,而不需要檢測攝像機姿勢。另外,在將特開平11-108684號公報的技術(shù)適用于便攜式導航終端的情況下,由于進行位置檢測時不進行攝像機姿勢的檢測,因此,存在附設(shè)攝像機的攜帶型終端所拍攝的實拍圖像和CG圖像之間出現(xiàn)偏差的問題。
      另一方面,根據(jù)以往周知的擴展現(xiàn)實感技術(shù),對地理信息數(shù)據(jù)庫的利用也未必充分,在所謂的導航領(lǐng)域中,將擴展現(xiàn)實感技術(shù)充分地利用起來有一定難度。
      專利文獻1特開2003-232639號公報;專利文獻2特開平11-108684號公報。

      發(fā)明內(nèi)容
      在本發(fā)明中,其目的在于在使用便攜式信息終端的導航系統(tǒng)中,訪問地理信息數(shù)據(jù)庫,檢測便攜式信息終端的姿勢,利用這些信息而生成CG圖像,其用于與終端使用者實際看到的風景相一致的向?qū)?。另外,其目的在于在附設(shè)有攝像機的便攜式信息終端中,通過訪問地理信息數(shù)據(jù)庫,檢測便攜式信息終端和攝像機的姿勢、將實拍圖像和用于向?qū)У腃G圖像正確地疊加而顯示,而實現(xiàn)直觀易懂的導航。
      本發(fā)明中,為了解決課題,除了以往的位置檢測模塊,還具備姿勢檢測模塊、地理信息數(shù)據(jù)庫訪問模塊,與使用者所見到的現(xiàn)實世界相一致的路徑向?qū)У腃G生成模塊。另外,還具備攝像機以及攝像機的姿勢檢測模塊,實現(xiàn)了使用者所面向的現(xiàn)實世界、攝像機所拍攝著的輸入圖像、以及CG圖像之間的正確疊加。
      按照本發(fā)明,在便攜式的附設(shè)攝像機的信息機器終端中,實現(xiàn)由攝像機所拍攝的實拍圖像和CG圖像之間的自然疊加的同時,通過靈活運用地理信息數(shù)據(jù)庫,可以實現(xiàn)直觀易懂的導航系統(tǒng)。


      圖1表示使用本發(fā)明的導航裝置的框圖。
      圖2表示使用本發(fā)明的導航裝置的外觀圖。
      圖3表示終端的姿勢檢測模塊的一例。
      圖4表示顯示對象量和姿勢的關(guān)系的圖。
      圖5表示因姿勢變化引起的顯示變化的例子。
      圖6表示將顯示對象量疊加在地圖上而顯示時的顯示畫面的例子。
      圖7表示使畫面移動的情況下的顯示例。
      圖8表示利用通信線路而取得顯示對象的信息時的框圖。
      圖9表示三維地取得公共汽車的位置而顯示的顯示例。
      圖10表示附設(shè)攝相機的便攜式終端的圖。
      圖11表示攝相機的朝向可以變更的附設(shè)攝像機的便攜式終端的圖。
      圖12表示使用本發(fā)明的導航系統(tǒng)的框圖。
      圖13表示進行導航的路徑的地圖。
      圖14表示導航路徑顯示例。
      圖15表示步行者行進時的顯示例。
      圖16表示步行者繼續(xù)行進,并將終端朝向左邊時的顯示例。
      圖17表示使用本發(fā)明的便攜式終端的硬件的結(jié)構(gòu)例。
      圖18表示在導航系統(tǒng)中使用風景CG圖像時的框圖。
      圖中10201-顯示對象量檢測模塊,10202-提示用形狀姿勢生成模塊,10203-顯示圖像生成模塊,10204-姿勢檢測模塊,10205-視線向量計算模塊,11301-發(fā)話文本生成模塊,11302-發(fā)話聲音生成模塊,17001-地理信息數(shù)據(jù)庫,17003-位置檢測模塊,27004-攝像機視線向量計算模塊,27005-攝像機圖像輸入模塊,27006-顯示圖像合成模塊,27007-攝像機旋轉(zhuǎn)角取得模塊,27008-路徑搜索模塊,27009-描繪用地理/路徑數(shù)據(jù)生成模塊。
      具體實施例方式
      參照附圖,說明使用本發(fā)明的導航系統(tǒng)的實施方式。
      〔第一實施例〕圖1是表示使用本發(fā)明的導航裝置的整體結(jié)構(gòu)的圖。本導航裝置由以下模塊構(gòu)成視線向量計算模塊10205,其通過姿勢檢測模塊10204檢測終端的姿勢,并基于該檢測量而計算與設(shè)于導航裝置的顯示屏垂直的視線向量;顯示對象量檢測模塊10201;提示用形狀姿勢生成模塊10202,其求取用于顯示所述顯示對象量檢測模塊10201的檢測量的顯示對象的提示用形狀及姿勢;顯示圖像生成模塊10203,其使用由提示用形狀姿勢生成模塊10202所生成的形狀、由視線向量計算模塊10205計算所得的視線向量對顯示對象進行顯示。
      接下來,利用作為使用本發(fā)明的導航裝置的終端的外觀圖的圖2、終端的姿勢檢測模塊的動作例的圖3、以及表示顯示對象量和視線的關(guān)系的圖的圖4,說明圖1的工作。作為例子,說明在使終端的姿勢做種種變化的情況下,將在本實施方式中作為顯示對象量而表示磁北的向量(表示與水平面平行的磁北的向量,例如像10007那樣的指南針所指示的向量),進行如下方式的顯示,即將安裝于終端10005的顯示用畫面(顯示屏)10003作為觀察窗,而將指南針10007可視化。
      雖然本實施方式的終端10005示出了應(yīng)用程序工作的移動電話機的外觀,但只要是如PDA或附設(shè)顯示畫面的手表等,可顯示形狀的顯示屏10003和應(yīng)用程序工作的終端,怎樣的方式均可。
      在終端10005中,內(nèi)置檢測姿勢的姿勢檢測模塊10204。使用該姿勢檢測模塊10204,檢測顯示屏的姿勢。用圖3說明姿勢檢測的一例。姿勢檢測模塊10204被做成為備有加速度傳感器和磁傳感器并設(shè)置于顯示屏10003上。重力向量10304由諸如三軸加速度傳感器求得。重力加速度若在靜止狀態(tài)是1G,成為與水平面10303垂直的分量。由于顯示屏10003傾斜,因此從各加速度傳感器輸出與重力向量10304和各個加速度傳感器所成的角成比例的輸出量。因此,根據(jù)各傳感器的分量值,能夠求得顯示屏10003所受到的重力向量10304。即,該重力向量的分量,表示顯示屏10003的傾斜度。
      接下來,為確定顯示屏10003所面向的方向而利用地磁向量。地磁向量10302,向著磁北向量(10306)的方向并以俯視角(10305)面向水平面10303。地磁向量10302可以用三軸的磁傳感器觀測。
      因而,由于通過使用剛才的重力向量10304和地磁向量10302能夠檢測出顯示屏10003的傾斜度和所面向的絕對方位,因此能夠檢測出顯示屏10003的絕對姿勢(傾斜度和方位)。若顯示屏10003的姿勢能夠檢測出,則能夠求出與該顯示屏垂直的視線向量10002。該運算使用垂直于顯示屏的視線向量計算模塊10205進行。
      接下來,說明顯示對象量檢測模塊10201。由于本實施例中采用作為顯示對象量的磁北向量為例,因此在顯示對象量檢測模塊10201中使用磁傳感器的輸出。該磁傳感器的輸出,可以直接利用檢測顯示屏10003的姿勢的磁傳感器的輸出。在圖3中,磁北向量10306,可以通過將地磁向量10302投影到水平面10303,而求得。該投影計算,通過求取顯示對象的提示用形狀及其姿勢的提示用形狀姿勢生成模塊10202進行。這里所說的提示用形狀,是指容易明白地顯示磁北向量的指示方向的形狀,在圖2中將圓錐10008設(shè)成該形狀。另外,所謂提示用形狀的姿勢是磁北向量的方向,可以通過上述投影方法而求得。顯然,作為提示用形狀也可以使用圓錐以外的諸如箭頭或人的指示狀手指等。在顯示屏上將這些提示形狀坐標變換為與地磁向量10302相同的方向。
      利用圖4說明,基于視線向量10002和顯示對象量10008的姿勢而在顯示屏10003中顯示的方法。具有配置顯示對象量10008等時的世界坐標系10401,以及將顯示對象量10008等顯示時的顯示屏坐標系10004。視點位置存在于,顯示屏坐標系10004中的,垂直于顯示屏的,通過原點的視線向量10002上。注視點置為世界坐標系10401中顯示對象量10008的位置。因此,通過對顯示對象量10008的位置,從對應(yīng)于顯示屏坐標系10004的視點位置進行透視變換,而求得顯示對象量10008的顯示屏10003的提示用形狀。通過變化顯示屏10003的姿勢,顯示對象量10008的提示用形狀的顯示發(fā)生變化。
      圖5表示其顯示的一例和視點的位置。視線10506處于相對于顯示屏10003的垂直方向向東的狀態(tài)。此時,顯示對象量10008以指向左的方式而被顯示。北表示相對于顯示屏10003位于左側(cè)。視線10505,垂直于顯示屏10003而發(fā)出,是朝向大致北的北東方向的狀態(tài)。此時,顯示對象量10008稍微朝向左側(cè),北表示相對于顯示屏10003稍微偏左的方向。視線10504,是將顯示屏10003放置得平行于(正上方觀察)地面而俯視的狀態(tài)。此時表示從正上方觀察時的北的方向。這樣,由于即使各種姿勢,也能夠直接可視化顯示對象量10008(地磁向量10302),因此能夠直觀地理解顯示對象量10008的指示方向。
      另外,在本實施方式中,雖然說明了作為顯示對象量10008而描繪地磁向量10302的例子,但是也可以作為顯示對象量10008而表示水平面10303的傾斜,也可以表示地磁向量10302。此外,作為表現(xiàn)該位置的場的狀態(tài)的模塊,本實施方式也適用。
      接下來關(guān)于使用地理信息數(shù)據(jù)庫17001和終端的位置檢測模塊17003、以當前位置為基準對地理信息和顯示對象量10008進行顯示的方法進行說明。圖1的終端的位置檢測模塊17003,利用GPS或無線LAN的基站信息、移動電話的基站信息、安裝于地面或墻壁、物體上的RFID的信息等,而檢測位置。這里,檢測的位置信息,也可以是以經(jīng)度、緯度、高度表示的地理坐標值,或以X、Y、Z表示的三維正交坐標系。關(guān)于高度,也可以是橢圓體高、標高、樓層的層數(shù)等的值。在高度的檢測中,也可以將高度計與位置檢測模塊一起使用等。僅僅使用圖1所示的結(jié)構(gòu)只是檢測了顯示對象量10008時的狀態(tài),但是通過位置檢測模塊17003而檢測位置信息,即可以判斷終端存在于地理上的何處的位置。
      在地理信息數(shù)據(jù)庫17001中存儲著道路數(shù)據(jù)、建筑物數(shù)據(jù)、以及關(guān)于店鋪的位置和營業(yè)時間等地理信息的各種數(shù)據(jù)。描繪用地理數(shù)據(jù)生成模塊17002,將這些數(shù)據(jù)變換為可視化的形狀數(shù)據(jù)。若基于位置檢測模塊17003的信息,通過描繪用地理數(shù)據(jù)生成模塊17002將周圍的地理信息變換為形狀數(shù)據(jù)而描繪,則能夠如圖6所示,將終端位置10703定為中心,將顯示屏10003的上端定為北,而描繪出周圍的地理信息10702。另外,通過圖2所說明的方法,可以疊加地顯示將顯示對象量(該例中為磁北向量)三維地可視化后的形狀10701。表示該磁北向量的形狀10701,是根據(jù)顯示屏10003的傾斜,從觀察窗觀察的可視化后的圖像,具有如下特征,其通過三維地可視化終端位置10703的信息和磁北向量10701的狀況,能夠直觀地理解終端的位置和磁北向量的狀況。
      另外,雖然與地理信息10702相對應(yīng)的顯示方向是固定的(上方為北),但是通過由視線向量計算模塊10205檢測與顯示屏10003相垂直的視線方向,可以以終端位置10703為中心旋轉(zhuǎn)而顯示地圖,以使得與顯示屏10003垂直的視線方向所朝向的方位為上。此時,由于能夠描繪將自己所朝向的方向設(shè)為上時的地理信息,因此能夠提示可更直觀地理解的地理信息。
      圖7(a)是在與圖13的水平面10303相同的位置配置地理信息的圖像而描繪的例子。水平面的狀態(tài),利用由視線向量計算模塊10205計算視線向量10002時所計算出的與顯示屏10003相對的水平面的位置關(guān)系,而檢測。通過在該水平面上疊加由描繪用地理數(shù)據(jù)生成模塊17002所生成的描繪用地理數(shù)據(jù),能夠在畫面上生成從顯示屏10003觀察時所見到的地理信息(同現(xiàn)實世界等同)。圖7(a)是表現(xiàn)垂直于顯示屏10003而觀察的狀態(tài)的畫面。通過將地理信息10801用遠近法描繪,能夠感覺到是在往里走。圖7(b)是將圖7(a)的熒光屏10003向右方向旋轉(zhuǎn)的例子。與旋轉(zhuǎn)相對應(yīng),水平面的位置也變化,地理信息10801被描繪為與現(xiàn)實世界的水平面相平行。圖7(c)是進一步旋轉(zhuǎn)顯示屏10003而達到完全橫過來時的狀態(tài)。即使在該狀態(tài),地理信息10801也以與現(xiàn)實世界的水平面相同的位置關(guān)系而被描繪。
      另外,在旋轉(zhuǎn)視點方向的情況(例如,將觀察方位從北向西變換時)下,由于水平面也繞顯示屏10003的旋轉(zhuǎn)軸而旋轉(zhuǎn),因此即使變換方位,和現(xiàn)實世界的對應(yīng)關(guān)系也不會脫節(jié)。另外,由于即使在將顯示屏置于和地面平行而進行觀察地面方向的動作的情況下水平面也隨之而變,因此也能夠生成,如圖6的描繪圖像10702那樣從正上方觀察的地理信息的圖像。因此,無論將顯示屏10003向哪個方向旋轉(zhuǎn),由于能夠提供與現(xiàn)實世界相對應(yīng)而取得的地理信息,因而能夠提供直觀的易于理解的地理信息。
      另外,在通過姿勢檢測模塊,檢測到垂直于顯示屏的向量與重力向量所成的角,在某一角度以下(例如10度以下)的情況下,也可以顯示如圖6所示的二維地圖,而在不是這種情況下,顯示如圖7的三維地圖。此時,為了描繪如圖6的地圖,可以將終端檢測模塊的視點的高度做得比實際高(例如高100m等),在垂直于顯示屏的視線向量計算模塊中,將視線向量做得與重力向量一致。
      為了在作為信息提供手段的圖像信息以外并用聲音,或者單獨利用聲音而提示,使用發(fā)話文本生成模塊11301、發(fā)話聲音生成模塊11302。發(fā)話文本生成模塊11301,將由提示用形狀姿勢生成模塊10202和視線向量計算模塊10205導出的顯示屏和顯示對象量的關(guān)系(將圖6中的顯示對象量三維地可視化后的形狀10701),變換為發(fā)話文本。例如,在顯示屏以如圖6的姿勢,而顯示對象量如10701那樣朝向的情況下,生成〔畫面的左上方的向里走的方向指向北〕之類的發(fā)話文本,利用發(fā)話聲音生成模塊11302,將所生成的發(fā)話文本變換為聲音信號,并通過揚聲器或耳機作為聲音而輸出。
      另外,根據(jù)不是顯示對象量的顯示屏10003的姿勢,通過地理信息數(shù)據(jù)庫17001以及其與視線向量之間的關(guān)系,能夠?qū)⒋颂幩@示的地理信息,由發(fā)話文本生成模塊11301生成發(fā)話文本。例如,在如圖6所顯示的圖像被顯示的情況下,如“位于右邊的樓房是○△大樓。左邊的樓房是□×大樓”的發(fā)話文本由發(fā)話文本生成模塊11301生成,并使用發(fā)話聲音生成模塊11302以聲音輸出。另外,雖然在上述實施方式中,以垂直于熒光屏的視線向量為基準,也可以將指向終端的特定方向的向量,例如若是移動電話機可將天線的指示方向,作為基準方向而發(fā)出聲音。此時,可將天線指示方向的樓房名稱或山的名稱等,在不看畫面的情況下而只有聲音進行向?qū)А?br> 至此,雖然以在終端中內(nèi)置姿勢檢測模塊10204和顯示對象檢測模塊10201為前提進行了說明,但也可以做成以附屬部件形式安裝在外部的方式。此時,通過定義顯示屏的姿勢與附屬部件的姿勢或安裝位置關(guān)系,能夠?qū)崿F(xiàn)同樣的結(jié)構(gòu)。
      接下來,利用圖8說明,終端自身未能檢測到顯示對象(目標對象物)而利用通信線路取得顯示目標對象的信息的實施方式。在本實施例的變形中,目標對象物形狀姿勢生成模塊11401、通信模塊11402、11403、目標對象物位置姿勢檢測模塊11404,與檢測模塊10201等同,是檢測目標物的位置和姿勢、狀態(tài)的傳感器。通過通信模塊11402、11403,將使用該傳感器檢測目標物的位置信息(包含高度)或姿勢等所得到的信息,發(fā)送到目標對象物形狀姿勢生成模塊11401。在目標對象物形狀姿勢生成模塊11401中,進行用以將由目標對象物位置姿勢檢測模塊11404所檢測的量圖形顯示的變換,并考慮終端(顯示屏10003)的姿勢,以顯示圖像生成模塊10203的顯示圖像的生成方法進行描繪。
      在采用例如作為目標對象物的線路公共汽車的情況下,在目標對象物位置姿勢檢測模塊11404中檢測公共汽車的當前位置。公共汽車的當前位置可以利用GPS等檢測出。通過通信模塊11403、11402,將該當前位置信息發(fā)送到終端10005。由于終端10005的位置能夠由終端的位置檢測模塊17003檢測,顯示屏的位置能夠由視線向量計算模塊10205檢測,因此若將終端的顯示屏10003朝向公共汽車行駛的方向,則能夠三維地掌握圖9所示的公共汽車的當前位置11501。在11502,基于公共汽車的ID信息等,而顯示著行駛目的地。由于在檢測著顯示屏10003的姿勢,因此無論終端處于何種姿勢,一旦進入到該顯示屏的視野內(nèi),就能夠掌握公共汽車的位置和方向。雖然在圖9中將公共汽車作為目標對象物而進行了顯示,但對于將等待公共汽車的人作為目標對象物而描繪的情況下,也能夠以同樣的方法實現(xiàn)。藉此可以直觀地掌握等待的人當前處于何方,何種程度地遠離。
      (第二實施例)在第一實施例中,進行了,將導航終端的使用者所看到的現(xiàn)實世界通過CG而生成路徑的向?qū)?。在本實施方式中,將導航終端的使用者所看到的現(xiàn)實世界,通過附屬于終端的攝像機而攝影,并將其與路徑向?qū)У腃G疊加,而進行路徑誘導。
      圖10是表示作為附有攝像機的便攜式終端的例子的移動電話機的圖。在移動電話機20105中,攝像機20009內(nèi)置或連接,所拍攝的圖像在顯示屏10003上顯示。攝像機的攝像方向的向量(視線向量)20010和垂直于顯示屏的向量20011的關(guān)系預(yù)先確定。在移動電話機20105中,檢測姿勢的姿勢檢測模塊10204被內(nèi)置。使用該姿勢檢測模塊10204,檢測顯示屏的位置。雖然在圖10中,攝像機做成被安裝于顯示屏上部的器件,但攝像機的攝像方向,朝向與觀察顯示屏的終端使用者的視線相同的方向。
      作為攝像機的安裝方法的另一例,考慮到了攝像機的朝向能夠變更。在圖11中示出了這種結(jié)構(gòu)例。圖11是將攝像機做成可旋轉(zhuǎn)地安裝的例子。在該圖中,攝像機20009被設(shè)置于終端的可折疊鉸鏈部分,形成為以折疊部為軸旋轉(zhuǎn)角可變。這里,攝像機的旋轉(zhuǎn)角20014,定義為將圖11的垂直于顯示屏向量20011看作基準的攝像機視線向量20012的旋轉(zhuǎn)角θ。這里,所謂攝像機的視線向量表示平行于攝像機的鏡頭的光軸方向,而朝向透鏡的整個面的向量。本終端可以測量該θ,在終端使用者用手旋轉(zhuǎn)攝像機的情況下,顯示屏和攝像機的視線向量的關(guān)系也能夠測量。
      接下來,用圖12說明關(guān)于導航系統(tǒng)的動作。在圖12的系統(tǒng)中,除了第一實施例的圖1的系統(tǒng),還備有攝像機視線向量計算模塊27004、攝像機圖像輸入模塊27005、顯示圖像合成模塊27006、攝像機旋轉(zhuǎn)角取得模塊27007、路徑搜索模塊27008。另外,備有描繪用地理/路徑數(shù)據(jù)生成模塊27009,代替圖1的描繪用地理/數(shù)據(jù)生成模塊17002。
      攝像機旋轉(zhuǎn)角取得模塊27007,取得便攜式終端上的攝像機的旋轉(zhuǎn)角,將該信息傳送到攝像機視線向量計算模塊27004。這里攝像機的旋轉(zhuǎn)角是指將圖11的向量20011看作基準的攝像機視線向量20012的旋轉(zhuǎn)角θ20014。在如圖10的攝像機和便攜式終端的姿勢的關(guān)系一定的情況下,攝像機旋轉(zhuǎn)角取得模塊27007設(shè)成連續(xù)輸出0度旋轉(zhuǎn)角。攝像機視線向量計算模塊27004,接收攝像機的旋轉(zhuǎn)角信息,并將攝像機的視場角和鏡頭的變形的信息,作為數(shù)據(jù)庫存儲在攝像機視線向量計算模塊27004中,將投影CG時的必要的視場角和鏡頭的變形等攝像機參數(shù),輸出到顯示圖像生成模塊10203中。
      攝像機圖像輸入模塊27005,連續(xù)取得來自附屬于便攜式終端的攝像機的圖像,并且連續(xù)地(streamingly)輸出到顯示圖像合成模塊27006中。顯示圖像合成模塊27006,接收來自顯示圖像生成模塊10203的用于導航的CG圖像,進行將CG圖像疊加在由攝像機圖像輸入模塊27005所接收的來自攝像機的輸入圖像上的處理,并在便攜式終端的顯示屏上顯示。
      在路徑搜索模塊27008中,存儲步行者預(yù)先設(shè)定的出發(fā)地點、目的地、經(jīng)由地、交通工具(公共汽車、電車、飛機、輪船等)信息,另外,基于這些信息,通過在地理信息數(shù)據(jù)庫17001中進行訪問,而進行步行者的誘導路徑的搜索,所搜索的結(jié)果存儲在路徑搜索模塊27008中。另外,路徑搜索模塊27008,根據(jù)描繪用地理/路徑數(shù)據(jù)生成模塊27009的需要,將預(yù)先搜索的向?qū)窂阶鳛槿S坐標的數(shù)據(jù)列而輸出。
      描繪用地理/路徑數(shù)據(jù)生成模塊27009,將地理信息數(shù)據(jù)庫17001中存儲的道路數(shù)據(jù)、建筑物數(shù)據(jù)、店鋪的位置數(shù)據(jù)等地理信息可視化,并基于路徑搜索模塊27008所輸出的三維坐標的數(shù)據(jù)列,將向?qū)窂阶鳛槿S的CG而顯示。另外,此時受理來自攝像機視線向量計算模塊27004的攝像機的視場角或鏡頭的變形等攝像機參數(shù)信息,并基于該參數(shù)信息生成與攝像機圖像一致的CG圖像。另外,在顯示對象提示用形狀姿勢生成模塊27010中,也受理來自攝像機視線向量計算模塊27004的攝像機的視場角或鏡頭的變形等攝像機參數(shù)信息,并基于該參數(shù)信息生成與攝像機圖像一致的顯示對象量的CG圖像。
      圖13表示使用本發(fā)明的導航系統(tǒng)的路徑向?qū)У睦拥牡貓D。在地理信息數(shù)據(jù)庫17001中,除了道路(車道)20412、20426,人行道20405、20413、20424之類的道路數(shù)據(jù)外,存儲有過街天橋20407、斑馬線20411、立交橋20418、鐵路20401、車站20402、成為路標的建筑物20414、20421等設(shè)施信息或地形的三維形狀信息(以沿著緯度和經(jīng)度等間隔的網(wǎng)格而被分割的區(qū)域的高度信息或路側(cè)的高度信息等)以及交通標志的設(shè)置信息(設(shè)置位置和標志類別或顯示內(nèi)容)。向?qū)窂?0423表示由路徑搜索模塊27008搜索所得的步行者的誘導路徑。另外,視點20425、20494、20495分別表示圖14、圖15、圖16的視點位置和終端的方向(視線的方向)。于是,視點20425的視野,由所看到的范圍的左端20408、所看到的范圍的右端20417、表示視野的最遠方的位置的圓弧20420所表示。
      圖14是本實施例的用于路徑誘導的路徑顯示畫面。圖13的視點20425所示出的路徑誘導位于開始的地點,步行者站于當前的人行道,手中拿著移動電話機20105。在移動電話機的顯示裝置中,由攝像機圖像輸入模塊27005所輸入的由移動電話機的攝像機正在拍攝的風景圖像被顯示。若步行者的手移動,則顯示模塊中所顯示的風景圖像也隨著該移動而移動。本實施例中,圖像的更新周期做成100毫秒。若使用圖10所示的附有攝像機的移動電話機20105,通過使用相對于顯示屏朝向相反方向的攝像機,則能夠在顯示屏上顯示出,與當前使用者在顯示屏上所看到的現(xiàn)實世界相同的圖像。
      在圖14所示的路徑顯示畫面中,進行使用本發(fā)明的導航系統(tǒng)的路徑顯示。在移動電話機20105的主顯示屏中20511中,顯示所謂的由移動電話機20105的攝像機所拍攝的圖像人行道20107、車道20426、交通標志20102、立交橋20418等設(shè)施信息、山20104和建筑工地20110、樹林20101。通過顯示圖像合成模塊27006,在來自拍攝中的攝像機的圖像的上部合成并顯示,日期及時刻顯示20301、至目的地的預(yù)定到達時間20501、至經(jīng)由地點的預(yù)定地點時間20502。另外,通過顯示圖像合成模塊27006,在由攝像機正在拍攝的圖像上疊加并描繪表示向?qū)窂?誘導路徑)20423的箭頭、表示不在視野的建筑物20414的輪廓的顯示、表示交叉點20508的顯示、表示斑馬線20411的虛線20512。另外,對于向?qū)窂?0423,成為視野范圍外的部分、以及通過基于地形的三維形狀信息從視點位置觀察的成為陰面的范圍的部分,均用虛線描繪。
      在表示向?qū)窂?0423的箭頭的描繪中,箭頭前端的間隔表示一定的步行距離,本實施例中假定為一分鐘。進入視野中的向?qū)窂?0423的一部分用三根實線表現(xiàn)。向?qū)窂?0423,隨著步行者的位置由近而遠,較窄地顯示該三根實線的間隔,而表示向里走。這是通過顯示圖像生成模塊10203的顯示變換處理(透視變換處理)而進行的。表示交叉點的顯示20508,以線圖表示在視野外某T字路口的向?qū)窂?0423的誘導交叉點輪廓。另外,虛線20512表示設(shè)置于位于視野外的誘導交叉點的斑馬線20411的存在,表示根據(jù)向?qū)窂?0423在T字路左轉(zhuǎn)。另外,向?qū)窂?0423上的哪個交叉點成為誘導交叉點,在由路徑搜索模塊27008搜索向?qū)窂綍r決定。從圖14所顯示著的視野,由步行者觀察,將移動電話機朝向左方向的情況下,在顯示屏所顯示著的攝像機的圖像隨移動電話機的朝向的變化而運動變化。與此同時,重疊于攝像機圖像而被描繪的路徑的CG圖像同樣變化。
      圖15、圖16表示根據(jù)圖14所示畫面的誘導,步行者向更遠地點的路徑行進時的導航系統(tǒng)的顯示。圖15是表示在圖13的視點20494的位置的視野中所見到的路徑的CG圖像的畫面。圖16是表示居于視點20495的位置,與圖15相比,由步行者觀察,將移動電話機向左轉(zhuǎn)的視野中所見到的路徑的CG圖像的畫面。在圖15中,對于在視點20425的視野中由周圍地形所隱藏的以波浪線描繪的向?qū)窂?0423被以實線描繪。存在于視點20425的視野外的斑馬線20411和建筑20414的虛線顯示消失,僅有攝像機的圖像。
      另外在圖16中,在視點20495中由周圍地形隱藏的過街天橋20407的一部分由CG圖像通過虛線20803所補充。同樣,向?qū)窂?0423由周圍地形隱藏的部分也由虛線描繪。但是,對于被樹木或樹林等植物20806所隱藏的部分,由于根據(jù)地形的三維形狀信息不能判定向?qū)窂酱嬖谟陉幟妫Y(jié)果被用實線描繪。另外,對于不是誘導交叉點的與道路地面等的交叉點,僅描繪表示其存在的簡單的線圖20808。因此,對于作為向?qū)窂降哪康牡氐能囌?0402,重疊描繪用于強調(diào)其存在的標記20802。
      圖17表示使用本發(fā)明的導航系統(tǒng)(移動電話機)的硬件結(jié)構(gòu)的圖。移動電話機20105如下構(gòu)成相互連接在系統(tǒng)總線20902的只讀存儲器(ROM)20901、隨機訪問存儲器(RAM)20903、中央運算處理電路(CPU)20904、圖像輸入電路20905、壓力傳感器20918所連接的模擬數(shù)字變換電路(A/D)20912和數(shù)字模擬變換電路(D/A)20913、以及由加速度傳感器20914、方位傳感器20915、角速度傳感器20916、全球定位系統(tǒng)信號接收器(GPS)20917等傳感器所連接的串行接口(SCI1)20910和與外部機器通信的串行接口(SCI2)20911、通信模塊20919及其所連接的天線20920。
      CPU20904控制導航系統(tǒng)全體的動作,在ROM20901中存儲對于導航系統(tǒng)的動作必要的基本的程序。進一步追加必要的程序,可根據(jù)需要通過通信模塊20919,而下載到RAM20903。另外,在RAM20903中,也存儲執(zhí)行時需要的暫時數(shù)據(jù)。另外,來自加速度傳感器20914、方位傳感器20915、角速度傳感器20916、GPS20917的信息,經(jīng)由串行接口20910而由CPU20904處理。壓力傳感器20918的信息,經(jīng)由模擬數(shù)字變換電路20912而由CPU20904處理。另外,根據(jù)來自數(shù)字模擬變換電路20913的輸出到壓力傳感器20918的模擬信號,決定壓力傳感器的補償值以及放大率。藉此,能夠以較少的離散的量化數(shù),對較寬的范圍高精度地采樣。
      便攜式終端靜止時,通過由加速度傳感器20914檢測重力加速度,能夠得到關(guān)于便攜式終端的傾斜的信息。該加速度傳感器做成三軸傳感器。另外,通過由加速度傳感器20914測算移動電話機的上下運動的頻率數(shù),能夠概算正拿著該移動電話機的人的步行速度。通過將由方位傳感器20915得到的信息和由加速度傳感器20914得到的信息組合,能夠得到終端的攝像機所朝向的方位信息。通過將方位傳感器和加速度傳感器的信息組合,能夠校正方位的紊亂。通過GPS20917,能夠得到絕對的緯度經(jīng)度信息。
      以上,在本實施例的說明中,說明了實拍圖像與作為主體的路徑CG圖像的疊加。然而,也可以用風景CG圖像以替代實拍圖像。此時,通過在第一實施例中附加路徑向?qū)Чδ埽梢杂萌緾G進行的路徑向?qū)А?br> 圖18表示將路徑CG圖像疊加在風景CG圖像時系統(tǒng)的結(jié)構(gòu)例。風景CG生成處理22901,接收來自GIS信息21001、位置檢測處理21003、姿勢檢測處理21004的信息,而生成實際上由攝像機所見到的風景的三維CG。三維CG的視點位置以及視線方向,與上述的說明同樣地被求得。
      另外,通過選擇器23001,將風景圖像在實拍圖像和三維CG之間進行切換,在來自圖像輸入處理21006的實拍圖像和來自風景CG生成處理22901的CG之間進行切換,做成在圖像疊加處理21008中傳送圖像數(shù)據(jù)的結(jié)構(gòu)。作為風景圖像通過做成容易在實拍圖像和CG之間切換,可以區(qū)別地使用在希望減輕計算機或網(wǎng)絡(luò)負荷的情況下使用實拍圖像;另外,在夜間或雨、霧天等實拍圖像不太好看的情況下使用CG。
      通過將本發(fā)明用于便攜式終端,通過組合實拍圖像和CG圖像而進行直觀易懂的向?qū)э@示,能夠?qū)崿F(xiàn)易于使用的路徑向?qū)到y(tǒng)。
      權(quán)利要求
      1.一種終端裝置,包括位置檢測模塊和顯示模塊,其特征在于,所述終端裝置包括地理信息存儲模塊,其存儲地形的三維形狀信息;姿勢檢測模塊,其檢測所述終端裝置的姿勢;以及圖像生成模塊,其基于由所述姿勢檢測模塊所求得的姿勢信息,求得與終端所具有的所述顯示模塊垂直的方向的向量信息,根據(jù)由所述位置檢測模塊所求得的當前位置和由所述向量信息所確定的視線的信息以及所述地理信息存儲模塊的三維形狀信息,生成該視點的三維地形圖像;在使所述終端裝置的姿勢變化的情況下,隨著該姿勢變化而更新所述顯示模塊上的三維地形圖像。
      2.一種終端裝置,包括用于輸入圖像的攝像機、位置檢測模塊和顯示模塊,其特征在于,所述終端裝置包括地理信息存儲模塊,其存儲地形的三維形狀信息;姿勢檢測模塊,其檢測所述終端裝置的姿勢;圖像生成模塊,其基于由所述姿勢檢測模塊所求得的姿勢信息,求得與終端所具有的所述顯示模塊垂直的方向的向量信息,根據(jù)由所述位置檢測模塊所求得的當前位置和由所述向量信息所確定的視線的信息以及所述地理信息存儲模塊的三維形狀信息,生成該視點的三維地形圖像;以及圖像合成模塊,其將所述三維地形圖像疊加在來自所述攝像機的圖像上;在使所述終端裝置的姿勢變化的情況下,隨著該姿勢變化,將疊加在來自所述攝像機的圖像上的三維地形圖像更新。
      3.根據(jù)權(quán)利要求2所述的終端裝置,其特征在于,包括變更量檢測模塊,其檢測相對于與所述顯示模塊垂直的方向的向量的攝像機的光軸方向的變更量;在所述圖像生成模塊中生成三維地形圖像時,以所述檢測得到的變化量校正所述視線的信息;即使在變更所述攝像機的安裝方向或位置的情況下,也做成使所述顯示模塊的顯示中來自所述攝像機的圖像與疊加在該圖像上的三維地形圖像一致。
      4.一種導航裝置,包括用于圖像輸入的攝像機、位置檢測模塊、路徑搜索模塊和顯示模塊,其特征在于,所述導航裝置包括地理信息存儲模塊,其存儲地形的三維形狀信息;姿勢檢測模塊,其檢測所述導航裝置的姿勢;圖像生成模塊,其基于由所述姿勢檢測模塊所求得的姿勢信息,求得與終端所具有的所述顯示模塊垂直的方向的向量信息,根據(jù)由所述位置檢測模塊所求得的當前位置和由所述向量信息所確定的視線的信息以及所述地理信息存儲模塊的三維形狀信息,生成該視點的由所述路徑搜索模塊所求得的誘導路徑以及誘導信息的三維形狀圖像;以及圖像合成模塊,其將所述誘導路徑及誘導信息的三維形狀圖像疊加在來自所述攝像機的圖像上;在導航裝置的姿勢或當前位置變化的情況下,隨著該變化,將疊加在來自所述攝像機的圖像上的三維形狀圖像更新。
      5.根據(jù)權(quán)利要求4所述的導航裝置,其特征在于,包括變更量檢測模塊,其檢測相對于與所述顯示模塊垂直的方向的向量的攝像機的光軸方向的變更量;在所述圖像生成模塊中生成三維形狀圖像時,以所述檢測的變化量校正所述視線的信息;即使在變更所述攝像機的安裝方向或位置的情況下,也做成使所述顯示模塊的顯示中來自所述攝像機的圖像與疊加在該圖像上的三維形狀圖像一致。
      6.根據(jù)權(quán)利要求4所述的導航裝置,其特征在于,在所述攝像機所涉及的圖像攝影范圍內(nèi),對于存在信息被注冊在地理信息數(shù)據(jù)庫中的建筑物的情況,強調(diào)顯示該建筑物。
      全文摘要
      本發(fā)明公開一種導航裝置,其除了由GPS構(gòu)成的位置檢測模塊外,還具備加速度傳感器或磁傳感器等的姿勢檢測模塊、以及地理信息數(shù)據(jù)庫,進一步具備攝像機和攝像機的姿勢檢測模塊。備有CG生成模塊,其基于來自位置檢測模塊和姿勢檢測模塊的信號,根據(jù)地理信息數(shù)據(jù)庫的信息,生成與利用者將攝像機所朝向著的現(xiàn)實世界相一致的路徑向?qū)У腃G圖像,實現(xiàn)由攝像機所拍攝著的輸入圖像和所生成的CG圖像之間的正確疊加。因此,在便攜式的附帶攝像機的信息機器終端中,組合由攝像機所拍攝的實拍圖像和CG圖像,可以實現(xiàn)直觀易懂的導航系統(tǒng)。從而克服以往的導航技術(shù)中存在的由附帶攝像機的終端所拍攝的實拍圖像和CG圖像之間不一致的問題。
      文檔編號G01C21/26GK1755326SQ20051010994
      公開日2006年4月5日 申請日期2005年9月20日 優(yōu)先權(quán)日2004年10月1日
      發(fā)明者高橋宜孝, 鵜沼宗利, 堀江武, 大津文隆 申請人:株式會社日立制造作
      網(wǎng)友詢問留言 已有0條留言
      • 還沒有人留言評論。精彩留言會獲得點贊!
      1