圖像生成裝置和圖像生成方法
【專利摘要】在本發(fā)明中，特征點提取單元(82)在搖翻角和傾斜角不同的、并使用嵌入在便攜裝置中的相機捕獲的多個分量圖像的重疊區(qū)域中提取特征點。在來自偏置的相機位置的兩個分量圖像中，自身位置估計單元(84)同時估計相機位置的三維坐標值和相關(guān)聯(lián)的特征點的三維坐標值。全景圖像生成單元(30)在通過基于估計的相機位置的三維坐標值調(diào)整分量圖像的特征點的三維坐標值來校正分量圖像之后，通過組合搖翻角或傾斜角不同的多個分量圖像來生成組合圖像。
【專利說明】圖像生成裝置和圖像生成方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種圖像生成裝置和方法。具體地，本發(fā)明涉及一種用于生成合成圖像的裝置和方法。
【背景技術(shù)】
[0002]數(shù)碼靜止相機和數(shù)碼視頻攝像機廣泛流行，并且拾取的靜止畫面或運動畫面被存儲到計算機中、并被讀取或處理或顯示在游戲機或電視(TV)系統(tǒng)的屏幕上的機會正在增加。此外，還流行將拾取的運動畫面上傳到互聯(lián)網(wǎng)的發(fā)帖網(wǎng)站，以及將該運動畫面分享給不同的相機用戶。
[0003]有些數(shù)碼相機能夠拾取全景圖像，并且容易地拾取具有寬視角的全景圖像已成為可能。還經(jīng)常利用一種軟件工具，用于通過將由數(shù)碼相機拾取的、圖像拾取方向連續(xù)變化的多個圖像粘貼在一起來生成全景圖像。
[0004]此外，諸如具有相機的便攜電話機的便攜設(shè)備是可得的，其中，提供了全景圖像拾取模式或用于合成全景圖像的應(yīng)用，并且當便攜設(shè)備的傾斜連續(xù)變化時，可以拾取多個圖像并將該多個圖像自動合成為全景圖像。
[0005]【引用列表】
[0006]【專利文獻】
[0007]【專利文獻I】
[0008]JP2011-76249A

【發(fā)明內(nèi)容】

[0009]【技術(shù)問題】
[0010]然而，如果使用數(shù)碼相機、具有相機的便攜設(shè)備、或類似設(shè)備執(zhí)行全景圖像拾取，則由于相機抖動、旋轉(zhuǎn)軸偏移等可能無法拾取準確的全景圖像，并且可能無法成功地執(zhí)行圖像匹配，從而導(dǎo)致在合成的全景圖像中出現(xiàn)錯誤。
[0011]鑒于上述問題而作出本發(fā)明，并且本發(fā)明的一個目的是提供一種能夠準確地生成合成圖像的技術(shù)
[0012]【問題的解決方案】
[0013]為了解決上述問題，本發(fā)明的一個模式的圖像生成裝置包括:特征點提取單元，被配置為在使用內(nèi)置于便攜設(shè)備的相機拾取的、并且具有彼此不同的搖翻角或仰角的多個分量圖像的重疊區(qū)域中提取特征點；自身位置估計單元，被配置為同時在相機位置彼此偏移的兩個分量圖像中估計所述特征點的三維坐標值和所述相機位置的三維坐標值，所述特征點的三維坐標值和所述相機位置的三維坐標值彼此相關(guān)聯(lián)；以及合成圖像生成單元，被配置為基于所估計的相機位置的三維坐標值，調(diào)整所述分量圖像的特征點的三維坐標值以校正所述分量圖像，并組合具有彼此不同的搖翻角或仰角的多個分量圖像以生成合成圖像。
[0014]本發(fā)明的另一模式是一種圖像生成方法。該方法包括:特征點提取步驟，在使用內(nèi)置于便攜設(shè)備的相機拾取的、并且具有彼此不同的搖翻角或仰角的多個分量圖像的重疊區(qū)域中提取特征點；自身位置估計步驟，同時在相機位置彼此偏移的兩個分量圖像中估計所述特征點的三維坐標值和所述相機位置的三維坐標值，所述特征點的三維坐標值和所述相機位置的三維坐標值彼此相關(guān)聯(lián)；以及合成圖像生成步驟，基于所估計的相機位置的三維坐標值，調(diào)整所述分量圖像的特征點的三維坐標值以校正所述分量圖像，并組合具有彼此不同的搖翻角或仰角的多個分量圖像以生成合成圖像。
[0015]還應(yīng)注意，上述組件的任意結(jié)合以及在方法、裝置、系統(tǒng)、計算機程序、數(shù)據(jù)結(jié)構(gòu)、記錄介質(zhì)等之間變換的本發(fā)明的各種表示可有效地作為本發(fā)明的模式。
[0016]【本發(fā)明的有益效果】
[0017]利用本發(fā)明，可以準確地生成合成圖像。
【專利附圖】

【附圖說明】
[0018]【圖1】
[0019]圖1 (a)和I (b)是用于全景圖像拾取的便攜終端的外觀圖。
[0020]【圖2】
[0021]圖2是示出便攜終端的傾斜的視圖。
[0022]【圖3】
[0023]圖3(a)和3(b)是示出便攜終端的方位(orientation)的視圖。
[0024]【圖4】
[0025]圖4(a)至4(d)是示出當使用便攜終端的后側(cè)相機拾取全景圖像時的圖像拾取方向的視圖。
[0026]【圖5】
[0027]圖5 (a)和5(b)是示出相機的方位角Θ和相機的仰角(elevation angle) Φ的視圖。
[0028]【圖6】
[0029]圖6 (a) 至6 (C)是示出當便攜終端的后側(cè)相機的初始位置在方位角Θ的方向時所拾取的全景圖像的視圖。
[0030]【圖7】
[0031]圖7(a)至7(c)是示出當后側(cè)相機的仰角Φ = 60度時所拾取的全景圖像的視圖。
[0032]【圖8A】
[0033]圖8A是示出將多個圖像彼此連接以生成全景圖像的方法的視圖。
[0034]【圖8B】
[0035]圖SB是示出將多個圖像彼此連接以生成全景圖像的另一法的視圖。
[0036]【圖9】
[0037]圖9是全景圖像生成裝置的功能框圖。
[0038]【圖10】
[0039]圖10是示出全景圖像的圖像拾取過程的流程圖。
[0040]【圖11】
[0041]圖11是示出圖10的圖像拾取時機判定處理的詳細過程的流程圖。[0042]【圖12】
[0043]圖12(a)至12(c)是示出圖像拾取導(dǎo)引(guide)部分的全景圖像拾取導(dǎo)引的視圖。
[0044]【圖13】
[0045]圖13(a)和13(b)是示出分量圖像和全景圖像的示例的視圖。
[0046]【圖14】
[0047]圖14是示出圖像拾取期間的全景圖像的視圖。
[0048]【圖15】
[0049]圖15是示出全景圖像拾取的圖像拾取順序的導(dǎo)引的示例的視圖。
[0050]【圖16】
[0051]圖16是透視(see-through)型頭戴式顯示器的示意圖。
[0052]【圖17】
[0053]圖17(a)和17(b)是示出透視型HMD的顯示屏幕圖像的示例的視圖。
[0054]【圖18】
[0055]圖18是根據(jù)不同實施例的全景圖像生成裝置的功能框圖。
[0056]【圖19】
[0057]圖19是示出根據(jù)不同實施例的全景圖像的圖像拾取過程的流程圖。
[0058]【圖20】
[0059]圖20是示出圖19的自身位置估計處理的詳細過程的流程圖。
[0060]【圖21】
[0061]圖21(a)和21(b)是描繪在彼此相鄰的兩個分量圖像之間檢測到的控制點的視圖。
[0062]【圖22】
[0063]圖22是示出其中基于控制點對準和合成兩個相鄰分量圖像的方式的視圖。
[0064]【圖23】
[0065]圖23是示出用于推動調(diào)整相機位置的偏移的導(dǎo)引的示例的視圖。
[0066]【圖24】
[0067]圖24是根據(jù)另一不同實施例的全景圖像生成裝置的功能框圖。
[0068]【圖25】
[0069]圖25是示出根據(jù)另一不同實施例的全景圖像的圖像拾取過程的流程圖。
[0070]【圖26】
[0071]圖26(a)至26 (C)是示出對其設(shè)置了關(guān)注區(qū)域的拾取的圖像的格式的示例的視圖。
[0072]【圖27】
[0073]圖27(a)至27(f)是示出由用戶在觸摸面板上設(shè)置關(guān)注區(qū)域的方法的視圖。
[0074]【圖28】
[0075]圖28是示出設(shè)置到α平面或者專用于與全景圖像重疊的層上的關(guān)注區(qū)域的視圖。
[0076] 【圖29】[0077]圖29是根據(jù)又一不同實施例的全景圖像生成裝置的功能框圖。
[0078]【圖30】
[0079]圖30 (a)至30 (c)是示出便攜終端的前側(cè)相機和后側(cè)相機之間的布置和視差的視圖。
[0080]【圖31】
[0081]圖31(a)是示出由后側(cè)相機拾取的圓柱形圖像的視圖，圖31b)是示出由前側(cè)相機拾取的圓柱形圖像的視圖。
[0082]【圖32】
[0083]圖32(a)是示出由后側(cè)相機拾取的后側(cè)全景圖像的視圖，圖32(b)是示出由前側(cè)相機拾取的前側(cè)全景圖像的視圖。
[0084]【圖33】
[0085]圖33是示出一種狀態(tài)的視圖，在該狀態(tài)中，由后側(cè)相機拾取的后側(cè)全景圖像和由前側(cè)相機拾取的前側(cè)全景圖像彼此連接。
[0086]【圖34】
[0087]圖34是示出由前側(cè)相機拾取的前側(cè)全景圖像和由后側(cè)相機拾取的后側(cè)全景圖像的示例的視圖。
[0088]【圖35】
[0089]圖35是示出當前側(cè)全景圖像和后側(cè)全景圖像之間的一致性很低時的導(dǎo)引的示例的視圖。
[0090]【圖36】
[0091]圖36是示出根據(jù)再一不同實施例的全景圖像的圖像拾取過程的流程圖。
[0092]【圖37】
[0093]圖37是示出圖36的雙側(cè)相機的全景圖像拾取處理的詳細過程的流程圖。
[0094]【圖38】
[0095]圖38是示出一種便攜終端的視圖，在該便攜終端中，并入了具有在位置和方向上彼此不同的光軸的兩個相機。
[0096]【圖39】
[0097]圖39是示出一種便攜終端的視圖，在該便攜終端中，并入了具有在位置上彼此不同的光軸的三個相機。
[0098]【圖40】
[0099]圖40是示出一種便攜終端的視圖，在該便攜終端中，并入了具有在方向上彼此不同的光軸的三個相機。
[0100]【圖41】
[0101]圖41 (a)和41b)是示出一種便攜終端的視圖，在該便攜終端中，并入了具有不同于彼此的性質(zhì)的兩個相機。
[0102]【圖42】
[0103]圖42(a)至42 (C)是示出并入在便攜終端中的相機的數(shù)量和方向的變型的視圖。
[0104]【圖43】 [0105]圖43是示出一種便攜終端的視圖，在該便攜終端中，并入了四個相機。[0106]【圖44】
[0107]圖44(a)和44(b)是示出一種便攜終端的視圖，在該便攜終端中，并入了可以調(diào)整其方向的可移動相機。
【具體實施方式】
[0108](實施例1)[0109]圖1 (a)和I (b)是用于全景圖像拾取的便攜終端200的外觀圖。便攜終端200包括相機210和212以及顯示器240，并且可以執(zhí)行各種類型的應(yīng)用。便攜終端200可具有通信功能。
[0110]圖1 (a)描繪了便攜終端200的前面。前側(cè)(前)相機210和顯示器240設(shè)置在便攜終端200的前面上。例如，用戶可以使用前側(cè)相機210拾取自己的面部圖像，并在顯示器240上顯示所拾取的圖像或?qū)⑺叭〉膱D像作為運動畫面或靜止畫面發(fā)送給通信伙伴。顯示器240可以包括觸摸面板。用戶可以在觀看顯示器240的屏幕圖像的同時，直接用手指觸摸觸摸面板以將操作輸入到顯示器240的屏幕。
[0111]圖1(b)描繪了便攜終端200的后面。后側(cè)(后)相機212設(shè)置在便攜終端200的后面上。例如，用戶可以使用后側(cè)相機212拾取景色或朋友的圖像，并在顯示器240上顯示所拾取的圖像或?qū)⑺叭〉膱D像作為運動畫面或靜止畫面發(fā)送給通信伙伴。也可以在便攜終端200的后面上設(shè)置觸摸面板。因此，用戶可以拿著便攜終端200，并在觀看便攜終端200的前面上的顯示器240的同時，利用手指觸摸便攜終端200的后面上的觸摸面板以輸入預(yù)定的操作。
[0112]應(yīng)注意，便攜終端200的前側(cè)相機210是可選項，并且可以僅提供后側(cè)相機212。
[0113]便攜終端200包括三軸陀螺(角速度)傳感器、三軸加速度傳感器和三軸地磁傳感器中的至少一個，并可以檢測便攜終端200相對于三個軸的傾斜以獲取姿勢信息。此外，該三軸地磁傳感器可以檢測相對于三個軸的地磁向量以獲取方位信息。便攜終端200可以進一步包括GPS (全球定位系統(tǒng))接收器作為可選項，以便它可以從GPS獲取位置信息。此外，便攜終端200可包括用于無線通信的收發(fā)器(transmitter-receiver),以從無線基站獲取位置信息。
[0114]雖然這里描述便攜終端200作為用于全景圖像拾取的便攜設(shè)備的一個示例，但用于全景圖像拾取的便攜設(shè)備可以是包括三軸陀螺傳感器、三軸加速度傳感器和三軸地磁傳感器中的至少一種、并且可以拾取靜止畫面或運動畫面的數(shù)碼相機。可替換地，用于全景圖像拾取的便攜設(shè)備可以是游戲機或便攜電話機。
[0115]圖2是示出便攜終端200的傾斜的圖。如果便攜終端200的顯示面被放置在XZ平面上，并且垂直于顯示面的方向被定義為Y軸，則便攜終端200繞X軸的旋轉(zhuǎn)是傾翻(tilting);繞￥軸的旋轉(zhuǎn)是轉(zhuǎn)動(rolling);并且繞Z軸的旋轉(zhuǎn)是搖翻(panning)。便攜終端200具有并入在其中的三軸陀螺傳感器、三軸加速度傳感器和三軸地磁傳感器中的至少一種，并且可以通過檢測便攜終端200的傾翻、轉(zhuǎn)動和搖翻來檢測便攜終端200相對于三個軸的傾斜。因此，能夠獲得當由用戶拿著便攜終端200時的便攜終端200的姿勢信息。也可以通過陀螺傳感器和/或加速度傳感器檢測便攜終端200的移動方向或移動速度。
[0116]圖3(a)和3(b)是示出便攜終端200的方位的圖。在便攜終端200中并入有三軸地磁傳感器，并可以如圖3 (a)所描繪的那樣，檢測具有三軸分量的地磁向量F。由于三軸陀螺傳感器和/或三軸加速度傳感器如上所述那樣并入在便攜終端200中，因此也可以檢測重力向量V。
[0117]圖3(b)是示出根據(jù)地磁向量F和重力向量V確定方位向量H的方法的圖。如果地磁向量F被投影到垂直于重力向量V的水平平面260，則可以獲得方位向量H。方位向量H是地磁的水平分量，并提供絕對方位。以這種方式，無論便攜終端200具有那種傾斜，都可以使用由三軸陀螺傳感器和/或三軸加速度傳感器檢測到的重力向量V以及由三軸地磁傳感器檢測到的地磁向量F檢測北、南、東、西的絕對方位。
[0118]此外，如果在便攜終端200中并入有GPS傳感器，那么也可以獲得如緯度和經(jīng)度的
位置信息。
[0119]如果使用便攜終端200的姿勢信息和方位信息，則當便攜終端200的傾斜連續(xù)變化時由便攜終端200的相機所拾取的圖像可彼此縫合(縫上)以生成天球全景圖像。該縫合方法可以類似于搖翻-傾翻(pan-tilt)相機生成天球全景圖像的方法。如果使用來自三軸陀螺傳感器和/或三軸加速度傳感器的姿勢信息，則可以獲得相機的搖翻角(panangle)和傾翻角。此外，如果使用來自三軸地磁傳感器的方位信息，則相機的搖翻角可以與絕對方位角相關(guān)聯(lián)。這使得有可能在即使諸如搖翻-傾翻相機這樣的昂貴設(shè)備不可得時，也能由便攜終端200的相機進行全景圖像拾取。
[0120]圖4(a)至4(d)是示出當便攜終端200的后側(cè)相機212被用于拾取全景圖像時的圖像拾取方向的圖。也可以使用便攜終端200的前側(cè)相機210拾取全景圖像，并且根據(jù)需要，也可以使用前側(cè)相機210和后側(cè)相機212兩者拾取全景圖像。然而，為了簡化描述，對在其中使用后側(cè)相機212拾取全景圖像的情況進行描述。
[0121]如圖4(d)所示，用戶將自由地傾翻便攜終端200以通過后側(cè)相機212拾取圖像。如果便攜終端200繞Z軸旋轉(zhuǎn)，則相機的搖翻角變化；如果便攜終端200繞X軸旋轉(zhuǎn)，則相機的傾翻角變化；并且如果便攜終端200繞Y軸旋轉(zhuǎn)，則相機的轉(zhuǎn)動角變化。這里，Z軸是垂直軸(在重力的方向上的軸)。
[0122]圖4(a)是便攜終端200的俯視圖。便攜終端200的后側(cè)相機212的初始方向(Y軸方向)被定義為O度的搖翻角。后側(cè)相機212的搖翻角可以繞Z軸任意改變(作為示例，在從-180度到+180度的范圍內(nèi))。
[0123]圖4(b)是便攜終端200的前立面視圖。用戶水平地保持便攜終端200的水平延長的側(cè)面的狀態(tài)被定義為O度的轉(zhuǎn)動角。后側(cè)相機212的轉(zhuǎn)動角可以繞Y軸任意改變(作為示例，在從-180度到+180度的范圍內(nèi))。
[0124]圖4(c)是便攜終端200的側(cè)立面視圖。垂直于地面地保持便攜終端200的后面的狀態(tài)被定義為O度的傾翻角。后側(cè)相機212的傾翻角可以繞X軸任意改變(作為示例，在從-90度到+90度的范圍內(nèi))。
[0125]為了提供與由圖4(d)的便攜終端200的后側(cè)相機212拾取的全景圖像的圖像拾取方位有關(guān)的信息，必須記錄在圖像拾取時便攜終端200的后側(cè)相機212被定向到哪個方位。為此，使用并入在便攜終端200中的三軸陀螺傳感器和/或三軸加速度傳感器以及三軸地磁傳感器。
[0126]圖5(a)是示出便攜終端200的后側(cè)相機212的方位角Θ的圖，圖5(b)是示出便攜終端200的后側(cè)相機212的仰角P的圖。圖5(a)是便攜終端200的俯視圖，后側(cè)相機212在圖像拾取的初始位置被定向到從正北向東偏移方位角Θ的方向220。該角度對應(yīng)于0度的搖翻角。換句話說，搖翻角的基準方向220的方位角是Θ。當拾取全景圖像時，作為示例，在搖翻角相對于方位角Θ的基準方向220在-180度到+180度的范圍內(nèi)連續(xù)變化的同時，拾取對象的全景圖像。
[0127]圖5(b)是便攜終端200的側(cè)立面視圖，并且仰角P是在以下情況下的角度:當后側(cè)相機212繞X軸的旋轉(zhuǎn)時，O度的傾翻方向(即相對于Y軸方向的向上方向)被定義為正方向。由于通常將后側(cè)相機212設(shè)置到水平位置來實現(xiàn)圖像拾取，因此仰角P是O度。然而，為了拾取天球全景圖像，有必要通過連續(xù)地傾翻相機以改變仰角P來連續(xù)地拾取對象的圖像。
[0128]圖6(a)至6(c)是示出當便攜終端200的后側(cè)相機212的初始位置在方位角Θ的方向時所拾取的全景圖像的圖。
[0129]如在圖6(a)的俯視圖中所描繪的那樣，初始位置的后側(cè)相機212被定向到方位角Θ的方向220，并且如在圖6(b)的側(cè)立面視圖中所描繪的那樣，后側(cè)相機212的仰角P是0度。當仰角P保持O度，后側(cè)相機212的搖翻角相對于基準方向220在-180度到+180度的范圍內(nèi)連續(xù)變化時，拾取仰角爐=O度的全向全景圖像。圖6(c)描繪了以這種方式拾取的全景圖像300。全景圖像300的中心是處于O度的搖翻角處，全景圖像300的左半部是當搖翻角從O度到-180度連續(xù)變化時拾取的圖像，全景圖像300的右半部分是當搖翻角從O度到+180度連續(xù)變化時拾取的圖像。
[0130]由于全景圖像300的O度搖翻角的中心位置從正北向東偏移方位角Θ，所以北(N)、南(S)、東(E)、西(W)的位置如虛線所示。僅當在全景圖像300具有O度搖翻角的中心位置的方位角Θ作為與圖像拾取方位有關(guān)的信息時，可以通過考慮方位角Θ的偏移進行計算來確定北(N)、南(S)、東(E)、西(W)的像素位置。可替換地，代替方位角Θ，可以使用北(N)、南⑶、東(E)、西(W)的像素位置的坐標值作為與圖像拾取方向有關(guān)的信息。
[0131]為了獲得天球的全景圖像，有必要通過連續(xù)地改變后側(cè)相機212的仰角來實現(xiàn)圖像拾取。例如，如果假定后側(cè)相機212的視角是60度，則如果后側(cè)相機212向上和向下傾翻±60度，原則上可以得到天球的全景圖像，并且在這種狀態(tài)下，連續(xù)地在-180度到+180度的范圍內(nèi)改變搖翻角，實現(xiàn)類似的圖像拾取。
[0132]圖7(a)至7(c)是示出當后側(cè)相機212的仰角爐是60度時拾取的全景圖像的圖。如在圖7(a)的俯視圖中所描繪的那樣，初始位置的后側(cè)相機212被定向到方位角Θ的方向220，并且如在圖7(b)的側(cè)立面視圖中所描繪的那樣，后側(cè)相機212的仰角P是60度。當后側(cè)相機212的仰角P保持60度，后側(cè)相機212的搖翻角相對于基準方向220在-180度到+180度的范圍內(nèi)連續(xù)變化時，拾取這種如圖7(c)所描繪的仰角φ= 60度的全景圖像302。
[0133]類似地，當后側(cè)相機212的仰角P保持-60度，搖翻角在_180度到+180度的范圍內(nèi)連續(xù)變化時，拾取仰角φ= -60度的全景圖像。如果組合仰角P= O度、60度、-60度的全景圖像，則可以得到天球全景圖像。然而，在實際的合并中，為了在視角的邊界區(qū)域?qū)D像粘在一起時校正源于透鏡失真的非對準，經(jīng)常采用這樣一種拾取圖像的方法，使得在邊界附近的圖像部分彼此重疊。
[0134]以這種方式獲得的天球全景圖像具有方位角和對其添加的仰角的信息，并且可以基于該信息關(guān)于全景圖像的任意像素指定方位和仰角。此外，由GPS測得的經(jīng)度和緯度信息可以作為圖像拾取地點的位置信息而被添加到全景圖像。作為示例，可以在符合被稱為Exif (可交換圖像文件格式)的用于圖像文件的標準的情況下記錄要添加到全景信息的附加信息。可以將圖像拾取地點的地名記錄成文件名的一部分，并記錄圖像拾取日期和時間，圖像拾取地點的緯度和經(jīng)度、高度、方位角等可以被記錄為Exif格式的數(shù)據(jù)。應(yīng)注意，由于目前在Exif格式中沒有定義仰角，所以它被記錄為擴展數(shù)據(jù)。
[0135]圖8A和SB是示出通過連接多個圖像生成全景圖像的方法的圖。
[0136]在圖8A的示例中，當后側(cè)相機212連續(xù)傾翻(或搖翻)時拾取的七個圖像341到347首先被圓柱狀地(cylindrically)映射,然后被彼此連接以生成圓柱形(cylindrical)圖像340。當圖像被彼此連接時，在圖像邊界附近的圖像部分彼此重疊。
[0137]如果后側(cè)相機212連續(xù)地搖翻(或傾翻)以拾取圖像，則如圖8B所描繪的那樣，在搖翻方向(或傾翻方向)上獲得多個如圖8A所描繪的圓柱形圖像。如果合成圓柱形圖像340a至340f，使得在圖像邊界附近的圖像部分彼此重疊，則最終獲得全向全景圖像360。
[0138]圖9是全景圖像生成裝置100的功能框圖。全景圖像生成裝置100的一些或所有功能組件可以由便攜終端200的硬件、軟件或硬件和軟件的組合來并入。一些功能組件可以并入在服務(wù)器中，而一些功能組件并入在客戶端中，使得它們被合并作為在其間插入有網(wǎng)絡(luò)的服務(wù)器-客戶端系統(tǒng)。
[0139]三軸陀螺傳感器62在X軸、Y軸和Z軸三個方向上檢測便攜終端200的角速度，并將檢測到的角速度提供給姿勢檢測單元60。三軸加速度傳感器64在X軸、Y軸和Z軸三個方向上檢測便攜終端200的加速度，并將檢測到的加速度提供給姿勢檢測單元60。姿勢檢測單元60使用三軸陀螺傳感器62和/或三軸加速度傳感器64的檢測結(jié)果，以檢測便攜終端200的傾斜的三軸分量，即，傾翻角、轉(zhuǎn)動角和搖翻角。姿勢檢測單元60將檢測到的便攜終端200的傾翻角、轉(zhuǎn)動角和搖翻角作為姿勢信息提供給搖翻角-仰角計算單元70。
[0140]盡管便攜終端200可以僅并入三軸陀螺傳感器62和三軸加速度傳感器64中的一個，但如果并入了這兩者，則可以因為它們彌補了缺點而改善姿勢信息的檢測準確度。雖然三軸陀螺傳感器62也可以在移動期間進行測量，但它具有連續(xù)累積漂移(drift)誤差的缺點。雖然三軸加速度傳感器64能夠在它處于靜止狀態(tài)時根據(jù)重力加速度檢測姿勢角度，但在其移動期間會出現(xiàn)錯誤。
[0141]因此，例如，姿勢檢測單元60執(zhí)行三軸陀螺傳感器62和三軸加速度傳感器64的輸出的加權(quán)平均，以提高檢測準確度。當計算加權(quán)平均時，在移動期間，三軸陀螺傳感器62的檢測分量的權(quán)重相對于三軸加速度傳感器64的檢測分量增加。另一方面，當三軸陀螺傳感器62和三軸加速度傳感器64的被視為基本上處于靜止狀態(tài)時，三軸加速度傳感器64的檢測分量的權(quán)重相對于三軸陀螺傳感器62的檢測分量的權(quán)重增加。因此，在靜止狀態(tài)下，三軸陀螺傳感器62的偏離漂移由三軸加速度傳感器64的輸出校正,但在移動期間，依賴于三軸陀螺傳感器62的輸出而非三軸加速度傳感器64的輸出，由此可以檢測到更高精度的姿勢信息。
[0142]作為另一種方法，姿勢檢測單元60也可以使用三軸地磁傳感器68的檢測結(jié)果來檢測便攜終端200的傾斜的三軸分量。如果三軸地磁傳感器68跟蹤地磁向量以檢測便攜終端200繞X軸、Y軸和Z軸的旋轉(zhuǎn)，則可以檢測便攜終端200的傾斜的三軸分量，即，傾翻角、轉(zhuǎn)動角和搖翻角。如果并入在便攜終端200中的三軸地磁傳感器68是傾斜的，則所檢測的地磁向量的方向改變。如果觀察點不變化很大，則由于地磁向量被定向到固定的方向，所以可以檢測便攜終端200的姿勢自它的初始位置的變化。如果附加地使用三軸加速度傳感器64，則由于可以檢測到垂直方向，因此還可以檢測到初始姿勢。
[0143]如果測量每單位時間由三軸地磁傳感器68檢測出的三維地磁向量的旋轉(zhuǎn)角度，則可以確定角速度。因此，三軸地磁傳感器68可以用來代替陀螺傳感器。這被稱為磁陀螺功能。此外，如果確定自初始位置的變化角度，則由于可以檢測到傾斜，所以該三軸地磁傳感器68可以用作三軸姿勢傳感器。然而，當?shù)卮畔蛄颗c搖翻軸或傾翻軸重合時，則不能確定繞該軸的旋轉(zhuǎn)角度。
[0144]如果三軸陀螺傳感器62或三軸加速度傳感器64與三軸地磁傳感器68結(jié)合使用，則可以高精度地測量方位和姿勢兩者。
[0145]如上所述，姿勢檢測單元60可通過三軸陀螺傳感器62自身、三軸加速度傳感器64自身、三軸地磁傳感器68自身、三軸陀螺傳感器62和三軸加速度傳感器64的結(jié)合、三軸地磁傳感器68和三軸陀螺傳感器62的結(jié)合、三軸地磁傳感器68和三軸加速度傳感器64的結(jié)合、三軸陀螺傳感器62、三軸加速度傳感器64和三軸地磁傳感器68的結(jié)合中的任一種確定便攜終端200的傾斜的三軸分量。
[0146]三軸地磁傳感器68檢測在X軸、Y軸和Z軸方向上的地磁向量的分量，并將檢測到的分量提供給方位檢測單元66。方位檢測單元66基于三軸陀螺傳感器62或者三軸加速度傳感器64檢測到的重力向量和三軸地磁傳感器68檢測到的地磁向量確定作為地磁向量的水平分量的方位向量。然后，方位檢測單元66將方位向量的分量作為方位信息提供給搖翻角-仰角計算單元70。
[0147]搖翻角-仰角計算單元70基于從姿勢檢測單元60向其提供的便攜終端200的姿勢信息，確定表示便攜終端200的相機的圖像拾取方向的搖翻角和仰角，并將所確定的搖翻角和仰角提供給分量圖像生成單元20。如果從方位檢測單元66提供方位信息，則搖翻角-仰角計算單元70可以將相機的搖翻角與絕對方位相關(guān)聯(lián)。
[0148]GPS接收器74從GPS接收緯度和經(jīng)度、高度和時間信息，并將接收到的信息提供給位置檢測單元72。位置檢測單元72將緯度和經(jīng)度信息提供給分量圖像生成單元20。GPS接收器74的并入是可選的。
[0149]圖像拾取單元10控制前側(cè)相機210和/或后側(cè)相機212以拾取對象的圖像，并將所拾取的圖像記錄在幀存儲器12中。
[0150]圖像拾取時機判定單元14判定圖像拾取單元10的適當圖像拾取時機，并為圖像拾取單元10指示釋放快門的時機。圖像拾取時機判定單元14基于三軸陀螺傳感器62和/或三軸加速度傳感器64的傳感器輸出，判定是否存在相機的移動。此外，圖像拾取時機判定單元14檢測由圖像拾取單元10拾取的運動畫面的幀間差別并判定是否存在正在移動的對象。
[0151]圖像拾取時機判定單元14在自動圖像拾取模式的情況下指示圖像拾取單元10在判定相機表現(xiàn)出無運動和 不存在正在移動的對象的時刻拾取圖像。在半自動圖像拾取模式的情況下，圖像拾取時機判定單元14省略移動體的檢測而指示圖像拾取單元10在判定相機表現(xiàn)無運動的時刻拾取圖像。在手動圖像拾取模式的情況下，圖像拾取時機判定單元14允許用戶釋放快門，而不向圖像拾取單元10指示圖像拾取時機。
[0152]分量圖像生成單元20將從搖翻角-仰角計算單元70向其提供的相機的搖翻角(或絕對方位角)和仰角與存儲在幀存儲器12中的拾取圖像相關(guān)聯(lián)地作為分量圖像存儲在分量圖像存儲單元22中。如果從位置檢測單元72提供位置信息，則該分量圖像生成單元20還將該位置信息與所拾取的圖像相關(guān)聯(lián)。
[0153]全景圖像生成單元30縫合存儲在分量圖像存儲單元22中的多個分量圖像以合成全景圖像，并將該全景圖像存儲在全景圖像存儲單元32中。[0154]顯示單元40在全景圖像拾取時從分量圖像存儲單元22讀取在合成為全景圖像之前的多個拾取的分量圖像，并在顯示器240上顯示讀出的分量圖像。因此，用戶可以在顯示器240上確認，仍有尚未拾取圖像的區(qū)域以完成全景圖像。
[0155]另一方面，顯示單元40從全景圖像存儲單元32中讀取合成的全景圖像，并在顯示器240上顯示該全景圖像。通信單元80將完成的全景圖像發(fā)送給通信伙伴或?qū)⑼瓿傻娜皥D像上傳到服務(wù)器。
[0156]非圖像拾取區(qū)域判定單元24基于存儲在分量圖像存儲單元22中的所拾取的分量圖像的搖翻角和仰角的信息，判定不足以完成全景圖像的分量圖像的區(qū)域。非圖像拾取區(qū)域判定單元24將指定了鄰近于最近拾取的分量圖像的、尚未拾取的分量圖像的區(qū)域的信息提供給用戶接口單元50的圖像拾取導(dǎo)引部分52。
[0157]用戶接口單元50的圖像拾取導(dǎo)引部分52生成用于指導(dǎo)用戶在由非圖像拾取區(qū)域判定單元24指定的非拾取分量圖像的區(qū)域中依次拾取圖像的導(dǎo)引并導(dǎo)致顯示單元40顯示該導(dǎo)引。
[0158]圖10是示出全景圖像的圖像拾取過程的流程圖。
[0159]圖像拾取時機判定單元14執(zhí)行圖像拾取時機判定處理(SlO)。圖像拾取單元10在由圖像拾取時機判定單元14指定的圖像拾取時機或由用戶指定的圖像拾取時機執(zhí)行圖像拾取，并將所拾取的圖像記錄到幀存儲器12中(S12)。
[0160]姿勢檢測單元60獲取便攜終端200的姿勢信息，即，傾翻角、轉(zhuǎn)動角和搖翻角(S14)。
[0161]分量圖像生成單元20將便攜終端200的姿勢信息與所拾取的圖像相關(guān)聯(lián)地作為分量圖像存儲在分量圖像存儲單元22中(S16)。便攜終端200的姿勢信息可以被轉(zhuǎn)換成后側(cè)相機212的搖翻角和仰角并與所拾取的圖像相關(guān)聯(lián)。在這兩種情況下，如果縫合多個分量圖像，則可以合成全景圖像。可以基于便攜終端200的姿勢信息或后側(cè)相機212的搖翻角和仰角的信息來連接分量圖像。
[0162]非圖像拾取區(qū)域判定單元24根據(jù)姿勢信息或存儲在分量圖像存儲單元22中的多個所拾取的分量圖像的搖翻角和仰角的信息判定是否仍存在在尚未拾取圖像并且不足以完成最終的全景圖像的區(qū)域(S18)。如果沒有尚未拾取圖像的區(qū)域，則圖像拾取結(jié)束(S18為“否”)。
[0163]如果仍然存在尚未拾取圖像的區(qū)域(S18為“是”)，則圖像拾取導(dǎo)引部分52導(dǎo)致在屏幕上顯示箭頭標記或發(fā)出音頻導(dǎo)引以指導(dǎo)用戶，使得接下來拾取尚未被拾取的、并且鄰近于最近被拾取的分量圖像的分量圖像(S20)。
[0164]圖11是示出圖像拾取時機判定單元14在步驟SlO的圖像拾取時機判定處理的詳細過程的流程圖。
[0165]判定圖像拾取模式是自動、 半自動和手動模式中的哪一種(S30)。如果圖像拾取模式是手動圖像拾取模式，則用戶將釋放快門以將圖像拾取時機指示給圖像拾取單元10(S40)。
[0166]如果圖像拾取模式是自動圖像拾取模式，則基于三軸陀螺傳感器62和三軸加速度傳感器64的輸出檢測相機的運動(S32)。在此，“相機的運動”包括當圖像拾取角度改變時相機的顫動或相機抖動。如果三軸陀螺傳感器62檢測到的傾斜數(shù)據(jù)的時間變化小于閾值TA，并且此外，三軸加速度傳感器64檢測到的傾斜數(shù)據(jù)的時間變化小于閾值TB，則判定沒有相機的運動(S32為“否”)，處理前進到步驟S34。在任何其它情況下，判定有相機的運動(S32為“是”)，并且等待相機的運動消失。
[0167]然后，執(zhí)行移動體檢測(S34)。如果幀之間的絕對差小于閾值TC，則判定圖像中未捕獲到正在移動的對象(S34為“否”)，并且圖像拾取時機判定單元14將這個時間點作為圖像拾取時機指示給圖像拾取單元10(S38)。如果幀之間的絕對差超過閾值TC(S34為“是”)，則重復(fù)步驟S32的相機的運動檢測和步驟S34的移動體檢測。
[0168]步驟S34中的移動體檢測處理優(yōu)選地被配置成使得盡管允許諸如正在遠方行走的人的移動體，但不允許附近視野中的移動體。這是因為，如果移動體在附近的視野中，那么這將導(dǎo)致全景圖像的合成中的不便。因此，當根據(jù)幀間差別檢測出運動的區(qū)域大于預(yù)定尺寸時，可以判定捕獲到了移動體，但在任何其它情況下，可以判定沒有捕獲到移動體。
[0169]如果檢測到移動體，則可向用戶尋求執(zhí)行圖像拾取的許可。例如，顯示或通過聲音輸出任一消息，例如，“某物在移動。如果要在這種情況下繼續(xù)進行圖像拾取，那么請按下確定按鈕。”，并且如果用戶發(fā)出圖像拾取指令，則即使檢測到移動體，也可執(zhí)行圖像拾取。如果用戶不允許圖像拾取，則在等待到不再檢測到移動體之后執(zhí)行圖像拾取。
[0170]當圖像拾取模式是半自動圖像拾取模式時，圖像拾取時機判定單元14在步驟S32執(zhí)行相機的運動檢測，但跳過步驟S34的移動體檢測。圖像拾取時機判定單元14將被判定沒有相機的運動的時間點作為圖像拾取時機指示給圖像拾取單元10(S38)。
[0171]圖12(a)至12(c)是示出圖像拾取導(dǎo)引部分52的全景圖像拾取導(dǎo)引的圖。
[0172]如圖8A和SB所示，全景圖像360由扇區(qū)分量圖像互相重疊而形成。然而，這里，整個天球被按照相機的視角簡單地劃分成網(wǎng)格狀單元(cell)，并且為了簡化描述，分量圖像由這些單元所表示。
[0173]圖12(a)示出了一種方法，其中當搖翻角在約_180度到約+180度的范圍內(nèi)連續(xù)變化而保持相機仰角固定的同時，執(zhí)行分量圖像的拾取，改變仰角，重復(fù)該方法以拾取全天球的圖像。在該圖像拾取方法中，由于三軸陀螺傳感器62的偏離漂移累積，所以誤差在圖像拾取方向上累積。
[0174]與此相反，圖12(b)示出了另一種方法，其中，當仰角在約-90度到約+90度的范圍內(nèi)連續(xù)變化而保持搖翻角固定的同時，執(zhí)行分量圖像的拾取，改變搖翻角，重復(fù)該方法以拾取全天球的圖像。如箭頭標記所示，在某一搖翻角處仰角從約-90度改變?yōu)榧s90度而拾取分量圖像之后，在下一搖翻角，在仰角從約-90度連續(xù)改變?yōu)榧s90度的同時拾取分量圖像。通過該方法，在搖翻角的轉(zhuǎn)向處可以保證圖像拾取區(qū)域的連續(xù)性。如果以圖12(b)的箭頭標記的順序執(zhí)行圖像拾取，則由于搖翻角僅旋轉(zhuǎn)一周，所以不累積三軸陀螺傳感器62的漂移誤差，并且可以檢測到準確的圖像拾取方向。
[0175]如圖12(c)的箭頭標記所示，在同時使用前側(cè)相機210和后側(cè)相機212的情況下，當前側(cè)相機210在仰角連續(xù)地從約-90度改變到約90度的同時拾取分量圖像時，后側(cè)相機212可以在仰角連續(xù)地從約-90度改變到約90度時以180度不同的搖翻角拾取分量圖像。
[0176]圖13(a)和13(b)是示出分量圖像和全景圖像的示例的圖。同樣地在這里，假定分量圖像是網(wǎng)格狀單元而給出描述。圖13(a)描繪了網(wǎng)格狀分量圖像的示例。圖13(b)描繪了通過縫合分量圖像而合成的全景圖像的示例。
[0177]圖14是示出圖像拾取期間的全景圖像的圖。顯示了已經(jīng)拾取的分量圖像，并且空白網(wǎng)格是尚未拾取的分量圖像的區(qū)域。作為下一個要被拾取的分量圖像，從不包括所拾取的圖像的區(qū)域內(nèi)選擇鄰近于最近拾取的分量圖像270的分量圖像的區(qū)域271。由于優(yōu)選拾取分量圖像的順序是使得如圖12(b)所示的那樣，在仰角連續(xù)地改變而搖翻角保持固定的情況下拾取分量圖像，所以分量圖像的圖像拾取順序的導(dǎo)引是諸如箭頭標記所示的那樣。
[0178]圖15示出了全景圖像拾取的圖像拾取順序的導(dǎo)引的示例。在顯示器240的屏幕的右下區(qū)域，顯示了當前正在被拾取的圖14的全景圖像，并且通過箭頭標記表示下一要被拾取的分量圖像的區(qū)域。因此，用戶可以辨別目前全景圖像的圖像拾取到達了哪個點。
[0179]在顯示器240的屏幕的左側(cè)區(qū)域中，目前正由相機拾取的圖像272被顯示并扮演取景器的角色。通過大箭頭標記273表示下一要拾取的區(qū)域。自動地或是手動地指定圖像拾取時機。在圖像拾取結(jié)束后，用戶將在箭頭標記的方向上搖翻或傾翻相機以進入下一分量圖像的圖像拾取。
[0180]基于三軸陀螺傳感器62和/或三軸加速度傳感器64對移動方向和移動速度的檢測結(jié)果，在屏幕上顯示類似“請在箭頭標記的方向慢慢移動相機”的消息。該消息可以由語音輸出。如果相機的移動速度過高，則該消息或箭頭標記可以在顏色上進行改變以警告。另一方面，如果相機的位置移動，則相機的旋轉(zhuǎn)中心偏移并導(dǎo)致錯誤。當通過在后述的實施例2的描述中所描述的自身位置估計檢測相機位置的變化時，顯示如同“相機的旋轉(zhuǎn)中心已經(jīng)偏移！ ”這樣的警告消息。
[0181]圖16是透視型頭戴式顯示器(HMD) 250的示意圖。這是一個應(yīng)用示例，其中在圖9中所描繪的功能配置被安裝在透視型HMD250中。透視型HMD250包括相機、三軸陀螺傳感器和/或三軸加速度傳感器、三軸地磁傳感器和顯示器252。用戶將像眼鏡那樣戴上透視型HMD250,并在觀看可以穿過顯示器252看到的外界和在顯示器252上顯示的圖像的同時執(zhí)行全景圖像拾取。
[0182]圖17(a)和17(b)是示出透視型HMD250的顯示器252的屏幕圖像的示例的圖。如圖17 (a)所示，由實線表示的圖像拾取區(qū)域254位于顯示器252的中心，圖像拾取區(qū)域254的圖像被拾取并作為與相機的搖翻角和仰角相關(guān)聯(lián)的分量圖像進行存儲。用虛線表示的導(dǎo)引區(qū)域256是要拾取下一圖像的區(qū)域。向左指向的箭頭標記258被顯示在屏幕上，使得用戶可以向左轉(zhuǎn)動頭部，并面向?qū)б齾^(qū)域256的方向。
[0183]圖17(b)描繪了當用戶將頭部轉(zhuǎn)向左側(cè)時顯示器252的屏幕圖像的示例。由實線表示的圖像拾取區(qū)域254和由虛線表示的導(dǎo)引區(qū)域256位于屏幕中心。用戶將移動頭部，使得在顯示器252上表示的實線的四邊形(圖像拾取區(qū)域254)和虛線的四邊形(導(dǎo)引區(qū)域256)可以互相重合。當導(dǎo)引區(qū)域256和圖像拾取區(qū)域254幾乎彼此重疊時，自動執(zhí)行圖像拾取并獲得分量圖像。多個已經(jīng)拾取的分量圖像可以并置(juxtaposed)關(guān)系顯示在顯示器252的角落，使得用戶能夠掌握全景圖像的圖像拾取已進展到何種程度。
[0184]如上所述，利用本實施例的全景圖像生成裝置，通過使用三軸陀螺傳感器和/或三軸加速度傳感器縫合拾取的圖像，可以簡單地合成全景圖像。如果附加地使用三軸地磁傳感器，則絕對方位可以與全景圖像相關(guān)聯(lián)。因此，即使不使用具有相機平臺的昂貴搖翻-傾翻相機，也可以簡單地通過具有相機的便攜終端200以低成本拾取全景圖像。
[0185]由于現(xiàn)有的全景圖像合成方法使用圖像匹配，所以當在縫合時圖像特征點不能彼此相關(guān)聯(lián)時，難以合成全景圖像。尤其是，在對象在圖像中不包括特征點，如天空或白色的墻壁，并且不允許關(guān)聯(lián)的情況下，通過圖像匹配的縫合是不可能的。在這方面，利用本實施例的全景圖像生成裝置，即使圖像不具有特征點，也由于來自三軸陀螺傳感器和/或三軸加速度傳感器的相機的搖翻角和仰角可以與拾取的圖像相關(guān)聯(lián)，而可以準確地合成天球全景圖像。
[0186]然而，由于在三軸陀螺傳感器和/或三軸加速度傳感器的姿勢檢測中包含誤差，所以當最終要合成全景圖像時，如果附加地應(yīng)用圖像匹配，則可以生成高畫面質(zhì)量的全景圖像。
[0187]此外，根據(jù)現(xiàn)有的通過圖像匹配的全景合成，由于需要時間用于圖像處理，所以難以在執(zhí)行圖像拾取的同時實時地判定全景圖像的非圖像拾取區(qū)域。在這方面，利用本實施例的全景圖像生成 裝置，即使不應(yīng)用圖像匹配，也由于可以基于從三軸陀螺傳感器和/或三軸加速度傳感器獲得的姿勢信息執(zhí)行所拾取圖像的縫合，而可能實時地檢測非圖像拾取區(qū)域和指導(dǎo)下一圖像拾取區(qū)域。也可以指導(dǎo)用戶，使得用戶可以基于三軸陀螺傳感器和/或三維加速度傳感器檢測到的移動速度緩慢地移動便攜終端200。
[0188]傳統(tǒng)上，如果試圖在便攜終端的相機或類似物正被搖翻和/或傾翻時拾取全景圖像，則難以從相機的運動或旋轉(zhuǎn)軸的偏移生成準確的全景圖像。然而，利用本實施例的全景圖像生成裝置，由于通過三軸陀螺傳感器和/或三軸加速度傳感器檢測相機的運動，并且當沒有相機的運動時自動釋放快門以拾取圖像，所以即使在由便攜終端200拾取的全景圖像中也可以抑制相機的運動的不良影響。此外，如果還附加地執(zhí)行移動體檢測，并且在沒有檢測到移動體的時刻執(zhí)行圖像拾取，則有可能獲得不包括移動人體和物體的拾取圖像以生成全景圖像。
[0189](實施例2)
[0190]圖18是根據(jù)實施例2的全景圖像生成裝置100的功能框圖。實施例2的全景圖像生成裝置100除了上述實施例1的全景圖像生成裝置100的組件I之外還包括特征點提取單元82、自身位置估計單元84和相機位置偏移判定單元86，并具有估計便攜終端200的相機位置以使用戶調(diào)整相機位置的偏移的功能。其它組件和功能與實施例1的全景圖像生成裝置100的組件和功能是相同的，因此，在此省略對它們的描述。
[0191]特征點提取單元82提取存儲在分量圖像存儲單元22中的多個分量圖像中相鄰的并且搖翻角或傾翻角彼此不同的分量圖像之間的特征點，以檢測用于將相鄰分量圖像彼此相關(guān)聯(lián)的控制點。特征點提取單元82將相鄰分量圖像之間彼此相關(guān)聯(lián)的特征點的信息提供給自身位置估計單元84。此外，特征點提取單元82將檢測到的控制點提供給全景圖像生成單元30?？刂泣c是相鄰分量圖像之間彼此相關(guān)聯(lián)的特征點中的全部或一些。
[0192]圖21 (a)和21 (b)是描繪在兩個相鄰分量圖像401和402之間檢測到的控制點的圖。這里，檢測到九個控制點。
[0193]圖22是示出其中基于控制點將兩個相鄰分量圖像401和402彼此對準和組合的方式的圖。全景圖像生成單元30相對于分量圖像401旋轉(zhuǎn)分量圖像402以將它們組合起來，使得兩個圖像的控制點(由圖22中的圓形標記所示)在相鄰分量圖像401和402的重疊區(qū)域中彼此盡可能重合。
[0194]自身位置估計單元84基于有關(guān)兩個相鄰分量圖像的、這些圖像的特征點的二維坐標的信息，同時估計這些特征點的三維坐標和相機位置的坐標，在所述相機位置處拾取各個分量圖像。因為當拾取兩個分量圖像時的相機位置彼此偏移，所以這兩個分量圖像是來自不同視點的視差圖像。因此，這兩個分量圖像包括視差形式的深度信息，并且通過求解滿足每個特征點的聯(lián)立方程，可同時確定特征點的三維坐標和分量圖像的可視點的三維坐標(相機位置)。作為基于多個其可視點位置彼此不同的視差圖像來同時確定對象的三維位置信息和可視點位置的方法之一，被稱為SLAM(同步定位和映射)的技術(shù)是可用的。
[0195]SLAM是基于從傳感器獲得的信息同時進行自身位置估計和環(huán)境映射的技術(shù)，并被應(yīng)用到自主移動機器人等中。作為示例，自身位置估計單元84使用公知的SLAM技術(shù)估計對象的特征點的三維位置和相機的三維位置。然而，也可使用一些其它的自身位置估計技術(shù)。例如，在下面的論文中介紹了 SLAM:2003年ICCV中Andrew J.Davison的《Real-TimeSimultaneous Localisation and Mapping with a Single Camera〉〉。
[0196]自身位置估計單元84將通過估計得到的對象的特征點的三維坐標值和相機位置的三維坐標值提供給分量圖像生成單元20。分量圖像生成單元20將便攜終端200的姿勢信息、對象的特征點的三維位置信息和相機位置的三維位置信息以與分量圖像具有關(guān)聯(lián)關(guān)系地存儲在分量圖像存儲單元22中。
[0197]由于分量圖像包括對象的三維位置信息，所以如果全景圖像生成單元30組合多個分量圖像來合成全景圖像，則獲得具有對象的三維位置信息的三維全景圖像。如果所述三維全景圖像在三維坐標系上擴展，則能夠生成該對象的簡單三維模型。此外，由于獲得了對象的深度信息，也有可能生成立體的全景圖像。
[0198]相機位置偏移判定單元86判定由自身位置估計單元84估計的相機位置是否從第一位置(原點)偏移。如果相機位置偏移，則準確的合成全景圖像不被獲得。圖像拾取導(dǎo)引部分52基于由自身位置估計單元84估計的相機位置的三維坐標值導(dǎo)致在顯示器上顯示相機位置的運動軌跡，以便用戶能夠在全景圖像拾取的時刻直觀地識別出相機位置。此外，如果相機位置偏移判定單元86判定相機位置偏移，則圖像拾取導(dǎo)引部分52指導(dǎo)用戶調(diào)整相機位置或指示用戶再次嘗試圖像拾取。
[0199]然而，即使相機位置只偏移了一點，如果校正分量圖像使得相機位置返回到原點，也能夠合成全景圖像。因此 ，當全景圖像生成單元30組合分量圖像時，它使用與分量圖像相關(guān)聯(lián)的特征點的三維位置信息和相機位置的三維位置信息來調(diào)整分量圖像的特征點的三維坐標值，使得自原點的相機位置的偏移可以接近零，從而校正分量圖像。然后，全景圖像生成單元30組合校正的分量圖像以生成全景圖像。[0200]圖19是示出根據(jù)實施例2的全景圖像生成裝置100的全景圖像的圖像拾取過程的流程圖。在圖19的步驟S10、S12、S14、S18和S20的處理與在圖10中描繪的根據(jù)實施例I的全景圖像生成裝置100在步驟S10、S12、S14、S18和S20的處理相同，在此省略對它們的描述。
[0201]在步驟14獲取便攜終端200的姿勢信息(即，傾翻角、轉(zhuǎn)動角和搖翻角)之后，在步驟S15，該信息被用來執(zhí)行自身位置估計處理。通過自身位置估計處理獲得便攜終端200的相機的位置信息，并根據(jù)情況需要執(zhí)行相機位置的調(diào)整。此外，通過自身位置估計處理獲得對象的特征點的三維位置信息。
[0202]在步驟S17，分量圖像生成單元20將便攜終端200的姿勢信息、對象的特征點的三維位置信息和相機位置的三維位置信息與所拾取的圖像相關(guān)聯(lián)地作為分量圖像存儲在分量圖像存儲單元22中。[0203]圖20是示出圖19的步驟S15的自身位置估計處理的詳細過程的流程圖。
[0204]特征點提取單元82在兩個相鄰分量圖像的重疊區(qū)域中提取其圖像被拾取的對象的特征點，并且執(zhí)行它們的匹配(S50)。自身位置估計單元84使用SLAM來估計拾取每個分量圖像的相機位置的三維坐標值和對象的特征點的三維坐標值(S52)。
[0205]相機位置偏移判定單元86判定在圖像拾取時的相機位置是否從第一位置偏移超過預(yù)定閾值(S54)。如果相機位置的偏移保持在閾值之內(nèi)(S54為“否”)，則自身位置估計處理結(jié)束。這里，可以允許用戶輸入指令，指示要拾取遠視野的圖像和近視野的圖像中的哪一個，并且用于相機位置的偏移判定的閾值可根據(jù)要拾取遠視野的圖像還是近視野的圖像而被改變。在遠視野的圖像拾取的情況下，相機位置的偏移可允許范圍相較于近視野的圖像拾取中的范圍更大。因此，對于遠視野的圖像拾取，閾值被設(shè)置得比用于近視野的圖像拾取的閾值更高。
[0206]如果檢測到相機位置的偏移超過預(yù)定閾值(S54為“是”)，則相機位置偏移判定單元86指示圖像拾取導(dǎo)引部分52來調(diào)整相機位置。圖像拾取導(dǎo)引部分52或者指示用戶校正相機位置或者無效已經(jīng)拾取的分量圖像的部分或全部并指示用戶再次嘗試圖像拾取(S56)。此后，處理返回到S10。
[0207]圖23是示出用于促使用戶調(diào)整相機位置的偏移的導(dǎo)引的示例的圖。圖像拾取導(dǎo)引部分52在顯示器的屏幕的部分上三維地顯示全景圖像拾取時的相機位置。圖像拾取導(dǎo)弓丨部分52將第一相機位置410a設(shè)置至原點，并在三維坐標系中顯示相機位置的歷史410b、410c 和 410d。
[0208]用戶可以查看當前的相機位置或在顯示器上顯示的相機位置的移動軌跡以確認相機位置是否從所述第一位置偏移。除了在顯示單元上圖形顯示相機的三維位置和便攜終端200的姿勢信息，還可以通過語言或文本呈現(xiàn)相機位置的運動方向?？商鎿Q地，便攜終端200可以顫動以向用戶通知相機位置偏移或偏移超過可允許范圍。
[0209]在該三維坐標系中，以原點為中心的內(nèi)側(cè)球400對應(yīng)于用于相機位置的偏移的第一閾值Thl，并且以原點為中心的外側(cè)球402對應(yīng)于用于相機位置的偏移的第二閾值Th2(>Thl)。第一閾值Thl是可允許偏移量的上限，在該上限之內(nèi)可以縫合分量圖像以生成全景圖像而不進行校正。第二閾值Th2是可允許偏移量的上限，在該上限之內(nèi)，如果校正了分量圖像，則可以縫合校正后的分量圖像以生成全景圖像。[0210]如果在圖像拾取開始時的相機位置由XO表示，并且第η個分量圖像的圖像拾取時的相機位置由Xn表示，則當I Xn-XO I〈Thl時，在該相機位置拾取分量圖像。這里，Xn-XO表示從圖像拾取開始時的相機位置XO到第η個分量圖像的圖像拾取時的相機位置Xn的距離。如果參照圖23來描述這種情況，則當目前的相機位置在內(nèi)側(cè)球400之內(nèi)時，在該相機位置拾取分量圖像，并且不發(fā)出相機位置的校正指令。
[0211]當|Χη-Χ0|≥Thl且I Xn-XO | <Th2時，由于可以通過校正來合成全景圖像，因此在該相機位置拾取分量圖像。然而，向用戶發(fā)出相機位置偏移的通知以促使用戶校正相機位置。關(guān)于圖23，當目前的相機位置是在內(nèi)側(cè)球400和外側(cè)球402之間時，在該相機位置拾取分量圖像，但發(fā)出相機位置的校正指令。此時，全景圖像生成單元30基于相機位置的偏移校正分量圖像，然后組合校正的分量圖像來生成全景圖像。
[0212]當|Χη-Χ0|≥Th2時，由于即使執(zhí)行校正也不再能夠合成全景圖像，因此不在該相機位置執(zhí)行圖像拾取，并促使用戶移動相機位置。然后，如果相機位置回到可以進行圖像拾取的范圍內(nèi)，則開始圖像拾取。即使經(jīng)過了預(yù)定的時段，如果相機位置沒有回到可以進行圖像拾取的區(qū)域內(nèi)，也取消在那之前的全景圖像拾取，并且指示用戶再次嘗試全景圖像拾取。
[0213]用于定義在其中可以進行圖像拾取的范圍的閾值Thl和Th2優(yōu)選地響應(yīng)于從視點到對象的距離而可變。可以從通過自身位置估計單元84估計的對象的特征點的三維坐標值和相機位置的三維坐標值確定從視點到對象的距離。如果對象是遠視野，則即使相機位置的偏移較大，圖像上的對象的位置偏移也不大，因此，當合成全景圖像時的誤差較小。然而，如果對象是近視野，則由于相機位置的少偏移引起圖像上的對象的大位置偏移，所以合成全景圖像時的誤差較大。因此，當對象是遠視野時的閾值Thl和Th2可以設(shè)置得大于當對象是近視野時的閾值Thl和Th2。相機位置偏移判定單元86可以響應(yīng)于從相機位置到對象的距離調(diào)整閾值Thl和Th2。
[0214]同時，在上述說明中，通過SLAM估計相機位置，可以使用由GPS接收器74檢測到的位置信息來獲取相機位置。
[0215]如上所述，利用本實施例的全景圖像生成裝置，可以使用諸如SLAM的技術(shù)估計相機位置和其圖像被拾取的對象的三維位置，并通知用戶相機位置的偏移。在響應(yīng)于到對象的距離判定相機位置的偏移是否在可允許的范圍內(nèi)以及相機位置的偏移是否超過可允許范圍的情況下，可以促使用戶移動相機位置。
[0216]即使三軸陀螺傳感器62或三軸加速度傳感器64能夠檢測便攜終端200的姿勢，也難以檢測相機位置的偏移。在這方面，利用本實施例，可以使用以下事實同時估計相機位置和對象的三維位置:如果相機位置偏移，則在所拾取的分量圖像之間出現(xiàn)視差。因此，可以檢測相機位置的偏移，并促使用戶調(diào)整相機位置，或基于相機位置的偏移校正圖像。
[0217](實施例3)
[0218]圖24是根據(jù)實施例3的全景圖像生成裝置100的功能框圖。本實施例的全景圖像生成裝置100具有設(shè)置全景圖像拾取期間感興趣區(qū)域的功能。利用相同的附圖標記表示與實施例1的全景圖像生成裝置100的組件所共同的組件，并且在此省略對它們的描述。
[0219]P0I/R0I設(shè)置單元42包括感興趣區(qū)域設(shè)置部分44、感興趣程度設(shè)置部分46和標簽設(shè)置部分48。P0I/R0I設(shè)置單元42對于由圖像拾取單元10拾取的圖像設(shè)置興趣點POI (興趣點)或感興趣區(qū)域ROI (感興趣區(qū)域)，將感興趣程度和標簽賦予感興趣區(qū)域，并將包括感興趣區(qū)域的坐標信息、感興趣程度和標簽信息的感興趣區(qū)域信息提供給分量圖像生成單元20。該分量圖像生成單元20將感興趣區(qū)域信息以與所拾取的圖像具有關(guān)聯(lián)關(guān)系地存儲在分量圖像存儲單元22中。
[0220]感興趣區(qū)域設(shè)置部分44將通過圖像拾取單元10的相機操作者檢測部分90指定的區(qū)域或者通過用戶接口單元50的觸摸面板輸入部分56指定的區(qū)域設(shè)置為感興趣區(qū)域。感興趣程度設(shè)置部分46將通過圖像拾取單元10的面部表情判定部分92指定的感興趣程度設(shè)置為通過感興趣區(qū)域設(shè)置部分44設(shè)置的感興趣區(qū)域的感興趣程度。標簽設(shè)置部分48將通過用戶接口單元50的語音識別部分54指定的文本設(shè)置為通過感興趣區(qū)域設(shè)置部分44設(shè)置的感興趣區(qū)域的標簽。
[0221]P0I/R0I處理單元58從分量圖像存儲單元22中讀出分量圖像，并從全景圖像存儲單元32中讀出合成的全景圖像。然后，P0I/R0I處理單元58對于設(shè)置到分量圖像或全景圖像的感興趣區(qū)域執(zhí)行圖像處理，如加重、模糊、縮放或改變畫面質(zhì)量。在對感興趣區(qū)域設(shè)置了感興趣程度的情況下，執(zhí)行按照感興趣程度的圖像處理。例如，響應(yīng)于感興趣程度改變加重程度或改變畫面質(zhì)量。
[0222]此外，P0I/R0I處理單元58在處理全景圖像時可保護感興趣區(qū)域。例如，當諸如飛船的人造物體或人要被組合成全景圖像時，P0I/R0I處理單元58通過將人造物體布置在感興趣區(qū)域的后面或通過不將人造物體布置在感興趣區(qū)域中以使得感興趣區(qū)域可以不被這種人造物體所隱藏來保護感興趣區(qū)域。
[0223]顯示單元40顯示在其中通過P0I/R0I處理單元58對感興趣區(qū)域執(zhí)行圖像處理的分量圖像或全景圖像。 此外，當顯示單元40顯示全景圖像時，它可以滾動顯示該全景圖像，以使得感興趣區(qū)域可以來到顯示器240的屏幕中心。
[0224]此外，當顯示單元40將顯示圖像從一個全景圖像改變到另一個全景圖像時，它可以滾動顯示所述切換之后的全景圖像，以使得所述切換之后的感興趣區(qū)域可以來到顯示器240的屏幕中心。
[0225]具體地，假定表示諸如建筑物的特定物體的標記被設(shè)置到第一全景圖像的特定方位，并且全景查看器被配置成使得，如果選擇了該標記，則顯示圖像切換到包含該特定物體的第二全景圖像。而且在第二全景圖像上，特定的物體被頻繁地設(shè)置到感興趣區(qū)域。因此，在切換全景圖像時，如果控制切換使得感興趣區(qū)域總是來到屏幕中心，則在切換目標的全景圖像上，也可以從開始觀看由該標記指定的物體。例如，如果大阪城被包括在第一全景圖像中并且標記被設(shè)置到大阪城，那么，即使選擇了該標記以將顯示切換到第二全景圖像，也能夠在第二全景圖像上看到大阪城。由于全景圖像是在寬范圍內(nèi)拾取的景物圖像，所以如果切換全景圖像，則有時忘記方向。但是，如果優(yōu)選在切換后的全景圖像上顯示感興趣區(qū)域，則能夠避免如上面剛剛描述的這樣的問題。
[0226]在對全景圖像設(shè)置了多個感興趣區(qū)域/興趣點的情況下，當滾動顯示全景圖像時，例如，可以以自由區(qū)域和矩形區(qū)域的優(yōu)先順序顯示感興趣區(qū)域?？商鎿Q地，可以以區(qū)域大小的優(yōu)先順序或者以感興趣程度的優(yōu)先順序顯示感興趣區(qū)域。可替換地，可以優(yōu)先于興趣點顯示感興趣區(qū)域。此外，當指定第一全景圖像的標記以將顯示圖像切換到與該標記相關(guān)聯(lián)的第二全景圖像時，可以優(yōu)選地以從更接近第一全景圖像的標記的方向的感興趣區(qū)域/興趣點起的順序顯不感興趣區(qū)域/興趣點。[0227]圖像拾取單元10包括相機操作者檢測部分90和面部表情判定部分92。
[0228]相機操作者檢測部分90判定由圖像拾取單元10拾取的圖像中是否捕獲了相機操作者，并且，如果捕獲了相機操作者，將用于指定在其中捕獲了相機操作者的區(qū)域的信息提供給P0I/R0I設(shè)置部分42的感興趣區(qū)域設(shè)置部分44。相機操作者檢測部分90可以通過將在所拾取圖像中的以大尺寸捕獲的人視作相機操作者來檢測相機操作者。感興趣區(qū)域設(shè)置部分44將在其中捕獲了相機操作者的區(qū)域設(shè)置為感興趣區(qū)域。P0I/R0I處理單元58執(zhí)行用于模糊在其中捕獲了相機操作者的區(qū)域的處理或利用周圍的紋理來填充該區(qū)域以擦除在其中捕獲了相機操作者的區(qū)域。
[0229]在全景圖像拾取中，當搖翻便攜終端200以拾取圖像時會頻繁地捕獲相機操作者。此外，當在通過便攜終端200的后側(cè)相機212拾取前方圖像的同時，使用前側(cè)相機210來同時在以180度不同的相對側(cè)上拾取圖像時，相機操作者會頻繁地被前側(cè)相機210捕獲。在這種情況下，通過檢測在其中捕獲了相機操作者的區(qū)域并將該區(qū)域設(shè)置為感興趣區(qū)域，可以從全景圖像中擦除不想要的相機操作者的圖像?？商鎿Q地，當有意捕獲相機操作者時，可以將在其中捕獲了相機操作者的區(qū)域設(shè)置為感興趣區(qū)域，使得當該P0I/R0I處理單元58執(zhí)行用于強調(diào)感興趣區(qū)域的圖像處理時，或者當顯示單元40顯示全景圖像時，可以調(diào)整全景圖像的顯示位置，使得感興趣區(qū)域可以顯示在顯示單元的中心。
[0230]面部表情判定部分92判定在通過后側(cè)相機212進行全景圖像拾取期間其圖像由前側(cè)相機210拾取的相機操作者的面部表情。公知的面部表情識別技術(shù)可以被用于面部表情的判定。如果判定在全景圖像拾取時該相機操作者具有該相機操作者微笑或凝視對象這樣的肯定的面部表情，則面部表情判定部分92響應(yīng)于該面部表情確定感興趣程度的值，例如，從O到100，并將該感興趣程度提供給P0I/R0I設(shè)置單元42的感興趣程度設(shè)置部分46。當感興趣區(qū)域設(shè)置部分44已經(jīng)設(shè)置了感興趣區(qū)域時，感興趣程度設(shè)置部分46將從面部表情判定部分92向其提供的感興趣程度設(shè)置到該感興趣區(qū)域。然而，當尚未設(shè)置感興趣區(qū)域時，感興趣程度設(shè)置部分46將整個拾取的圖像或在所拾取的圖像的中心附近的對象視為感興趣區(qū)域，并設(shè)置感興趣程度。P0I/R0I處理單元58按照所拾取的圖像的感興趣區(qū)域的感興趣程度執(zhí)行處理。例如，隨著感興趣程度增加而提升畫面質(zhì)量。
[0231]用戶接口單元50包括語音識別部分54和觸摸面板輸入部分56，并支持用戶對所拾取的圖像設(shè)置感興趣區(qū)域或設(shè)置標簽。
[0232]語音識別部分54從內(nèi)置于便攜終端200的麥克風(fēng)獲取全景圖像拾取期間用戶的語音，通過語音識別處理將該語音轉(zhuǎn)換為文本，并將該文本提供給標簽設(shè)置部分48。標簽設(shè)置部分48將該文本設(shè)置針對感興趣區(qū)域的標簽?？梢栽诒３终Z音為原樣而不轉(zhuǎn)換成文本的同時，對感興趣區(qū)域設(shè)置標簽?？梢皂憫?yīng)于音量的大小設(shè)置感興趣程度。如果沒有設(shè)置感興趣區(qū)域，則整個拾取的圖像或在所拾取圖像的中心附近的對象被視為感興趣區(qū)域，并且對該感興趣區(qū)域設(shè)置標簽。因此，用戶可以對在全景圖像拾取期間用戶所感興趣的對象添加諸如名稱的標簽信息。
[0233]觸摸面板輸入部分56在設(shè)置在顯示器240上的觸摸面板上接收來自用戶的用于指定所拾取的圖像的感興趣區(qū)域的信息，并將該用于指定感興趣區(qū)域的信息提供給感興趣區(qū)域設(shè)置部分44。
[0234]圖25是示出根 據(jù)實施例3的全景圖像生成裝置100對全景圖像的圖像拾取過程的流程圖。
[0235]圖像拾取時機判定單元14執(zhí)行圖像拾取時機判定處理(S60)。圖像拾取單元10在由圖像拾取時機判定單元14指定的圖像拾取時機或由用戶指定的圖像時機拾取圖像，并將拾取的圖像提供給幀存儲器12 (S62)。步驟S60和S62中的處理分別與圖10中描繪的實施例1中的全景圖像生成裝置100的步驟SlO和S12中的處理是相同的。
[0236]觸摸面板輸入單元56檢測是否存在從用戶到在其上顯示所拾取的圖像的顯示器240的觸摸面板的、指定感興趣區(qū)域的輸入(S64)。如果存在指定感興趣區(qū)域的觸摸面板輸入(S64為“是”)，則感興趣區(qū)域設(shè)置部分44對所拾取的圖像設(shè)置感興趣區(qū)域(S66)。如果不存在指定感興趣區(qū)域的觸摸面板輸入(S64為“否”)，則處理前進到步驟S68。
[0237]面部表情判定部分92判定在前側(cè)相機210所拾取的圖像中捕獲的相機操作者的面部表情(S68)。如果面部表情是類似笑臉的肯定的表情(S68為“是”)，則感興趣程度設(shè)置部分46響應(yīng)于該面部表情的肯定程度對感興趣區(qū)域設(shè)置感興趣程度(S70)。如果尚未設(shè)置感興趣區(qū)域，則面部表情判定部分92將例如位于所拾取圖像中心的物體或在圖像拾取圖像中比任何其它物體占據(jù)更大的區(qū)域的物體設(shè)置為感興趣區(qū)域，然后對該感興趣區(qū)域設(shè)置感興趣程度。如果面部表情不是類似笑臉的肯定的表情(S68為“否”)，處理前進到步驟S72。
[0238]語音識別部分54判定是否存在圖像拾取期間來自用戶的語音輸入(S72)。如果存在語音輸入(S72為“是”)，則語音識別部分54通過語音識別處理將輸入的語音轉(zhuǎn)換為文本，并且標簽設(shè)置部分48將該文本作為標簽設(shè)置給感興趣區(qū)域(S74)。如果尚未設(shè)置感興趣區(qū)域，則語音識別部分54將例如位于拾取的圖像中心的物體或在拾取圖像中比任何其它物體占據(jù)更大的區(qū)域的物體設(shè)置為感興趣區(qū)域，并對該感興趣區(qū)域設(shè)置標簽。如果沒有語音輸入(S72為“否”)，則處理前進到步驟S76。
[0239]姿勢檢測單元60獲取便攜終端200的姿勢信息，即，傾翻角、轉(zhuǎn)動角和搖翻角(S76)。分量圖像生成單元20將便攜終端200的姿勢信息和通過P0I/R0I設(shè)置單元42設(shè)置的感興趣區(qū)域信息與拾取的圖像相關(guān)聯(lián)地作為分量圖像存儲在分量圖像存儲單元22中(S78)。
[0240]圖26(a)至26(c)是示出對其設(shè)置了感興趣區(qū)域的拾取圖像的格式的示例的圖。
[0241]興趣點或矩形感興趣區(qū)域的信息被記錄在圖26(a)中作為示例描述的被稱為KML(Keyk)Ie標記語言)文件的地理信息標簽數(shù)據(jù)文件中。附圖標記450描述相機的搖翻角、傾翻角和轉(zhuǎn)動角的信息。附圖標記452描述圖像尺寸。附圖標記454描述圖像的方向是橫向格式還是縱向格式。
[0242]附圖標記456描述用于指定矩形感興趣區(qū)域的信息，并指定所述感興趣區(qū)域的中心點坐標和圖像尺寸。在這里，指定了感興趣區(qū)域的中心坐標(200，250)以及圖像的寬度為21，高度為15。圖26(b)描繪了由附圖標記456所描述的感興趣區(qū)域。
[0243]當指定了興趣點時，如附圖標記458所示，指定興趣點的坐標并將圖像尺寸指定為零。這里，指定了興趣點坐標(100，150)以及圖像的寬度為0，高度為O。圖26(c)描繪了由附圖標記458所描述的興趣 點。
[0244]附圖標記460描述從GPS接收器74獲得的維度和經(jīng)度信息。附圖標記462描述圖像拾取日期和時間。[0245]如果感興趣區(qū)域不是矩形區(qū)域，而是一個自由區(qū)域，則由于不能通過坐標指定感興趣區(qū)域，所以掩蔽圖像(mask image)被設(shè)置在α平面或?qū)Ｓ糜谂c全景圖像重疊的層中。
[0246]圖27(a)至27(f)是示出用戶在觸摸面板上設(shè)置感興趣區(qū)域的方法的圖。
[0247]由于在全景圖像拾取中，如圖27(a)所描繪的那樣，拾取較寬范圍上的景色圖像，因此不容易從合成的全景圖像識別出用戶對哪一個對象感興趣。因此，使得用戶在全景圖像拾取期間在觸摸面板上指定在顯示器240上顯示的拾取的圖像中的感興趣區(qū)域，如圖27(b)所描繪。
[0248]圖27 (C)示出一個示例,其中通過敲擊或雙擊(附圖標記430)物體來將觸摸面板上的所拾取圖像中的物體設(shè)置為感興趣區(qū)域。此時，包括該物體的區(qū)域被自動地從拾取的圖像中提取，并被設(shè)置為感興趣區(qū)域。
[0249]圖27 (d)示出一個示例,其中如附圖標記432所示,包圍物體以指定感興趣區(qū)域。接近由附圖標記432表示的自由曲線多邊形434被設(shè)置為感興趣區(qū)域，或者圍繞多邊形434的矩形區(qū)域436被設(shè)置為感興趣區(qū)域。
[0250]圖27 (e)示出一個示例,其中通過如附圖標記438所示將斜線放置在物體中來設(shè)置感興趣區(qū)域。對角線為該斜線的矩形區(qū)域440被設(shè)置為感興趣區(qū)域。
[0251]圖27(f)示出一個示例，其中如參考符號442a和442b所示通過利用兩個手指擠壓(pinch)物體來設(shè)置感興趣區(qū)域。具有與連接兩個手指的擠壓起點的線段相一致的對角線的矩形區(qū)域444被設(shè)置為感興趣區(qū)域。
[0252]圖28是示出設(shè)置 到α平面或?qū)Ｓ糜谂c全景圖像重疊的層上的感興趣區(qū)域的圖。當在拾取的圖像上通過由附圖標記470表示的自由曲線指定感興趣區(qū)域時，所述感興趣區(qū)域被設(shè)置為α平面或通過附圖標記474表示的專用層上的掩蔽區(qū)域472?？梢岳枚M制值記錄感興趣程度，使得I為在掩蔽區(qū)域中，O為在非掩蔽區(qū)域中。此外，在α平面的情況下，也可以根據(jù)掩蔽區(qū)域的α值以多個值記錄感興趣程度。
[0253]利用本實施例的全景圖像生成裝置，可以在全景圖像拾取期間設(shè)置感興趣區(qū)域。與其中對焦感興趣對象以釋放快門的普通圖像拾取不同，在全景圖像拾取中，拾取寬范圍內(nèi)的對象的圖像，因此，常常不知道用戶是對這些對象中的哪一個感興趣以執(zhí)行圖像拾取。在這方面，在本實施例中，由于在全景圖像拾取期間指定感興趣區(qū)域，所以可以掌握用戶在合成的全景圖像中感興趣的區(qū)域。此外，可以省略用于在合成之后的全景圖像中設(shè)置感興趣區(qū)域的勞力。此外，盡管在合成后的全景圖像的情況下無法在不滾動屏幕圖像的情況下顯示用戶想要感興趣的區(qū)域，但在圖像拾取期間，可以在當前拾取的圖像上簡單地指定感興趣區(qū)域。此外，可以響應(yīng)于用戶在圖像拾取期間的面部表情，自動地將用戶感興趣的物體設(shè)置為感興趣區(qū)域，并將通過語音的感興趣程度或標簽信息與該感興趣區(qū)域相關(guān)聯(lián)。
[0254](實施例4)
[0255]圖29是根據(jù)實施例4的全景圖像生成裝置100的功能框圖。本實施例的全景圖像生成裝置100具有使用便攜終端200的前側(cè)相機210和后側(cè)相機212兩者拾取全景圖像的功能。與以上參照圖24描述的實施例3的具有感興趣區(qū)域設(shè)置功能的全景圖像生成裝置100的組件共同的那些組件由相同的附圖標記表示，并且在此省略對它們的重復(fù)描述。
[0256]在本實施例中，作為用于全景圖像拾取的模式，以下三種模式是可用的。
[0257](I) “雙側(cè)全景圖像拾取模式”，其中通過前側(cè)相機210拾取的一半圓周的全景圖像和通過后側(cè)相機212拾取的另一半圓周的全景圖像被彼此連接以拾取整個圓周的全景圖像。
[0258](2) “具有P0I/R0I的全景圖像拾取模式”，其中由后側(cè)相機212拾取全景圖像，同時前側(cè)相機210被用于拾取相機操作者的面部圖像以設(shè)置興趣點或感興趣區(qū)域。
[0259](3) “單側(cè)全景圖像拾取模式”，其中通過前側(cè)相機210和后側(cè)相機212中的每一個拾取整個圓周的全景圖像。在這種情況下，獲得兩個整周全景圖像。然而，在圖像拾取之后，用戶將確定是將通過相機之一(具體地，通過以很大程度的可能性捕獲了相機操作者的前側(cè)相機210)拾取的整周全景圖像丟棄還是將這兩個整周全景圖像用作立體全景圖像或作為近視野/遠視野的全景圖像。
[0260]圖像拾取模式切換單元94執(zhí)行到上述全景圖像拾取模式之一的切換。用戶可以在設(shè)置屏幕圖像等上手動地設(shè)置全景圖像拾取模式，使得圖像拾取模式切換單元94執(zhí)行切換到用戶設(shè)置的圖像拾取模式?？商鎿Q地，圖像拾取模式切換單元94可以響應(yīng)于全景圖像的圖像拾取狀況自動地執(zhí)行切換到適當?shù)娜皥D像拾取模式。[0261]可替換地，可以以下面的方式來執(zhí)行圖像拾取模式之間的切換。具體地，在圖像拾取的開始時間點，前側(cè)相機210和后側(cè)相機212中的每一個拾取全景圖像，而不區(qū)分(I)的雙側(cè)全景圖像拾取模式和(3)的單側(cè)全景圖像拾取模式。然后，在完成半周圖像拾取的時間點，在通過前側(cè)相機210拾取的半周前側(cè)全景圖像和通過后側(cè)相機212拾取的半周后側(cè)全景圖像之間的圖像邊界上的一致性較好的情況下，圖像拾取模式被確定為(I)的雙側(cè)全景圖像拾取模式，但是在一致性不好的情況下，圖像拾取模式被確定為(3)的單側(cè)全景圖像拾取模式。該一致性不好的情況是在前側(cè)全景圖像中無意地捕獲了相機操作者(沒有設(shè)置感興趣區(qū)域的物體)的情況，其中前側(cè)相機210和后側(cè)相機212之間的水平視差導(dǎo)致前側(cè)全景圖像和后側(cè)全景圖像之間的視差的另一種情況，或類似的情況。
[0262]圖像拾取模式切換單元94通知圖像拾取單元10和全景圖像生成單元30如上所述設(shè)置的全景圖像模式。圖像拾取單元10按照指定的全景圖像拾取模式使用前側(cè)相機210和后側(cè)相機212拾取對象的圖像。全景圖像生成單元30組合圖像拾取單元10按照指定的全景圖像拾取模式所拾取的分量圖像以生成全景圖像。
[0263]當圖像拾取模式是雙側(cè)全景圖像拾取模式時，全景圖像生成單元30將通過組合后側(cè)相機212所拾取的后側(cè)分量圖像而得到的半周后側(cè)全景圖像和通過組合前側(cè)相機210所拾取的前側(cè)分量圖像而得到的以180度不同的相對側(cè)上的半周前側(cè)全景圖像彼此連接，以生成整周全景圖像。
[0264]當圖像拾取模式是單側(cè)全景圖像拾取模式時，全景圖像生成單元30丟棄前側(cè)相機210所拾取的整周前側(cè)分量圖像，并組合后側(cè)相機212所拾取的整周后側(cè)分量圖像以生成整周全景圖像。雖然這是因為在由前側(cè)相機210所拾取的圖像中頻繁地?zé)o意捕獲相機操作者，但是根據(jù)圖像拾取狀況，可以丟棄后側(cè)相機212所拾取的后側(cè)分量圖像而組合前側(cè)相機210所拾取的前側(cè)分量圖像以生成整周全景圖像。可替換地，全景圖像生成單元30可以在不丟棄由相機之一所拾取的分量圖像的情況下，從由兩個相機拾取的分量圖像合成整周全景圖像，并使用該整周全景圖像作為立體全景圖像或近視野/遠視野的全景圖像。
[0265]在便攜終端200被搖翻半周以允許前側(cè)相機210和后側(cè)相機212中的每一個拾取半周的全景圖像之后，當將前側(cè)相機210拾取的前側(cè)全景圖像和后側(cè)相機212拾取的后側(cè)全景圖像彼此連接以生成整周全景圖像時，圖像相關(guān)性判定單元96計算連接邊界附近的區(qū)域中的前側(cè)全景圖像和后側(cè)全景圖像之間的相關(guān)性，并判定兩個圖像之間是否具有固定的一致性。
[0266]如果前側(cè)全景圖像和后側(cè)全景圖像具有等于或大于預(yù)定閾值的相關(guān)性，則該圖像相關(guān)性判定單元96通知圖象拾取模式切換單元94和圖像拾取導(dǎo)引部分52該前側(cè)全景圖像和后側(cè)全景圖像之間具有一致性。然而，如果前側(cè)全景圖像和后側(cè)全景圖像具有小于預(yù)定閾值的相關(guān)性，則該圖像相關(guān)性判定單元96通知圖象拾取模式切換單元94和圖像拾取導(dǎo)引部分52該前側(cè)全景圖像和后側(cè)全景圖像之間不具有一致性。
[0267]如果該前側(cè)全景圖像和后側(cè)全景圖像之間具有一致性，則圖像拾取模式切換單元94將全景圖像拾取模式設(shè)置到雙側(cè)全景圖像拾取模式。然而，如果該前側(cè)全景圖像和后側(cè)全景圖像之間不具有一致性，則圖像拾取模式切換單元94將全景圖像拾取模式設(shè)置到單側(cè)全景圖像拾取模式。
[0268]如果該前側(cè)全景圖像和后側(cè)全景圖像之間具有一致性，則用戶接口單元50的圖像拾取導(dǎo)引部分52通知用戶該全景圖像拾取通過將便攜終端200搖翻半周而完成。此外，當該前側(cè)全景圖像和后側(cè)全景圖像在它們具有一致性時，通過對話等指引用戶，使得在另一個半周上執(zhí)行搖翻以執(zhí)行整周全景圖像拾取。
[0269]圖像拾取單元10的相機操作者檢測部分90檢測在前側(cè)相機210拾取的圖像中是否捕獲了相機操作者，并且，如果捕獲了相機操作者，則將該事實通知給用戶接口單元50的相機操作者圖像拾取許可部分57。相機操作者圖像拾取許可部分57顯示諸如“你的面部被捕獲?？梢詥?？ ”的對話，并允許用戶發(fā)出關(guān)于該用戶是否許可前側(cè)相機210對用戶本人的面部進行圖像拾取的指令。如果用戶許可對其面部進行圖像拾取，則圖像拾取模式切換單元94將全景圖像拾取模式設(shè)置到具有P0I/R0I的全景圖像拾取模式，并且直接執(zhí)行通過前側(cè)相機210的圖像拾取。如果用戶不許可對其面部進行圖像拾取，則丟棄在其中捕獲了相機操作者的圖像，并且在不再捕獲相機操作者的時間點，重新開始通過前側(cè)相機210的圖像拾取。當P0I/R0I設(shè)置部分42如同以上在實施例3的描述中所描述的設(shè)置感興趣區(qū)域或設(shè)置感興趣程度時，使用其中前側(cè)相機210捕獲了相機操作者的圖像。
[0270]圖30 (a)至30 (C)是示出便攜終端200的前側(cè)相機210和后側(cè)相機212之間的布置和視差的圖。
[0271]如果前側(cè)相機210和后側(cè)相機212如圖30(a)所描繪的那樣被布置于在水平方向上不同于彼此的位置處，則這兩個相機之間具有水平視差(視差)HP。如果前側(cè)相機210和后側(cè)相機212還被布置于在垂直方向上不同于彼此的位置處,貝U這兩個相機之間具有垂直視差VP。這里，為了便于描述，假定垂直視差VP是零或很小，使得可以忽略它而重視水平視差HP。
[0272]假定前側(cè)相機210和后側(cè)相機212各自具有如圖30 (b)所描繪的75度的水平視角。由于前側(cè)相機210和后側(cè)相機212之間具有水平視差HP，所以在通過前側(cè)相機210拾取的前側(cè)全景圖像和通過后側(cè)相機212拾取的后側(cè)全景圖像之間發(fā)生由于視差的偏移。具體地，當拾取近視野的圖像時，不能忽略在前側(cè)全景圖像和后側(cè)全景圖像之間出現(xiàn)的由于視差的偏移。
[0273]然而，當拾取遠視野的圖像時，可以忽略在通過前側(cè)相機210拾取的前側(cè)全景圖像和通過后側(cè)相機212拾取的后側(cè)全景圖像之間出現(xiàn)的由于視差的偏移。圖30(c)描繪了當可以忽略由于視差的偏移時前側(cè)相機210和后側(cè)相機212的布置和它們之間的視角。當可以忽略由于視差的偏移時，可以將前側(cè)相機210和后側(cè)相機212視為它們被布置在如圖30(c)所示的水平方向上的相同位置。如果假設(shè)兩個相機的水平視角都是75度，則，如果根據(jù)計算90度_(75度/2) = 52.5度的結(jié)果，如圖30(c)虛線所示，便攜終端200被向左和向右旋轉(zhuǎn)了 52.5度，則前側(cè)相機210可以拾取半周的180度的前側(cè)全景圖像，而后側(cè)相機212可以拾取半周的180度的平面全景圖像。因此，如果該半周的前側(cè)全景圖像和該半周的后側(cè)全景圖像彼此連接，則可以得到整周全景圖像。利用這樣的諸如52.5度的旋轉(zhuǎn)角度，用戶可以在觀看作為取景器的顯示器240的同時執(zhí)行全景圖像拾取。
[0274] 當要拾取近視野的圖像時，由于前側(cè)相機210的前側(cè)全景圖像和后側(cè)相機212的后側(cè)全景圖像之間具有由于視差的偏移，所以即使將半周的前側(cè)全景圖像和另半周的后側(cè)全景圖像彼此連接，也不能得到足夠的一致性，并且可能無法生成準確的整周全景圖像。因此，當要拾取近視野的圖像時，執(zhí)行另一半周的旋轉(zhuǎn)，使得通過前側(cè)相機210和后側(cè)相機212中的每一個拾取整周全景圖像。在這種情況下，由于得到彼此之間具有視差的兩個整周全景圖像，所以它們可被用作立體全景圖像以顯示三維全景圖像。另外，由于獲得了深度信息，所以也可以生成對象的三維模式。
[0275]在近視野圖像拾取的情況下，圖像拾取導(dǎo)引部分52可以促使用戶執(zhí)行整周圖像拾取以使得前側(cè)相機210和后側(cè)相機212中的每一個能夠拾取整周全景圖像。然而，在遠視野圖像拾取的情況下，圖像拾取導(dǎo)引部分52可以在前側(cè)相機210和后側(cè)相機212中的每一個拾取半周的全景圖像的時間點通知用戶完成了整周全景圖像拾取。用戶可以指定要拾取近視野的圖像還是遠視野的圖像。例如，可以自動地設(shè)置圖像拾取，使得當相機被設(shè)置為廣角側(cè)圖像拾取時，它被設(shè)置為近視野圖像拾取，但是當相機被設(shè)置為遠距側(cè)圖像拾取時，它被設(shè)置為遠視野圖像拾取。
[0276]圖31 (a)是示出由后側(cè)相機212拾取的圓柱形圖像340a至340f的圖。雖然它們與以上關(guān)于圖8B描述的圖像類似，但這里假設(shè)，如果組合圖像340a至340f，則得到如圖32(a)所描繪的半周的后側(cè)全景圖像。圖31(b)是示出由前側(cè)相機210拾取的圓柱形圖像350a至350f的圖。如果組合圖像350a至350f，則得到如圖32(b)所描繪的半周的前側(cè)全
景圖像。
[0277]圖32 (a)是示出由后側(cè)相機212拾取的后側(cè)全景圖像的圖，圖32 (b)是示出由前側(cè)相機210拾取的前側(cè)全景圖像的圖。圖33是示出一種狀態(tài)的圖，其中由后側(cè)相機212拾取的后側(cè)全景圖像和由前側(cè)相機210拾取的前側(cè)全景圖像彼此連接。在所述后側(cè)全景圖像和所述前側(cè)全景圖像彼此重疊的連接的邊界附近的區(qū)域370a至370d中，圖像相關(guān)性判定單元96計算前側(cè)全景圖像和后側(cè)全景圖像之間的相關(guān)性。當相關(guān)性高時，即，當具有彼此一致或接近的像素值的像素數(shù)量很大時，在兩個圖像彼此重疊的區(qū)域中，圖像相關(guān)性判定單元96判定該兩個圖像具有固定的一致性。然而，當兩個圖像相關(guān)性較低時，即，當具有彼此一致或接近的像素值的像素數(shù)量較小時，在其重疊區(qū)域中，圖像相關(guān)性判定單元96判定該兩個圖像之間不具有一致性。
[0278]圖34是示出由前側(cè)相機210拾取的前側(cè)全景圖像382和由后側(cè)相機212拾取的后側(cè)全景圖像380的示例的圖。在前側(cè)全景圖像382中較大地捕獲到相機操作者，并且在邊界附近的區(qū)域370d中(前側(cè)全景圖像382和后側(cè)全景圖像380沿著該區(qū)域370d彼此連接)，捕獲到了該相機操作者的手。因此，這兩個圖像之間的相關(guān)性較低。在這種情況下，圖像相關(guān)性判定單元96判定前側(cè)全景圖像382和后側(cè)全景圖像380之間的相關(guān)性是低的。因此，圖像拾取模式切換單元94將全景圖像拾取模式切換到其中僅通過后側(cè)相機212執(zhí)行全景圖像拾取的單側(cè)全景圖像拾取模式，并且圖像拾取導(dǎo)引部分52指導(dǎo)用戶進一步搖翻相機半周以拾取整周的后側(cè)全景圖像。
[0279]圖35是示出前側(cè)全景圖像382和后側(cè)全景圖像380之間的一致性較低時的導(dǎo)引的示例的圖。圖像相關(guān)性判定單元96在前側(cè)全景圖像382和后側(cè)全景圖像380各自被拾取了半周的時間點判定前側(cè)全景圖像382和后側(cè)全景圖像380之間不具有固定的一致性，然后圖像拾取導(dǎo)引部分52使得屏幕顯示對話386 “請進一步旋轉(zhuǎn)半周”并通過箭頭標記384指示圖像拾取方向。因此，當用戶拾取半周的后側(cè)全景圖像380時，用戶不停止圖像拾取，而是可以進一步搖翻后側(cè)相機212半周，以便拾取用于整個圓周的后側(cè)全景圖像。
[0280]圖36是示出根據(jù)實施例4的全景圖像生成裝置100的全景圖像的圖像拾取過程的流程圖。[0281]相機操作者檢測單元90檢測相機操作者本身是否被捕獲在前側(cè)相機210所拾取的圖像中(S80)。如果相機操作者被捕獲(S80為“是”)，則相機操作者圖像拾取許可部分57通過顯示對話(dialog)或通過輸出聲音詢問用戶是否應(yīng)拾取該用戶自身的圖像(S82)。如果用戶許可該用戶本身的圖像拾取(S82為“是”)，則圖像拾取模式切換單元94將全景圖像拾取模式設(shè)置到具有P0I/R0I的全景圖像拾取模式(S84)，然后執(zhí)行具有P0I/R0I的全景圖像拾取(S86)。步驟S86的具有P0I/R0I的全景圖像拾取處理與以上參照圖25描述的實施例3的全景圖像的圖像拾取過程類似。具體地，用戶的面部表情的圖像被前側(cè)相機210拾取，并且基于該面部表情設(shè)置感興趣區(qū)域和感興趣程度。此外，通過后側(cè)相機212執(zhí)行全景圖像拾取以生成具有P0I/R0I的全景圖像。
[0282]如果在步驟S82用戶不許可該用戶本身的圖像拾取(S82為“否”)，則當在前側(cè)相機210所拾取的圖像中仍捕獲到相機操作者時中斷全景圖像拾取(S88為“否”)。當?shù)却讲辉俨东@到相機操作者之后(S88為“是”)，執(zhí)行通過雙側(cè)相機的全景圖像拾取處理(S90)。
[0283]此外，當在步驟S80，在通過前側(cè)相機210拾取的圖像中沒有檢測到相機操作者時(S80為“否”)，開始通過雙側(cè)相機的全景圖像拾取處理(S90)。
[0284]圖37是示出圖36的步驟S90的通過雙側(cè)相機進行全景圖像拾取處理的詳細過程的流程圖。
[0285]在通過雙側(cè)相機的全景圖像拾取處理中，在開始圖像拾取的時間點，除非在全景圖像拾取模式被手動設(shè)置的情況下，全景圖像拾取模式是雙側(cè)全景圖像拾取模式還是單側(cè)全景圖像拾取模式不被確定。在完成半周的全景圖像拾取并且確定了半周的前側(cè)全景圖像和半周的后側(cè)全景圖像之間的一致性之前，全景圖像拾取模式要被確定為雙側(cè)全景圖像拾取模式和單側(cè)全景圖像拾取模式中的哪一個是未知的。
[0286]分量圖像拾取處理(SllO)執(zhí)行圖像拾取時機判定處理(SlO)、圖像拾取(S12)、姿勢信息獲取處理(S14)和以上參照圖10描述的實施例1的用于將姿勢信息與所拾取的圖像相關(guān)聯(lián)的處理(S16)。
[0287]如果未完成通過前側(cè)相機210和后側(cè)相機212的半周全景圖像拾取(S112為“否”)，則處理返回到步驟SllO以重復(fù)分量圖像拾取處理。
[0288]如果完成了通過前側(cè)相機210和后側(cè)相機212的半周全景圖像拾取(S112為“是”)，則圖像相關(guān)性判定單元96判定通過前側(cè)相機210拾取的半周的前側(cè)分量圖像和通過后側(cè)相機212拾取的半周的后側(cè)分量圖像之間的、在這兩個圖像沿其彼此連接的邊界的附近的重疊區(qū)域中的相關(guān)性程度(S114)。如果該重疊區(qū)域的相關(guān)性程度等于或高于預(yù)定閾值(SI 14為“是”)，則圖像拾取模式切換單元94將全景圖像拾取模式設(shè)置到雙側(cè)全景圖像拾取模式(S117)并且全景圖像生成單元30組合半周的前側(cè)分量圖像和半周的后側(cè)分量圖像以生成整周的全景圖像(S118)。如果該重疊區(qū)域的相關(guān)性程度低于預(yù)定的閾值(S114為“否”)，則圖像拾取模式切換單元94將全景圖像拾取模式設(shè)置到單側(cè)全景圖像拾取模式(S115)并且圖像拾取導(dǎo)引部分52指導(dǎo)用戶進一步執(zhí)行半周的圖像拾取(S116)。此后，處理前進到步驟S120的分量圖像拾取處理。
[0289]步驟S120的分量圖像拾取處理與步驟SllO的分量圖像拾取處理是相同的。如果未完成通過前側(cè)相機210和后側(cè)相機212的整周全景圖像拾取(S122為“否”)，則處理返回到步驟SllO以重復(fù)分量圖像拾取處理。
[0290]如果完成了通過前側(cè)相機210和后側(cè)相機212的整周全景圖像拾取(S122為“是”)，則向用戶發(fā)出關(guān)于是否丟棄整周的前側(cè)分量圖像的詢問(S124)。例如，如果用戶被捕獲在前側(cè)分量圖像中，則丟棄前側(cè)分量圖像。當要丟棄整周的前側(cè)分量圖像時(S124為“是”)，全景圖像生成單元30從整周的后側(cè)分量圖像合成整周的全景圖像(S126)。
[0291]如果不丟棄整周的前側(cè)分量圖像(S124為“否”)，則全景圖像生成單元30從整周的前側(cè)分量圖像合成整周前側(cè)全景圖像(S128)并從整周的后側(cè)分量圖像合成整周后側(cè)全景圖像(S130)。在這種情況下，整周前側(cè)全景圖像和整周后側(cè)全景圖像被用于獲得立體的全景圖像。此外，整周前側(cè)全景圖像可被用作近視野的全景圖像，而整周后側(cè)全景圖像被用作遠視野的全景圖像?？商鎿Q地，如果前側(cè)相機210和后側(cè)相機212的縮放比彼此不同，則也可以得到不同縮放比的兩張全景圖像。
[0292]利用本實施例的全景圖像生成裝置，可以使用便攜終端200的前側(cè)相機210和后側(cè)相機212兩者執(zhí)行全景圖像拾取。在兩個相機的安裝位置彼此偏移的情況下，在通過這些相機拾取的全景圖像之間出現(xiàn)視差，因此，可以獲取立體全景圖像。也可以通過前側(cè)相機210拾取近視野全景圖像和通過后側(cè)相機212拾取遠視野全景圖像。
[0293]此外，如果利用雙側(cè)相機，那么，即使便攜終端200不旋轉(zhuǎn)360度，也可以僅通過相對于相機的水平角度θ將便攜終端200旋轉(zhuǎn)90度-θ/2來拾取整周的全景圖像。因此，便于在便攜終端200的顯示器被視為取景器時簡單地執(zhí)行整周全景圖像拾取。
[0294]在上述示例中，描述了在便攜終端200中并入了前側(cè)相機210和后側(cè)相機212的情況下的全景圖像拾取，但也可以在便攜終端200中并入三個或更多的相機。此外，多個相機的光軸的位置可以在水平或垂直方向上不同，并且所述多個相機的光軸的方向可以彼此不同。光軸方向之間的差并不限于彼此相差180度的相反方向之間的差。在下文中，例舉內(nèi)置于便攜終端200的相機的變型。
[0295]圖38是示出一種便攜終端200的圖，其中并入了具有在位置和方向上彼此不同的光軸的兩個相機。在圖30(b)中，前側(cè)相機210和后側(cè)相機212的光軸的位置在水平方向上彼此不同，而圖38中的前側(cè)相機210和后側(cè)相機212不僅在光軸位置上彼此不同，而且在光軸方向上也彼此不同，前側(cè)相機210被傾斜地定向。
[0296]圖39是示出一種便攜終端200的圖，其中并入了具有在位置上彼此不同的光軸的三個相機。兩個后側(cè)相機212a和212b以及一個前側(cè)相機210被并入在便攜終端200中。三個相機212a、212b和210的光軸的位置彼此不同?？梢酝ㄟ^兩個后側(cè)相機212a和212b拾取立體全景圖像。
[0297]圖40是示出一種便攜終端200的圖，其中并入了具有在方向上彼此不同的光軸的三個相機。便攜終端200具有這樣的形狀，例如，圓柱形，并且在其前表面上具有顯示器240。當俯視便攜終端200時，三個相機211a、211b和211c基本均勻地布置在一個圓周上。三個相機211a、211b和211c的光軸的方位彼此不同。通過旋轉(zhuǎn)便攜終端200可以拾取整周的全景圖像。
[0298]圖41 (a)和41b)是示出一種便攜終端200的圖，其中并入了具有不同于彼此的性能的兩個相機。在圖41 (a)中，前側(cè)相機210的水平視角是50度，而后側(cè)相機212的水平視角為120度。以這種方式，可以在便攜終端200中并入多個具有彼此不同的視角的相機。
[0299]在圖41 (b)中，前相機210具有VGA分辨率和60fps (幀每秒)的幀速率，而后側(cè)相機212具有1200萬像素的分辨率和15fps的幀速率。前側(cè)相機210具有低分辨率，但其具有高幀速率，并且在移動體的圖像拾取中是有利的。后側(cè)相機212具有高分辨率時，但其具有低的幀速率，并且不適合于移動體的圖像拾取。然而，后側(cè)相機212在靜止體的圖像拾取中是有利的。以這種方式，可以在便攜終端200中并入多個在諸如分辨率或幀速率的性能上不同的相機。
[0300]圖42(a)至42(c)是示出安裝在便攜終端200上的相機的數(shù)量和方向的變型的圖。圖42(a)描繪了一個示例 ，其中相機211c安裝在便攜終端200的前面上，另一相機211a安裝在便攜終端200的后面上，又一相機211d安裝在便攜終端200的左側(cè)面上，再一相機211b安裝在便攜終端200的右側(cè)面上。圖42(b)描繪了一個示例，其中相機211a安裝在便攜終端200的后面上，另一相機211c安裝在便攜終端200的左側(cè)面上，又一相機211b安裝在便攜終端200的右側(cè)面上。圖42(c)描繪了一個示例，其中相機211a安裝在便攜終端200的后面上，另一相機211b安裝在便攜終端200的右側(cè)面上。雖然這里給出了便攜終端200的示例的描述，但這些相機也可以是車載相機。尤其是，在車載相機的情況下，相機的方位除了向前和向后的方位之外還可以被設(shè)置為向左和向右的方位。
[0301]圖43是示出一種便攜終端200的圖，其中并入了四個相機。相機211c安裝在便攜終端200的前面上，另一相機211a安裝在便攜終端200的后表面上，又一相機211d安裝在便攜終端200的左側(cè)面上，再一相機211b安裝在便攜終端200的右側(cè)面上。由于相機具有足夠大的水平視角，所以即使不在搖翻方向上旋轉(zhuǎn)便攜終端200，也可以通過四個相機211 a至211 d拾取全向全景圖像。然而，在不能在傾翻方向上執(zhí)行全向圖像拾取的情況下，可以通過在傾翻方向上旋轉(zhuǎn)便攜終端200來拾取天球的全景圖像。
[0302]圖44(a)和44(b)是示出一種便攜終端200的圖，其中并入了可以調(diào)整其方位的可移動相機。在圖44(a)中，安裝在便攜終端200的后面上的相機211a是固定相機，而安裝在便攜終端200的右側(cè)面上的另一相機211b是可移動照相機并且具有可手動地或自動地調(diào)整的方位。在圖44(b)中，安裝在便攜終端200的后面上的第一相機211a是固定相機，而第二相機211b是可移動相機，其方位可以向前和向后反向。因此，如果相機211b的方位被方向，則相機211b可以用作后側(cè)相機，也可以用作前側(cè)相機?？梢酝ㄟ^便攜終端200自動檢測可移動相機的方位。
[0303]以上描述的便攜終端200中并入的相機的變型是絕對示例性的，并且相機的各種其它組合可以是可用的。
[0304]通過以這種方式并入至少在它們之間的位置和光軸的方位中的一個上不同的多個相機，組合使用這些相機拾取的圖像以合成全向全景圖像。
[0305]圖像拾取模式切換單元94在復(fù)眼全景圖像拾取模式和單眼全景圖像拾取模式之間切換全景圖像拾取模式，在復(fù)眼全景圖像拾取模式中拾取通過連接由并入在便攜終端200中的多個相機拾取的全景圖像而形成的一個“復(fù)眼全景圖像”，在單眼全景圖像拾取模式中使用多個相機中的每一個拾取“單眼全景圖像”。
[0306]當全景圖像拾取模式是復(fù)眼全景圖像拾取模式時，全景圖像生成單元30組合通過所述相機拾取的多個分量圖像以生成單眼全景圖像，然后將這些相機的單眼全景圖像彼此連接以生成復(fù)眼全景圖像。在單眼全景圖像拾取模式的情況下，全景圖像生成單元30組合通過每個相機拾取的多個分量圖像以生成單眼全景圖像，然后組合這些相機的單眼全景圖像以生成和輸出立體全景圖像或在距離感上彼此不同的多個全景圖像，如近視野的全景圖像和遠視野的全景圖像。
[0307]圖像相關(guān)性判定單元96在各相機的單眼全景圖像彼此連接的邊界區(qū)域中判定要彼此連接的單眼全景圖像之間的相關(guān)性程度。當相關(guān)性程度等于或高于預(yù)定閾值時，全景圖像生成單元30將各相機的單眼全景圖像彼此連接以生成復(fù)眼全景圖像。雖然并入在便攜終端200中的多個相機在它們?nèi)蕴幱诟髯缘毓潭ǖ奈恢玫那闆r不能執(zhí)行全向全景圖像拾取，但如果在搖翻方向或傾翻方向上旋轉(zhuǎn)它們，則在其中可以執(zhí)行相機的圖像拾取的視場變得彼此重疊。通過評估在重疊區(qū)域中要彼此連接的單眼全景圖像之間的相關(guān)性，可以判定各相機的單眼全景圖像是否可以通過縫合處理彼此連接、各相機的單眼全景圖像是否應(yīng)作為彼此分離的圖像輸出或者是否應(yīng)丟棄相機之一的圖像。
[0308]以上已經(jīng)結(jié)合其實施例描述了本發(fā)明。實施例是示例性的，并且本領(lǐng)域技術(shù)人員應(yīng)認識到，對于實施例的組件和/或處理的組合的各種修改是可能的，并且這樣的修改包含在本發(fā)明的范圍內(nèi)。
[0309]盡管已經(jīng)采用天球全景圖像作為全景圖像的示例描述了實施例，但全景圖像不必是天球全景圖像，也可以是通過組合在圖像拾取方向連續(xù)改變時通過相機拾取的多個圖像而形成的圖像。
[0310]應(yīng)注意，本說明書中的“全景圖像”不限于狹義上的“全景”圖像，即，橫向格式或豎向格式的圖像、360度的全視野圖像等等，而僅僅是其目標是寬范圍的圖像。此外，盡管在實施例的描述中，示例中全景圖像被生成為合成圖像，要輸出的合成圖像不必是所謂的全景圖像，但本發(fā)明也可應(yīng)用于合成圖像是任意尺寸的普通圖像的情況。可替換地，要輸出的合成圖像可以是其中具有彼此不同的分辨率的多個圖像被分級的圖像?？梢耘渲眠@種分級的圖像，使得如果擴展如果圖像的某些區(qū)域，則擴展的區(qū)域被替換為更高分辨率的圖像。
[0311][附圖標記列表]
[0312]10圖像拾取單元，12幀存儲器，14圖像拾取時機判定單元，20分量圖像生成單元，22分量圖像存儲單元，24非圖像拾取區(qū)域判定單元，30全景圖像生成單元，32全景圖像存儲單元，40顯示單元，42POI/ROI設(shè)置單元，44感興趣區(qū)域設(shè)置部分44，46感興趣程度設(shè)置部分46，48標簽設(shè)置部分48，50用戶接口單元，52圖像拾取導(dǎo)引部分，54語音識別部分，56觸摸面板輸入部分，57相機操作者圖像拾取許可部分57，58POI/ROI處理單元，60姿勢檢測單元，62三軸陀螺傳感器，64三軸加速度傳感器，66方位檢測單元，68三軸地磁傳感器，70搖翻角-仰角計算單元，72位置檢測單元，74GPS接收器，80通信單元，82特征點提取單元，84自身位置估計單元，86相機位置偏移判定單元，90相機操作者檢測部分，92面部表情判定部分，94圖像拾取模式切換單元，96圖像相關(guān)性判定單元，100全景圖像生成裝置，200便攜終端，210前側(cè)相機，212后側(cè)相 機，240顯示單元。
[0313][工業(yè)應(yīng)用]
[0314]本發(fā)明可以用于生成合成圖像的技術(shù)。
【權(quán)利要求】
1.一種圖像生成裝置，包括: 特征點提取單元，被配置為在使用內(nèi)置于便攜設(shè)備的相機拾取的、并且具有彼此不同的搖翻角或仰角的多個分量圖像的重疊區(qū)域中提取特征點； 自身位置估計單元，被配置為同時在相機位置彼此偏移的兩個分量圖像中估計所述特征點的三維坐標值和所述相機位置的三維坐標值，所述特征點的三維坐標值和所述相機位置的三維坐標值彼此相關(guān)聯(lián)；以及 合成圖像生成單元，被配置為基于所估計的相機位置的三維坐標值，調(diào)整所述分量圖像的特征點的三維坐標值以校正所述分量圖像，并組合具有彼此不同的搖翻角或仰角的多個分量圖像以生成合成圖像。
2.根據(jù)權(quán)利要求1所述的圖像生成裝置，進一步包括: 圖像拾取導(dǎo)引部分，被配置為基于由所述自身位置估計單元估計的相機位置的三維坐標值顯示所述相機位置的運動軌跡。
3.根據(jù)權(quán)利要求2所述的圖像生成裝置，進一步包括: 相機位置偏移判定單元，被配置為基于由所述自身位置估計單元估計的相機位置的三維坐標值判定所述相機位置的偏移是否在可允許范圍內(nèi)； 當所述相機位置的偏移超過可允許范圍時，所述圖像拾取導(dǎo)引部分指示用戶校正所述相機位置。
4.根據(jù)權(quán)利要求3所述的圖像生成裝置，其中所述相機位置偏移判定單元設(shè)置用于判定所述相機位置的偏移是否在所述可允許范圍內(nèi)的閾值，并且設(shè)置所述閾值使得:隨著根據(jù)由所述自身位置估計單元估計的特征點的三維坐標值和所述相機位置的三維坐標值確定的到對象的距離增加，所述閾值具有更高的值。
5.根據(jù)權(quán)利要求4所述的圖像生成裝置，其中所述相機位置偏移判定單元設(shè)置第一閾值和高于所述第一閾值的第二閾值作為所述閾值；并且 所述圖像拾取導(dǎo)引部分: (a)當判定所述相機位置的偏移低于所述第一閾值時，不指示所述用戶校正所述相機位置，而是許可在所述相機位置處拾取分量圖像， (b)當判定所述相機位置的偏移等于或高于所述第一閾值但低于所述第二閾值時，指示所述用戶校正所述相機位置，并許可在所述相機位置處拾取分量圖像，以及 (C)當所述相機位置的偏移等于或高于所述第二閾值時，指示所述用戶校正所述相機位置，但不許可在所述相機位置處拾取分量圖像，直到所述相機位置變?yōu)橹辽俚陀谒龅诙撝怠?br> 6.根據(jù)權(quán)利要求5述的圖 像生成裝置，其中所述第一閾值是所述相機位置的可允許偏移量的上限，在該上限之內(nèi)即使不校正所述分量圖像也能夠組合所述分量圖像以生成合成圖像，所述第二閾值是所述相機位置的可允許偏移量的另一上限，在該另一上限之內(nèi)，如果校正了所述分量圖像，則能夠組合校正后的分量圖像以生成合成圖像；并且 當所述相機位置偏移判定單元判定所述相機位置的偏移等于或高于所述第一閾值但低于所述第二閾值時，所述合成圖像生成單元校正并組合所述分量圖像以生成合成圖像。
7.一種圖像生成方法，包括: 特征點提取步驟，在使用內(nèi)置于便攜設(shè)備的相機拾取的、并且具有彼此不同的搖翻角或仰角的多個分量圖像的重疊區(qū)域中提取特征點； 自身位置估計步驟，同時在相機位置彼此偏移的兩個分量圖像中估計所述特征點的三維坐標值和所述相機位置的三維坐標值，所述特征點的三維坐標值和所述相機位置的三維坐標值彼此相關(guān)聯(lián)；以及 合成圖像生成步驟，基于所估計的相機位置的三維坐標值，調(diào)整所述分量圖像的特征點的三維坐標值以校正所述分量圖像，并組合具有彼此不同的搖翻角或仰角的多個分量圖像以生成合成圖像。
8.一種存儲程序的計算機可讀記錄介質(zhì)，該程序使得計算機實現(xiàn): 特征點提取功能，在使用內(nèi)置于便攜設(shè)備的相機拾取的、并且具有彼此不同的搖翻角或仰角的多個分量圖像的重疊區(qū)域中提取特征點； 自身位置估計 功能，同時在相機位置彼此偏移的兩個分量圖像中估計所述特征點的三維坐標值和所述相機位置的三維坐標值，所述特征點的三維坐標值和所述相機位置的三維坐標值彼此相關(guān)聯(lián)；以及 合成圖像生成功能，基于所估計的相機位置的三維坐標值，調(diào)整所述分量圖像的特征點的三維坐標值以校正所述分量圖像，并組合具有彼此不同的搖翻角或仰角的多個分量圖像以生成合成圖像。
【文檔編號】G03B37/00GK103907340SQ201180074555
【公開日】2014年7月2日 申請日期:2011年11月7日 優(yōu)先權(quán)日:2011年11月7日
【發(fā)明者】古村京子, 平田真一, 山岸建 申請人:索尼電腦娛樂公司