圖像轉(zhuǎn)換裝置、攝像機(jī)、圖像轉(zhuǎn)換方法以及記錄有程序的記錄介質(zhì)的制作方法
【專利摘要】本發(fā)明提供圖像轉(zhuǎn)換裝置、攝像機(jī)、圖像轉(zhuǎn)換方法以及程序，其保持能夠?qū)D像連結(jié)成筒狀或者能夠同時觀察寬范圍(最大到360度)的全景圖像的特征不變，同時能夠?qū)⑷皥D像部分地放大或縮小。該圖像轉(zhuǎn)換裝置采用的結(jié)構(gòu)包括：圖像輸入單元，輸入全景圖像；以及圖像伸縮單元，改變?nèi)皥D像中的所希望的區(qū)域的放大率，以在全景圖像的連續(xù)的區(qū)域放大率連續(xù)地變化，從而使該全景圖像伸縮，圖像伸縮單元使圖像伸縮，以在全景圖像的長度方向上，伸縮后的圖像的長度收斂于原來的全景圖像內(nèi)。
【專利說明】圖像轉(zhuǎn)換裝置、攝像機(jī)、圖像轉(zhuǎn)換方法以及記錄有程序的記錄介質(zhì)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及進(jìn)行全景圖像的圖像轉(zhuǎn)換的圖像轉(zhuǎn)換裝置、攝像機(jī)、圖像轉(zhuǎn)換方法以及記錄有程序的記錄介質(zhì)。
【背景技術(shù)】
[0002]以往有如下的數(shù)碼照相機(jī)，即通過使拍攝方向在東西南北方向上旋轉(zhuǎn)360°的同時連續(xù)地進(jìn)行拍攝，并且將這些拍攝圖像合成，由此生成繞周圍一圈的圖像連接而成的全景圖像的數(shù)碼照相機(jī)。另外，還已知有如下的技術(shù):利用多個鏡頭拍攝周圍360°范圍，或者，使用超廣角鏡頭從上方拍攝周圍360°范圍，從而生成繞周圍一圈的圖像連接而成的全景圖像。
[0003]另外，作為與本發(fā)明相關(guān)的現(xiàn)有技術(shù)，在專利文獻(xiàn)1、2中，公開了通過指定全景圖像中的任意部位，從而除了全景圖像以外還將指定部位的放大圖像顯示輸出的裝置。另外，在專利文獻(xiàn)3中，公開了如下的技術(shù):將一邊使鏡頭的方向在水平方向和上下方向擺動一邊拍攝而得到的多個拍攝圖像在水平方向和上下方向上進(jìn)行銜接，從而生成全景圖像。在專利文獻(xiàn)4中，公開了如下的裝置:將在多個拍攝地點拍攝到的全景圖像作為氣球顯示，在地圖圖像的鳥瞰顯示上進(jìn)行顯示輸出，并且，能夠進(jìn)行該鳥瞰顯示的拉近放大和推遠(yuǎn)縮小操作。另外，在專利文獻(xiàn)5中，公開了對于使用廣角鏡頭進(jìn)行拍攝而得到的橫寬的圖像，部分地使放大率變化來擴(kuò)展圖像的技術(shù)。
[0004]現(xiàn)有技術(shù)文獻(xiàn)
[0005]專利文獻(xiàn)
[0006]專利文獻(xiàn)1:日本特開2003-092750號公報
[0007]專利文獻(xiàn)2:日本特開2005-148265號公報
[0008]專利文獻(xiàn)3:日本特開2007-159047號公報
[0009]專利文獻(xiàn)4:日本特開2007-110675號公報
[0010]專利文獻(xiàn)5:日本專利第4279643號公報

【發(fā)明內(nèi)容】

[0011]本發(fā)明要解決的問題
[0012]即使是包含繞周圍一圈的圖像的全景圖像，有時拍攝者或觀賞者也會產(chǎn)生想要將關(guān)注部分放大顯示的要求。另外，360°的全景圖像具有能夠?qū)畹膱D像連結(jié)成筒狀而生成連續(xù)的圖像的特征，鑒賞者有時即使對于平面的全景圖像也在頭腦中將圖像連結(jié)并想像成筒狀圖象。因此，即使在將關(guān)注部分放大的情況下，一般也會產(chǎn)生想要保持能夠?qū)D像連結(jié)成筒狀這樣的特征的要求。
[0013]另外，在監(jiān)視寬范圍(360° )的情況下會產(chǎn)生如下的要求，即想要觀看整體的同時部分地進(jìn)行放大來觀察。[0014]以往，不存在滿足這種要求的全景圖像的放大功能。
[0015]本發(fā)明的目的在于，提供圖像轉(zhuǎn)換裝置、攝像機(jī)、圖像轉(zhuǎn)換方法以及記錄有程序的記錄介質(zhì)，其保持能夠?qū)⑷皥D像連結(jié)成筒狀、或者能夠同時觀察寬范圍(最大到360° )這樣的全景圖像的特征不變，同時能夠?qū)⑷皥D像部分地放大或縮小。
[0016]解決問題的方案
[0017]本發(fā)明的圖像轉(zhuǎn)換裝置采用的結(jié)構(gòu)具備:圖像輸入單元，輸入全景圖像；以及圖像伸縮單元，改變所述全景圖像中的所希望的區(qū)域的放大率，以在所述全景圖像的連續(xù)的區(qū)域放大率連續(xù)地變化，從而使該全景圖像伸縮，所述圖像伸縮單元使圖像伸縮，以在所述全景圖像的長度方向上，伸縮后的圖像的長度收斂于原來的全景圖像內(nèi)。
[0018]發(fā)明的效果
[0019]根據(jù)本發(fā)明，能夠通過圖像伸縮單元將全景圖像部分地放大或縮小。進(jìn)而，圖像伸縮單元使圖像伸縮，以在全景圖像的眺望方向連續(xù)的范圍內(nèi)不使放大率不連續(xù)，因此，可以保持全景圖像的特征，即能夠?qū)D像連結(jié)成筒狀、或者能夠同時觀察寬范圍(最大到360。) ο
【專利附圖】

【附圖說明】
[0020]圖1是表示本發(fā)明實施方式的攝像機(jī)的結(jié)構(gòu)的框圖。
[0021]圖2是用于說明標(biāo)準(zhǔn)投影處理的準(zhǔn)備階段的、三維映射空間的圖。
[0022]圖3是表示在圖2的筒狀面所投影的全景圖像的圖。
[0023]圖4是用于說明標(biāo)準(zhǔn)投影處理的第一例的三維映射空間的圖。
[0024]圖5是表示圖4的標(biāo)準(zhǔn)投影處理后的全景圖像的圖。
[0025]圖6是用于說明標(biāo)準(zhǔn)投影處理的第二例的三維映射空間的圖。
[0026]圖7是表示圖6的標(biāo)準(zhǔn)投影處理后的全景圖像的圖。
[0027]圖8是用于說明標(biāo)準(zhǔn)投影處理的第三例的三維映射空間的圖。
[0028]圖9是表示圖8的標(biāo)準(zhǔn)投影處理后的全景圖像的圖。
[0029]圖10是用于說明標(biāo)準(zhǔn)投影處理的第四例的三維映射空間的圖。
[0030]圖11是表示圖10的標(biāo)準(zhǔn)投影處理后的全景圖像的圖。
[0031]圖12是用于說明標(biāo)準(zhǔn)投影處理的第五例的三維映射空間的圖。
[0032]圖13是表示圖11的標(biāo)準(zhǔn)投影處理后的全景圖像的圖。
[0033]圖14是用于說明全景圖像的變焦投影處理的三維映射空間的圖。
[0034]圖15是表示變焦投影處理中使用的第一筒狀面(原圖像面)和第二筒狀面(投影面)的相對距離的圖。
[0035]圖16中，圖16A是表示變焦投影處理前的全景圖像的圖，圖16B是表示變焦投影處理后的全景圖像的圖。
[0036]圖17是根據(jù)變焦投影處理后的全景圖像生成顯示數(shù)據(jù)的第一加工步驟?第三加工步驟的說明圖。
[0037]圖18是表示全景圖像的第一?第三顯示例的圖像圖。
[0038]圖19是用于說明變焦投影處理的第一變形例的三維映射空間的圖。
[0039]圖20是表示圖19的變焦投影處理后的全景圖像的圖。[0040]圖21是用于說明變焦投影處理的第二變形例的三維映射空間的圖。
[0041]圖22是表示圖21的變焦投影處理后的全景圖像的圖。
[0042]圖23是用于說明變焦投影處理的第三變形例的三維映射空間的圖。
[0043]圖24中，圖24A表示圖23的變焦投影處理前的全景圖像的圖，圖24B是表示圖23的變焦投影處理后的全景圖像的圖。
[0044]圖25是表示變焦投影用的第一筒狀面和第二筒狀面的相對配置的變化例(a-1)?(a-6),和與各相對配置對應(yīng)的變焦投影后的全景圖像(b-Ι)?(b_6)的圖。
[0045]圖26是用于說明指定放大方向的方法的第一例?第三例的圖。
[0046]圖27是表示在全景圖像中附加了表明各眺望方向的放大率的標(biāo)尺顯示的顯示例的圖像圖。
[0047]圖28是表不使全景圖像為多層結(jié)構(gòu)的第一?第二顯不例的不意圖。
[0048]圖29是表不為了用于被攝體跟蹤功能而按時間序列獲得的多個全景圖像的圖。
[0049]圖30是表示并用了被攝體跟蹤功能的變焦投影處理后的按時間序列的多個全景圖像的圖。
[0050]圖31是表示并用了被攝體跟蹤功能的情況下的按時間序列的多個全景圖像的顯示例的圖像圖。
[0051]圖32是用于說明使全景圖像伸縮的處理的變形例的圖，圖32A表示伸縮處理前的全景圖像的圖，圖32B是表示各眺望方向的放大率的曲線圖。
[0052]圖33是用于說明全景圖像的縱向的伸縮處理的示意圖。
[0053]圖34是表示縱向伸縮處理后的全景圖像的圖。
[0054]圖35中，圖35A是表示橫向伸縮處理前的全景圖像的圖，圖35B是表示各眺望方向的放大率的曲線圖。
[0055]圖36是用于說明全景圖像的橫向伸縮處理的示意圖。
[0056]圖37是表示縱橫向伸縮處理后的全景圖像的圖。
【具體實施方式】
[0057]以下，基于【專利附圖】

【附圖說明】本發(fā)明的實施方式。
[0058]圖1是表示本發(fā)明實施方式的攝像機(jī)的結(jié)構(gòu)的框圖。
[0059]如圖1所示，本實施方式的攝像機(jī)包括:通過拍攝而得到全景圖像的拍攝單元11 ；對全景圖像進(jìn)行后述的標(biāo)準(zhǔn)投影處理的標(biāo)準(zhǔn)投影單元12 ;作為圖像伸縮單元的變焦投影單元13 ;通過操作按鈕從外部接受操作輸入的輸入接受單元14 ;基于操作輸入進(jìn)行變焦投影處理的各種設(shè)定的變焦投影設(shè)定單元15 ;生成顯示數(shù)據(jù)并輸出圖像數(shù)據(jù)的圖像輸出單元16 ;以及從圖像輸出單元16輸入顯示數(shù)據(jù)并進(jìn)行顯示輸出的顯示器17等。
[0060]拍攝單元11例如也可以采取如下結(jié)構(gòu):對通過使用了魚眼鏡頭或反射鏡的全周圍攝像機(jī)而得到的全周圍圖像進(jìn)行全景展開，從而獲得作為原圖像的全景圖像?；蛘?，拍攝單元11構(gòu)成為，具有朝向多個方向的多個鏡頭以及將通過這些多個鏡頭而成像的光學(xué)圖像轉(zhuǎn)換為電信號的攝像元件，使用這些多個鏡頭可拍攝全周圍360°的范圍。并且，該拍攝單元11將使用多個鏡頭而拍攝到的多個圖像數(shù)據(jù)連結(jié)，來生成360°全周圍的圖像連成的全景圖像的圖像數(shù)據(jù)。拍攝單元11將這樣的全景圖像的圖像數(shù)據(jù)輸出到標(biāo)準(zhǔn)投影單元12。此外，作為拍攝單元11，也可以采用如下結(jié)構(gòu):搭載方位傳感器或陀螺傳感器，使用戶一邊朝向全周圍360°的各方向進(jìn)行旋轉(zhuǎn)一邊進(jìn)行連續(xù)拍攝，將通過該連續(xù)拍攝而得到的多個圖像數(shù)據(jù)連結(jié)，從而獲得如上所述的全景圖像。此外，作為拍攝單元11，也可以采用用于獲得360°的全景圖像的各種公知的結(jié)構(gòu)。
[0061]變焦投影設(shè)定單元15基于通過輸入接受單元14輸入的來自用戶的操作指令，進(jìn)行全景圖像的各眺望方向中要放大的方向和放大率的設(shè)定。而且，變焦投影設(shè)定單元15將表示該要放大的方向和放大率的數(shù)據(jù)提供給變焦投影單元13。
[0062]變焦投影設(shè)定單元15例如通過如下的處理，使用戶進(jìn)行要放大的眺望方向的輸入。即，首先，變焦投影設(shè)定單元15使顯示器17將變焦投影前的全景圖像和用于指示放大方向的指針圖像重疊進(jìn)行顯示輸出。然后，變焦投影設(shè)定單元15基于通過輸入接受單元14的操作輸入而移動指針圖像，且基于通過輸入接受單元14的確定放大方向的操作輸入，將在該操作輸入的時間點指針圖像所指示的眺望方向確定為要放大的方向。另外，對于放大率的輸入，例如，使用戶通過輸入接受單元14從I倍、2倍、5倍等多種放大率中選擇并進(jìn)行確定?；蛘撸瑢τ诜糯舐实妮斎?，也可以使用戶從連續(xù)的放大率中選擇并進(jìn)行確定。
[0063]標(biāo)準(zhǔn)投影單元12從拍攝單元11輸入全景圖像的圖像數(shù)據(jù)(圖像輸入單元)后，進(jìn)行標(biāo)準(zhǔn)投影處理，即，根據(jù)來自變焦投影設(shè)定單元15的輸入內(nèi)容而改變該全景圖像的視點高度和視野朝向。然后，標(biāo)準(zhǔn)投影單元12將處理后的全景圖像的圖像數(shù)據(jù)輸出到變焦投影單元13。對于該標(biāo)準(zhǔn)投影處理，將在后面進(jìn)行詳述。
[0064]變焦投影單元13進(jìn)行變焦投影處理，S卩，保持全景圖像的全周圍的各方向(以下，稱為眺望方向)的圖像能夠連續(xù)地連結(jié)這樣的全景圖像的特征的同時，根據(jù)來自變焦投影設(shè)定單元15的輸入內(nèi)容對一部分范圍進(jìn)行放大或縮小。而且，變焦投影單元13將處理后的全景圖像的圖像數(shù)據(jù)輸出到圖像輸出單元16。對于該投影處理，將在后面進(jìn)行詳述。
[0065]圖像輸出單元16從變焦投影單元13輸入連成圓筒狀的全景圖像的圖像數(shù)據(jù)，并且，進(jìn)行在任意位置將該全景圖像截斷而配置成平面狀的圖像處理，從而生成顯示數(shù)據(jù)。而且，圖像輸出單元16將該顯示數(shù)據(jù)輸出到顯示器17，并使其顯示輸出。
[0066][標(biāo)準(zhǔn)投影處理]
[0067]圖2表示用于說明由標(biāo)準(zhǔn)投影單元12執(zhí)行的標(biāo)準(zhǔn)投影處理的準(zhǔn)備階段的三維映射空間的圖，圖3表示表現(xiàn)了在圖2的筒狀面所投影的全景圖像的圖。
[0068]標(biāo)準(zhǔn)投影處理是用于對通過拍攝單元11得到的全景圖像，大致不改變放大率，而改變視點高度和全景圖像的水平面的傾斜的處理。在此，所謂水平面，不是與重力方向垂直的面，而是表示在以矢量表示全景圖像的繞周圍一圈的各眺望方向時，由該矢量的軌跡表示的平面。
[0069]標(biāo)準(zhǔn)投影單元12在開始標(biāo)準(zhǔn)投影處理時，如圖2所示那樣，在虛擬的三維映射空間構(gòu)建投影源的筒狀面40(圓柱40A的側(cè)面)。而且，標(biāo)準(zhǔn)投影單元12連續(xù)地將從拍攝單元11提供的全景圖像70映射到該筒狀面40。映射全景圖像70以在筒狀面40的面上全景圖像70的全周圍圖像相連。
[0070]這里，全景圖像70的中央的水平線LI被映射為筒狀面40的中心點O的高度。在標(biāo)準(zhǔn)投影處理中，例如由用戶將改變后的視點高度即視點VP指定為中心軸45的任意的高度。全景圖像70的帶狀部分VPa為與視點VP的高度對應(yīng)的圖像部分。另外，在標(biāo)準(zhǔn)投影處理中，例如由用戶指定想要關(guān)注的(想要設(shè)為顯示的中央的)點、即在全景圖像70上的任意部位的一個或多個點Pl?P4，并進(jìn)行轉(zhuǎn)換以使該關(guān)注點成為圖像的中央(其結(jié)果，改變了水平面的傾斜)。
[0071]圖4表示用于說明標(biāo)準(zhǔn)投影處理的第一例的三維映射空間的圖，圖5表示表現(xiàn)了圖4的標(biāo)準(zhǔn)投影處理后的全景圖像的圖。該第一例的標(biāo)準(zhǔn)投影處理是只指定了全景圖像70上的一個點Pl的情況下的處理。
[0072]在這種情況下，如圖4所示，標(biāo)準(zhǔn)投影單元12在虛擬的三維映射空間中，以與投影源的筒狀面40相同的直徑(圓柱40A的直徑)，構(gòu)建投影目的地的筒狀面50a (圓柱50Aa的側(cè)面)，以使中心點O相互重疊，并且線段O-Pl與中心軸55a垂直。這時，在指定了視點的情況下，將中心O的位置設(shè)為視點VP的位置。
[0073]構(gòu)建這樣的筒狀面50a后，標(biāo)準(zhǔn)投影單元12進(jìn)行將全景圖像70從投影源的筒狀面40投影到投影目的地的筒狀面50a的處理。以中心點O為投影視點，將筒狀面40的各像素投影到筒狀面50a，從而進(jìn)行該投影處理?；蛘撸部梢詫⒅行妮S55a作為投影中心進(jìn)行投影，以使各像素不沿縱向擴(kuò)展。
[0074]如圖5所示，通過這樣的標(biāo)準(zhǔn)投影處理，生成了在原來的全景圖像70上指定的點Pl與中央的水平線L2重疊的全景圖像80a。而且，生成了如下的全景圖像80a，該全景圖像80a的水平面如視線在點Pl的方向和其相反的方向上相互相反地升降那樣地傾斜。
[0075]此外，投影后的全景圖像80a成為全周圍的各眺望方向之中任意的方向的上端或下端的圖像發(fā)生欠缺的圖像，但是，通過在全部眺望方向上，修剪圖像的上端部和下端部，能夠生成帶狀的全景圖像80a并傳送到變焦投影單元13。
[0076]圖6表示用于說明標(biāo)準(zhǔn)投影處理的第二例的三維映射空間的圖，圖7表示表現(xiàn)了圖6的標(biāo)準(zhǔn)投影處理后的全景圖像的圖。該第二例的標(biāo)準(zhǔn)投影處理是指定了全景圖像70上的兩個點PU P2的情況下的處理。
[0077]在這種情況下，標(biāo)準(zhǔn)投影單元12在虛擬的三維映射空間中，以與投影源的筒狀面40相同的直徑，構(gòu)建投影目的地的筒狀面50b (圓柱50Ab的側(cè)面)，以使中心點O相互重疊，并且三角形0-P1-P2與圓柱50Ab的底面平行。而且，如上所述，標(biāo)準(zhǔn)投影單元12將全景圖像70從筒狀面40投影到筒狀面50b。在未指定視點VP的情況下，標(biāo)準(zhǔn)投影單元12將中心點O設(shè)為視點VP的位置。
[0078]如圖7所示，通過這樣的標(biāo)準(zhǔn)投影處理，生成了在原來的全景圖像70上指定的點P1、P2與中央的水平線L2b重疊的全景圖像80b。另外，因為點P1、P2的方向成為圖像80b的中央，所以視線在它們的相反方向上相互相反地升降，從而生成水平面傾斜的全景圖像80b。
[0079]圖8表示用于說明標(biāo)準(zhǔn)投影處理的第三例的三維映射空間的圖，圖9表示表現(xiàn)了圖8的標(biāo)準(zhǔn)投影處理后的全景圖像的圖。該第三例的標(biāo)準(zhǔn)投影處理是指定了全景圖像70上的兩個點P1、P2和視點VP的情況下的處理。
[0080]在這種情況下，標(biāo)準(zhǔn)投影單元12在虛擬的三維映射空間中，以與投影源的筒狀面40相同的直徑，構(gòu)建投影目的地的筒狀面50c (圓柱50Ac的側(cè)面)，以使三角形P1-P2-VP與圓柱50Ac的底面平行，并且視點VP成為新的中心點。而且，如上所述，標(biāo)準(zhǔn)投影單元12將全景圖像70從筒狀面40投影到筒狀面50c。[0081]如圖9所示，通過這樣的標(biāo)準(zhǔn)投影處理，在原來的全景圖像70上指定的點P1、P2與中央的水平線L2c重疊，作為從視點VP看到的圖像而生成以水平線L2c為中央的圖像即全景圖像80c。
[0082]圖10表示用于說明標(biāo)準(zhǔn)投影處理的第四例的三維映射空間的圖，圖11表示表現(xiàn)了圖10的標(biāo)準(zhǔn)投影處理后的全景圖像的圖。該第四例的標(biāo)準(zhǔn)投影處理是指定了全景圖像70上的三個點P1、P2、P3的情況下的處理。
[0083]在這種情況下，標(biāo)準(zhǔn)投影單元12在虛擬的三維映射空間中，以與投影源的筒狀面40相同的直徑，構(gòu)建投影目的地的筒狀面50d(圓柱50Ad的側(cè)面)，以使三角形P1-P2-P3與圓柱50Ad的底面平行并且新的中心點與三角形P1-P2-P3重疊。而且，如上所述，標(biāo)準(zhǔn)投影單元12將全景圖像70從筒狀面40投影到筒狀面50d。
[0084]如圖11所示，通過這樣的標(biāo)準(zhǔn)投影處理，生成了在原來的全景圖像70上指定的點P1、P2、P3與中央的水平線L2d重疊的全景圖像80d。
[0085]圖12表示用于說明標(biāo)準(zhǔn)投影處理的第五例的三維映射空間的圖，圖13表示表現(xiàn)了圖12的標(biāo)準(zhǔn)投影處理后的全景圖像的圖。該第五例的標(biāo)準(zhǔn)投影處理是指定了全景圖像70上的多于三個的點Pl?P4的情況下的處理。
[0086]在這種情況下，標(biāo)準(zhǔn)投影單元12在虛擬的三維映射空間中，以與投影源的筒狀面40相同的直徑，構(gòu)建投影目的地的筒狀面50e (圓柱50Ae的側(cè)面)，以使總體上與所指定的各點Pl?P4之間的距離短的特定的平面(包含水平線L2e的面)與圓柱50Ae的底面平行，并且新的中心點與上述特定的平面重疊。例如，可以利用最小平方法求得上述的特定的平面，以使該平面與各指定點Pl?P4之間的距離的平方和最小。而且，如上所述，標(biāo)準(zhǔn)投影單元12將全景圖像70從筒狀面40投影到筒狀面50e。
[0087]如圖13所示，通過這樣的標(biāo)準(zhǔn)投影處理，生成了在原來的全景圖像70上指定的各點Pl?P4總體上與中央的水平線L2e靠近的全景圖像80e。
[0088]而且，如上所述，將通過標(biāo)準(zhǔn)投影處理所生成的全景圖像80a?SOe發(fā)送到變焦投影單元13，進(jìn)行下面進(jìn)行說明的變焦投影處理。
[0089][變焦投影處理]
[0090]圖14表示用于說明全景圖像的變焦投影處理的三維映射空間的圖。圖15是表現(xiàn)在變焦投影處理中所使用的第一筒狀面和第二筒狀面的相對距離的圖。在第一筒狀面上，映射有從標(biāo)準(zhǔn)投影單元輸出的進(jìn)行了視點高度和傾斜等的位置調(diào)整的圖像，第二筒狀面為投影面。圖16A表示表現(xiàn)了從標(biāo)準(zhǔn)投影單元得到的變焦投影處理前的全景圖像的圖，圖16B表示表現(xiàn)了變焦投影處理后的全景圖像的圖。
[0091]如下所述那樣，由變焦投影單元13執(zhí)行變焦投影處理。即，變焦投影單元13首先如圖14所示那樣，在三維映射空間中，構(gòu)建第一筒狀面20(圓柱20A的側(cè)面)和第二筒狀面30 (圓柱30A的側(cè)面)。構(gòu)建這些第一筒狀面20和第二筒狀面30以使其中心軸(圓柱20A、30A之中心軸)相互平行，并且第二筒狀面30的縱向長度比第一筒狀面20長。而且，將這些第一筒狀面20和第二筒狀面30配置成，在縱向上，在第二筒狀面30的上端和下端之間包含第一筒狀面20的全部。另外，將這些第一筒狀面20和第二筒狀面30配置成，在水平方向(沿圓柱20A、30A的上表面或下表面的方向)上，第一筒狀面20之中心軸25從第二筒狀面30之中心位移，且包含于第二筒狀面30的圓筒內(nèi)。[0092]三維映射空間是在存儲器上構(gòu)建的虛擬的三維空間。基于從變焦投影設(shè)定單元15提供的放大方向和放大率的數(shù)據(jù)，確定第一筒狀面20和第二筒狀面30的位移方向和位移量。
[0093]如上所述，構(gòu)建第一筒狀面20和第二筒狀面30后，接下來，變焦投影單元13將從標(biāo)準(zhǔn)投影單元12提供的全景圖像80 (參照圖16A)映射到第一筒狀面20。在此映射全景圖像80，以在第一筒狀面20的面上全景圖像80的360°全周圍的圖像相連。
[0094]接著，變焦投影單元13以第一筒狀面20的中心點0(圓柱20A的中心軸25之中心點O)為投影視點，進(jìn)行將第一筒狀面20的面上的各像素投影映射到第二筒狀面30的處理。例如，變焦投影單元13將圖14的與直線a重疊的一列像素22放大投影到與直線b重疊的一列像素32上。另外，變焦投影單元13將圖14的與直線d重疊的一列像素21縮小投影到與直線c重疊的一列像素31上。變焦投影單元13也同樣地將其他范圍的像素連續(xù)地進(jìn)行投影。最后，變焦投影單元13得到投影到第二筒狀面30的圖像作為被伸縮的全景圖像90 (參照圖16B)。
[0095]如圖16B所示，通過這樣的變焦投影處理，得到如下的全景圖像90，S卩，包含360°全周圍的各眺望方向的圖像，并且一部分的方向的圖像被放大，其相反方向的圖像被縮小，且，以在連續(xù)的范圍內(nèi)不使放大率非連續(xù)的方式被伸縮的全景圖像90。圖16B中，示出了全景圖像90的左端和右端被截斷的圖，但是，在投影到第二筒狀面30的階段，全景圖像90的左端和右端為相連的狀態(tài)。因此，該截斷的部分的一方和另一方的放大率相同。
[0096]根據(jù)第一筒狀面20和第二筒狀面30之間的位移方向和位移量，確定全景圖像90的各部分的放大率。例如，如圖14和圖15所示，與直線a、b重疊的部分的圖像的放大率為“距離Ob/距離0a”，與直線C、d重疊的部分的圖像的放大率為“距離Oc/距離0d”。變焦投影單元13構(gòu)成為，根據(jù)從變焦投影設(shè)定單元15輸入的放大方向和放大率的數(shù)據(jù)，改變第一筒狀面20和第二筒狀面30之間的位移方向和位移量，從而生成以所指定的放大方向和放大率被伸縮的全景圖像90。變焦投影單元13向使表示所指定的放大方向的點與中心點O之間的距離最遠(yuǎn)的方向，使第一筒狀面20和第二筒狀面30位移。并且，變焦投影單元13根據(jù)所指定的放大率確定第一筒狀面20和第二筒狀面30之間的位移量。
[0097]此外，可以對變焦投影的方法進(jìn)行各種改變。例如，也可以構(gòu)成為，以不同的半徑構(gòu)建第一筒狀面20和第二筒狀面30，且，將它們進(jìn)行配置以使中心軸重疊，并且，使投影視點從中心位移來進(jìn)行變焦投影處理。通過這樣的變焦投影處理，能夠按繞周圍一圈的各眺望方向，以連續(xù)的放大率使全景圖像伸縮。
[0098][顯示數(shù)據(jù)生成處理]
[0099]圖17A?圖17C表示根據(jù)變焦投影處理后的全景圖像生成顯示數(shù)據(jù)的第一加工步驟?第三加工步驟的說明圖。
[0100]由圖像輸出單元16使用變焦投影處理后的全景圖像90的數(shù)據(jù)執(zhí)行顯示數(shù)據(jù)生成處理。在顯示數(shù)據(jù)生成處理中，圖像輸出單元16首先如圖17A所示那樣，進(jìn)行在長度方向上將全景圖像90等分成多個的截斷處理。例如，圖像輸出單元16在圖中的單點劃線處將全景圖像90截斷，而二等分成圖像片斷A?C和片斷B。接下來，如圖17B所示，圖像輸出單元16進(jìn)行將上述的片斷A?C與顯示器17的顯示框17A對應(yīng)而例如配置成多層(例如兩層)的處理。繼而，圖像輸出單元16對在顯示框17A的上下超出框外的部分，以及配置在上層的片斷B和配置在下層的片斷A、C發(fā)生重疊的部分進(jìn)行修剪，從而生成如圖17C所示那樣將全景圖像90為兩層結(jié)構(gòu)而收斂于顯示框17A內(nèi)的圖像的顯示數(shù)據(jù)。在此，全景圖像90的截斷部位92的一方和另一方的放大率相同，能夠直接將圖像連續(xù)地接合。另一截斷部位93也相同。此外，在修剪超出顯示框17A之外的部分時，即使在全景圖像90的長度方向的一部分的范圍被修剪的情況下，如果是可以忽視的程度的微小范圍，則能夠保持在頭腦中能夠?qū)⑷皥D像連結(jié)成筒狀這樣的作用。
[0101]圖18是表示全景圖像的第一?第三顯示例的圖像圖。如上所述，通過將由圖像輸出單元16生成的顯示數(shù)據(jù)輸出到顯示器17，從而將圖18A?圖18C那樣的顯示圖像輸出到顯示器17。圖18A是將變焦投影的倍率設(shè)為I倍(無變焦)時的顯示圖像的一例，圖18B是以對象物95的方向為中心將倍率設(shè)為2倍時的顯示圖像的一例，圖18C是以對象物95的方向為中心將倍率設(shè)為5倍時的顯示圖像的一例。通過由輸入接受單元14切換放大方向或放大率的選擇，從而圖18A?圖18C的顯示圖像被切換。
[0102]此外，圖17A所示的全景圖像的、映射到變焦投影單元13的投影面(第二筒狀面30)上的數(shù)據(jù)的端部實際上彼此相連。在將其截取時，不需要將360°的全部作為全景圖像數(shù)據(jù)使用，也可以構(gòu)成為，使用大致360°的區(qū)域。
[0103][變焦投影處理的變形例]
[0104]圖19表示用于說明變焦投影處理的第一變形例的三維映射空間的圖，圖20表示該變焦投影處理后的全景圖像的圖。
[0105]在第一變形例的變焦投影處理中，也與上述的變焦投影處理的筒狀面同樣地，構(gòu)建變焦投影前的全景圖像被映射的第一筒狀面20和該全景圖像被變焦投影的第二筒狀面30 (參照圖14)。在第一變形例中，如圖19所示，將投影視點01設(shè)定為第一筒狀面20的上端的高度來進(jìn)行投影處理。
[0106]如圖20所示，通過這樣的變焦投影處理，能夠使變焦投影處理后的全景圖像90a為，在360°全部眺望方向，上端為直線狀，放大部分向下方鼓起，縮小部分向上方縮進(jìn)的形狀。即使在這樣的變焦投影處理中，也能夠得到在連續(xù)的范圍內(nèi)放大率不會非連續(xù)的全景圖像90a。
[0107]圖21表示用于說明變焦投影處理的第二變形例的三維映射空間的圖，圖22表示該變焦投影處理后的全景圖像的圖。
[0108]在第二變形例的變焦投影處理中，也與圖14的筒狀面同樣地，構(gòu)建變焦投影前的全景圖像被映射的第一筒狀面20和該全景圖像被變焦投影的第二筒狀面30。在第二變形例中，如圖21所示，將投影視點02設(shè)定為第一筒狀面20的下端的高度來進(jìn)行投影處理。
[0109]如圖22所示，通過這樣的變焦投影處理，能夠使變焦投影處理后的全景圖像90b為，在360°全部眺望方向，下端為直線狀，放大部分向上方鼓起，縮小部分向下方縮進(jìn)的形狀。在這樣的變焦投影處理中，也能夠得到在連續(xù)的范圍內(nèi)放大率不會非連續(xù)的全景圖像90b。
[0110]圖23表示用于說明變焦投影處理的第三變形例的三維映射空間的圖，圖24A和圖24B分別表示該變焦投影處理前后的全景圖像的圖。
[0111]在第三變形例的變焦投影處理中，變焦投影單元13如下面那樣構(gòu)建第一筒狀面20a和第二筒狀面30a。即，變焦投影單元13使變焦投影前的全景圖像被映射的第一筒狀面20a在縱向上長，使全景圖像被變焦投影的第二筒狀面30a在縱向上短。另外，雖不特別地制限，但變焦投影單元13構(gòu)建第一筒狀面20a和第二筒狀面30a以使其直徑相同(圓柱20Aa、30Aa的直徑相同)。進(jìn)而，變焦投影單元13將兩者配置為，在縱向上第二筒狀面30a位于第一筒狀面20a的上端和下端之間，在水平方向上第一筒狀面20a之中心軸25位于第二筒狀面30a的內(nèi)側(cè)。
[0112]這樣進(jìn)行構(gòu)建后，變焦投影單元13將360 °全周圍的圖像相連而成的全景圖像SOh以填滿第一筒狀面20a的全周的方式進(jìn)行映射。如圖24A所示，作為該全景圖像80h，適用了在縱向上寬度長(像素數(shù)多)的圖像。接著，變焦投影單元13以第一筒狀面20a之中心點O為投影視點，將第一筒狀面20a的全景圖像80h投影到第二筒狀面30a。在此，由于投影前的全景圖像80h在縱向上寬度長，所以剪掉該全景圖像80h的上側(cè)或下側(cè)的一部分范圍后投影到第一筒狀面20a的全域。因此，如圖24B所示，投影后的全景圖像90h中，縱向的寬度為固定長度，放大了的部分為以畫面拉近放大的方式視野被縮窄的圖像，縮小的部分為如畫面推遠(yuǎn)縮小那樣看到較寬范圍的圖像。通過進(jìn)行這樣的映射，能夠使投影后的全景圖像90h與變焦的大小無關(guān)地成為相同寬度(上下方向)，由此，能夠改變顯示后的印象。
[0113]圖25表示表現(xiàn)了第一筒狀面20a和第二筒狀面30a的相對配置與變焦投影后的全景圖像90h之間的關(guān)系的圖。本圖(a-Ι)?(a-6)是表示上述相對配置的第一例?第六例的俯視圖，(b-Ι)?(b-6)是與第一例?第六例的相對配置對應(yīng)的全景圖像的圖。
[0114]在第三變形例的變焦投影處理中，如圖25(a_l)?(a_6)所示，通過對將第二筒狀面30從第一筒狀面20a之中心位移的方向進(jìn)行各種變化，如圖25(b-l)?(b_6)所示，可以放大或縮小全景圖像的各方向。
[0115]圖26A?圖26C表不用于說明指定放大方向的方法的第一例?第三例的俯視圖。在第三變形例的變焦投影處理中，通過經(jīng)由輸入接受單元14輸入放大方向和放大率，也可以進(jìn)行與這些輸入相應(yīng)的變焦投影處理。例如，圖26A所示的例是，通過輸入接受單元14輸入了映射于第一筒狀面20a的全景圖像80h的任意的點Pl和放大率(以圖26的箭頭的長度表示)的例。在這種情況下，如同圖所示，向所指定的點Pl存在的方向，以與放大率相應(yīng)的量使第二筒狀面30a位移，從而進(jìn)行變焦投影處理。由此，可以得到點Pl的方向被放大了的全景圖像90h。
[0116]圖26B所示的例是，通過輸入接受單元14輸入了映射于第一筒狀面20a的全景圖像80h的任意的兩個點P1、P2和各方向的放大率的例。在這種情況下，如該圖所示，根據(jù)將基于兩個方向的輸入的兩個矢量vl、v2合成的方向和長度，使第二筒狀面30a位移，從而進(jìn)行變焦投影處理。由此，可以得到所指定的兩個方向分別被放大了的全景圖像90h。定義上述的矢量vl、v2,以使其表示與所指定的點P1、P2的方向以及所指定的各放大率相應(yīng)的長度。
[0117]圖26C所示的例是，與圖26B的情況同樣地，通過輸入接受單元14輸入了全景圖像80h的任意的兩個點P1、P2和各方向的放大率的情況下的另外的例。在該例中，不將第二筒狀面30a的橫截面的形狀限制為圓形，而第二筒狀面30a僅在被指定的放大方向上從中心點O向遠(yuǎn)方鼓起。但是，限制了第二筒狀面30a的全周的長度以使其不發(fā)生變化。通過這樣構(gòu)成第二筒狀面30a來進(jìn)行變焦投影處理，能夠得到所指定的多個放大方向分別被局部放大的全景圖像90h。在此表示了限制第二筒狀面30a的全周的長度以使其不發(fā)生變化的例，但是，在全周的長度發(fā)生變化的情況下，將全景畫面的水平方向的長度歸一化為η倍(η=2，3，4..)，另一方面，在顯示時，將全景圖像按I/η的長度進(jìn)行劃分而排列地輸出在畫面上即可(參照圖28)。
[0118][全景圖像顯示的變形例]
[0119]圖27表示在全景圖像中附加了表現(xiàn)各眺望方向的放大率的標(biāo)尺顯示的顯示例。
[0120]在全景圖像90h的多個方向被局部放大的情況下，優(yōu)選的是，如圖27所示，附加標(biāo)尺顯示(放大率顯示圖像)98進(jìn)行顯示輸出，該標(biāo)尺顯示表現(xiàn)全景圖像90h的各眺望方向的放大率。通過該標(biāo)尺顯示98能夠使閱覽者直觀地理解哪個部分被放大哪個部分被縮小。
[0121]該標(biāo)尺顯示98通過刻度顯示來表現(xiàn)各眺望方向的放大率，使刻度之間隔與其部位的放大率成比例。預(yù)先對變焦投影前的全景圖像附加等間隔的刻度圖像，并將全景圖像與該刻度圖像一起進(jìn)行變焦投影，由此能夠制成該標(biāo)尺顯示98。此外，標(biāo)尺顯示也可以構(gòu)成為，例如利用顏色的漸變(越接近紅色放大率越高，越接近藍(lán)色放大率越低等)或利用顏色的濃淡來表示放大率。
[0122]圖28A?圖28C表示表現(xiàn)了全景圖像的第一?第三顯示例的示意圖。如在前面參照圖17說明的那樣，全景圖像成為橫長的圖像。因此，圖像輸出單元16以使橫向的長度大致均等的方式將全景圖像以縱向的刻線截斷成多個，并將它們排列成多層而進(jìn)行顯示。在圖28A?圖28C中，360°全周圍的圖像相連而成的全景圖像被劃分成兩個圖像框101、102，或者三個以上的圖像框111?113，并顯示成多層。在各層的圖像框101、102、111?113的左端和右端，圖像與利用圖中的虛線箭頭對應(yīng)起來的其他圖像框101、102、111?113的左端或右端連續(xù)。通過這樣的多層顯示，能夠有效地使用顯示器17的顯示框17A。
[0123]另外，通過將全景圖像的截斷位置向橫向一點一點地錯位來進(jìn)行連續(xù)顯示，圖像輸出單元16也能夠如圖28A?圖28C所示那樣，使多層結(jié)構(gòu)的全景圖像的顯示在橫向環(huán)繞移動(稱為滾動)。圖28A的例是使兩層的圖像框101、102在相同的滾動方向環(huán)繞移動的顯示例。圖28B的例是通過使第二層的圖像框102左右翻轉(zhuǎn)或者上下左右翻轉(zhuǎn)，從而在第一層和第二層使?jié)L動方向反轉(zhuǎn)而使其環(huán)繞移動的顯示例。通過包含這樣左右翻轉(zhuǎn)的圖像框102，實現(xiàn)各圖像框101、102的左端和右端的圖像的連續(xù)對方相互接近的配置。因此，鑒賞者容易想像到將全景圖像連結(jié)而成的筒狀圖像。圖28C的例是通過使第二層圖像框112左右翻轉(zhuǎn)或上下左右翻轉(zhuǎn)，從而在第一層和第二層之間以及在第二層和第三層之間使?jié)L動方向反轉(zhuǎn)而使其環(huán)繞移動的顯示例。即使是這樣的三層結(jié)構(gòu)的顯示，也能夠同様?shù)剡M(jìn)行使其環(huán)繞移動的顯示。
[0124]在該變形例中，圖像輸出單元16構(gòu)成為，對從變焦投影單元13提供的全景圖像，如上所述那樣進(jìn)行截斷圖像的處理，并將截斷后的圖像框101、102、111?113配置成多層而生成顯示數(shù)據(jù)。由此，能夠進(jìn)行圖28那樣的全景圖像的顯示輸出。
[0125][被攝體跟蹤功能和全景圖像的伸縮功能的協(xié)同動作例]
[0126]在圖29?圖31中表不用于說明使被攝體跟蹤功能和全景圖像的伸縮功能協(xié)同動作的動作例的圖。圖29A、圖29B是表示為了用于該被攝體跟蹤功能而周期性地(時刻tl、t2)獲得的多個全景圖像120a、120b的圖。圖30A、圖30B是表示并用了上述被攝體跟蹤功能的變焦投影處理后的多個全景圖像121a、121b的圖。圖31A、圖31B是表示并用上述被攝體跟蹤功能的情況下的多個全景圖像的顯示例122a、122b的圖像圖。
[0127]被攝體跟蹤功能是，通過將拍攝到拍攝圖像中的特定的對象物(例如人等)指定為跟蹤對象物，從而在其他拍攝圖像中檢索所指定的跟蹤對象物并檢測其位置的功能。使運(yùn)算處理裝置對跟蹤對象物的顏色和形狀進(jìn)行模式識別，并使運(yùn)算處理裝置進(jìn)行檢索對象的拍攝圖像的各部分與跟蹤對象物的模式之間的比較，能夠?qū)崿F(xiàn)跟蹤對象物的檢索。而且，輸出被判別為一致的部分的圖像位置，作為跟蹤對象物的位置。
[0128]在本實施方式中，對變焦投影單元13附加了上述的被攝體跟蹤功能的結(jié)構(gòu)，進(jìn)而，通過輸入接受單元14，能夠?qū)谝粋€拍攝圖像的任意的對象物指定為跟蹤對象物。上述的被攝體跟蹤功能未必一定附加在變焦投影單元13中，也能夠通過接受從拍攝單元11輸出的攝像圖像，并將圖像中的跟蹤對象物的位置輸入到輸入接受單元14的方法來實現(xiàn)。
[0129]在將通過拍攝單元11周期性地得到的多個全景圖像120a、120b輸入后，變焦投影單元13進(jìn)行所指定的跟蹤對象物(本實施方式中為人物像G)的檢索，并檢測其位置。而且，檢測出位置后，變焦投影單元13使全景圖像120a、120b環(huán)繞移動，以使該位置大致為中央。然后，變焦投影單元13進(jìn)行變焦投影的處理將中央放大，并如圖30A、圖30B那樣生成全景圖像121a、121b。而且，變焦投影單元13將這些圖像數(shù)據(jù)輸出到圖像輸出單元16。
[0130]圖像輸出單元16將全景圖像121a、121b進(jìn)行劃分而生成兩層結(jié)構(gòu)的顯示數(shù)據(jù)，并輸出到顯示器17。由此得到如圖31A、圖31B那樣跟蹤對象的人物像G在上段中央被放大的兩層結(jié)構(gòu)的全景圖像的顯示例122a、122b。
[0131]通過對連續(xù)拍攝到的多個全景圖像連續(xù)地進(jìn)行這樣的被攝體跟蹤處理和全景圖像的放大處理，能夠進(jìn)行如下的圖像顯示，即，移動中的跟蹤對象物被顯示在大致固定的位置，背景隨著跟蹤對象物的移動而移動。
[0132][全景圖像的伸縮處理的變形例]
[0133]在上述的實施方式中，提出了通過變焦投影處理，使全景圖像伸縮以在360°全周圍不使放大率非連續(xù)的例。但是，使全景圖像這樣伸縮的方法不限于變焦投影處理。例如，也能夠通過下面的利用運(yùn)算處理裝置的圖像轉(zhuǎn)換處理來實現(xiàn)。
[0134]圖32?圖37表示用于說明全景圖像的伸縮處理的變形例的圖。圖32A是表示伸縮處理前的全景圖像的圖，圖32B是表示各眺望方向的放大率的曲線圖，圖33是用于說明該變形例中的縱向伸縮處理的示意圖，圖34是表示該縱向伸縮處理后的全景圖像的圖。
[0135]在該變形例中，首先，如圖32A、圖32B所示那樣，對于通過拍攝單元11得到的全景圖像130，指定每個眺望方向的放大率。設(shè)定放大率以在眺望方向連續(xù)的范圍內(nèi)不使其非連續(xù)。全景圖像130的左端和右端表示相同的眺望方向，所以，將左端的放大率和右端的放大率被設(shè)定為相同值。例如預(yù)先在變焦投影設(shè)定單元15中作為函數(shù)數(shù)據(jù)或者表數(shù)據(jù)存儲這樣的對每個眺望方向的放大率的數(shù)據(jù)，并變焦投影設(shè)定單元15基于用戶的放大方向和放大率的指定適當(dāng)?shù)剡M(jìn)行選擇。
[0136]進(jìn)行上述那樣的放大率的指定后，運(yùn)算處理裝置如圖33所示那樣，對全景圖像130的像素列131a?131c的每列，進(jìn)行以所指定的放大率在縱向進(jìn)行拉伸或者縮合而構(gòu)成新的像素的圖像轉(zhuǎn)換處理。在通過該拉伸或縮合的處理，縱向的像素數(shù)超過規(guī)定數(shù)的情況下，運(yùn)算處理裝置對超過的部分進(jìn)行修剪，在不到規(guī)定數(shù)的情況下，例如附加規(guī)定顏色的像素來進(jìn)行補(bǔ)充。
[0137]通過這樣的縱向的伸縮處理，得到如圖34所示那樣使原來的全景圖像130以指定的放大率沿縱向伸縮的全景圖像132。
[0138]圖35A是表示橫向伸縮處理前的全景圖像的圖，圖35B是表示各眺望方向的放大率的曲線圖，圖36是用于說明橫向伸縮處理的示意圖，圖37是表示縱橫向伸縮處理后的全景圖像的圖。
[0139]如上所述那樣進(jìn)行縱向伸縮處理后，繼而運(yùn)算處理裝置執(zhí)行使該全景圖像132在橫向伸縮的圖像轉(zhuǎn)換處理。在該橫向伸縮處理中，也如圖35B所示那樣，使用在縱向伸縮處理中所使用的每個眺望方向的放大率。
[0140]在橫向伸縮處理中，如圖36所示那樣，運(yùn)算處理裝置對全景圖像132的全部像素列133a?133a、133b?133b，進(jìn)行根據(jù)所指定的放大率將像素列133a?133a在橫向進(jìn)行縮合而構(gòu)成新的像素列134a?134a的圖像轉(zhuǎn)換處理，以及根據(jù)所指定的放大率將像素列133b?133b擴(kuò)展而構(gòu)成新的像素列134b?134b的圖像轉(zhuǎn)換處理。此外，在此，按縱向、橫向的順序進(jìn)行了放大縮小，但也可以在縱向和橫向同時進(jìn)行放大縮小。
[0141]如圖37所示，通過這樣的橫向伸縮處理，能夠基于只在縱向伸縮了的全景圖像132，獲得以所指定的放大率也在橫向伸縮了的全景圖像135。即使在這樣的伸縮處理中，也能夠得到在眺望方向連續(xù)的范圍內(nèi)以連續(xù)的放大率縱橫伸縮后的全景圖像135。另外，全景圖像135被截斷后的左端和右端的伸縮率也相同。
[0142]如上所述，根據(jù)上述的實施方式的攝像機(jī)以及其圖像轉(zhuǎn)換裝置(變焦投影單元13、輸入接受單元14、變焦投影設(shè)定單元15、圖像輸出單元16)，能夠?qū)τ诎@周圍一圈的各眺望方向的拍攝圖像的全景圖像，按每個眺望方向改變放大率，使全景圖像的整體連續(xù)地伸縮。并且，在眺望方向連續(xù)的范圍內(nèi)，不使放大率非連續(xù)。因此，利用該使全景圖像伸縮的功能，能夠?qū)⑷皥D像中想要關(guān)注的部位放大顯示。另外，鑒賞者能夠容易地將伸縮后的全景圖像在頭腦中連結(jié)成筒狀并想像全周圍的景觀。
[0143]另外，根據(jù)上述實施方式的攝像機(jī)以及其圖像轉(zhuǎn)換結(jié)構(gòu)，通過將全景圖像從筒狀面投影到另外的筒狀面的變焦投影單元13的處理，能夠容易地生成自然平滑地伸縮的全景圖像。
[0144]此外，在上述實施方式中，示出了包括拍攝單元11和顯示器17的攝像機(jī)的結(jié)構(gòu)，但是，也可以將變焦投影單元13、輸入接受單元14、變焦投影設(shè)定單元15以及圖像輸出單元16作為圖像轉(zhuǎn)換裝置分開設(shè)置。
[0145]另外，在上述實施方式中，在利用標(biāo)準(zhǔn)投影單元使得想要觀看的區(qū)域位于畫面的中心附近的基礎(chǔ)上，使用變焦投影單元對想要觀看的區(qū)域進(jìn)行放大處理，但是，也可以不進(jìn)行標(biāo)準(zhǔn)投影單元的處理，而只是通過變焦投影單元的處理對想要觀看的區(qū)域進(jìn)行放大處理。
[0146]另外，在上述實施方式中，使用標(biāo)準(zhǔn)投影單元、變焦投影單元分兩階段進(jìn)行了投影，但是，也可以使用將標(biāo)準(zhǔn)投影單元和變焦投影單元的兩者一次能夠?qū)崿F(xiàn)的投影面。具體而言，例如，根據(jù)視線的高度使圖14中的圓柱20A上下移動，并根據(jù)水平方向的傾斜，使圓柱20A傾斜，由此一次實現(xiàn)位置調(diào)整和變焦這兩者。
[0147]另外，以輸入圖像為360度的全景圖像的情況進(jìn)行了實施方式的說明，但是，輸入并進(jìn)行變焦處理的圖像不需要限于360度。例如，即使是270度的廣角圖像、180度的廣角圖像、120度的廣角圖像、以及其他角度的廣角圖像，也能夠直接應(yīng)用。
[0148]在此表示作為輸入應(yīng)用了 270度的廣角圖像的情況的例。只要將所輸入的270度的處理前的廣角圖像置換為圖14的第一筒狀面20的全景圖像，之后，實施對于全景圖像實施的完全相同的處理即可。在進(jìn)行標(biāo)準(zhǔn)投影處理的情況下，將處理前的廣角圖像映射在圖2的筒狀面40上即可。這樣能夠保持(顯示)輸入圖像的全部水平方向的范圍即270度的范圍不變，而且對需要的部分進(jìn)行放大變焦。
[0149]但是，由于輸入圖像的范圍為270度，所以從O度到270度是連續(xù)的圖像，但是從270度到O度的部分不連續(xù)。這是輸入圖像自身的特性，不是由于處理的特性而產(chǎn)生的。
[0150]這樣，根據(jù)本發(fā)明，能夠保持(顯示)廣角的輸入圖像的水平方向的全部的范圍不變，而且對需要的部分進(jìn)行放大變焦，能夠在把握整體的同時將部分進(jìn)行放大顯示。由此，能夠同時進(jìn)行圖像的整體把握和詳細(xì)確認(rèn)，可得到極大的方便性。
[0151]另外，對于上述實施方式所示的、標(biāo)準(zhǔn)投影單元12、變焦投影單元13、變焦投影設(shè)定單元15、圖像輸出單元16的各結(jié)構(gòu)，可以由硬件構(gòu)成，也可以作為通過計算機(jī)執(zhí)行程序而實現(xiàn)的軟件來構(gòu)成。也可以將程序記錄于計算機(jī)可讀取的記錄介質(zhì)。記錄介質(zhì)也可以是閃速存儲器等非易失性的記錄介質(zhì)。
[0152]于2011年6月29日提交的日本專利申請?zhí)卦?011-144116號包含的說明書，附圖以及摘要的公開內(nèi)容，全部引用于本申請。
[0153]工業(yè)可利用性
[0154]本發(fā)明能夠適宜地適用于靜像照相機(jī)以及視頻攝像機(jī)等圖像的輸入裝置和圖像處理裝置。
[0155]標(biāo)號說明
[0156]11拍攝單元
[0157]13變焦投影單元
[0158]14輸入接受單元
[0159]15變焦投影設(shè)定單元
[0160]16圖像輸出單元
[0161]17顯示器
[0162]20,20a 第一筒狀面
[0163]30,30a 第二筒狀面
[0164]70，80，80h，90，90a，90b，90h、130、132、135 全景圖像
[0165]98標(biāo)尺顯示(放大率顯示圖像)
【權(quán)利要求】
1.圖像轉(zhuǎn)換裝置，具備: 圖像輸入單元，輸入全景圖像；以及 圖像伸縮單元，改變所述全景圖像中的所希望的區(qū)域的放大率，以在所述全景圖像的連續(xù)的區(qū)域放大率連續(xù)地變化，從而使該全景圖像伸縮， 所述圖像伸縮單元使圖像伸縮，以在所述全景圖像的長度方向上，伸縮后的圖像的長度收斂于原來的全景圖像內(nèi)。
2.如權(quán)利要求1所述的圖像轉(zhuǎn)換裝置， 所述圖像伸縮單元以使所述全景圖像中的與所述長度方向正交的縱向的線段不成為曲線的方式使圖像伸縮。
3.如權(quán)利要求2所述的圖像轉(zhuǎn)換裝置， 所述圖像伸縮單元進(jìn)行如下處理，從而將所述全景圖像放大或縮小，該處理為:在將所述全景圖像在三維映射空間內(nèi)映射到第一筒狀面后將該映射后的全景圖像投影到與所述第一筒狀面重疊的第二筒狀面的處理。
4.如權(quán)利要求2所述的圖像轉(zhuǎn)換裝置，還具備: 顯示數(shù)據(jù)生成單元，生成顯示數(shù)據(jù)，該顯示數(shù)據(jù)用于將由所述圖像伸縮單元伸縮后的所述全景圖像進(jìn)行顯示輸出， 所述顯示數(shù)據(jù)生成單元生成附加了放大率顯示圖像的圖像的所述顯示數(shù)據(jù)，該放大率顯示圖像表示所述全景圖像的每個眺望方向的放大率。
5.如權(quán)利要求3所述的圖像轉(zhuǎn)換裝置，還具備: 信息輸入單元，輸入表示所述全景圖像的要伸縮的眺望方向的信息， 所述圖像伸縮單元基于由所述信息輸入單元輸入的所述信息，改變所述第一筒狀面或所述第二筒狀面的形狀或相對配置。
6.攝像機(jī)，具備: 拍攝單元，具有對被攝體進(jìn)行成像的鏡頭、以及將由該鏡頭成像而得到的光學(xué)圖像轉(zhuǎn)換為電信號的攝像元件，并獲得全景圖像； 權(quán)利要求1所述的圖像轉(zhuǎn)換裝置，從所述拍攝單元輸入所述全景圖像并進(jìn)行使其伸縮的處理；以及 顯示單元，輸入由所述圖像轉(zhuǎn)換裝置伸縮后的所述全景圖像的顯示數(shù)據(jù)，并進(jìn)行圖像顯不O
7.圖像轉(zhuǎn)換方法，包括: 圖像輸入步驟，輸入全景圖像；以及 圖像伸縮步驟，改變所述全景圖像中的所希望的區(qū)域的放大率，以在所述全景圖像的連續(xù)的區(qū)域放大率連續(xù)地變化，從而使該全景圖像伸縮， 在所述圖像伸縮步驟中使圖像伸縮，以在所述全景圖像的長度方向上，伸縮后的圖像的長度收斂于原來的全景圖像內(nèi)。
8.記錄介質(zhì)，計算機(jī)可讀取地記錄有程序， 所述程序使所述計算機(jī)實現(xiàn)以下功能: 圖像輸入功能，輸入全景圖像；以及 圖像伸縮功能，改變 所述全景圖像中的所希望的區(qū)域的放大率，以在所述全景圖像的連續(xù)的區(qū)域放大率連續(xù)地變化，從而使該全景圖像伸縮， 所述圖像伸縮功能使圖像伸縮，以在所述全景圖像的長度方向上，伸縮后的圖像的長度收斂于原來的全景圖像內(nèi)。
9.如權(quán)利要求1所述的圖像轉(zhuǎn)換裝置，還具備: 對象跟蹤單元，對所述全景圖像中的對象進(jìn)行跟蹤， 所述圖像伸縮單元使所述全景圖像伸縮，以使所述全景圖像中的對象跟蹤單元的跟蹤對象的位置的放大率大于I。
【文檔編號】H04N5/225GK103650475SQ201280032158
【公開日】2014年3月19日 申請日期:2012年6月22日 優(yōu)先權(quán)日:2011年6月29日
【發(fā)明者】森村淳, 王親和, 森岡干夫 申請人:松下電器產(chǎn)業(yè)株式會社