成像設備、成像方法以及程序的制作方法

文檔序號：2745564閱讀：285來源：國知局

專利名稱：成像設備、成像方法以及程序的制作方法
技術領域：
本發(fā)明涉及一種具有將多個圖像合成在一起的功能的成像設備，并且涉及一種成
像方法及其程序。
背景技術：
在使用攝像放像機(camcorder)(內(nèi)置于VTR中的照相機)、數(shù)字照相機等的全景攝影中，當在每一個階段中停止照相機的掃動運動或者具有連續(xù)的掃動運動的同時拍攝全景圖像時，為了防止所得圖像模糊，需要以低速掃動(swe印)該照相機。
在后一種情況下，拍攝可能需要高速快門。對于這一點，日本專利No. 3928222提出了這樣一種拍攝方法，該拍攝方法能夠在保持圖像分辨率的同時快速掃動照相機。在這種拍攝方法中使用的技術是這樣一種技術，該技術能夠通過檢測照相機的掃動方向和掃動的角速度并在掃動的反方向上以相同的角速度改變光軸從而抵消所得圖像中的變化，使照相機好像它聚焦在一個點上的一樣拍攝圖像。盡管為了實施該控制方法需要使用加速度傳感器或者角速度傳感器，但是日本專利No. 3925299提出了這樣一種方法，即使在沒有設置傳感器和用于控制這些傳感器的反饋電路時，該方法也能夠適當?shù)乜刂乒廨S。在這種情況下，該方法被用作監(jiān)視系統(tǒng)，其中，施加到用于控制拍攝方向的步進電機的脈沖的數(shù)目被計數(shù)，并根據(jù)該計數(shù)值執(zhí)行光軸控制。

發(fā)明內(nèi)容
然而，根據(jù)預期的全景攝影，圖像的精確度高于諸如加速度傳感器或角速度傳感器的姿勢傳感器的精確度。因此，當只有姿勢傳感器的信息被用作姿勢信息時，該信息變得太不精確以至于不能在產(chǎn)生全景圖像中使用。因此，希望提供這樣一種成像設備，以及成像方法及其程序，即使在執(zhí)行全景攝影時，該成像設備也能夠抑制圖像畸變的出現(xiàn)并且獲得高精確度圖像。根據(jù)本發(fā)明的第一實施例，提供一種成像設備，該成像設備包括成像裝置，其通過光學系統(tǒng)對被攝體圖像進行成像；圖像信號處理部分，其具有使用給定的初始值將多個成像圖像合成為一個合成圖像的功能，所述成像圖像是在移動成像設備的同時獲得的；姿勢傳感器，其能夠獲得成像設備的姿勢信息；控制器，其處理姿勢傳感器的信息，以便基于
該處理結(jié)果和圖像信號處理部分的處理結(jié)果執(zhí)行協(xié)同控制(collaborative control)，其中圖像信號處理部分通過圖像識別獲得圖像的相對位置關系；并且，控制器基于姿勢傳感器的檢測信息獲得圖像的位置關系，基于獲得的位置關系和由圖像信號處理部分獲得的相對位置關系指定各個圖像的絕對位置關系，并且將絕對位置關系作為初始值提供給圖像信號處理部分。
4
優(yōu)選地，控制器通過獲得的位置關系和由圖像信號處理部分獲得的相對位置關系的選擇性協(xié)同(selective collaboration)來獲得相對位置關系，并且然后指定與各個圖像的中心方位相關的各個圖像的絕對位置關系。優(yōu)選地，姿勢傳感器包括角速度傳感器；并且，控制器使用角速度傳感器的檢測信息來對移動量(shift amount)進行積分以便計算相對位置關系，對由圖像信號處理部分獲得的相對位置關系執(zhí)行選擇性協(xié)同校正以便對相對位置信息進行積分，從而指定絕對位置關系。優(yōu)選地，姿勢傳感器包括角速度傳感器和加速度傳感器；并且，控制器使用角速度
傳感器的檢測信息來對移動量進行積分以便計算相對位置關系，對由圖像信號處理部分獲
得的相對位置關系執(zhí)行選擇性協(xié)同校正以便對相對位置信息進行積分，從而獲得指定絕對
位置關系的相對位置關系，并且控制器根據(jù)加速度傳感器的檢測信息來校正絕對位置。優(yōu)選地，圖像信號處理部分使用圖像的重疊區(qū)域來執(zhí)行圖像識別。優(yōu)選地，圖像信號處理部分通過在多個被選圖像的邊界處執(zhí)行塊匹配處理來提取
特定參數(shù)，以便對這些邊界執(zhí)行合成處理，從而使得被選圖像的邊界以重疊關系設置；基于
該參數(shù)對所有要合成的邊界執(zhí)行塊匹配處理；以同時并行的方式對所有邊界評估塊匹配處
理的結(jié)果；并且，執(zhí)行合成處理，以便通過更新光軸方向來減少誤差，從而減少在所有邊界
中的誤差。根據(jù)本發(fā)明的第二實施例，提供一種成像方法，該成像方法包括下述步驟使用成像裝置通過光學系統(tǒng)對被攝體圖像進行成像，該光學系統(tǒng)具有能夠在移動成像設備的同時改變其光軸的光軸改變元件；通過對成像圖像執(zhí)行圖像識別來獲得這些圖像的相對位置關系；基于姿勢傳感器的檢測信息，獲得這些圖像的位置關系；基于獲得的位置關系和通過圖像識別獲得的相對位置關系指定各個圖像的絕對位置關系；并且，使用絕對位置關系作為初始值，將多個成像圖像合成為一個合成圖像；成像圖像是在移動成像設備的同時獲得的。根據(jù)本發(fā)明的第三實施例，提供一種用于執(zhí)行成像處理的程序，該程序使計算機執(zhí)行下述處理使用成像裝置通過光學系統(tǒng)對被攝體圖像進行成像，該光學系統(tǒng)具有能夠在移動成像設備的同時改變其光軸的光軸改變元件；通過對成像圖像執(zhí)行圖像識別來獲得這些圖像的相對位置關系；基于姿勢傳感器的檢測信息，獲得這些圖像的位置關系；基于獲得的位置關系和通過圖像識別獲得的相對位置關系指定各個圖像的絕對位置關系；并且，使用絕對位置關系作為初始值，將多個成像圖像合成為一個合成圖像；成像圖像是在移動成像設備的同時獲得的。根據(jù)本發(fā)明的實施例，在移動成像設備的同時獲得的多個成像圖像被輸入到圖像信號處理部分。此外，由姿勢傳感器檢測到的成像設備的姿勢信息被輸入到控制器。圖像信號處理部分通過圖像識別獲得這些圖像的相對位置關系并將獲得的相對
位置關系提供給控制器。控制器基于姿勢傳感器的檢測信息獲得這些圖像的位置關系。此外，控制器基于獲得的位置關系和由圖像信號處理部分獲得的相對位置關系指定各個圖像的絕對位置關系，并將該絕對位置關系作為初始值提供給圖像信號處理部分。
圖像信號處理部分使用絕對位置關系作為初始值來將多個成像圖像合成為一個合成圖像。因此，根據(jù)本發(fā)明的實施例，即使在執(zhí)行全景攝影時，也可以抑制圖像畸變的出現(xiàn) 并獲得高精確度圖像。

圖1是示出采用根據(jù)本發(fā)明實施例的圖像處理設備的照相機設備的配置的例子的框圖；圖2是概念性地示出通過根據(jù)該實施例的照相機設備執(zhí)行廣角成像的情況的視圖；圖3是精確合成處理單元的框圖；圖4是以曲線圖的形式示出姿勢傳感器的輸出(掃動角速度)的視圖；圖5A和圖5B是用于解釋根據(jù)本實施例的第一配置的成像模式的視圖；圖6是示出CMOS圖像傳感器的曝光時間、存儲電荷的讀出時間，以及光軸控制時
間之間的關系的視圖；圖7A和圖7B是示出使用互功率譜(cross power spectrum) (CPS)在平移中的拼接(stitching)圖像的視圖；圖8是用于解釋通過塊匹配(BM)提取參數(shù)的處理的視圖，具體示出選擇四個條件良好的圖像的處理；圖9是用于解釋通過BM提取參數(shù)的處理的視圖，具體示出在邊界上的三個位置處執(zhí)行BM的例子；圖10是用于解釋通過BM提取參數(shù)的處理的視圖，具體示出由于存在透鏡畸變而導致BM的弓形結(jié)果；圖11是用于解釋通過BM提取參數(shù)的處理的視圖，具體示出由于不合適的傾斜角而導致左右方向上的誤差的情況；圖12是用于解釋通過BM提取參數(shù)的處理的視圖，具體示出這樣一種情況，其中，由于在左右邊界中存在垂直擴展和收縮而產(chǎn)生橫向偏差；圖13是用于解釋通過塊匹配(BM)處理提取參數(shù)的處理的視圖，具體示出在旋轉(zhuǎn) 圖像時產(chǎn)生的誤差的例子；圖14A和圖14B是用于解釋下述處理的視圖在執(zhí)行通過BM提取參數(shù)的處理后，通過將BM擴展到大量的圖像并且執(zhí)行平移，可以使誤差最小化；圖15是示出基于連續(xù)成像的圖像和傳感器信息的空間布置的方法的功能框圖；
圖16是示出通過將連續(xù)成像的圖像和傳感器信息相關聯(lián)來實現(xiàn)高精確度的方法的功能框圖，具體示出靜態(tài)傳感器值的零校正；圖17是示出通過將連續(xù)成像的圖像和傳感器信息相關聯(lián)來實現(xiàn)高精確度的方法的功能框圖，具體示出用于通過對移動信息(shiftinformation)的協(xié)同來實現(xiàn)高精確度的方法；圖18是角速度傳感器的零點校正處理的流程圖；
圖19是角速度傳感器的移動量校正處理的流程圖20是移動量獲取方法的流程圖；圖21是從成像圖像分配空間坐標的方法的流程圖；以及圖22A到圖22D是用于解釋用于計算掃動速度的處理的例子的視圖。
具體實施例方式
將參考附圖對本發(fā)明的實施例進行描述。圖1是示出作為根據(jù)本發(fā)明實施例的圖像處理設備的照相機設備的配置的例子的框圖。如圖2所示，本實施例的照相機設備10被配置為通過從一個點處在不同方向上自動地或手動地多次成像，從而獲得大量圖像(在圖2中為16X8 = 128個)。
照相機設備10被配置為在沒有褶皺(wrinkle)的情況下精確地合成大量的(例如幾千個)圖像，從而構(gòu)成所謂的全景圖像。也就是說，照相機設備10具有從由數(shù)字照相機成像的圖像產(chǎn)生全景圖像的功能，在該數(shù)字照相機上安裝有例如CMOS圖像傳感器(CIS)的固態(tài)成像裝置，并且該數(shù)字照相機以高速垂直或水平地掃動。根據(jù)本實施例的照相機設備10具有下述的第一到第五特征配置和功能。
將描述第一配置。當通過在移動照相機設備10的同時拍攝多個圖像并然后將成像圖像合成在一起而生成全景圖像時，使圖像聚焦的透鏡(移位透鏡(shift lens))的光軸被控制為抵消照相機的移動方向及其角速度。以這種方式，被移動的照相機可以如同其聚焦在一個點上的一樣拍攝圖像。
在本配置中，CIS (CMOS圖像傳感器)被用作固態(tài)成像裝置，并且圖像是通過對CIS 的中心方向上的部分線執(zhí)行上述操作來被成像的。也就是說，在與部分線的曝光時間和讀出時間之和相對應的時間期間執(zhí)行光軸控制，并且，在除了該對應的時間以外的其它時間期間，光軸被控制為返回到中心附近。此時照相機的拍攝方向垂直于CIS的線。照相機設備10將CIS的一部分分割成條狀(strip sh即e)，并且對條狀部分執(zhí)行光軸控制，從而即使當照相機以高速移動時，也在不降低分辨率的情況下以高幀率生成全景圖像。將描述第二配置。照相機設備10采用這樣一種技術，該技術使用通過圖像識別技術獲得的幀移動信息和從姿勢傳感器獲得的移動信息來空間布置連續(xù)成像的圖像。其信息不能通過該圖像識別獲取的部分由姿勢傳感器信息代替，并且姿勢傳感器信息用作用于在圖像識別中確認成功或者在圖像識別失敗時被使用的輔助坐標。被空間布置的圖像被合成為一個全景圖像。在這種情況下，照相機設備10被配置為這樣的照相機，該照相機通過從大約一個點處在不同方向成像多次，在主要被手持的狀態(tài)下使多個圖像成像。照相機設備10包含姿勢傳感器，該姿勢傳感器為三軸(或兩軸)加速度傳感器和三軸(或兩軸)角速度傳感器的其中之一或兩者。
照相機設備10具有記錄關于拍攝方向的姿勢信息和就地將多個成像圖像合成為一個圖像的功能，在該拍攝方向上各個圖像在成像中同時地被成像。照相機設備10借助于諸如塊匹配的圖像識別功能使用圖像的重疊區(qū)域來計算圖
像的相對位置關系，并且基于各種姿勢傳感器數(shù)據(jù)計算圖像的位置關系。然后，照相機設備10通過對計算得到的圖像的相對位置關系和位置關系的選擇
性協(xié)同來計算圖像的更精確的相對位置關系。其后，照相機設備10指定與各個圖像的中心方位例如光軸周圍的搖頭角(經(jīng)度)、傾斜角(緯度)、以及滾動角(rolling angle)(傾斜度)相關的各個圖像的絕對位置關系，并且將它們作為初始值來執(zhí)行精確的自動合成。
將描述第三配置。照相機設備10采用這樣一種技術，該技術通過用圖像識別技術獲得的幀移動信息和從姿勢傳感器獲得的移動信息相互關聯(lián)來記錄連續(xù)成像的圖像。照相機設備10計算由通過用圖像識別技術獲得的幀移動信息和從姿勢傳感器獲得的移動信息中的一種不能確定的如下信息，例如，圖像的像素視角、姿勢傳感器的靜態(tài) 值，以及姿勢傳感器值的對應像素視角。照相機設備10具有例如偏移量(offset)和增益的參數(shù)，因此能夠通過改變參數(shù)使得信息基本上與實際方向相同。照相機設備10通過三軸(或兩軸)加速度傳感器相對于重力方向的角度來靜態(tài) 地檢測靜態(tài)位置數(shù)據(jù)，并且將該位置數(shù)據(jù)用作姿勢信息的初始值。照相機設備10主要通過例如三軸角速度傳感器的時間積分值來計算在照相機的垂直和水平方向上的旋轉(zhuǎn)運動量，并且在使各個圖像成像時將該旋轉(zhuǎn)運動量用作方向數(shù) 據(jù)。借助于諸如塊匹配的圖像識別功能，照相機設備10使用圖像的重疊區(qū)域來計算圖像的相對位置關系。照相機設備10同時確定計算結(jié)果是否正確，并計算圖像的位置關系。當計算結(jié)果正確時，照相機設備10基于該位置關系的信息校正參數(shù)。當計算結(jié)果不正確時，照相機設備10使用基于已經(jīng)校正的參數(shù)獲得的姿勢傳感
器值來布置圖像。將描述第四配置。照相機設備10具有一旦檢測到運動被攝體的影響即輸出敦促用戶重新拍攝的警告信號的功能。對于運動被攝體的方向，照相機設備10具有這樣的功能確保被攝體的任意部分將出現(xiàn)在具有重疊比為50%或更大的至少兩個圖像中，以便借助于相鄰圖像之間的運動矢量的相似性匹配來檢測視差或被攝體的影響。也就是說，一旦檢測到運動被攝體或視差的影響，照相機設備10輸出敦促用戶重新拍攝的警告信號。在通過單個掃動使寬范圍被攝體的多個條狀圖像成像并且將其合成為一個圖像的照相機設備10中，檢測在近距離的被攝體受到了多少視差的影響，并且敦促用戶基于檢測結(jié)果重新拍攝在照相機視點附近的被攝體。
將描述第五配置。
8
照相機設備IO通過下述方式敦促用戶重新拍攝向用戶告知掃動角速度(用戶掃
動照相機的速度)的適當值，并且，如果掃動太快的話，則輸出警告信號。照相機設備10以曲線圖的形式將時間和姿勢傳感器(陀螺傳感器)的輸出(掃
動角速度)分別顯示在例如LCD的顯示單元18的屏幕的橫軸和縱軸上。由于在設置水平
視角、水平像素數(shù)和快門速度時確定最大掃動角速度，因此最大掃動角速度的60%到80%
作為適當范圍顯示在曲線圖上。具有上述特征的照相機設備10的更詳細的配置和功能將在下文描述。
照相機設備IO被配置為包括光學系統(tǒng)11、成像裝置12、模擬前端(AFE)電路13、姿勢傳感器單元14、驅(qū)動器15、系統(tǒng)控制器16、存儲器17、顯示單元18、操作單元19，以及揚聲器單元20。光學系統(tǒng)11將被攝體圖像聚焦到成像裝置12的成像平面上。光學系統(tǒng)11被配置為包括普通透鏡111、作為光軸改變元件的移位透鏡112，以
及機械快門113。除了使圖像聚焦的功能外，移位透鏡112還具有通過驅(qū)動器15的驅(qū)動來改變光軸方向的功能。成像裝置12由例如CM0S(互補型金屬氧化物半導體)裝置或CCD(電荷耦合器件)構(gòu)成。在本實施例中，將CMOS圖像傳感器作為例子進行描述。在上述的第一配置中， CMOS圖像傳感器用作固態(tài)成像裝置。成像裝置12借助于按矩陣布置在半導體基底上的光學傳感器檢測由光學系統(tǒng)11 獲得的被攝體圖像從而生成信號電荷，通過垂直信號線和水平信號線讀取該信號電荷，然后輸出被攝體的圖像信號。當成像裝置12由CMOS圖像傳感器構(gòu)成時，由作為電子快門的巻簾快門(rolling shutter)和整體快門(global shutter)來執(zhí)行曝光控制。曝光控制由系統(tǒng)控制器16執(zhí) 行。 AFE電路13從成像裝置12去除例如包含在圖像信號中的固定模式噪聲，通過自動增益控制的操作穩(wěn)定信號電平，并將所得圖像信號輸出到系統(tǒng)控制器16。
姿勢傳感器14檢測照相機設備10的位置以將檢測結(jié)果提供給系統(tǒng)控制器16。
例如，姿勢傳感器14由三軸加速度傳感器141和三軸角速度傳感器142構(gòu)成。
加速度傳感器141能夠靜態(tài)地獲知其相對于重力方向的角度，因此檢測傾斜角和滾動角。然而，加速度傳感器141不能檢測搖頭角。因此，角速度傳感器142用于獲得偏移角(shift angle)。角速度傳感器142也稱為陀螺傳感器，并且能夠在旋轉(zhuǎn)期間將角速度作為電壓信號檢測，并且通過對該電壓信號積分來計算角度。此外，由于角速度傳感器142被配置為三軸傳感器，因此其可以檢測搖頭角、傾斜角，以及滾動角。驅(qū)動器15在系統(tǒng)控制器16的控制下改變光學系統(tǒng)11的移位透鏡112的光軸。
系統(tǒng)控制器16是用于對來自AFE電路13的輸出信號執(zhí)行顏色校正處理、多個圖像的合成處理、自動曝光控制和自動白平衡控制等的電路。系統(tǒng)控制器16被配置為包括圖像信號處理部分161和作為控制器的微型計算機(ii -CON) 162。圖像信號處理部分161具有精確合成處理單元，該精確合成處理單元被配置為能
夠在沒有褶皺的情況下精確合成從一個點處在不同方向上多次拍攝的大量圖像。如圖3所示，精確合成處理單元1611包括第一顏色校正功能部分16111、合成功
能單元16112，以及第二顏色校正功能單元16113。圖像信號處理部分161將多個成像圖像合成在一起，從而生成全景圖像，這些圖像是在移動照相機設備10的同時獲得的。微型計算機162根據(jù)姿勢傳感器14的檢測結(jié)果控制使圖像聚焦的透鏡(移位透鏡)的光軸，從而抵消照相機的移動方向和角速度。當CMOS圖像傳感器被用作固態(tài)成像裝置時，微型計算機162控制驅(qū)動器15，以在與CMOS圖像傳感器的部分線的曝光時間和讀出時間之和相對應的時間期間執(zhí)行上述光軸控制，并在除了該對應的時間以外的其它時間期間將光軸返回到中心附近。此時照相機的拍攝方向垂直于CMOS圖像傳感器的線。微型計算機162將CMOS圖像傳感器的一部分分割成條狀，并且對條狀部分執(zhí)行光軸控制，從而即使當照相機以高速移動時，也可以在不降低分辨率的情況下以高幀率生成全景圖像。微型計算機162對角速度傳感器142的檢測信號進行積分從而計算照相機設備10 的旋轉(zhuǎn)角，并根據(jù)計算得到的旋轉(zhuǎn)角控制移位透鏡112的光軸的變化量。
或者，圖像信號處理部分161可以檢測相鄰成像圖像的運動分量，并且微型計算機162可以根據(jù)檢測到的運動分量控制光軸的變化量。或者，微型計算機162可以基于計算得到的旋轉(zhuǎn)角和運動分量控制光軸的變化微型計算機162將關于使各個成像圖像成像的拍攝方向的姿勢信息記錄在存儲器17中。圖像信號處理部分161和微型計算機162借助于諸如塊匹配的圖像識別功能使用圖像的重疊區(qū)域來計算各個圖像的相對位置關系，并且基于各種姿勢傳感器數(shù)據(jù)計算圖像的位置關系。然后，微型計算機162通過對計算得到的圖像的相對位置關系和位置關系的選擇性協(xié)同來計算圖像的更精確的相對位置關系。其后，微型計算機162指定與各個圖像的中心方位例如光軸周圍的搖頭角(經(jīng)
度)、傾斜角(緯度)、以及滾動角(傾斜度)相關的各個圖像的絕對位置關系。圖像信號處理部分161將它們作為初始值來執(zhí)行精確的自動合成。微型計算機162計算由通過用圖像識別技術獲得的幀移動信息和從姿勢傳感器
獲得的移動信息中的一種不能確定的如下信息，例如圖像的像素視角、姿勢傳感器的靜態(tài)
值，以及姿勢傳感器值的對應像素視角。微型計算機162具有例如偏移量和增益的參數(shù)，因
此能夠通過改變參數(shù)來使得該信息基本上與實際方向相同。微型計算機162通過三軸(或兩軸)加速度傳感器相對于重力方向的角度來靜態(tài) 地檢測靜態(tài)位置數(shù)據(jù)，并且將該位置數(shù)據(jù)用作姿勢信息的初始值。微型計算機162主要通過例如三軸角速度傳感器142的時間積分值來計算在照相機的垂直和水平方向上的旋轉(zhuǎn)運動量，并且在使各個圖像成像時將該旋轉(zhuǎn)運動量用作方向數(shù)據(jù)。微型計算機162借助于諸如塊匹配的圖像識別功能使用圖像的重疊區(qū)域來計算
圖像的相對位置關系，而且還在計算圖像的位置關系時同時確定計算結(jié)果是否正確。當計算結(jié)果正確時，微型計算機162基于該位置關系的信息校正參數(shù)。當計算結(jié)果不正確時，微型計算機162使用基于已經(jīng)校正的參數(shù)獲得的姿勢傳感
器值來布置圖像。微型計算機162借助于顯示單元18和/或揚聲器單元20通過顯示提示和/或輸出警告聲音來輸出警告信號，從而在一旦檢測到移動被攝體的影響時敦促用戶重新拍攝。
關于對運動被攝體的檢測，微型計算機162確保被攝體的任意部分將出現(xiàn)在具有重疊比為50%或更大的至少兩個圖像中，以便借助于相鄰圖像間的運動矢量的相似性匹配來檢測視差或被攝體的影響。也就是說，一旦檢測到被攝體或視差的影B向，微型計算機162輸出敦促用戶重新拍攝的警告信號。微型計算機162基于檢測結(jié)果檢測在近距離的被攝體受到了多少視差的影響，從而敦促用戶重新拍攝在照相機視點附近的被攝體微型計算機162通過下述方式來敦促用戶重新拍攝向用戶告知掃動角速度(用戶掃動照相機的速度)的適當值，并且，如果掃動太快，則借助于顯示單元18和/或揚聲器單元20通過顯示提示和/或輸出警告聲音來輸出警告聲音。微型計算機162以曲線圖的形式將時間和姿勢傳感器(陀螺傳感器)的輸出(掃動角速度)分別顯示在例如LCD的顯示單元18的屏幕的橫軸和縱軸上。由于在設置水平視角、水平像素數(shù)和快門速度時確定最大掃動角速度，因此如圖4所示，最大掃動角速度的 60%到80%作為適當范圍RNG顯示在曲線圖上。
對操作流程的概述如下。1在操作單元19的開始按鈕(start button)被按下的情況下掃動照相機，然后開始按鈕被釋放。2如圖4所示，在開始按鈕處于按下狀態(tài)的期間的掃動角速度顯示在顯示單元
18的屏幕上。3當掃動角速度低于適當范圍RNG時不輸出警告信號，但是當掃動角速度高于該適當范圍時將輸出警告信號。在下文中，將詳細描述上述的第一配置到第五配置。
第一配置到第五配置中的控制主要由系統(tǒng)控制器16執(zhí)行。
第一配置
在第一配置中，由于CMOS圖像傳感器被用作固態(tài)成像裝置，因此沒有諸如幀/場的這些概念，并且采用漸進方法(progressivemethod)，在該漸進方法中所有線被順序讀出。圖5A和圖5B是用于解釋根據(jù)本實施例的第一配置的成像模式的視圖。作為移動照相機設備10的方法，假定照相機基本上在如圖5A所示的垂直方向上
或者在如圖5B所示的水平方向上掃動。也就是說，照相機在與CMOS圖像傳感器的讀出線垂直的方向上移動。如圖5A和圖5B中的暗條狀部分30所示出的，在本實施例中，微型計算機162對從CMOS圖像傳感器的成像范圍的中心部分分割的條狀部分執(zhí)行光軸控制。
這樣的條帶成像(strip imaging)有以下優(yōu)點。
(a)更窄的條帶對視差具有更有利的影響。 (b)更窄的條帶對CMOS圖像傳感器的異步讀出具有更有利的影響。
(a)更窄的條帶對環(huán)境光減少具有更有利的影響。
(a)更窄的條帶對透鏡畸變具有更有利的影響。微型計算機162根據(jù)姿勢傳感器14的檢測結(jié)果控制使圖像聚焦的透鏡(移位透鏡)的光軸，從而抵消照相機的移動方向和角速度。當CMOS圖像傳感器被用作固態(tài)成像裝置時，微型計算機162控制驅(qū)動器15，以在
與CMOS圖像傳感器的部分線的曝光時間和讀出時間之和相對應的時間期間執(zhí)行上述光軸
控制，并在除了上述對應的時間以外的其它時間期間將光軸返回到中心附近。也就是說，光軸控制需要在如圖5A和圖5B所示的條狀部分30被曝光時的時間期
間執(zhí)行。圖6是示出CMOS圖像傳感器的曝光時間、存儲電荷的讀出時間，以及光軸控制時間之間的關系的視圖。電荷從CMOS圖像傳感器的各個線順序讀出以便曝光，并且在某一條線的電荷讀出完成后，對于隨后的線，執(zhí)行電荷讀出和曝光。在當該操作被重復執(zhí)行從而對所有的條狀部分都執(zhí)行電荷讀出處理時的時間期間執(zhí)行光軸控制。例如，當使用每一條線的讀出時間都是7. 8微秒/線的CMOS圖像傳感器，快門速度是1/1000秒(S卩，曝光時間為1毫秒)，并且條帶寬為200條線時，在圖6中，總讀出時間變?yōu)?. 56毫秒，并且光軸控制時間變?yōu)?. 56毫秒。這對應于圖22A至圖22D中的條件3，其中，當給出各種參數(shù)時，計算模糊像素計數(shù)或幀率。另外，當成像的幀率是60fps (每一個圖像大約16. 66毫秒)時，通過在專利文獻1的圖3中采用對應數(shù)值，Son變?yōu)?. 56毫秒，并且Soff變?yōu)?4. 1毫秒(=16. 66-2. 56)。盡管在專利文獻l中公開的技術中，光軸控制的可允許的極限角(limit angle) 在±1.2度的范圍內(nèi)，但是可允許的極限角可以在±0.5度的范圍內(nèi)變化，并且使用在0到 0.3度范圍內(nèi)的值。這對應于最大可變范圍的大約60%。通過這種方式成像而獲得的條狀圖像由圖3中的精確合成處理單元1611合成在一起，由此生成全景圖像。在下文中，將描述精確合成處理單元1611的圖像合成處理。
因此，根據(jù)本實施例的系統(tǒng)控制器16具有這樣的功能(例如，軟件)，用該功能可以通過校正顏色的非均勻性將從一個點處在不同方向多次拍攝的圖像精確地合成為一個圖像中。本實施例的精確合成的特征功能將在下面詳細描述。第一顏色校正功能單元16111在提取諸如透鏡畸變校正系數(shù)的參數(shù)時為每一個邊界執(zhí)行至少三次塊匹配(BM)處理，并且對至少四個邊界執(zhí)行合成，從而確定透鏡畸變校正系數(shù)從而允許精確合成。換句話說，第一顏色校正功能單元16111從原始圖像中提取諸如透鏡畸變校正系-樣執(zhí)行環(huán)境光減少校
數(shù)的參數(shù)。隨后，第一顏色校正功能單元16111對于所有的局部圖像-正、對比度增強、飽和度增強和伽馬校正。在第一顏色校正功能單元16111確定諸如透鏡畸變校正系數(shù)的參數(shù)并且執(zhí)行環(huán) 境光減少校正、對比度增強、飽和度增強和伽馬校正后，合成功能單元16112對所有邊界中的每一個執(zhí)行至少一次(例如，3次)BM。然后，合成功能單元16112通過對所有邊界同時評估BM結(jié)果并更新光軸方向以便減少在所有邊界中的誤差，來執(zhí)行對多個圖像的精確合成。第二顏色校正功能單元16113執(zhí)行顏色(顏色非均勻性)校正，為了減少由合成功能單元16112精確合成的多個圖像中的相鄰圖像間的顏色差，為每個局部圖像獨立地執(zhí) 行該顏色校正。第二顏色校正功能單元16113還執(zhí)行顏色校正，以便將相鄰圖像間的顏色不連續(xù) 性(diconti皿ity)減小到檢測極限值(detection limit)以下。
對精確合成處理單元1611中的精確合成處理的理論概念將在下面描述。
本實施例基本上采用了基于傅立葉分析的相位相關技術。也就是說，所采用的技術是基于傅立葉變換定理，即空間函數(shù)的變換(shift)只在譜區(qū)域的相位上改變。具體地說，兩個函數(shù)^和f2應當滿足下列關系。等式1
f2(x， y) = fJx+Xt， y+yt) 還有下面的譜特征。等式2
F2 (u， v) = F丄(u， v) exp (-2 Ji i (uxt+vyt)) 上述等式可以通過使用互功率譜(CPS)如下等價地寫出。等式3
7^(w，v)i^(w，v)
F〗(w，v)《(w，v)
noise)。

維平移。
互功率譜
在該等式中，F(xiàn)2 ^是復函數(shù)F2的共軛函數(shù)。
實際上，如圖7A和圖7B所示，圖像是諸如兩個圖像的互功率譜的比特噪聲(bit
因此希望尋找CPS的峰值并且從該峰值得到平移參數(shù)(xt， yt)。
圖7A和圖7B是示出使用互功率譜(CPS)在平移中的拼接圖像的視圖。
圖7A示出拼接兩個圖像的結(jié)果。如圖7B所示，可以通過檢測CPS的峰值獲得二
這里，如果CPS是可讀取的，那么這些圖像是完全匹配的。
由于難以在具有很多噪聲的圖像中檢測到最大的峰值，因此可以選擇一些峰值。
13
下面，將參考圖8到圖14描述使用塊匹配(BM)處理提取參數(shù)的原理。 BM包括推導出上述互功率譜(CPS)的峰值的功能。現(xiàn)在參考圖8，選擇四個條件良好的圖像IM0、 IM1、 M2和IM3。例如，假定布置在左下角的圖像是第零圖像IMO，其右手邊圖像是第一圖像IM1，
左上角圖像是第二圖像M2，并且其右手邊圖像是第三圖像IM3。圖像M0到圖像M3的這
些圖像被布置為在相鄰圖像間的邊界中包含重疊部分。
在圖8中，布置在邊界區(qū)域中的矩形是塊BLK。
因此，在上面提到的布置條件下執(zhí)行BM。于是，透鏡畸變、視角和傾斜角的信息分別從在下邊、左邊、右邊和上邊的區(qū)域中
的四個邊界BDROl、 BDR02、 BDR13和BDR23獲得。將進一步描述BM(塊匹配)。如圖9所示，對邊界中的三個位置執(zhí)行BM。如圖10所示，透鏡畸變的存在導致腦的弧形結(jié)果。如圖11所示，任何不合適的傾斜角都將導致BM結(jié)果中的橫向傾斜誤差。如圖12所示，當透鏡畸變的中心垂直地偏離時，在上下邊界中發(fā)生橫向擴展和收
縮。在左右邊界中的垂直擴展和收縮是由于透鏡畸變中心的橫向偏離而導致的。當圖像隨著其向上而被旋轉(zhuǎn)時，如圖13所示，產(chǎn)生垂直的傾斜誤差。也就是說，圖
13示出當照相機沒有被定向為相對于機械傾斜軸的前方時的結(jié)果。各種參數(shù)被確定為使這些誤差最小化。即使將任何四個圖像連接在一起，這也能減小誤差。例如，應用快速相位相關匹配來在圖像中執(zhí)行對應的BM。可以通過獲得矢量位移 (Xij， yij)來量化各個參數(shù)，然后分析這三個塊的位移的行為。在對上述四個執(zhí)行BM后，如圖14A和圖14B所示，BM被擴展到大量的圖像，并且同時，對所有邊界評估BM的結(jié)果。通過更新光軸方向來執(zhí)行對多個圖像的精確合成，從而減少在所有邊界上的誤差。在這種情況下，確定一個參考圖像，并且將其它圖像進行平行平移，從而會聚在這些位置以便最小化誤差。基本上根據(jù)下面的處理執(zhí)行精確合成處理，下面對其進行詳細說明。通過平移為移動找到最佳的位置。在這種情況下，旋轉(zhuǎn)環(huán)(loop)。指示總移動量的參數(shù)fxy設置為0. 0。對上下左右(垂直的和橫向的)圖像中的全部進行處理。參考圖像保持不動。從BM結(jié)果找到與相鄰圖像的位置關系?；诖?，計算移動量。其方法如下。將直接在上面的圖像和其右邊相鄰的圖像相加，并且減去直接在下
面的圖像和其左邊相鄰的圖像以獲得平均值，該平均值表達為f [y] [x]. x、 f [y] [x]. y。其80%被添加到當前圖像的中心位置，并且被當作新圖像的中心位置。所有圖像的移動量的絕對值之和被輸入到fxy中。進行計算以便確定上述移動如何改進垂直的和橫向的位置關系。
14
fxy具有通過重復上述移動而變小的特性(性質(zhì))。
換句話說，fxy被會聚到再也沒有不能執(zhí)行移動的狀態(tài)。
當fxy足夠小時，終止處理。將對即使當連接數(shù)千個圖像時也沒有褶皺的圖像合成的特定處理的示例性實施例進行描述。現(xiàn)在考慮四個圖像的情況。如圖8所示，假定在左下角的圖像是第零圖像IMO，其右邊相鄰的圖像是第一圖像
Ml，左上角的圖像是第二圖像M2，并且其右邊相鄰的圖像是第三圖像IM3。第零圖像MO保持不動。也就是說，第零圖像MO被用作參考圖像。 BM結(jié)果的橫向分量表達為bxl
、 bxl [1] 、 bx2
和bx2 [1]。垂直分量也被單獨地處理；但是，出于描述的目的，下面只描述橫向分量的處理。 bxl表示右邊和左邊，bx2表示上邊和下邊。"[]"中的數(shù)字0是指下邊或左邊。當相對于參考圖像MO的右邊或上邊的圖像被置于右邊或上邊時，BM結(jié)果是正值。作為極端的例子，假定只有一個異常值，并且bxl[O] = 10、bxl[l] = 0、bx2
= 0并且bx2[1] = 0。考慮到，在第一行具有橫向的10個像素的偏差，并且其它三個邊界沒有偏差。
如果第一圖像Ml的位置由第零圖像MO和第一圖像Ml的BM結(jié)果確定，那么第三圖像M3的位置由第一圖像Ml和第三圖像M3的BM結(jié)果確定。此外，第二圖像M2的位置由第二圖像頂2和第三圖像M3的BM結(jié)果確定，在第零圖像MO和第二圖像M2之間的位置關系中，可能作為褶皺發(fā)生10個像素的大值。本實施例的系統(tǒng)指示異常值"10"的影響被2. 5分散。根據(jù)程序執(zhí)行該處理，將在稍后描述該程序的一部分。通過xypos2()從與相鄰圖像的位置關系中找到要被平行平移的量。第一次，計算得出第一圖像IM1應當被移動_5個像素。第一圖像被平行平移move ()。實際移動量是上述量的80%，即4個像素。除了第零圖像IMO以外的圖像IM1、圖像M2和圖像IM3的移動量分別是pox[1]
=4、 pox [2] 二0和pox[3] =0。由此，BM結(jié)果bxl[O]從10變?yōu)?。從而，bx2 [1]從0變?yōu)?。第二次，計算得出第一圖像IM1應當被移動-1個像素。
計算得出第三圖像M3應當被移動_2個像素。
當其80%，即0. 8被增加時，pox[1] =4.8。隨后，從第三次到第32次繼續(xù)相似的計算。第32次，總移動量fxy低于0. 001個
像素，終止處理。此時，要被平行平移的像素數(shù)為7. 5、2. 5和5. 0。各個圖像的位置關系改變?nèi)缦隆?即，bxl[O] = 10變?yōu)閎xl[O] = 2. 5， bxl[l] = 0變?yōu)閎xl[l] = -2. 5， bx2
= 0變?yōu)?bx2
=-2.5，以及bx2[1] 二0變?yōu)閎x2[1] =2.5?？梢钥闯稣`差被分散了。

下面的列表是當ii = 32、 fxy = 0. 00083 (即fxy不大于0. 001)時的次數(shù)和值:
nixfx[n]fy[n]
000.0000000. 000
12-0.0002440. 000
22-0.0002440. 000
32-0.0003440. 000
npox[n]poy[n]fz [n]
00. 000. 00
17. 500. 00
22. 500. 00
35. 000. 00
要被平行平移的像素數(shù)
下面是該程序的例子的一部分。
----the part of the program(from here)-----------------
clrpos() ;//Enter 0 in an amount to be parallel_translated[pixel] pox[] ， fzx[] ， and rolla[].
for(ii = 0 ;ii < 1000 ;ii++) {
xypos2() ;//Find an amount to be parallel-translated from the positional relationship with an adjacent image, if (fxy < 0. 001) {break ;} move 0 ;//Parallel_translation.
fprintf (inf ，，， ii = 1230484， fxy = 0.00000 the number of times and the value thereof when fxy is not more than 0. 001\n，，， ii， fxy);
xypos0 ;//Find a parallel-translation amount from the positional relationship with an adjacent image.
move 0 ;//Parallel_translation.
dsppos() ;//Display a correction amount.
angle() ;//Convert the correction amount to an angle， and update qq[n]，pp[n].
dsppos() ;//Display the correction amount.
dsperrO -//Display those having a value exceeding 1 in the error between a pair of small images.
step 0 ;//Create a step angle from qq[n]，pp[n]
__the part of the program(till here)------------------
下面是主要的子程序。
__Main subroutine----------------------------
void xypos2() {//Find parallel-translation amounts fx[n]，fy[n] from the positional relationship with the adj acent image,
//Find a flag fz[n]that cannot be parallel-translated- (Delete fprintf) int m， n， m2， n2， h， v， ix ; double cx， cy ; 〃fprintf (inf， "n ix fx[n] fy [n] \n"); fxy = 0 ; for(v = 0 ;v < ny ;v++) {//about all images for(h = 0 ;h < nx ;h++) { m= (nx_l) * v+h ;//right and left boundaries n = nx * v+h ;/7叩per and lower boundaries ix = 0 ; if ((0 < skip [h] [v]) I I ((v = = (ny-1) /2) &&(h = = (nx_l) /2))) {〃 The central image and determined flag image remain unmoved. fx[n] = 0 ;fy[n] = 0 ;fz[n] 二 4 ;〃fz[n]is a flag that c靈ot be parallel-translated if (skip [h] [v] ==2) {f z [n] = 2 ;}//Determined flag image is 2. }else{ cx = 0 ;cy = 0 ; if (v ! = 0) {//when not the lowermost row n2 = n_nx ;//di:rectly below if (0 < fok2[n2]) { ix++ ; cx_ = bx2[n2] ;〃subtract that directly below cy- = by2[n2]; }
} if (v ! = ny-l){//when not the top row if (0 < fok2[n]) { ix++; cx+ = bx2[n] ;〃add its own cy+ = by2[n2]; } } if (h ! = 0){//when notthe leftmost end m2 = m-1 ;〃left neighbor if (0 < fokl[m2]) { ix++ ; cx_ = bxl[m2] ;〃Subtract left neighbor cy- = byl[m2];
17
} } if (h ! = nx-1){//when not the rightmost end if (0 < fokl[m]) {: ix++; cx+ = bxl[m] ;〃add its own cy+ = byl [m]; } } if(ix==0){ fx[n] = 0 ;fy[n] = 0 ;fz[n] = 1 ; }else{ fx[n] = cx/ix ; fy[n] = cy/ix ; f z [n] = 0 ; } fxy+ = fabs (fx [n]) +fabs (fy [n]); ) } } } //女女女女女女女女女女女女女女女女女女女女女女女女女女女女女女女女女 ***** void move () {//Parallel-translation. int m， n， h， v ; for(v = 0 ;v < ny ;v++){//eentral position of image(pixel) for(h = 0 ;h < nx ;h++) { n = nx * v+h ; if(fz[n] ==0){//when not isolated from surroundings pox[n]+ = -fx[n] * 0. 8 ; poy[n]+=-fy[n] * 0. 8 ; } } } for(v = 0;v < ny 5V++){//Lateral positional relationship for(h = 0 ;h < nx_l ;h++) { m = nx女v+h ; n = (nx-l) * v+h ; bxl [n] + = - (fx [m] -fx [m+1]) * 0. 8 ;
byl [n] + = - (fy [m] -fy [m+1]) * 0. 8 ;
}
} for(v = 0 ;v < ny_l ;v++){//Vertical positional relationship
for (h = 0 ;h < nx ;h++) {
n = nx * v+h ; bx2 [n] + = - (fx [n] -fx [n+nx]) * 0. 8 ;
by2 [n] + = - (fy [n] -fy [n+nx]) * 0. 8 ;
}
}
} //女女女女女女女女女女女女女女女女女女女女女女女女女女女女女女女女女女女女女女女女女女女女女女女如上所述，根據(jù)本實施例的第一配置，即使當使用其上安裝有CMOS圖像傳感器的數(shù)字照相機時，也可以在不降低分辨率的情況下以高幀率對圖像進行成像，從而減少視差、環(huán)境光減弱以及透鏡畸變的影響此外，可以產(chǎn)生高質(zhì)量的全景圖像。不管要合成的圖像的數(shù)目是多少，這都能夠?qū)崿F(xiàn)精確合成并且抑制顏色非均勻的發(fā)生。透鏡畸變校正系數(shù)可以從實際成像的圖像中提取。這消除了對復雜的校準操作的需要，從而顯著地提高了精確度。由于即使當連接數(shù)千個圖像時該方法也不會導致褶皺，因此，在不注意拍攝的次數(shù)的情況下，可以以所需的分辨率來拍攝所需的范圍。
下面，將描述第二配置。
第二配置
將描述連續(xù)成像的圖像的空間位置的記錄。
〈才既述> 基于連續(xù)成像的圖像的全景攝影是分割空間以便將多個圖像合成一個圖像的操作。當從多個圖像產(chǎn)生全景圖像時，通過使用在成像時的空間信息執(zhí)行逆計算，可以獲得高精確度的全景圖像。在本實施例中，關于在其中執(zhí)行成像的成像空間的信息是從傳感器和在對圖像進行成像時的圖像計算得到的，并且該信息被分配給每一個圖像，從而使該信息可以用于生成全景圖像。〈分配關于成像空間的信息> 例如，當執(zhí)行全景攝影時，以視點固定在一個點的方式由電機驅(qū)動透鏡，并且改變拍攝方向。在這種條件下成像的圖像中，照相機設備10的位置，即焦點位置是固定的，并且
只有拍攝方向不同。因此，在本例中，描述被局限于對圖像進行成像的情況，這些圖像是通
過從某個點以固定的視角對被攝體的周圍進行成像而獲得的。在這樣的成像方法中，將存在如下的兩種關于成像空間的信息。
S卩，一種是關于作為成像目標的點的信息(視點矢量)，另一個是關于視點矢量周
圍的旋轉(zhuǎn)角(滾動角)的信息。〈投影球和空間的定義> 空間的圖像被投影到一個平面上。為了處理在對空間的全景圖像進行成像時的所有方位，從容易圖像處理的角度看，假定攝影者周圍有一個球并且全景圖像被投影到該球上是有幫助的。當使用該球定義視點矢量時，也確定了坐標空間。具有半徑1的投影球被定義為以原點(O，O，O)作為焦點位置，照相機設備10位于該焦點位置。假定在水平狀態(tài)上向前的方向定義為位于Z軸上距離為1的坐標f(0，0，l)，視點矢量可以表達為從原點(O，O，O)向點(O，O，l)定向的矢量。視點矢量變?yōu)榫哂虚L度為1的單位矢量，并且在任何方位上長度都將是1。
由于幀的滾動信息不能僅僅使用視點矢量vl記錄，因此還必須記錄另一個滾動矢量v2。這是表示圖像向上方向的信息，并且這些矢量的相減，v2-vl，變?yōu)楸硎緢D像向上方向的矢量。這使得能夠使用兩個矢量(在投影球上的兩個點)表示圖像的拍攝方向，并且在
不產(chǎn)生任何密度差的情況下在所有方位上定位任意點。〈相對移動和絕對坐標> 關于成像空間的信息包括兩種信息，即相對信息和絕對信息。從產(chǎn)生全景圖像的角度出發(fā)，盡管具有關于對圖像進行成像的方向的絕對位置關系是有利的，但是由于難以獲得精確的絕對信息，因此從相對信息積分或者使用粗略的絕對信息校正來得到姿勢信息。在透鏡驅(qū)動全景照相機中，盡管移動透鏡的情景(scenario)是絕對信息，但是由于諸如在成像時的抖動、在驅(qū)動透鏡時并入誤差、姿勢傳感器的精確度的不同的相對信息被增加到其中，因此通過計算獲得精確的絕對值。
〈相對移動的空間擴展〉現(xiàn)在，假定精確的相對信息是在圖像識別和姿勢傳感器的幫助下獲得的。在當前圖像幀fl從前一個圖像幀f2在位置上移動(dx， dy)并且該幀滾動rz的
量時，從視角來看，在x軸和y軸周圍的旋轉(zhuǎn)量可以被計算為rx和ry。此時，幀fl的視點
矢量vl變?yōu)閷琭2的視點矢量v2旋轉(zhuǎn)(rx， ry， rz)的量而得到的結(jié)果。盡管投影球上的絕對位置可以基于該信息進行計算，但是通過從矢量v2的位置
旋轉(zhuǎn)(rx，ry，rz)的量來計算絕對位置的計算有點復雜。因此，最新的圖像fl固定在前平面矢量vl(O，O，l)處，并且，被布置在投影球上、且包括前一個圖像f2并在前一個圖像f2之后的圖像對于每個球旋轉(zhuǎn)(-rx， -ry， -rz)的量。也就是說，相對于最新圖像fl移動其它圖像。通過重復這一操作，最新圖像的位置將位于坐標(0， 0， 1)，并且將獲得所有其余的圖像的絕對坐標。用視點矢量和旋轉(zhuǎn)矢量的兩個矢量表示旋轉(zhuǎn)信息的原因在于易于執(zhí)行相對旋轉(zhuǎn) (旋轉(zhuǎn)球本身)。
〈相對移動積分值和絕對信息之間的偏差> 盡管只有相對信息被用于圖像的空間布置，但是實際上可以從姿勢傳感器14等獲得諸如滾動信息或垂直傾度的絕對信息。然而，與生成全景圖像所需的精確度相比，可以從姿勢傳感器14獲得的絕對信息比較粗略，因此難以原樣使用這些值。另一方面，盡管由于相對信息是通過圖像識別獲得的，所以其具有高的精確度，但是其中并入了誤差。當對相對信息進行積分時，可能會出現(xiàn)小誤差，并且由于積分誤差而導致大誤差。因此，從姿勢傳感器14獲得的絕對信息用于確定是否發(fā)生積分誤差。
在相對移動的空間擴展處理期間的某個間隔，相對信息與姿勢傳感器的絕對值進行比較。如果相對移動與姿勢傳感器的絕對值差得太遠，那么使用姿勢傳感器的絕對值校正相對移動。此外，移動量是從該位置相對積分得到的。圖15是示出基于連續(xù)成像的圖像和傳感器信息的空間布置的方法的功能框圖。
在圖15中，功能塊41相對于角速度傳感器142的檢測信號設置零參考值，并且移動量積分部分42對移動量進行積分。此外，檢測部分43將通過成像裝置12成像的幀間圖像互相比較并且檢測移動量。協(xié)同校正邏輯電路44基于移動量積分部分42和檢測部分43的輸出執(zhí)行協(xié)同校
正，并且相對位置積分部分45對相對位置進行積分以獲得焦點位置信息。此外，基于加速度傳感器141的檢測結(jié)果，絕對位置校正部分46校正絕對位置信
息，并且布置部分47確定幀的空間位置并布置這些幀。〈空間坐標信息和全景圖像〉上述計算是在成像期間執(zhí)行的，并且空間坐標信息，即拍攝方向被同時記錄為元數(shù)據(jù)。盡管可以只使用元數(shù)據(jù)來生成全景圖像，但是當在后續(xù)處理中執(zhí)行精確調(diào)整和授權(quán)(authoring)時，可以將空間坐標信息用作基本數(shù)據(jù)。由于還沒有表示空間中的拍攝方向的元數(shù)據(jù)，因此不可能獲得更精確的全景圖像。然而，在本實施例中，為了解決這一問題，在成像時分配坐標信息。如上所述，在第二配置中，使用通過圖像識別技術獲得的幀移動信息和從姿勢傳
感器獲得的移動信息，將連續(xù)成像的圖像進行空間布置。其信息不能通過這一圖像識別獲
得的部分由姿勢傳感器信息代替，并且姿勢傳感器信息用作用于在圖像識別中確認成功的
輔助坐標，或者在圖像識別失敗時被使用。被空間布置的圖像被合成為一個全景圖像。本方法不僅能夠正確地表示在前方附近處的圖像，而且能夠正確地表示直接在上
面和直接在下面的圖像，并能夠與所有方位或天球上的成像相對應。可以在沒有誤差的情況下再現(xiàn)前方附近的更寬的場景。不必說，可以與手持成像相對應并獲得高精確度的圖像。下面，將描述第三配置。第三配置
將描述基于連續(xù)成像的圖像的位置識別的校正。
〈概述> 為了給連續(xù)成像的圖像賦予拍攝姿勢信息，本配置使用所謂的動態(tài)校準，即合并姿勢傳感器和圖像識別的方法。〈連續(xù)成像和拍攝姿勢信息> 當全景圖像是使用連續(xù)成像的圖像合成時，存在高頻分量不包含在圖像中并且不能從該圖像指定連續(xù)性的情況。在這種情形下，不能獲得關于有多少連續(xù)幀被移動的信息，從而使得不能生成完整的全景圖像。為了能夠從這樣的情形下獲得姿勢信息，在借助姿勢傳感器14進行成像時，移動
信息和姿勢信息與圖像一起被記錄?！醋藙輦鞲衅鞯氖褂?gt; 姿勢傳感器14以同時并行的方式使用三軸加速度傳感器141和三軸角速度傳感器142。角速度傳感器142檢測照相機的旋轉(zhuǎn)速度，并且加速度傳感器141檢測水平加速度。盡管盡可能從成像圖像獲得移動信息，但是在由于圖像的條件而不能執(zhí)行圖像識別的情形中，從姿勢傳感器14獲得來自前一個幀的移動量。通過比較姿勢傳感器14的檢測結(jié)果中的總變化量與通過圖像識別獲得的移動量，可以獲得更精確的姿勢信息。
〈使用姿勢傳感器的問題> 然而，根據(jù)期望的全景攝影，圖像的精確度高于姿勢傳感器14的精確度。因此，當只有姿勢傳感器14的信息被用作姿勢信息時，該信息變得太不精確以至于不能用于產(chǎn)生全景圖像。因此，當實際上難以獲得姿勢信息而不期待高精確度時，姿勢傳感器信息被用作輔助信息。與普通物理傳感器一樣，在沒有保持穩(wěn)定輸出的情況下，姿勢傳感器的輸出會發(fā) 生波動。此外，根據(jù)情況改變靜態(tài)的零位置，并且需要通過在成像之前建立靜態(tài)條件來測量零位置處的值。在測量該值后，通過與零點值的偏差測量移動量。
〈圖像識別及其校正> 在本配置中，在連續(xù)使全景圖像成像的同時，姿勢傳感器信息被被記錄為元數(shù)據(jù)。
在本方法中，由于姿勢傳感器14的輸出波動太大，因此在合成為全景圖像時有難以使用元數(shù)據(jù)信息的問題。因此，通過圖像識別獲得的元數(shù)據(jù)在成像時被校正并記錄。當元數(shù)據(jù)被記錄時，關于相機方位的空間信息被保持在其中并被更新；但是，由于各種原因，元數(shù)據(jù)值的精確度劣化。因此，在本實施例中，基于來自圖像識別和姿勢傳感器的信息，在其中保持的空間信息被實時地校正和更新；本處理是動態(tài)校準。當使連續(xù)的全景圖像成像時，可以考慮下述兩種情況一種情況是已經(jīng)存在通過電機的驅(qū)動來移動照相機的移動情形，另一種情況是由于用手掃動照相機而所以沒有移動情形。
22
在存在通過電機的驅(qū)動而導致的移動情景的情況下，盡管可以事先檢測到粗略的拍攝位置，但是也難以考慮成像期間的抖動或移動。姿勢傳感器14用于在成像期間檢測這樣的變化。當由姿勢傳感器14檢測拍攝期間的變化時，對通過圖像識別得到的與實際移動情形的檢測結(jié)果的偏差進行精密檢查。當姿勢傳感器14的移動量被用作精密檢查的基礎時，可以使圖像識別變得簡單。當可以從預期的移動情形計算偏差時，偏差被添加到移動情形的值，并且關于實際拍攝位置的信息作為成像圖像的元數(shù)據(jù)被記錄。由于當用手掃動照相機時移動情形不可用，因此不管在什么時候使幀成像，都通過比較當前幀和前一個幀的圖像識別來計算移動量。在這種情況下，由于難以知曉移動量，因此從姿勢傳感器14的信息獲得粗略的移
動量，并且基于該移動量執(zhí)行圖像識別，由此可以計算具有高精確度的移動量。如果難以執(zhí)行圖像識別，那么從姿勢傳感器獲得的移動量被記錄，并且隨后使用
前面和后面的幀的位置關系被校對(collate)，由此確定坐標。圖16是示出通過將連續(xù)成像的圖像和傳感器信息相關來實現(xiàn)高精確度的方法的功能框圖，具體示出靜態(tài)傳感器值的零校正。在圖16中，檢測部分51將通過成像裝置12成像的幀間圖像相互比較并且檢測移動量。靜態(tài)檢測部分52基于角速度傳感器142的檢測信號、加速度傳感器141的檢測信
號以及檢測部分51的檢測信號執(zhí)行靜態(tài)檢測，由此獲得靜態(tài)的角速度傳感器的參考值。然后，記錄部分53確定該參考值并將該參考值記錄在存儲器17中。圖17是示出通過將連續(xù)成像的圖像和傳感器信息相關來實現(xiàn)高精確度的方法的
功能框圖，具體示出用于通過對移動信息的協(xié)同來實現(xiàn)高精確度的方法。在圖17中，功能塊54針對角速度傳感器142的檢測信號設置零參考值，并且移動
量積分部分55對移動量進行積分。此夕卜，檢測部分51將通過成像裝置12成像的幀間圖像相互比較并且檢測移動量。
協(xié)同校正邏輯56基于移動量積分部分55和檢測部分51的輸出執(zhí)行協(xié)同校正，從而獲得高精確度的相對移動信息。如上所述，在第三配置中，當記錄連續(xù)成像的圖像時，通過圖像識別技術獲得的幀
移動信息與從姿勢傳感器獲得的移動信息相關聯(lián)。此外，計算由通過用圖像識別技術獲得
的幀移動信息和從姿勢傳感器獲得的移動信息中的一種不能確定的如下信息，例如圖像
的像素視角、姿勢傳感器的靜態(tài)值，以及姿勢傳感器值的對應像素視角。因此，通過對通過圖像識別獲得移動信息的方法和從姿勢傳感器檢測移動信息的
方法(該方法獨自不能提供期望的精確度)進行協(xié)同的技術，可以顯著地提高精確度和穩(wěn)定性。將關于圖18到圖21進一步描述上述的第二配置和第三配置。
〈成像的圖像和攝影者的旋轉(zhuǎn)運動> 當在使全景圖像成像時改變拍攝位置時，由于視差可能會出現(xiàn)不連續(xù)性。
在成像后不能通過圖像處理校正由于視差而導致的不連續(xù)性。
23
因此，當使全景圖像成像時，攝影者和照相機被固定在某個位置，并且攝影者在該位置旋轉(zhuǎn)時拍攝圖像，從而使照相機聚焦到一個點。在這種情況下，從兩個不同的成像圖像所看的視點的移動距離與拍攝時的旋轉(zhuǎn)量成比例。如果圖像是數(shù)字圖像并且其尺寸可以由像素計數(shù)表示，那么兩個圖像之間移動的像素可以從在拍攝時的旋轉(zhuǎn)移動的距離被逆計算得到；在這種情況下，視角可以用作逆計算所必需的參數(shù)。視角是用在拍攝空間中的角度范圍表示在圖像中成像的場景的水平或垂直寬度的數(shù)值。視角是在拍攝前通過測量給出并且在拍攝期間不會改變的參數(shù)。當水平視角是30度并且成像的數(shù)字圖像的水平像素計數(shù)是1000時，每一個像素
的拍攝空間角將是0. 03度。也就是說，當識別出兩個圖像之間的像素移動量是800個像素
時，可以計算出照相機的實際旋轉(zhuǎn)(掃動)角是24度。每一個像素的視角被用作最重要的初始值。每一個像素的視角=(幀視角)/ (幀像素計數(shù)) 每兩次圖像拍攝的旋轉(zhuǎn)量=(兩個圖像間的像素移動量)* (每一個像素的視角) 每一個像素的實際視角事先通過測量作為初始值被保持。
〈角速度傳感器和旋轉(zhuǎn)量>
角速度傳感器輸出當前角速度。由于輸出值隨時間改變，因此可以檢測到角速度的改變；然而，該值不直接表示旋轉(zhuǎn)量。為了從角速度傳感器獲得旋轉(zhuǎn)角，需要定義積分值的單位。使用角速度傳感器以預定的時間間隔執(zhí)行測量，并且測量間隔被固定作為重要的參數(shù)。測量的角速度對時間積分，同時，需要通過測量從外部獲得實際旋轉(zhuǎn)量。積分的角速度除以實際旋轉(zhuǎn)量，以便計算每一度的角速度積分值。其后，通過將角速度積分值除以每一度的角速度積分值，可以按比例計算旋轉(zhuǎn)移動量。每一度的實際角速度積分值事先通過測量作為初始值被保持。
〈動態(tài)校準> 盡管角速度傳感器的輸出是相對角速度，但是除非角速度傳感器是極好的以外，否則該輸出可以根據(jù)環(huán)境而變化。由于該變化對實際測量有影響，因此輸出的每一次測量都需要被校正。專用于全景攝影以便根據(jù)來自成像的全景圖像的反饋信息自動校正輸出的處理將被稱為動態(tài)校準。角速度傳感器具有根據(jù)環(huán)境而改變的兩個輸出值；一個是靜態(tài)零點位置，另一個是每一度的角速度積分值。另一個項是用相對移動而累積的積分誤差；因此，這三個項被校正?！唇撬俣葌鞲衅骱土泓c校正> 圖18是角速度傳感器的零點校正處理的流程圖。
在角速度傳感器142的零點校正處理中，執(zhí)行圖18中步驟ST1到步驟ST16的操作。如果不知道角速度傳感器142的準確的靜態(tài)輸出值，則不可能檢測到角速度。此外，該靜態(tài)的零點將根據(jù)諸如溫度的環(huán)境而改變。基于圖像匹配的結(jié)果校正該零點漂移，從而在拍攝時計算精確的零點。事先設定的初始值被用作在開始時角速度傳感器142的零點輸出值。兩個幀之間的圖像匹配被執(zhí)行(ST1到ST3)。如果匹配結(jié)果是包含高頻分量并且示出在X軸、Y軸和Z軸方向上沒有移動的可靠的結(jié)果，那么角速度傳感器的X軸、Y軸和Z 軸分量的輸出值被作為零點值被采樣。此時，使用作為零點值被采樣的值執(zhí)行校正(ST4到ST15)。當在任何軸方向上檢測到移動時，由于這不是零點，所以既不執(zhí)行采樣也不執(zhí)行零點校正。當執(zhí)行采樣時，在增加采樣計數(shù)時校正零點值。通過計算計算結(jié)果的平均值來執(zhí)行校正，該計算結(jié)果的平均值是將當前零點值和采樣值之間的差除以采樣計數(shù)所得到的。校正零點值=(零點值)+ (采樣值) (零點值) (采樣計數(shù))
〈角速度傳感器的移動量校正> 圖19是角速度傳感器的移動量校正處理的流程圖。在角速度傳感器的移動量校正處理中，執(zhí)行圖19中的步驟ST21到步驟ST26的操作。每一度的角速度積分值是用于從角速度傳感器的角速度積分值計算旋轉(zhuǎn)角的參數(shù)，并且該參數(shù)將根據(jù)諸如溫度的環(huán)境而改變。基于匹配結(jié)果執(zhí)行圖像匹配(ST21到ST23)以便校正并更新每一度的角速度積分值，由此計算在拍攝期間的精確值(ST24到ST26)。如果兩個幀之間的圖像匹配的結(jié)果是包括高頻分量的可靠的結(jié)果，那么從通過圖像匹配獲得的在X軸、Y軸和Z軸方向上的移動量和在此時的角速度積分值計算每一度的角速度積分值。每一度的角速度積分值=(角速度積分值)/(每一個像素的視角)* (X軸周圍的像素移動量) 每一度的校正角速度積分值=(每一度的角速度積分值)+ (采樣值) (每一度
的角速度積分值)/ (采樣計數(shù))〈由加速度傳感器輔助的角速度傳感器〉角速度傳感器輸出相對角移動量。通過對迄今為止獲得的的相對值進行積分來計算關于當前位置的絕對位置信息。
當相對值包括小偏差或噪聲時，隨著積分時間增加，可能出現(xiàn)大的偏差。
盡管角速度傳感器能夠通過檢測重力加速度獲得Y軸旋轉(zhuǎn)(傾斜)和Z軸旋轉(zhuǎn)(滾動)的絕對值，角速度傳感器只能在對全景圖像進行成像的情況下檢測其集總值 (lumped value)，并且因此在可用性方面劣于加速度傳感器。然而，由于角速度傳感器具有能夠輸出絕對值的優(yōu)點，因此可以通過周期性地將積分值和絕對值與相對移動距離的積分值進行比較來校正積分值和絕對值。當照相機被移動的絕對量使其能夠足以被加速度傳感器檢測到時，如果需要，通
過將該絕對量與此時基于相對移動距離的積分值而計算得到的絕對位置相比來校正絕對〈從圖像和傳感器獲得的的移動信息>
圖20是移動量獲取方法的流程圖。在移動量獲取方法中，執(zhí)行圖20中的步驟ST31到步驟ST35的操作。
當角速度傳感器142的分辨率與通過圖像匹配獲得的移動量的分辨率進行比較時，圖像匹配提供高得多的精確度值。因此，從圖像匹配計算得到的移動量盡可能地被用作相對移動距離(ST33和ST34)。由于匹配不是在諸如不包含高頻分量的相同顏色的天空的圖像的圖像間實現(xiàn)的，因此，在這種情況下，通過使用角速度傳感器142的輸出值來計算相對移動量(ST33和 ST35)?！捶峙鋪碜猿上駡D像的空間坐標的方法〉圖21是從成像圖像分配空間坐標的方法的流程圖。在從成像圖像分配空間坐標的方法中，執(zhí)行圖21中的步驟ST41到步驟ST47的操作。對于所有的以上述方式成像的全景圖像，可以計算來自前一個幀的通過圖像匹配
和角速度傳感器獲得的相對旋轉(zhuǎn)移動量(ST41到ST43)。為了產(chǎn)生全景圖像，必需為這些相對旋轉(zhuǎn)移動量分配絕對空間坐標。由于成像圖像具有相同的視角，所以可以按焦點位于成像圖像的中心點上的方式
分配坐標，即照相機的方位矢量。來自前一幀的相對旋轉(zhuǎn)移動量可以用照相機相對于前一個幀的視點矢量的方位方向的角度(即拍攝視點矢量)來表示。當只通過視點矢量來簡化布置時，難以表示幀的Z軸方向周圍的旋轉(zhuǎn)，即滾動。
因此，幀的滾動用另一個矢量來表示，該矢量正好在該幀之上的Y軸上移位。
這兩個矢量表示照相機的拍攝方向和在Z軸周圍的滾動，并且即使在坐標被旋轉(zhuǎn) 后，幀的信息仍然被連續(xù)地保持。當圖像被布置在空間中時，新的幀將總是被定位于空間前方位置a(O，O， 1. 0)。
當相對旋轉(zhuǎn)移動量可用時，所有的以前的幀沿著反方向旋轉(zhuǎn)該量，然后，布置空間前方位置a(O，O， 1. 0) (ST44到ST46)。以這樣的方式處理相對旋轉(zhuǎn)移動量，該量不是通過前一幀和當前幀的差被計算
的，而是通過當前幀和過去的幀的差被計算的。當前成像幀將被表示為A，前一個成像幀將被表示為B。通過幀A和幀B的差計算相對旋轉(zhuǎn)移動量(ST43)。當計算結(jié)果示出，在從當前幀A的照相機位置到前一幀B的照相機位置計算時，照相機圍繞X軸、Y軸和Z軸旋轉(zhuǎn)地移動rx、ry和rz時，rx、ry和rz的旋轉(zhuǎn)被施加到除了幀 A以外的所有的過去成像幀的拍攝方向矢量和滾動指數(shù)矢量(rolling index vector)上。
旋轉(zhuǎn)矩陣可能是典型的三維空間。
26
在z軸方向上的旋轉(zhuǎn)x2 = x * cos(rx)-ysin(rx)y2 = y * sin(rx)+zcos (rx)z2 = z在Y軸方向上的旋轉(zhuǎn)x2 = x * cos(ry)-zsin(ry)y2 = yz2 = x * sin(ry)+zcos (ry)在x軸方向上的旋轉(zhuǎn)x2 = xy2 = y * cos(rz)-zsin (rz)z2 = y * sin (rz) +zcos (rz)當以這種方式旋轉(zhuǎn)所有幀從而使新幀被布置在固定位置(即前方位置)時，相對旋轉(zhuǎn)移動量可以被轉(zhuǎn)移為絕對空間坐標。當所有的幀都被處理時，所有的幀將具有適當?shù)慕^對坐標。然而，由于最后一幀被用作參考點，所以可能會有任意幀必須被相對地移動到參考點的情況。下面，將描述第四配置。
第四配置
在第四配置中，當檢測到視差的影響或移動被攝體時，通過顯示單元18或揚聲器單元20輸出警告信號，以便敦促用戶重新拍攝。對于運動被攝體的方向，在第四配置中，可以確保被攝體的任意部分將出現(xiàn)在具有重疊比為50%或更大的至少兩個圖像中，以便借助于相鄰圖像間的運動矢量的相似性匹配來檢測視差的影響或被攝體。在通過單個掃動使寬范圍圖像的多個條狀圖像成像并且將其合成為一個圖像的照相機設備10中，檢測近距離的被攝體受到多少視差的影響，并且敦促用戶基于檢測結(jié)果重新拍攝在照相機視點附近的被攝體。由于典型的廣角照相機正好在其透鏡后具有視點，因此用戶手持該照相機圍繞用戶的手腕旋轉(zhuǎn)該照相機是理想的。當在照相機的視點周圍對圖像進行成像時，即使當近距離的被攝體包含在圖像中時，這些圖像也可以被合成為一個圖像。由于根據(jù)本實施例的照相機設備10使多個條狀圖像成像，所以照相機設備10具有這樣一個優(yōu)點，即，即使當在稍微偏移照相機視點的位置處對圖像進行成像時，其影響也不太可能出現(xiàn)。然而，當使用手持的且圍繞肩膀旋轉(zhuǎn)的照相機對圖像進行成像時，將圍繞在后方
遠離照相機視點的位置處旋轉(zhuǎn)照相機，因此，所得到的圖像將受到視差的強烈影響。盡管當場景具有位于遠距離的所有被攝體時基本上沒問題，但是如果在場景中包
含近距離的被攝體，那么與遠距離的被攝體不同，與相鄰圖像的位置關系不能被正確地合
因此，在第四配置中，當檢測到由于視差的影響而不能正確地合成圖像時，通過指示將照相機圍繞照相機的視點旋轉(zhuǎn)來敦促用戶重新拍攝。
視差檢測方法
將描述視差檢測方法。在時間上相鄰的兩個圖像的重疊范圍內(nèi)多次執(zhí)行塊匹配，以計算所得到的移動矢通常，如果照相機被適當?shù)貟邉?，則BM結(jié)果將產(chǎn)生大致相同的矢量。當照相機圍繞肩膀旋轉(zhuǎn)并且近距離的被攝體被包含在遠距離的場景中時，所得到
的矢量將具有不同的值。由于圖像中的變化在近距離被攝體和遠距離被攝體的邊界處劇烈，因此難以獲得正確的BM結(jié)果。通過本方法檢測視差。
下面將描述視差檢測的具體處理例。下面的處理是通過微型計算機162和系統(tǒng)控制器16的圖像信號處理部分161以協(xié)同的方式執(zhí)行的。
〈視差檢測方法>
粗略合成
照相機設備IO從左向右旋轉(zhuǎn)，并且對應于大約120度的范圍的幾十個圖像被成像。這確保了存在足夠的其中同一被攝體出現(xiàn)在相鄰圖像中的區(qū)域(重疊區(qū)域)。
在拍攝期間的照相機設備10的運動由姿勢傳感器14檢測，并且以非常小的時間間隔被記錄。由于傳感器數(shù)據(jù)與成像圖像同步記錄，因此可以知道各個圖像的拍攝方向；然而，數(shù)據(jù)的精確度不高。基于這一信息，各個圖像被布置在經(jīng)緯度平面上。在這種狀態(tài)下，相鄰圖像的每一個重疊區(qū)域都包括大約IOO個像素，并且被布置在大致正確的位置。從這一點來看，執(zhí)行了精確自動合成程序的處理。
精確自動合成
在重疊范圍內(nèi)的多個區(qū)域中執(zhí)行運動檢測(ME :運動搜索或運動評價)。在運動檢測ME中，使用基于FFT的只相位校正方法(FET basedphase-only
correction method)?；蛘?，可以使用特征點提取方法或其它方法。在只有平移的情況下，只有一個ME區(qū)域就夠了。兩個ME區(qū)域可以給出相互傾斜信息。三個ME區(qū)域可以給出透鏡畸變系數(shù)。如果在重疊區(qū)域內(nèi)沒有運動被攝體并且在背景中沒有被檢測到手抖的影響，那么ME的數(shù)目可以小。然而，如果ME的數(shù)目太小，那么將難以處理被攝體被包含在重疊區(qū)域中或者視差的影響在近距離中被檢測到的情況。因此，在重疊區(qū)域中的盡量多的區(qū)域中執(zhí)行ME。
當作為ME的結(jié)果而獲得的很多的運動矢量基本上具有相同的值時，可以通過將與其它圖像相關的一個圖像進行平移來合成這些圖像。盡管運動矢量不具有基本相同的值，但是如果這些值從上部到下部一樣改變，那么可以通過將與其它圖像相關的一個圖像傾斜來合成這些圖像。然而，當從重疊區(qū)域獲得不同的ME結(jié)果時，實際上不可能將圖像合成在一起。
這是由于存在運動被攝體，或者由于在近距離和遠距離同時存在被攝體從而導致了以移動的視點對圖像進行成像。
ME的方法
首先，通過減少經(jīng)受ME的圖像來粗略地執(zhí)行ME。
減少率逐漸地降低，最終，使用實際尺寸的圖像執(zhí)行ME。 ME的塊尺寸被改變，或者，塊的中心到中心的距離被減小，從而可以獲取更詳細的
運動矢量。ME結(jié)果的評估
基于很多ME的結(jié)果確定能否正確地執(zhí)行拼接，并且，如果確定為不可能，那么這樣的確定結(jié)果被顯示以敦促用戶重新拍攝。如果確定為可能，那么執(zhí)行拼接，并且，合成的結(jié)果被顯示且被記錄到記錄介質(zhì)(存儲器)中。運動被攝體的行為
下面，將描述運動被攝體的行為。在時間上相鄰的兩個圖像的重疊范圍內(nèi)多次執(zhí)行塊匹配(BM)，以便計算所得到的
移動矢量。這一矢量對應于運動被攝體，因此可以從靜止部分分離。由于在運動被攝體和靜止被攝體的邊界處圖像變化劇烈，因此難以獲得正確的BM結(jié)果。當在水平方向上掃動照相機時，難以區(qū)分由于在近距離存在靜止被攝體而出現(xiàn)視差的情況和存在在水平方向上移動的被攝體的情況。因此，在這種情況下，在不區(qū)分視差和運動被攝體的情況下輸出警告信號。當在圖像中檢測到視差或運動被攝體時，對于現(xiàn)有技術，實際上不可能在不對用
戶產(chǎn)生任何不便的情況下拼接這些圖像。因此，在本實施例中，輸出警告信號以敦促用戶"重新拍攝(reshoot)"或"以改變拍攝的方法重新拍攝(reshoot with changedshooting method)，，。例如，輸出諸如"在圖像中出現(xiàn)了視差或運動被攝體的影響。請以減小的旋轉(zhuǎn)半
徑重新拍攝(The influence of parallax or movingobjects appeared in the image.
Please reshoot with a reduced radiusof rotation.)，，的警告信號。，，如上所述，在第四配置中，由于能夠在拍攝后立即檢測到運動被攝體的存在，因此
可以重新拍攝。結(jié)果，由于能夠在拍攝后立即檢測到視差的影B向，因此可以重新拍攝。
下面，將描述第五配置。[OSOS]第五配置
在第五配置中，掃動角速度(用戶掃動照相機的速度)的適當?shù)闹当桓嬷脩簦?br> 29且如果掃動太快則輸出警告信號，由此敦促用戶重新拍攝。如上所述，微型計算機162以曲線圖的形式將時間和姿勢傳感器(陀螺傳感器)的輸出(掃動角速度)分別顯示在例如LCD的顯示單元18的屏幕的橫軸和縱軸上。
由于最大掃動角速度是在水平視角、水平像素數(shù)和快門速度被設置時確定的，因此如圖4所示，最大掃動角速度的60%到80%作為適當范圍RNG顯示在曲線圖上。
對操作流程的概述如下。1在操作單元19的開始按鈕被按下的情況中掃動照相機，然后開始按鈕被釋放。2如圖4所示，在開始按鈕處于按下狀態(tài)的期間掃動角速度顯示在顯示單元18的屏幕上。3當掃動角速度低于適當范圍RNG時不輸出警告信號，但是當掃動角速度高于適當范圍時將輸出。如上所述，在第五配置中，由于將適當?shù)乃俣雀嬷擞脩?，因此消除由于掃動太?br> 造成沒有重疊區(qū)域以及由于掃動太慢造成成像場景窄的不便。將參考圖22A到圖22D描述用于計算掃動速度的處理的例子?！磼邉铀俣鹊挠嬎恪?將描述一種方法，其用于在確定曝光時間、像素計數(shù)、每一條線的讀出時間、視角、重疊比和幀率時計算用于消除模糊角度、模糊像素計數(shù)中的任何問題的這樣的掃動速度。
能夠從三個公式中獲得的最低的掃動速度值是在這種情況下的最大的角速度。
在圖22A到圖22D中示出的表格示出當給出諸如視角和掃動速度的各種參數(shù)時的模糊像素計數(shù)和幀率的計算結(jié)果。計算結(jié)果是在不同的條件1到條件6下獲得的。將在下面描述在圖22A到圖22D中的條件1下的計算結(jié)果。使用掃動速度vp、視角th、水平像素計數(shù)H和重疊比k，通過圖22A到圖22D的表
格的右邊的計算公式對模糊角ab2、模糊像素計數(shù)nb2和幀率f計算如下。<formula>formula see original document page 30</formula> 通過這些等式，得到掃動速度vp如下。<formula>formula see original document page 30</formula> 這里，當模糊角ab2為0. 28度，曝光時間為lmsec，短邊的像素計數(shù)n為400個像素，并且每一條線的讀出時間rs是7. 8微秒時，掃動速度vp變?yōu)?8度/秒。
此外，當模糊角ab2為19. 9度，長邊的視角th為50度，并且水平像素計數(shù)H是3560個像素時，掃動速度vp變?yōu)?8度/秒。此夕卜，當重疊比k為20%并且?guī)蔲為15. 13時，掃動速度vp變?yōu)?8度/秒。
因此，當公式(1) 、 (2)和(3)的右邊的參數(shù)改變時，掃動速度將受到公式的限制。
在以比通過公式(1)獲得的掃動速度vp快的速度掃動照相機時，可能會超出光學圖像穩(wěn)定化元件的工作限制。在以比由公式(2)獲得的掃動速度vp快的速度掃動照相機時，模糊量可能會超出可允許的限制。在以比由公式(3)獲得的掃動速度vp快的速度掃動照相機時，重疊范圍減少，并且甚至在某些情況中消失。在上文中詳細地描述的第一配置至第五配置可以單獨地或全部地用于照相機設
備io，并且可以適當?shù)亟M合在一起以便用于其中。在上文中詳細地描述的方法可以被實施為與要由諸如CPU的計算機執(zhí)行的上述過程相對應的程序。這樣的程序可以通過諸如半導體存儲器、磁盤、光盤或軟盤(注冊商標)的記錄介
質(zhì)或者通過設置有這樣的記錄介質(zhì)的計算機進行訪問，從而執(zhí)行該程序。本申請包括與2008年12月17日在日本專利局提交的日本在先專利申請JP
2008-320663中公開的主題相關的主題，該專利申請的全部內(nèi)容以引用的方式并入本文。本領域的技術人員應該理解，根據(jù)設計要求和其它因素，可以進行各種修改、組
合、子組合和替換，只要它們在所附的權(quán)利要求或其等同形式的范圍內(nèi)即可。
權(quán)利要求
一種成像設備，包括成像裝置，該成像裝置通過光學系統(tǒng)對被攝體圖像進行成像；圖像信號處理部分，具有使用給定的初始值將多個成像圖像合成為一個合成圖像的功能，所述成像圖像是在移動成像設備的同時獲得的；姿勢傳感器，能夠獲得成像設備的姿勢信息；控制器，該控制器處理姿勢傳感器的信息，以基于該處理結(jié)果和圖像信號處理部分的處理結(jié)果來執(zhí)行協(xié)同控制，其中圖像信號處理部分通過圖像識別來獲得圖像的相對位置關系；并且控制器基于姿勢傳感器的檢測信息來獲得圖像的位置關系，基于所獲得的位置關系和由圖像信號處理部分獲得的相對位置關系指定各個圖像的絕對位置關系，并且將該絕對位置關系作為初始值提供給圖像信號處理部分。
2. 根據(jù)權(quán)利要求1所述的成像設備，其中，控制器通過對獲得的位置關系和由圖像信號處理部分獲得的相對位置關系的選擇性協(xié)同來獲得相對位置關系，并且然后指定與各個圖像的中心的取向相關的所述各個圖像的絕對位置關系。
3. 根據(jù)權(quán)利要求2所述的成像設備，其中姿勢傳感器包括角速度傳感器；并且控制器使用角速度傳感器的檢測信息對移動量進行積分以便計算相對位置關系，執(zhí)行由圖像信號處理部分獲得的相對位置關系的選擇性協(xié)同校正以便對相對位置信息進行積分，從而指定絕對位置關系。
4. 根據(jù)權(quán)利要求2所述的成像設備，其中姿勢傳感器包括角速度傳感器和加速度傳感器；并且控制器使用角速度傳感器的檢測信息對移動量進行積分以便計算相對位置關系，執(zhí)行由圖像信號處理部分獲得的相對位置關系的選擇性協(xié)同校正以便對相對位置信息進行積分，從而獲得指定絕對位置關系的相對位置關系，并且，控制器根據(jù)加速度傳感器的檢測信息校正絕對位置。
5. 根據(jù)權(quán)利要求1至4中的任一項所述的成像設備，其中，圖像信號處理部分使用圖像的重疊區(qū)域來執(zhí)行圖像識別。
6. 根據(jù)權(quán)利要求1至5中的任一項所述的成像設備，其中，圖像信號處理部分在多個被選圖像的邊界執(zhí)行塊匹配處理以便針對所述邊界執(zhí) 行合成處理，從而使得被選圖像的邊界處于覆蓋關系，由此提取特定參數(shù)；基于該參數(shù)對要合成的所有邊界執(zhí)行塊匹配處理；以同步和并行方式對所有邊界評估塊匹配處理的結(jié)果；并且，執(zhí)行合成處理，以便通過更新光軸方向來減少誤差，從而減少在所有邊界中的誤差。
7. 成像方法，包括下述步驟通過具有光軸改變元件的光學系統(tǒng)，使用成像裝置來對被攝體圖像進行成像，該光軸改變元件能夠在移動成像設備的同時改變其光軸；通過對成像圖像執(zhí)行圖像識別來獲得圖像的相對位置關系；基于姿勢傳感器的檢測信息獲得所述圖像的位置關系；基于所獲得的位置關系和通過圖像識別獲得的相對位置關系，指定各個圖像的絕對位置關系；以及使用絕對位置關系作為初始值來將多個成像圖像合成為一個合成圖像，所述成像圖像是在移動成像設備的同時獲得的。
8. 根據(jù)權(quán)利要求7所述的成像方法，其中，經(jīng)由對所獲得的位置關系和通過圖像識別獲得的相對位置關系的選擇性協(xié)同來獲得相對位置關系，并且然后指定與各個圖像的中心的取向相關的所述各個圖像的絕對位置關系。
9. 根據(jù)權(quán)利要求8所述的成像方法，其中，使用作為姿勢傳感器的角速度傳感器的檢測信息對移動量進行積分以便計算相對位置關系，對由圖像信號處理部分獲得的相對位置關系執(zhí)行選擇性協(xié)同校正以便對相對位置信息進行積分，從而指定絕對位置關系。
10. 根據(jù)權(quán)利要求8所述的成像方法，其中，使用作為姿勢傳感器的角速度傳感器的檢測信息對移動量進行積分以便計算相對位置關系，對由圖像信號處理部分獲得的相對位置關系執(zhí)行選擇性協(xié)同校正以便對相對位置信息進行積分，從而獲得指定絕對位置關系的相對位置關系，由此根據(jù)作為姿勢傳感器的角速度傳感器的檢測信息來校正絕對位置。
11. 一種用于執(zhí)行成像處理的程序，該程序使得計算機執(zhí)行下述處理通過具有光軸改變元件的光學系統(tǒng)，使用成像裝置來對被攝體圖像進行成像，該光軸改變元件能夠在移動成像設備的同時改變其光軸；通過對成像圖像執(zhí)行圖像識別來獲得圖像的相對位置關系；基于姿勢傳感器的檢測信息獲得所述圖像的位置關系；基于所獲得的位置關系和通過圖像識別獲得的相對位置關系，指定各個圖像的絕對位置關系；以及使用絕對位置關系作為初始值來將多個成像圖像合成為一個合成圖像，所述成像圖像是在移動成像設備的同時獲得的。
全文摘要
一種成像設備包括成像裝置，該成像裝置通過光學系統(tǒng)對被攝體圖像進行成像；圖像信號處理部分，具有使用給定的初始值將多個成像圖像合成為一個合成圖像的功能，所述成像圖像是在移動成像設備的同時獲得的；姿勢傳感器，能夠獲得成像設備的姿勢信息；控制器，該控制器處理姿勢傳感器的信息，以基于處理結(jié)果和圖像信號處理部分的處理結(jié)果來執(zhí)行協(xié)同控制，其中圖像信號處理部分通過圖像識別來獲得圖像的相對位置關系；并且控制器基于姿勢傳感器的檢測信息來獲得圖像的位置關系，基于所獲得的位置關系和由圖像信號處理部分獲得的相對位置關系指定各個圖像的絕對位置關系，并且將該絕對位置關系作為初始值提供給圖像信號處理部分。
文檔編號G02B27/00GK101753813SQ20091022659
公開日2010年6月23日申請日期2009年11月25日優(yōu)先權(quán)日2008年12月17日
發(fā)明者國兼憲太郎, 山下紀之申請人:索尼株式會社

完整全部詳細技術資料下載