專利名稱：成像設(shè)備、成像方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及具有將多個(gè)圖像組合在一起的功能的成像設(shè)備、及其成像方法和程序。
背景技術(shù)：
在使用攝像放像機(jī)(內(nèi)建在VTR中的相機(jī))、數(shù)字相機(jī)等的全景攝影中，當(dāng)在停止 每一階段的相機(jī)的掃描(swe印)運(yùn)動(dòng)或具有連續(xù)掃描運(yùn)動(dòng)的同時(shí)、拍攝全景圖像時(shí)，必須 低速掃描相機(jī)，以便防止結(jié)果圖像的模糊。
在后一情況下，拍攝可需要高速快門。 關(guān)于此，日本專利第3928222號(hào)(專利文獻(xiàn)l)提出了一種在維持圖像分辨率的同 時(shí)使能相機(jī)的快速掃描的拍攝方法。 該拍攝方法中使用的技術(shù)是這樣的技術(shù)，其通過檢測相機(jī)的掃描方向和掃描角速 度、并沿著掃描的相反方向以相同角速度改變光軸，使得相機(jī)能夠如同其正聚焦于一點(diǎn)那 樣拍攝圖像，由此否定(negating) 了結(jié)果圖像的改變。 盡管必須使用加速度傳感器或角加速度傳感器以便實(shí)現(xiàn)該控制方法，但是日本專 利第3925299號(hào)(專利文獻(xiàn)2)提出了即使當(dāng)沒有提供傳感器和用于控制它們的反饋電路 時(shí)仍使得能夠適當(dāng)控制光軸的方法。 在該情況下，該方法被用作監(jiān)視系統(tǒng)，其中對(duì)施加到用于控制拍攝方向的步進(jìn)馬 達(dá)的脈沖數(shù)目進(jìn)行計(jì)數(shù)，并根據(jù)計(jì)數(shù)值執(zhí)行光軸控制。

發(fā)明內(nèi)容
在通過將相機(jī)設(shè)置為望遠(yuǎn)鏡模式以創(chuàng)建廣角高清晰度圖像、而從一點(diǎn)沿不同方向 進(jìn)行多次拍攝的方法中，一般使用在固定到三腳架的有源可轉(zhuǎn)動(dòng)機(jī)座上安裝的相機(jī)來執(zhí)行 拍攝；然而，這樣的拍攝也可由手持相機(jī)執(zhí)行。 所以，必須在用手掃描相機(jī)的同時(shí)執(zhí)行拍攝，但是難以獲得足夠好的圖像，除非掃 描速度維持適當(dāng)值。 然而，由于現(xiàn)有相機(jī)不能管理(監(jiān)視)掃描速度，所以實(shí)際上不可能確定緊靠拍攝 之后的重新拍攝是否是必要的。 由此，期望提供一種易于使用、并能夠監(jiān)視掃描速度、并使得能夠確定緊靠拍攝之 后的重新拍攝是否必要的成像設(shè)備、及其成像方法和程序。 根據(jù)本發(fā)明的第一實(shí)施例，提供了一種成像設(shè)備，包括成像裝置，用于通過光學(xué) 系統(tǒng)成像對(duì)象圖像；圖像信號(hào)處理部分，具有將多個(gè)成像圖像組合為一幅組合圖像的功能， 所述成像圖像是在掃描成像設(shè)備的同時(shí)獲得的；位置傳感器，能夠獲得該成像設(shè)備的位置 信息；和控制器，用于處理該位置傳感器的信息，其中該控制器基于該位置傳感器的檢測信 息來發(fā)送掃描角速度的適當(dāng)值的通知，并且當(dāng)掃描角速度超出適當(dāng)范圍時(shí)，輸出警告信號(hào)。
優(yōu)選地，該成像設(shè)備還包括顯示單元，并且該控制器在該顯示單元上連同該適當(dāng)
3范圍一起顯示時(shí)間和該掃描角速度之間的關(guān)系。 優(yōu)選地，該成像設(shè)備還包括揚(yáng)聲器單元，并且當(dāng)該掃描角速度超出該適當(dāng)范圍時(shí)， 該控制器經(jīng)由該揚(yáng)聲器單元輸出警告聲音。 優(yōu)選地，基于通過水平視角、水平像素計(jì)數(shù)、和快門速度確定的最大掃描角速度， 來設(shè)置該適當(dāng)范圍。 根據(jù)本發(fā)明的第二實(shí)施例，提供了一種成像方法，包括步驟在掃描該成像設(shè)備
的同時(shí)、通過具有能夠改變其光軸的光軸改變?cè)墓鈱W(xué)系統(tǒng)使用成像裝置來成像對(duì)象圖
像；經(jīng)由位置傳感器獲得該成像設(shè)備的位置信息；基于該位置傳感器的檢測信息來發(fā)送掃
描角速度的適當(dāng)值的通知；和當(dāng)該掃描角速度超出適當(dāng)范圍時(shí)，輸出警告信號(hào)。 根據(jù)本發(fā)明的第三實(shí)施例，提供了一種用于執(zhí)行成像處理的程序，該程序促使計(jì)
算機(jī)執(zhí)行以下處理在掃描該成像設(shè)備的同時(shí)、通過具有能夠改變其光軸的光軸改變?cè)?br> 的光學(xué)系統(tǒng)使用成像裝置來成像對(duì)象圖像；經(jīng)由位置傳感器獲得該成像設(shè)備的位置信息；
基于該位置傳感器的檢測信息來發(fā)送掃描角速度的適當(dāng)值的通知；和當(dāng)該掃描角速度超出
適當(dāng)范圍時(shí)，輸出警告信號(hào)。 根據(jù)本發(fā)明的實(shí)施例，將在移動(dòng)成像設(shè)備的同時(shí)獲得的多個(gè)成像圖像輸入到圖像 信號(hào)處理部分。 此外，將位置傳感器所檢測的成像設(shè)備的位置信息輸入到該控制器。 該控制器基于該位置傳感器的檢測信息而發(fā)送該掃描角速度的適當(dāng)值的通知。此
外，當(dāng)該掃描角速度超出該適當(dāng)范圍時(shí)，輸出該警告信號(hào)。 所以，根據(jù)本發(fā)明的實(shí)施例，可能監(jiān)視掃描速度，使得能夠確定在緊靠拍攝之后的 重新拍攝是否必要，并改善用戶友好性。


圖1是示出了根據(jù)本發(fā)明實(shí)施例的采用圖像處理設(shè)備的相機(jī)設(shè)備的配置的示例 的框圖； 圖2是概念性地示出了根據(jù)該實(shí)施例的相機(jī)設(shè)備執(zhí)行廣角成像的情況的圖；
圖3是精確組合處理單元的框圖； 圖4是用圖形示出了位置傳感器的輸出(掃描角速度)的圖； 圖5A和5B是用于解釋根據(jù)本實(shí)施例第一配置的成像模式的圖； 圖6是示出了 CMOS圖像傳感器的曝光周期、存儲(chǔ)電荷的讀出周期、和光軸控制周
期之間的關(guān)系的圖； 圖7A和7B是示出了在使用互功率譜(CPS)的轉(zhuǎn)換中的拼接圖像的圖； 圖8是用于解釋通過塊匹配(BM)提取參數(shù)的處理的圖，特別示出了用于選擇好條
件的四個(gè)圖像的處理； 圖9是用于解釋通過BM提取參數(shù)的處理的圖，特別示出了用于在邊界的三個(gè)位置 處執(zhí)行BM的示例； 圖IO是用于解釋通過BM提取參數(shù)的處理的圖，特別示出了鏡頭失真的存在導(dǎo)致 BM的拱形(arched)結(jié)果; 圖11是用于解釋通過BM提取參數(shù)的處理的圖，特別示出了不合適的傾斜角導(dǎo)致左右誤差的情況； 圖12是用于解釋通過BM提取參數(shù)的處理的圖，特別示出了右和左邊界中的垂直 擴(kuò)展和收縮的存在生成了橫向偏差的情況； 圖13是用于解釋通過塊匹配(BM)處理提取參數(shù)的處理的圖，特別示出了在圖像 的旋轉(zhuǎn)中生成的誤差的示例； 圖14A和14B是用于解釋在執(zhí)行了通過BM提取參數(shù)的處理之后、可通過將BM擴(kuò) 展為很多幅并執(zhí)行轉(zhuǎn)換而使得誤差最小化的處理的圖； 圖15是示出了基于連續(xù)成像的圖像和傳感器信息的空間排列的方法的功能性框 圖； 圖16是示出了用于通過使得連續(xù)成像的圖像和傳感器信息相關(guān)而實(shí)現(xiàn)高精度的 方法的功能性框圖，特別示出了靜止?fàn)顟B(tài)(static-state)傳感器值的零點(diǎn)校正；
圖17是示出了用于通過使得連續(xù)成像的圖像和傳感器信息相關(guān)而實(shí)現(xiàn)高精度的 方法的功能性框圖，特別示出了用于經(jīng)由移位信息的協(xié)作(collaboration)實(shí)現(xiàn)高精度的 方法； 圖18是角速度傳感器的零點(diǎn)校正處理的流程圖；
圖19是角速度傳感器的移位量校正處理的流程圖；
圖20是移位量獲取方法的流程圖； 圖21是從成像的圖像分配空間座標(biāo)的方法的流程圖；禾口 圖22A到22D是用于解釋用于計(jì)算掃描速度的處理的示例的圖。
具體實(shí)施例方式
將參考附圖來描述本發(fā)明的實(shí)施例。 圖1是示出了根據(jù)本發(fā)明實(shí)施例的作為成像設(shè)備的相機(jī)設(shè)備的配置的示例的框 圖。 如圖2中所示，本實(shí)施例的相機(jī)設(shè)備IO被配置為通過從一點(diǎn)沿不同方向自動(dòng)或手 動(dòng)成像多次而獲得大量圖像(圖2中的16X8 = 128幅)。 相機(jī)設(shè)備10被配置為沒有皺紋地精確組合大量(幾千個(gè))圖像，以形成所謂全景 圖像。 S卩，相機(jī)設(shè)備10具有從數(shù)字相機(jī)所成像的圖像來創(chuàng)建全景圖像的功能，該數(shù)字相 機(jī)上安裝有例如CMOS圖像傳感器(CIS)的固態(tài)成像裝置，并且高速地垂直或水平掃描。
根據(jù)本實(shí)施例的相機(jī)設(shè)備10具有下面的第一到第五特性配置和功能。
將描述第一配置。 當(dāng)通過在移動(dòng)相機(jī)設(shè)備10的同時(shí)成像多個(gè)圖像并然后將成像的圖像組合在一 起、而生成全景圖像時(shí)，控制聚焦圖像的鏡頭(移位鏡頭)的光軸，使得否定相機(jī)的移動(dòng)方 向及其角速度。 按照這種方式，正移動(dòng)的相機(jī)可如同它正聚焦于一點(diǎn)一樣拍攝圖像。 在該配置中，將CIS (CMOS圖像傳感器)用作固態(tài)成像裝置，并通過對(duì)于沿著CIS
的中心方向的部分線執(zhí)行上述操作，而成像圖像。 S卩，在與該部分線的曝光周期和讀出周期之和對(duì)應(yīng)的周期期間執(zhí)行光軸控制，而在除了所述對(duì)應(yīng)周期之外的周期期間，控制光軸返回到中心附近。這時(shí)的相機(jī)拍攝方向與 CIS的線正交。 相機(jī)設(shè)備10將CIS的一部分分段為條紋形狀，并對(duì)于條紋形狀部分執(zhí)行光軸控
制，由此即使當(dāng)高速移動(dòng)相機(jī)時(shí)，也以高幀頻生成全景圖像，而不降低分辨率。 將描述第二配置。 相機(jī)設(shè)備10采用使用經(jīng)由圖像識(shí)別技術(shù)獲得的幀移位信息和從位置傳感器獲得 的移位信息來部分地排列連續(xù)成像的圖像的技術(shù)。 其中通過該圖像識(shí)別不能獲得該信息的部分被替換為位置傳感器信息，并且將位 置傳感器信息用作確認(rèn)圖像識(shí)別成功或當(dāng)圖像識(shí)別已失敗時(shí)要使用的輔助座標(biāo)。將空間排 列的圖像組合為一個(gè)全景圖像。 在該情況下，相機(jī)設(shè)備10被配置為通過從大約一點(diǎn)沿不同方向成像多次、而在主 要手持的狀態(tài)下成像多個(gè)圖像的相機(jī)。 相機(jī)設(shè)備10包括位置傳感器，該位置傳感器具有三軸(或兩軸)加速度傳感器以 及三(或兩軸)角速度傳感器中的兩者或任一個(gè)。 相機(jī)設(shè)備10具有以下功能與成像同時(shí)地記錄關(guān)于其中成像相應(yīng)圖像的拍攝方 向的位置信息，并將所述多個(gè)成像圖像組合為原處的一幅圖像。 相機(jī)設(shè)備10在例如塊匹配的圖像識(shí)別功能的幫助下使用圖像的重疊區(qū)域來計(jì)算
圖像的相對(duì)位置關(guān)系，并基于各種位置傳感器數(shù)據(jù)來計(jì)算圖像的位置關(guān)系。 然后，相機(jī)設(shè)備10經(jīng)由所計(jì)算的圖像的相對(duì)位置關(guān)系和位置關(guān)系的選擇性協(xié)作，
而計(jì)算圖像的更精確的相對(duì)位置關(guān)系。 其后，相機(jī)設(shè)備10指定與相應(yīng)圖像的中心的方位(orientations)相關(guān)的相應(yīng)圖 像的絕對(duì)位置關(guān)系(例如圍繞光軸的搖攝(pa皿ing)角(經(jīng)度)、傾斜角(緯度)、和滾動(dòng) (rolling)角(傾度))，并使用它們作為初始值來執(zhí)行精確的自動(dòng)化組合。
將描述第三配置。 相機(jī)設(shè)備10采用通過使得經(jīng)由圖像識(shí)別技術(shù)獲得的幀移位信息和從位置傳感器 獲得的移位信息彼此相關(guān)、來記錄連續(xù)成像的圖像的技術(shù)。 相機(jī)設(shè)備10計(jì)算以下本身不確定的信息，例如圖像的像素視角、位置傳感器的靜 止?fàn)顟B(tài)值、和位置傳感器值的對(duì)應(yīng)像素視角。相機(jī)設(shè)備10具有例如偏移和增益的參數(shù)，并 由此能夠通過改變這些參數(shù)而使得信息與實(shí)際方向基本相同。 相機(jī)設(shè)備10通過三軸(或兩軸)加速度傳感器相對(duì)于地心引力方向的角度，而靜 態(tài)地檢測靜止?fàn)顟B(tài)位置數(shù)據(jù)，并將該位置數(shù)據(jù)用作位置信息的初始值。 相機(jī)設(shè)備10主要通過例如三軸角速度傳感器的時(shí)間積分值，來計(jì)算沿著相機(jī)的
垂直和水平方向的旋轉(zhuǎn)移動(dòng)，并將該旋轉(zhuǎn)移動(dòng)用作當(dāng)成像相應(yīng)圖像時(shí)的方向數(shù)據(jù)。 相機(jī)設(shè)備10在例如塊匹配的圖像識(shí)別功能的幫助下，使用圖像的重疊區(qū)域，來計(jì)
算圖像的相對(duì)位置關(guān)系。相機(jī)設(shè)備10同時(shí)確定計(jì)算結(jié)果是否正確，并計(jì)算圖像的位置關(guān)系。 當(dāng)計(jì)算結(jié)果正確時(shí)，相機(jī)設(shè)備10基于位置關(guān)系的該信息來校正參數(shù)。 當(dāng)計(jì)算結(jié)果不正確時(shí)，相機(jī)設(shè)備10使用基于已經(jīng)校正的參數(shù)而獲得的位置傳感
器值來排列圖像。
將描述第四配置。 相機(jī)設(shè)備10具有一旦檢測到移動(dòng)對(duì)象的影響就輸出提示用戶重新拍攝的警告信 號(hào)的功能。 關(guān)于移動(dòng)對(duì)象的檢測，相機(jī)設(shè)備10具有以下功能確保對(duì)象的任何部分將出現(xiàn)在 具有重疊率50%或更高的至少兩幅圖像中，以在相鄰圖像之間的運(yùn)動(dòng)矢量的相似度匹配的 幫助下，檢測視差(parallax)的影響或?qū)ο蟆?S卩，相機(jī)設(shè)備10 —旦檢測到移動(dòng)對(duì)象或視差的影響，就輸出提示用戶重新拍攝的
警告信號(hào)。 在利用單一掃描來成像寬范圍對(duì)象的多個(gè)條紋形狀圖像并將它們組合為一個(gè)圖 像的相機(jī)設(shè)備10中，檢測近距范圍中的對(duì)象正接收到多少視差的影響，并且基于檢測結(jié)果 提示用戶重新拍攝該相機(jī)的視點(diǎn)周圍的對(duì)象。
將描述第五配置。 相機(jī)設(shè)備10通過向用戶通知掃描角速度(用戶掃描相機(jī)的速度)的適當(dāng)值并且 如果掃描過快則輸出警告信號(hào)，而提示用戶重新拍攝。 相機(jī)設(shè)備10通過圖形分別在例如LCD的顯示單元18的屏幕的水平和垂直軸上顯 示時(shí)間和位置傳感器(陀螺儀傳感器)的輸出(掃描角速度)。由于當(dāng)設(shè)置水平視角、水 平像素?cái)?shù)目、和快門速度時(shí)確定了最大掃描角速度，所以在圖表上顯示最大掃描角速度的 60%到80%作為適當(dāng)范圍。 下面將描述具有上述特征的相機(jī)設(shè)備10的更詳細(xì)的配置和功能。
相機(jī)設(shè)備10被配置為包括光學(xué)系統(tǒng)11、成像裝置12、模擬前端(AFE)電路13、位 置傳感器單元14、驅(qū)動(dòng)器15、系統(tǒng)控制器16、存儲(chǔ)器17、顯示單元18、操作單元19、和揚(yáng)聲 器單元20。 光學(xué)系統(tǒng)11將對(duì)象圖像聚焦在成像裝置12的成像面上。 光學(xué)系統(tǒng)11被配置為包括標(biāo)準(zhǔn)鏡頭111、作為光軸改變?cè)囊莆荤R頭112、和機(jī) 械快門113。 移位鏡頭112除了聚焦圖像的功能之外具有通過驅(qū)動(dòng)器15的驅(qū)動(dòng)來改變光軸方 向的功能。 通過例如CMOS (互補(bǔ)金屬氧化物半導(dǎo)體)器件或CCD (電荷耦合器件)來配置成 像裝置112。 在本實(shí)施例中，將描述CMOS圖像傳感器作為示例。在上述第一配置中，將CMOS圖 像傳感器用作固態(tài)成像裝置。 成像裝置12借助于在半導(dǎo)體襯底上按照矩陣排列的光學(xué)傳感器來檢測該光學(xué)系 統(tǒng)11所獲得的對(duì)象圖像，以生成信號(hào)電荷，通過垂直信號(hào)線和水平信號(hào)線讀取信號(hào)電荷， 并然后輸出對(duì)象的圖像信號(hào)。 當(dāng)成像裝置12由CMOS圖像傳感器形成時(shí)，通過全局快門和作為電子快門的滾動(dòng) 快門來執(zhí)行曝光控制。通過系統(tǒng)控制器16來執(zhí)行曝光控制。 AFE電路13去除例如來自成像裝置12的圖像信號(hào)中包括的固定圖案噪聲，通過自 動(dòng)增益控制的操作來使得信號(hào)電平穩(wěn)定，并將得到的圖像信號(hào)輸出到系統(tǒng)控制器16。
位置傳感器14檢測相機(jī)設(shè)備10的位置，以將檢測結(jié)果供應(yīng)到系統(tǒng)控制器16。
7
位置傳感器14由例如三軸加速度傳感器141和三軸角速度傳感器142配置。
加速度傳感器141能夠靜態(tài)地知道其相對(duì)于地心引力方向的角度，并由此檢測傾 斜角和滾動(dòng)角。然而，加速度傳感器141不能檢測搖攝角。 所以，角速度傳感器142用于獲得移位角。角速度傳感器142還被稱為陀螺儀傳 感器，并能夠檢測旋轉(zhuǎn)期間的角速度作為電壓信號(hào)，并通過對(duì)電壓信號(hào)進(jìn)行積分來計(jì)算角 度。此外，由于角速度傳感器142被配置為三軸傳感器，所以其可檢測搖攝角、傾斜角和滾 動(dòng)角。 驅(qū)動(dòng)器15在系統(tǒng)控制器16的控制下改變光學(xué)系統(tǒng)11的移位鏡頭112的光軸。
系統(tǒng)控制器16是用于對(duì)于來自AFE電路13的輸出信號(hào)執(zhí)行顏色校正處理、多個(gè) 圖像的組合處理、自動(dòng)化曝光控制和自動(dòng)白平衡控制等的電路。 系統(tǒng)控制器16被配置為包括圖像信號(hào)處理部分161和作為控制器的微計(jì)算機(jī) (ii -CON) 162。 圖像信號(hào)處理部分161具有精確組合處理單元，其被配置為使得能夠沒有皺紋地 精確組合從一點(diǎn)沿不同方向拍攝多次的大量圖像。 如圖3中所示，精確組合處理單元1611包括第一顏色校正功能單元16111、組合功 能單元16112、和第二顏色校正功能單元16113。 圖像信號(hào)處理部分161將多個(gè)成像圖像組合在一起，所述圖像是在移動(dòng)相機(jī)設(shè)備 10以生成全景圖像的同時(shí)獲得的。 微計(jì)算機(jī)162控制聚焦圖像的鏡頭(移位鏡頭)的光軸，以便根據(jù)位置傳感器14 的檢測結(jié)果來否定相機(jī)的移動(dòng)方向和角速度。 當(dāng)將CMOS圖像傳感器用作固態(tài)成像裝置時(shí)，微計(jì)算機(jī)162控制驅(qū)動(dòng)器15，以在與 CMOS圖像傳感器的部分線的曝光周期和讀出周期之和對(duì)應(yīng)的周期期間執(zhí)行上述光軸控制， 并在除了所述對(duì)應(yīng)周期之外的周期期間將光軸返回到中心附近。那時(shí)相機(jī)的拍攝方向與 CMOS圖像傳感器的線正交。 微計(jì)算機(jī)162將CMOS圖像傳感器的部分分段為條紋形狀并對(duì)于這些條紋形狀部 分執(zhí)行光軸控制，使得即使當(dāng)高速移動(dòng)相機(jī)時(shí)，也按照高幀頻生成全景圖像，而不降低分辨率。 微計(jì)算機(jī)162對(duì)角速度傳感器142的檢測信號(hào)進(jìn)行積分，以計(jì)算相機(jī)設(shè)備10的旋 轉(zhuǎn)角度，并根據(jù)計(jì)算的旋轉(zhuǎn)角度來控制移位鏡頭112的光軸的改變量。
作為選擇，圖像信號(hào)處理部分161可檢測相鄰成像圖像的運(yùn)動(dòng)分量，并且微計(jì)算 機(jī)162可根據(jù)檢測的運(yùn)動(dòng)分量來控制光軸的改變量。 作為選擇，微計(jì)算機(jī)162可基于計(jì)算的旋轉(zhuǎn)角度和運(yùn)動(dòng)分量來控制光軸的改變 微計(jì)算機(jī)162在存儲(chǔ)器17中記錄關(guān)于其中成像相應(yīng)成像圖像的拍攝方向的位置 信息。 圖像信號(hào)處理部分161和微計(jì)算機(jī)162在例如塊匹配的圖像識(shí)別功能的幫助下使 用圖像的重疊區(qū)域來計(jì)算相應(yīng)圖像的相對(duì)位置關(guān)系，并基于各種位置傳感器數(shù)據(jù)來計(jì)算圖 像的位置關(guān)系。 然后，微計(jì)算機(jī)162經(jīng)由所計(jì)算的圖像的相對(duì)位置關(guān)系和位置關(guān)系的選擇性協(xié)作，來計(jì)算圖像的更精確的相對(duì)位置關(guān)系。 其后，微計(jì)算機(jī)162指定與相應(yīng)圖像的中心的方位相關(guān)的相應(yīng)圖像的絕對(duì)位置關(guān)
系，例如光軸周圍的搖攝角(經(jīng)度)、傾斜角(緯度)、和滾動(dòng)角(傾角)。 圖像信號(hào)處理部分161使用它們作為初始值來執(zhí)行精確自動(dòng)化組合。 微計(jì)算機(jī)162計(jì)算本身不確定的信息，例如圖像的像素視角、位置傳感器的靜止
狀態(tài)值、和位置傳感器值的對(duì)應(yīng)像素視角。微計(jì)算機(jī)162具有例如偏移和增益的參數(shù)，并由
此能夠通過改變這些參數(shù)使得信息與實(shí)際方向基本上相同。 微計(jì)算機(jī)162通過三軸(或兩軸)加速度傳感器相對(duì)于地心引力方向的角度來靜
態(tài)地檢測靜止?fàn)顟B(tài)位置數(shù)據(jù)，并將該位置數(shù)據(jù)用作位置信息的初始值。 微計(jì)算機(jī)162主要通過例如三軸角速度傳感器142的時(shí)間積分值來計(jì)算相機(jī)的垂
直和水平方向的旋轉(zhuǎn)移動(dòng)，并將該旋轉(zhuǎn)移動(dòng)用作在成像相應(yīng)圖像的時(shí)間處的方向數(shù)據(jù)。 微計(jì)算機(jī)162在例如塊匹配的圖像識(shí)別功能的幫助下使用圖像的重疊區(qū)域來計(jì)
算圖像的相對(duì)位置關(guān)系，并還在計(jì)算圖像的位置關(guān)系時(shí)同時(shí)作出關(guān)于計(jì)算結(jié)果是否正確的確定。 當(dāng)計(jì)算結(jié)果正確時(shí)，微計(jì)算機(jī)162基于該位置關(guān)系的信息來校正這些參數(shù)。
當(dāng)計(jì)算結(jié)果不正確時(shí)，微計(jì)算機(jī)162使用基于已經(jīng)校正的參數(shù)獲得的位置傳感器 值來排列圖像。 微計(jì)算機(jī)162通過借助于顯示單元18和/或揚(yáng)聲器單元20顯示指示和/或輸出
警告聲音而輸出警告信號(hào)，以一旦檢測到移動(dòng)對(duì)象的影響就提示用戶重新拍攝。 關(guān)于移動(dòng)對(duì)象的檢測，微計(jì)算機(jī)162確保對(duì)象的任何部分將出現(xiàn)在具有重疊率
50%或更多的至少兩幅圖像中，以在相鄰圖像之間的運(yùn)動(dòng)矢量的相似度匹配的幫助下，檢
測視差的影響或?qū)ο蟆?S卩，微計(jì)算機(jī)162輸出警告信號(hào)，以一旦檢測到對(duì)象或視差的影響就提示用戶重 新拍攝。 微計(jì)算機(jī)162檢測近距范圍中的對(duì)象正接收到多少視差的影響，以基于檢測結(jié)果 提示用戶重新拍攝該相機(jī)的視點(diǎn)周圍的對(duì)象。 微計(jì)算機(jī)162通過向用戶通知掃描角速度(用戶掃描相機(jī)的速率)的適當(dāng)值、并 且如果掃描過快則通過借助于顯示單元18和/或揚(yáng)聲器單元20顯示指示和/或輸出警告 聲音而輸出警告信號(hào)，來提示用戶重新拍攝。 微計(jì)算機(jī)162通過圖形分別在例如LCD的顯示單元18的屏幕的水平和垂直軸上 顯示時(shí)間和位置傳感器(陀螺儀傳感器)的輸出(掃描角速度)。由于當(dāng)設(shè)置水平視角、水 平像素?cái)?shù)目、和快門速度時(shí)確定了最大掃描角速度，所以在圖表上顯示最大掃描角速度的 60%到80%作為適當(dāng)范圍RNG，如圖4中所示。 操作過程的概況如下。[1]通過按下操作單元19的開始按鈕而掃描相機(jī)，并然后 釋放該開始按鈕。[2]在圖4中圖示的顯示單元18的屏幕上顯示在開始按鈕的按下狀態(tài)期 間的掃描角速度。 [3]當(dāng)掃描角速度低于適當(dāng)范圍RNG時(shí)，不輸出警告信號(hào)，但是當(dāng)掃描角速度高于
適當(dāng)范圍時(shí)，將輸出警告信號(hào)。 其后，將詳細(xì)描述上述第一到第五配置。
系統(tǒng)控制器16主要執(zhí)行第一到第五配置中的控制。
[第一配置] 在第一配置中，由于將CM0S圖像傳感器用作固態(tài)成像裝置，所以不存在例如幀/
場的概念，并且采用其中順序讀出所有線的累進(jìn)(progressive)方法。 圖5A和5B是用于解釋根據(jù)本發(fā)明第一配置的成像模式的圖。 作為移動(dòng)相機(jī)設(shè)備10的方法，假設(shè)基本上沿著圖5A中示出的垂直方向或圖5B中
示出的水平方向來掃描相機(jī)。即，沿著與CM0S圖像傳感器的讀出線正交的方向來移動(dòng)相機(jī)。 如圖5A和5B中的黑色條紋形狀部分30所描繪的，在本實(shí)施例中，微計(jì)算機(jī)162 對(duì)于從CMOS圖像傳感器的成像范圍的中心部分分段的條紋形狀部分執(zhí)行光軸控制。
這樣的條紋成像給出以下優(yōu)點(diǎn)。
(a)更窄的條紋給出對(duì)于視差的更有利影響。 (b)更窄的條紋給出對(duì)于CMOS圖像傳感器的異步讀出的更有利影響。
(c)更窄的條紋給出對(duì)于環(huán)境光減少的更有利影響。
(d)更窄的條紋給出對(duì)于鏡頭失真的更有利影響。 微計(jì)算機(jī)162控制聚焦圖像的鏡頭(移位鏡頭)的光軸，以根據(jù)位置傳感器14的 檢測結(jié)果來否定相機(jī)的移動(dòng)方向和角速度。 當(dāng)將CMOS圖像傳感器用作固態(tài)成像裝置時(shí)，微計(jì)算機(jī)162控制驅(qū)動(dòng)器15以在與 CMOS圖像傳感器的部分線的曝光周期和讀出周期之和對(duì)應(yīng)的周期期間執(zhí)行上述光軸控制， 并在除了所述對(duì)應(yīng)周期之外的周期期間將光軸返回到中心附近。 S卩，在圖5A和5B中示出的條紋形狀部分30正被曝光的周期期間，需要執(zhí)行光軸 控制。 圖6是示出了 CMOS圖像傳感器的曝光周期、存儲(chǔ)電荷的讀出周期、和光軸控制周 期之間的關(guān)系的圖。 在曝光之后讀出CMOS圖像傳感器的相應(yīng)線的電荷，并且在完成某一線的電荷讀 出之后，對(duì)于隨后線執(zhí)行曝光和電荷讀出。在反復(fù)執(zhí)行該操作的周期期間執(zhí)行光軸控制，使 得對(duì)于所有條紋形狀部分執(zhí)行電荷讀出處理。 例如，當(dāng)使用每一線的讀出周期為7. 8微秒/線的CMOS圖像傳感器、快門速度是 1/1000秒(S卩，曝光周期是1毫秒)、并且條紋寬度是200線時(shí)，圖6中的總讀出周期成為 1. 56毫秒而光軸控制周期成為2. 56毫秒。這對(duì)應(yīng)于圖22A到22D中的條件[3]，其中當(dāng) 給出各種參數(shù)時(shí)，計(jì)算模糊像素計(jì)數(shù)或幀頻。另外，當(dāng)成像的幀頻為60fps (大約每一圖像 16. 66毫秒)時(shí)，通過應(yīng)用專利文獻(xiàn)1的圖3中的對(duì)應(yīng)數(shù)值，Son成為2. 56毫秒而Soff成 為14. 1毫秒(=16. 66-2. 56)。 盡管光軸控制的許可界限角在專利文獻(xiàn)l中公開的技術(shù)中處于士1.2度的范圍 內(nèi)，但是許可界限角在士0.5度的范圍內(nèi)可變，并且使用在0到0.3度的范圍內(nèi)的值。這對(duì) 應(yīng)于最大可變范圍的大約60 % 。 按照這樣的方式通過成像獲得的條紋形狀的圖像由圖3中的精確組合處理單元 1611組合在一起，由此生成全景圖像。其后，將描述精確組合處理單元1611的圖像組合處理。
由此，根據(jù)本實(shí)施例的系統(tǒng)控制器16具有這樣的功能(例如軟件)，用于通過校正
顏色非均勻性將從一點(diǎn)沿不同方向拍攝多次的圖像精確組合為一幅圖像。 下面將詳細(xì)描述本實(shí)施例的精確組合的特征功能。 第一顏色校正功能單元16111在提取例如鏡頭失真校正系數(shù)的參數(shù)時(shí)對(duì)于每一 邊界執(zhí)行至少三個(gè)塊匹配(BM)處理，并對(duì)于至少四幅中的邊界執(zhí)行組合，由此確定鏡頭失 真校正系數(shù)，以允許精確組合。 換言之，第一顏色校正功能單元16111從原始圖像中提取例如鏡頭失真校正系數(shù) 的參數(shù)。 隨后，第一顏色校正功能單元16111對(duì)于所有部分圖像均勻地執(zhí)行環(huán)境光減少校 正、對(duì)比度增強(qiáng)、飽和度增強(qiáng)和伽馬校正。 在第一顏色校正功能單元16111確定例如鏡頭失真校正系數(shù)的參數(shù)并執(zhí)行環(huán)境 光減少校正、對(duì)比度增強(qiáng)、飽和度增強(qiáng)和伽馬校正之后，組合功能單元16112對(duì)于所有邊界 中的每一個(gè)執(zhí)行BM至少一次(例如三次)。 然后，組合功能單元16112通過同時(shí)評(píng)估所有邊界的BM的結(jié)果，并更新光軸方向 而執(zhí)行多個(gè)圖像的精確組合，以便降低所有邊界中的誤差。 第二顏色校正功能部分16113執(zhí)行顏色(顏色非均勻性)校正，這對(duì)于每一部分 圖像獨(dú)立執(zhí)行，以便減少該組合功能單元16112所精確組合的多個(gè)圖像中的相鄰圖像之間 的色差。 第二顏色校正功能部分16113還執(zhí)行用于將相鄰圖像之間的顏色不連續(xù)性降低 到檢測界限之下的顏色校正。 下面將描述精確組合處理單元1611中的精確組合處理的理論概念。 本實(shí)施例基本上采用了基于傅立葉分析的相位相關(guān)技術(shù)。
艮P，采用的技術(shù)基于傅立葉移位定理，其中僅在譜域中的相位中改變空間函數(shù)的
移位。








特別是，兩個(gè)函數(shù)^和f2應(yīng)滿足以下關(guān)系。 [等式l]
f2(x， y) = f\(x+xt， y+yt) 此外存在以下譜特征。 [等式2]
F2 (u， v) = F工(u， v) exp (_2 jt i (uxt+vyt)) 可通過使用互功率譜(CPS)來等效書寫以上等式，如下。 [等式3]
1v , , 2、 ' lexp(2—x,
《(w，v)《(w,v)

互功率譜
在該等式中，F(xiàn)2*是復(fù)函數(shù)F2的共軛函數(shù)。
事實(shí)上，圖像是例如兩個(gè)圖像的互功率譜的比特噪聲，如圖7A和7B中所示' 所以，可期望尋找CPS的峰值，并從該峰值導(dǎo)出轉(zhuǎn)換參數(shù)(xt， yt)。
11
圖7A和7B是示出了在使用互功率譜(CPS)的轉(zhuǎn)換中的拼接圖像的圖。 圖7A示出了兩個(gè)圖像的拼接的結(jié)果?？赏ㄟ^檢測CPS的峰值來獲得兩維轉(zhuǎn)換，如
圖7B中所示。這里，如果CPS是可讀的，則完全匹配了這些圖像。 由于難以在具有許多噪聲的圖像中檢測最大峰值，所以可選擇一些峰值。 接下來，將參考圖8到14來描述通過使用塊匹配(BM)處理的參數(shù)提取原理。 BM包括導(dǎo)出上述互功率譜(CPS)的峰值的函數(shù)。 現(xiàn)在參考圖8，選擇好條件的四個(gè)圖像IM0、 IM1、 M2和IM3。 例如假設(shè)在左下角排列的圖像是第零圖像IMO，其右邊的圖像是第一圖像IM1、最
左邊的圖像是第二圖像頂2、而其右邊的圖像是第三圖像IM3。排列這些圖像M0到IM3，以
包括在相鄰圖像之間的邊界中的重疊部分。 在圖8中，在邊界區(qū)域中安排的矩形是塊BLK。 由此，在上述排列條件下執(zhí)行BM。然后，從下、左、右和上區(qū)域中的四個(gè)邊界BDR01、BDR02、BDR13和BDR23中分別獲
得鏡頭失真、視角、和傾斜角的信息。 將進(jìn)一步描述BM (塊匹配)。 對(duì)于邊界中的三個(gè)位置執(zhí)行BM，如圖9中所示。 鏡頭失真的存在導(dǎo)致BM的拱形結(jié)果，如圖10中所示。 任何不合適的傾斜角導(dǎo)致BM結(jié)果中的橫向傾斜誤差，如圖11中所示。 當(dāng)鏡頭失真的中心在垂直方向上偏離時(shí)，在上和下邊界中發(fā)生橫向擴(kuò)展和收縮，
如圖12中所示。右和左邊界中的垂直擴(kuò)展和收縮是由于鏡頭失真的中心的橫向偏離而引起的。 當(dāng)圖像在向上的同時(shí)旋轉(zhuǎn)時(shí)，如圖13中所示發(fā)生垂直傾斜誤差。S卩，圖13示出了
當(dāng)相機(jī)沒有定位在機(jī)械傾斜軸的前面時(shí)的結(jié)果。 確定各種參數(shù)來使得這些誤差最小化。 這使得即使將任何四幅連接在一起，也能夠降低誤差。 例如，應(yīng)用快速相位相關(guān)匹配，來執(zhí)行圖像中的對(duì)應(yīng)BM?？赏ㄟ^獲得矢量移位
(Xij，yij)，并然后分析這三塊的移位的行為，而量化(quantified)相應(yīng)參數(shù)。 在執(zhí)行上述四幅的BM之后，如圖14A和14B中所示，將BM擴(kuò)展為很多幅，并同時(shí)
對(duì)于所有邊界評(píng)估BM的結(jié)果。通過更新光軸方向來執(zhí)行多個(gè)圖像的精確組合，以便降低所
有邊界中的誤差。 在該情況下，確定一幅參考圖像，并對(duì)其他圖像進(jìn)行平移，以便會(huì)聚在使得誤差最 小化的位置處。 基本上根據(jù)以下處理來執(zhí)行精確組合處理，這在下面逐條記載。 通過轉(zhuǎn)換發(fā)現(xiàn)用于移位的最佳位置。 在該情況下，旋轉(zhuǎn)環(huán)路。 將指明總移位量的參數(shù)fxy設(shè)置為0. 0。 對(duì)所有上、下、右和左(垂直和橫向)圖像進(jìn)行處理。 參考圖像保持不移動(dòng)。 從BM的結(jié)果中發(fā)現(xiàn)與相鄰圖像的位置關(guān)系。基于此，計(jì)算移位量。
其方法如下。添加直接靠上的圖像及其右鄰，并減去直接靠下的圖像及其左鄰，以
獲得平均值，這被表達(dá)為f [y] [x]. x、 f [y] [x]. y。 其80%被添加到當(dāng)前圖像的中心位置，并被看作新圖像的中心位置。 所有圖像的移位量的絕對(duì)值的總和被鍵入到fxy中。 進(jìn)行計(jì)算以確認(rèn)上述移位如何改善垂直和橫向位置關(guān)系。 fxy具有其通過重復(fù)上述移位而變小的性質(zhì)(本性)。 換言之，將fxy會(huì)聚到不再能執(zhí)行移位的狀態(tài)。
當(dāng)fxy足夠小時(shí)，終止該處理。 將對(duì)甚至當(dāng)連接幾千幅時(shí)、也沒有皺紋的圖像組合的特定處理的示范實(shí)施例進(jìn)行 描述。 現(xiàn)在考慮四幅圖像的情況。 如圖8中所示，假設(shè)左下角的圖像是第零圖像IM0、其右鄰是第一圖像IM1，左上圖 像是第二圖像IM2，并且其右鄰是第三圖像IM3。 第零圖像MO保持不移動(dòng)。即，將第零圖像MO用作參考圖像。 將BM的結(jié)果的橫向分量表達(dá)為bxl
、bxl[l]、bx2
和bx2[1]。
還獨(dú)立處理垂直分量；然而，為了描述的目的，下面將僅描述橫向分量的處理。 bxl表示右和左，而bx2表示上和下。"[]"中的數(shù)字O意味著下或左。 當(dāng)右或上圖像相對(duì)于參考圖像MO位于右邊或上邊時(shí)，BM結(jié)果是正值。 作為極端示例，假設(shè)僅存在一個(gè)異常值，并且bxl[O] = 10、bxl[l] =0、bx2
=
0禾口 bx2[1] = 0。 認(rèn)為在第一行中存在橫向10像素偏差，并且其他三個(gè)邊界不具有偏差。
如果通過第零圖像MO和第一圖像Ml的BM結(jié)果確定第一圖像Ml的位置，則通 過第一圖像頂l和第三圖像頂3的BM結(jié)果確定第三圖像M3的位置。此外，通過第二圖像 M2和第三圖像M3的BM結(jié)果確定第二圖像M2的位置，在第零圖像MO和第二圖像M2 之間的位置關(guān)系中，可發(fā)生io像素的大值作為皺紋。 本實(shí)施例的系統(tǒng)指示異常值"10"的影響被分散(dispersed) 2. 5。根據(jù)程序執(zhí)行 該處理，其部分將稍后描述。 通過xypos2()從與相鄰圖像的位置關(guān)系得到要平移的量。 第一次，計(jì)算第一圖像Ml應(yīng)被移位_5像素。 第一圖像被平移move()。 實(shí)際移位量是其80%，即4像素。 除了第零圖像MO之外的圖像Ml、 IM2和IM3的移位量分別是<formula>formula see original document page 13</formula>
從此，BM結(jié)果bxl
從10改變?yōu)?。
結(jié)果，bx2 [1]從0改變?yōu)?。
第二次，計(jì)算第一圖像IM1應(yīng)被移位-1像素。
計(jì)算第三圖像M3應(yīng)被移位-2像素。
當(dāng)添加其80% (即0. 8)時(shí)，pox[l] = 4. 8。 隨后，從第三次到第32次繼續(xù)類似計(jì)算。在第32次，移位量fxy的總和在0. 001像素之下，并且終止該處理。 這時(shí)，要平移的像素?cái)?shù)目是7.5、2.5和5.0。相應(yīng)圖像的位置關(guān)系如下改變。艮P， bxl
= 10改變?yōu)閎xl
= 2. 5， bxl [1] =0改變?yōu)閎xl [1] = -2. 5， bx2
= 0改變 為bx2
=-2. 5，而bx2[1] 二0改變?yōu)閎x2[1] =2.5?？梢钥闯稣`差被分散。
下面列出了當(dāng)ii = 32、fxy = 0.00083 (即，fxy不大于0.001)時(shí)的次數(shù)及其值。
11ixfx[n]fy[n]
000.000000o細(xì)ooo
12-0.000244o細(xì)ooo
22-0.0002440.000000
2-0.000344o扁ooo
npox[n]poy[n]fz[n]
00.000.00
17.500.00
22.500.00
35.000.00
要平移的像素?cái)?shù)目
下面是程序的示例的一部分。
一一程序的一部分(從這里開始)-------
clrpos 0
and rolla[]中 鍵入O。
move () ;//平移c0.

fzx[]


發(fā)現(xiàn)要平移的
量。

}
fprintf (inf， " ii = 1230484， fxy
the value thereof when fxy is not more
than 0. 001\n"，
ii， fxy); xypos ()
發(fā)現(xiàn)平移量。 move() ;/ dsppos () angle ()
qq[n] 、pp [n]。 dsppos () dsperr ()
差中具有超過1的值
的那些值。
在要平移的量[pixel]pox[]，
for(ii = 0 ;ii < 1000 ;ii++) {
xypos2();〃從與相鄰圖像的位置關(guān)系中
f (fxy < 0. 001) {break ;)
the number of times and
//從與相鄰圖像的位置關(guān)系中 平移。
〃顯示校正量。 /將校正量轉(zhuǎn)換為角度，并更新
〃顯示校正量。
〃顯示在一對(duì)小圖像之間的誤
14
st印();〃 從qq [n]、卯[n]創(chuàng)建步進(jìn)角。一程序的一部分(到這里為止)------------------下面是主例程。一主例程----------------------------void xypos2() { 〃從與相鄰圖像的位置關(guān)系發(fā)現(xiàn)平移量
fx[n]、fy[n]，〃發(fā)現(xiàn)不能平移的標(biāo)志fz [n]。(Delete fprintf)int m， n， m2， n2， h， v， ix ;double cx， cy ;//fprintf (inf， ，，n ix fx [n] fy [n] \n，，)；fxy = 0 ;for(v = 0 ;v < ny ;v++) {〃關(guān)于所有圖像for(h = 0 ;h < nx ;h++) {m = (nx-l)承v+h ;〃右禾口左邊界n = nx氺v+h ;〃上和下邊界ix = 0 ;if ((0 < skip[h] [v]) I I ((v == (ny_l)/2)&&(h == (nx_l)/2))) {〃中心圖像和確定的標(biāo)志圖像保持不移動(dòng)。fx[n] = 0 ;fy[n] = 0 ;fz[n] = 4 ;〃fz[n]是不能平移的標(biāo)志。if(skip[h] [v] == 2) (fz[n] = 2 ;}〃確定的標(biāo)志圖像是2。}else{CX = 0 ;Cy = 0 ;if(v ! =0){ 〃當(dāng)不是最低行時(shí)n2 = n_nx ; 〃直接靠下if(0 < fok2[n2]) {ix++ ;cx- = bx2[n2];〃減去直接靠下的行cy- = by2[n2];if (v !=町-D {//當(dāng)不是頂端行時(shí)if(0 < fok2[n]) {ix++ ;cx+ = bx2[n];〃添加其自己cy+ = by2[n2];if(h ! =0){〃當(dāng)不是最左端時(shí)m2 = m_l ;〃左令卩 if(0 < fokl[m2]){ ix++ ;
cx- = bxl[m2];〃減去左鄰 cy_ = byl [m2];
14/27頁
Lf (h ! = nx-l) {//當(dāng)不是最右端時(shí)
Lf(0 < fokl[m]){ ix++ ;
cx+ = bxl [m] ;/ cy+ = byl [m];
添加其自己
if (ix == 0) {
fx[n] = 0 ;fy[n] }else {
fx [n] = cx/ix ;
fy [n] = cy/ix ;
f z [n] = 0 ;
0 ;fz[n]
fxy+ = fabs(fx[n])+fabs(fy[n]);
void move 0 {//平移。 int m， n， h， v ;
for (v = 0 ;v < ny ;v++) {〃圖像(像素)的中心位置 for(h = 0 ;h < nx ;h++) { n = nx氺v+h 5
if (fz[n] ==0) {//當(dāng)沒有與環(huán)境隔離時(shí) pox[n]+ = -fx[n]承O. 8 ; poy[n]+ = -fy[n]承O. 8 ;
for(v = 0 ;v < ny ;v++) {〃橫向位置關(guān)系
for(h = 0 ;h < nx_l ;h++) { m = nx氺v+h ; n = (nx_l)*v+h ; bxl [n] + = - (fx [m] -fx [m+1]) *0. 8 ; byl [n] + = - (fy [m] -fy [m+1]) *0. 8 ; } } for (v = 0 ;v < ny_l ;v++) {〃垂直位置關(guān)系
for (h = 0 ;h < nx ;h++) { n = nx*v+h ; bx2 [n] + = - (fx [n] -fx [n+nx]) *0. 8 ; by2 [n] + = - (fy [n] -fy [n+nx]) *0. 8 ; }
}
} 如上所述，根據(jù)本實(shí)施例的第一配置，即使當(dāng)使用其上安裝了 CMOS圖像傳感器的 數(shù)字相機(jī)時(shí)，也可能在不降低分辨率的情況下以高幀頻成像圖像，由此降低視差的影響、環(huán) 境光降低、和鏡頭失真。此外，可能創(chuàng)建高質(zhì)量全景圖像。 這使能精確組合并還抑制顏色不均勻性的出現(xiàn)，而與要組合的圖像的數(shù)目無關(guān)。
可從實(shí)際成像的圖像中提取鏡頭失真校正系數(shù)。這消除了復(fù)雜校準(zhǔn)操作的必要 性，顯著改善了精度。 利用即使當(dāng)連接幾千幅時(shí)也不引起皺紋的方法，可按照必要分辨率取得必要范
圍，而無需注意快門數(shù)目。 接下來，將描述第二配置。[第二配置] 將描述連續(xù)成像的圖像的空間位置的記錄。
〈概況> 基于連續(xù)成像的圖像的全景攝影術(shù)是劃分空間以將圖像組合為一幅圖像的操作。 當(dāng)從這些圖像創(chuàng)建全景圖像時(shí)，可通過在成像時(shí)使用空間信息執(zhí)行逆運(yùn)算，而獲得高精度 全景圖像。 在本實(shí)施例中，在成像圖像時(shí)從傳感器和圖像計(jì)算有關(guān)其中執(zhí)行成像的成像空間 的信息，并將該信息分配給每幅圖像，使得該信息可用于生成全景圖像。
〈分配有關(guān)成像空間的信息> 例如，當(dāng)執(zhí)行全景攝影時(shí)，通過具有固定在一點(diǎn)的視點(diǎn)的馬達(dá)來取得鏡頭，并改變 拍攝方向。 在該條件下成像的圖像中，相機(jī)設(shè)備10的位置(即焦點(diǎn)位置)固定，并且僅拍攝 方向不同。所以，在該示例中，描述將限于其中圖像是通過成像具有從某一點(diǎn)的固定視角的 對(duì)象的環(huán)境而獲得的圖像的情況。
17
在這樣的成像方法中，將存在兩類有關(guān)成像空間的信息，如下。 S卩，其中一種是關(guān)于成像正瞄準(zhǔn)(targeting)的點(diǎn)的信息(視點(diǎn)矢量)，而另一種
是有關(guān)視點(diǎn)矢量周圍的旋轉(zhuǎn)角(滾動(dòng)角)的信息?！赐队扒蝮w和空間的定義> 將空間的圖像投影在一片平面上。 為了當(dāng)對(duì)空間的全景圖像進(jìn)行成像時(shí)處置所有方位，從簡單圖像處理的角度出 發(fā)，假設(shè)存在攝影師周圍的球體并將全景圖像投影在球體上將是有用的。當(dāng)通過使用球體 來定義視點(diǎn)矢量時(shí)，也確定座標(biāo)空間。 利用用作相機(jī)設(shè)備10位于的焦點(diǎn)位置的原點(diǎn)(O，O，O)來定義具有半徑1的投影 球體。 假設(shè)水平狀態(tài)的向前方向被定義為位于z軸上的距離1的座標(biāo)f (O，O， 1)，則可將 視點(diǎn)矢量表達(dá)為從原點(diǎn)(O，O，O)指向點(diǎn)f(O，O，l)的矢量。 視點(diǎn)矢量成為具有長度1的單位矢量，并且在任何方位中長度將為1。 由于不能僅利用視點(diǎn)矢量vl來記錄幀的滾動(dòng)信息，所以不得不記錄另一滾動(dòng)矢
量v2。這是代表圖像的向上方向的信息，并且這些矢量的相減v2-vl成為代表圖像的向上
方向的矢量。 這使得能夠用兩個(gè)矢量(投影球體上的兩點(diǎn))表達(dá)圖像的拍攝方向，并定位所有
方位上的任何點(diǎn)，而不產(chǎn)生任何密度差異?！聪鄬?duì)移位和絕對(duì)座標(biāo)> 有關(guān)成像空間的信息包括兩類信息，即相對(duì)信息和絕對(duì)信息。 從創(chuàng)建全景圖像的角度出發(fā)，盡管具有有關(guān)其中成像圖像的方位的絕對(duì)位置信息 是好的，但是由于難于獲得準(zhǔn)確的絕對(duì)信息，所以從相對(duì)信息來求位置信息的積分或使用 粗略(rough)絕對(duì)信息來校正位置信息。 在鏡頭驅(qū)動(dòng)的全景相機(jī)中，盡管移動(dòng)鏡頭的場景(scenario)是絕對(duì)信息，但是由 于向其添加了例如成像時(shí)的搖晃、驅(qū)動(dòng)鏡頭時(shí)的誤差合并、位置傳感器的精度變化的相對(duì) 信息，所以通過計(jì)算獲得精確絕對(duì)值。
〈相對(duì)移位的空間擴(kuò)展〉 現(xiàn)在，將假設(shè)在圖像識(shí)別和位置傳感器的幫助下獲得準(zhǔn)確相對(duì)信息。
當(dāng)當(dāng)前圖像幀fl從先前圖像幀f2移位位置(dx，dy)并且?guī)瑵L動(dòng)了量rz時(shí)，可從 視角計(jì)算x和y軸周圍的旋轉(zhuǎn)量作為rx和ry。這是，幀fl的視點(diǎn)矢量vl成為將幀f2的 視點(diǎn)矢量v2旋轉(zhuǎn)量(rx， ry， rz)的結(jié)果。 盡管可基于該信息計(jì)算有關(guān)投影球體的絕對(duì)位置，但是通過從矢量v2的位置旋 轉(zhuǎn)量(rx，ry，rz)而計(jì)算絕對(duì)位置的計(jì)算有一點(diǎn)復(fù)雜。 所以，最新圖像fl被固定在前平面矢量vl (O，O， 1)，并且包括先前圖像f2并比先 前圖像f2更遲的在投影球體上排列的圖像對(duì)于每一球體被旋轉(zhuǎn)了量(-rx，-ry，-rz)。艮卩， 其他圖像相對(duì)于最新圖像fl移位。 通過重復(fù)該操作，最新圖像的位置將在座標(biāo)(O，O，l)上，并且將獲得所有剩余圖 像的絕對(duì)座標(biāo)。 通過視點(diǎn)矢量和滾動(dòng)矢量兩個(gè)矢量來表達(dá)滾動(dòng)信息的原因在于，因?yàn)橐子趫?zhí)行相對(duì)旋轉(zhuǎn)(旋轉(zhuǎn)球體自身)。〈相對(duì)移位積分值和絕對(duì)信息之間的偏差> 盡管僅將相對(duì)信息用于圖像的空間排列，但是事實(shí)上可能從位置傳感器14等獲 得例如滾動(dòng)信息或垂直斜度的絕對(duì)信息。然而，可從位置傳感器14獲得的絕對(duì)信息與生成 全景圖像所必需的精度相比太粗略，并由此難以原樣使用這些值。 另一方面，盡管由于通過圖像識(shí)別獲得相對(duì)信息使得相對(duì)信息具有高精度，但是 這里仍合并有誤差。當(dāng)對(duì)相對(duì)信息進(jìn)行積分時(shí)，可出現(xiàn)小誤差，并由于積分誤差而引起大誤差。 所以，從位置傳感器14獲得的絕對(duì)信息用于確認(rèn)是否已發(fā)生了積分誤差。
在相對(duì)移位的空間擴(kuò)展處理期間，按照某間隔，將相對(duì)信息與位置傳感器的絕對(duì) 值進(jìn)行比較。如果相對(duì)移位與位置傳感器的絕對(duì)值相差太遠(yuǎn)，則使用位置傳感器的絕對(duì)值 來校正相對(duì)移位。此外，移位量從該位置被相對(duì)積分。 圖15是示出了基于連續(xù)成像的圖像和傳感器信息的空間排列的方法的功能性框 圖。 在圖15中，功能框41設(shè)置對(duì)于角速度傳感器142的檢測信號(hào)的零參考值，并且移 位量積分部分42對(duì)移位量進(jìn)行積分。 此外，檢測部分43將通過成像裝置12成像的幀間圖像進(jìn)行彼此比較，并檢測移位 協(xié)作校正邏輯44基于移位量積分部分42和檢測部分43的輸出來執(zhí)行協(xié)作校正，
并且相對(duì)位置積分部分45對(duì)相對(duì)位置進(jìn)行積分以獲得絕對(duì)位置信息。 此外，基于加速度傳感器141的檢測結(jié)果，絕對(duì)位置校正部分46校正絕對(duì)位置信
息，而排列部分47確定幀的空間位置并排列這些幀?！纯臻g座標(biāo)信息和全景圖像〉 在成像過程中執(zhí)行上述計(jì)算，并同時(shí)記錄空間座標(biāo)信息(即拍攝方向)作為元數(shù) 據(jù)。 盡管可僅利用元數(shù)據(jù)生成全景圖像，但是在后處理中，當(dāng)執(zhí)行精確調(diào)整和創(chuàng)作 (authoring)時(shí)，可使用空間座標(biāo)信息作為基本數(shù)據(jù)。 由于已不存在代表空間中的拍攝方向的元數(shù)據(jù)，所以不可能獲得更精確的全景圖 像。然而，在本實(shí)施例中，在成像時(shí)分配座標(biāo)信息，以便解決該問題。 如上所述，在第二配置中，使用經(jīng)由圖像識(shí)別技術(shù)獲得的幀移位信息和從位置傳
感器獲得的移位信息，來對(duì)連續(xù)成像的圖像進(jìn)行空間排列。不可通過圖像識(shí)別獲得信息的
部分由位置傳感器信息替換，并且將位置傳感器信息用作用于確認(rèn)圖像識(shí)別成功或當(dāng)圖像
識(shí)別已失敗時(shí)所要使用的輔助座標(biāo)。將空間排列的圖像組合為一個(gè)全景圖像。 該方法使得能夠不僅正確表達(dá)前方附近的圖像而且正確表達(dá)直接靠上和直接靠
下的圖像，并符合所有方位中的成像或天球的成像。 可能沒有誤差地渲染前方附近的更寬場面(scene)。 不必說，可能符合手持成像并獲得高精度圖像。 接下來，將描述第三配置。[第三配置]
19
將描述基于連續(xù)成像的圖像的位置識(shí)別的校正。
〈概況> 為了將拍攝位置信息給予連續(xù)成像的圖像，本配置使用作為合并位置傳感器和圖
像識(shí)別的方法的所謂動(dòng)態(tài)校準(zhǔn)?！催B續(xù)成像和拍攝位置信息> 當(dāng)使用連續(xù)成像的圖像組合全景圖像時(shí)，存在這樣的情況，在圖像中不包括高頻 分量，并且不能從圖像指定連續(xù)性。 在這樣的場面中，不能獲得關(guān)于連續(xù)幀移位多少的信息，使得不能生成整個(gè)全景 圖像。 為了使得能夠從這樣的場景獲得位置信息，在位置傳感器14的幫助下，連同成像
時(shí)的圖像一起記錄移位信息和位置信息?！次恢脗鞲衅鞯氖褂?gt; 位置傳感器14按照同時(shí)并行的方式使用三軸加速度傳感器141和三軸角速度傳 感器142。 角速度傳感器142檢測相機(jī)的旋轉(zhuǎn)速度，而加速度傳感器141檢測水平加速度。
盡管盡可能遠(yuǎn)地從成像圖像中獲得移位信息，但是在由于圖像條件而不能執(zhí)行圖 像識(shí)別的場面的情況下，從位置傳感器14獲得與先前幀的移位量。 通過比較位置傳感器14的檢測結(jié)果的改變總量和經(jīng)由圖像識(shí)別獲得的移位量，
可獲得更精確的位置信息。〈使用位置傳感器的問題> 然而，取決于預(yù)期的全景攝影術(shù)，圖像的精度高于位置傳感器14的精度。所以，當(dāng) 僅將位置傳感器14的信息用作位置信息時(shí)，該信息對(duì)其來說變得太不精確而不能用于創(chuàng) 建全景圖像。 所以，當(dāng)確實(shí)難以獲得位置信息但是不期望高精度時(shí)，將位置傳感器信息用作輔 助信息。 與一般物理傳感器類似，位置傳感器的輸出也正在波動(dòng)，而不維持穩(wěn)定輸出。
此外，靜止?fàn)顟B(tài)的零位置取決于情況而改變，必須通過在成像前建立靜態(tài)條件來 測量零位置處的值。在測量該值之后，通過與零點(diǎn)值的偏差來測量移位量。
〈圖像識(shí)別及其校正〉 在本配置中，在連續(xù)成像全景圖像的同時(shí)，將位置傳感器信息記錄為元數(shù)據(jù)。
在該方法中，由于位置傳感器14的輸出波動(dòng)太大，所以存在的問題在于，元數(shù)據(jù) 信息難以在組合為全景圖像時(shí)使用。 所以，在成像時(shí)校正和記錄通過圖像識(shí)別獲得的元數(shù)據(jù)。 當(dāng)記錄元數(shù)據(jù)時(shí)，關(guān)于相機(jī)的方位的空間信息被保存其中并更新；然而，元數(shù)據(jù)值 的精度由于各種原因而惡化。 所以，在本實(shí)施例中，基于來自圖像識(shí)別和位置傳感器的信息來實(shí)時(shí)校正和更新 其中保存的空間信息；該處理是動(dòng)態(tài)校準(zhǔn)。 當(dāng)成像連續(xù)全景圖像時(shí)，可考慮兩種情況一種情況是已存在將通過馬達(dá)的驅(qū)動(dòng) 來移動(dòng)相機(jī)的移動(dòng)場景，而另一情況是因?yàn)橥ㄟ^手掃描相機(jī)所以不存在移動(dòng)場景。
20
在存在由馬達(dá)驅(qū)動(dòng)引起的移動(dòng)場景的情況下，盡管可預(yù)先檢測粗略拍攝位置，但 是難以考慮成像期間的搖晃或移位。位置傳感器14用于檢測成像期間的這樣的改變。
當(dāng)通過位置傳感器14檢測到拍攝期間的改變時(shí)，通過圖像識(shí)別進(jìn)行關(guān)于檢測結(jié) 果與實(shí)際移動(dòng)場景的偏差的精密檢查。當(dāng)將位置傳感器14的移位量用作精密檢查的基礎(chǔ) 時(shí)，圖像識(shí)別可變得容易。 當(dāng)可能計(jì)算與預(yù)期移動(dòng)場景的偏差時(shí)，將偏差添加到移動(dòng)場景的值，并將實(shí)際拍 攝位置的信息記錄為成像圖像的元數(shù)據(jù)。 由于當(dāng)通過手掃描相機(jī)時(shí)移動(dòng)場景不可用，所以只要對(duì)幀進(jìn)行成像，就通過比較 當(dāng)前幀和先前幀的圖像識(shí)別來計(jì)算移位量。 在該情況下，由于難以知道移位量，所以從位置傳感器14的信息獲得粗略移位 量，并基于移位量執(zhí)行圖像識(shí)別，由此可能計(jì)算高精度的移位量。 如果難以執(zhí)行圖像識(shí)別，則從位置傳感器獲得的移位量被記錄并稍后與先前和隨 后幀的位置關(guān)系對(duì)照(collated)，由此確定座標(biāo)。 圖16是示出了用于通過使得連續(xù)成像的圖像和傳感器信息相關(guān)而實(shí)現(xiàn)高精度的 方法的功能性框圖，特別示出了靜止?fàn)顟B(tài)傳感器值的零點(diǎn)校正。 在圖16中，檢測部分51對(duì)通過成像裝置12成像的幀間圖像進(jìn)行彼此比較，并檢 測移位量。 靜止?fàn)顟B(tài)檢測部分52基于角速度傳感器142的檢測信號(hào)、加速度傳感器141的檢 測信號(hào)、和檢測部分51的檢測信號(hào)來執(zhí)行靜止?fàn)顟B(tài)檢測，由此獲得靜止?fàn)顟B(tài)的角速度傳感 器的參考值。 然后，記錄部分53確定參考值，并在存儲(chǔ)器17中記錄參考值。 圖17是示出了用于通過使得連續(xù)成像的圖像和傳感器信息相關(guān)而實(shí)現(xiàn)高精度的
方法的功能性框圖，特別示出了用于經(jīng)由移位信息的協(xié)作實(shí)現(xiàn)高精度的方法。 在圖17中，功能塊54對(duì)于角速度傳感器142的檢測信號(hào)設(shè)置零參考值，并且移位
量積分部分55對(duì)移位量進(jìn)行積分。 此外，檢測部分51對(duì)通過成像裝置12成像的幀間圖像進(jìn)行彼此比較，并檢測移位 協(xié)作校正邏輯56基于移位量積分部分55和檢測部分51的輸出來執(zhí)行協(xié)作校正， 以獲得高精度相對(duì)移位信息。 如上所述，在第三配置中，當(dāng)記錄連續(xù)成像的圖像時(shí)，經(jīng)由圖像識(shí)別技術(shù)獲得的幀
移位信息和從位置傳感器獲得的移位信息相關(guān)。此外，計(jì)算以下本身不確定的信息，例如圖
像的像素視角、位置傳感器的靜止?fàn)顟B(tài)值、和位置傳感器值的對(duì)應(yīng)像素視角。 所以，通過協(xié)作用于經(jīng)由圖像識(shí)別獲得移位信息的方法和用于從位置傳感器檢測
移位信息的方法(不能自己提供期望精度的方法)的技術(shù)，可能顯著改善精度和穩(wěn)定性。 將與圖18到21相關(guān)地進(jìn)一步描述上述第二和第三配置?！闯上駡D像和攝影者的旋轉(zhuǎn)移動(dòng)> 當(dāng)拍攝位置在成像全景圖像的時(shí)候改變時(shí)，由于視差可發(fā)生不連續(xù)性。 由于視差導(dǎo)致的不連續(xù)性不能在成像之后通過圖像處理來校正。 所以，當(dāng)成像全景圖像時(shí)，攝影者和相機(jī)固定在某一位置，并且攝影者在該地點(diǎn)旋
21轉(zhuǎn)的同時(shí)取得圖像，使得相機(jī)正聚焦于一點(diǎn)。 在該情況下，從兩個(gè)不同的成像圖像看到的視點(diǎn)的移動(dòng)距離與拍攝期間的旋轉(zhuǎn)量 成比例。如果圖像是數(shù)字圖像并且其尺寸可通過像素計(jì)數(shù)來表達(dá)，則可從拍攝期間的旋轉(zhuǎn) 移動(dòng)的距離來反演計(jì)算兩幅圖像之間移位的像素；在該情況下，將視角用作反演計(jì)算所必 需的參數(shù)。 視角是在拍攝空間中的角度范圍方面代表圖像中成像的場面的水平或垂直寬度 的數(shù)值。 視角是在拍攝前通過測量給出的并在拍攝期間不改變的參數(shù)。 當(dāng)水平視角是30度而成像的數(shù)字圖像的水平像素計(jì)數(shù)是1000時(shí)，每一像素的拍
攝空間角將是0. 03度。S卩，當(dāng)識(shí)別到兩幅圖像之間的像素移位量是800像素時(shí)，可計(jì)算出
相機(jī)的實(shí)際旋轉(zhuǎn)(掃描)角是24度。 每一像素的視角被用作最重要的初始值。 每一像素的視角=(幀視角)/ (幀像素計(jì)數(shù)) 每兩個(gè)截圖(shots)圖像的旋轉(zhuǎn)量=(兩個(gè)圖像之間的像素移位量)*(每一像素 的視角) 通過測量將每一像素的實(shí)際視角預(yù)先保存為初始值。
〈角速度傳感器和旋轉(zhuǎn)量〉
角速度傳感器輸出當(dāng)前角速度。 由于輸出值隨時(shí)間變化，所以可檢測角速度的變化；然而，該值不直接代表旋轉(zhuǎn) 量。為了從角速度傳感器獲得旋轉(zhuǎn)角，必須定義積分值的單位。 按照預(yù)定時(shí)間間隔利用角速度傳感器來執(zhí)行測量，并且測量間隔被固定為重要參數(shù)。 在時(shí)間方面對(duì)測量的角速度進(jìn)行積分；并且其間，實(shí)際旋轉(zhuǎn)量需要通過測量從外
部獲得。將積分的角速度除以實(shí)際旋轉(zhuǎn)量，以計(jì)算每一度的角速度積分值。 其后，可通過將角速度積分值除以每一度的角速度積分值，來成比例地計(jì)算旋轉(zhuǎn)
移位量。 通過測量預(yù)先保存實(shí)際的每一度的角速度積分值作為初始值。
〈動(dòng)態(tài)校準(zhǔn)> 盡管角速度傳感器的輸出是相對(duì)角速度，但是除非角速度傳感器極好，輸出可取 決于環(huán)境而改變。由于改變對(duì)實(shí)際測量具有影響，所以輸出的每一測量需要校正。
專用于全景攝影以根據(jù)來自成像的全景圖像的反饋信息來自動(dòng)校正輸出的處理 將被稱為動(dòng)態(tài)校準(zhǔn)。 角速度傳感器具有取決于環(huán)境而改變的兩個(gè)輸出值；一個(gè)是靜止?fàn)顟B(tài)零點(diǎn)位置， 而另一個(gè)是每一度的角速度積分值。另一項(xiàng)是與相對(duì)移位累加的積分誤差；所以，校正這三 項(xiàng)?！唇撬俣葌鞲衅骱土泓c(diǎn)校正> 圖18是角速度傳感器的零點(diǎn)校正處理的流程圖。 在角速度傳感器142的零點(diǎn)校正處理中，執(zhí)行圖18中的步驟ST1到ST16的操作。
如果不知道角速度傳感器142的靜止?fàn)顟B(tài)中的準(zhǔn)確輸出值，則不可能檢測角速度。此外，該靜止?fàn)顟B(tài)中的零點(diǎn)將取決于例如溫度的環(huán)境而改變。 基于圖像匹配的結(jié)果來校正該零點(diǎn)漂移，由此在拍攝時(shí)計(jì)算準(zhǔn)確零點(diǎn)。將預(yù)先設(shè) 置的初始值用作在開始時(shí)間處的角速度傳感器142的零點(diǎn)輸出值。 執(zhí)行兩幀之間的圖像匹配(ST1到ST3)。如果匹配結(jié)果是包括高頻分量的可靠結(jié) 果并示出了在X、 Y和Z軸方向上沒有移位，則將角速度傳感器的X、 Y和Z軸分量的輸出值 采樣為零點(diǎn)值。 這時(shí)，使用采樣為零點(diǎn)值的值來執(zhí)行校正(ST4到ST15)。 當(dāng)在任何軸方向上檢測到移位時(shí)，由于其不是零點(diǎn)，所以不執(zhí)行采樣或零點(diǎn)校正。
當(dāng)執(zhí)行采樣時(shí)，在遞增樣本計(jì)數(shù)的同時(shí)校正零點(diǎn)值。 通過計(jì)算將當(dāng)前零點(diǎn)值和采樣值之間的差除以樣本計(jì)數(shù)所得到的計(jì)算結(jié)果的平 均值，來執(zhí)行校正。 校正后的零點(diǎn)值=(零點(diǎn)值)+ (采樣值) (零點(diǎn)值) (樣本計(jì)數(shù))
〈角速度傳感器的移位量校正> 圖19是角速度傳感器的移位量校正處理的流程圖。 在角速度傳感器的移位量校正處理中，執(zhí)行圖19中的步驟ST1到ST26的操作。
每一度的角速度積分值是用于從角速度傳感器的角速度積分值計(jì)算旋轉(zhuǎn)角的參 數(shù)，并且該參數(shù)將取決于例如溫度的環(huán)境而改變。 執(zhí)行圖像匹配(ST21到ST23)以基于匹配結(jié)果來校正和更新每一度的角速度積分 值，由此計(jì)算拍攝期間的準(zhǔn)確值(ST24到ST26)。 如果兩幀之間的圖像匹配結(jié)果是包括高頻分量的可靠結(jié)果，則從通過圖像匹配獲 得的X、Y和Z軸方向上的移位量以及那時(shí)的角速度積分值，來計(jì)算每一度的角速度積分值。
每一度的角速度積分值=(角速度積分值)/(每一像素的視角)WX軸周圍的像 素移位量) 校正后的每一度的角速度積分值=(每一度的角速度積分值)+ (采樣值) (每
一度的角速度積分值)/ (樣本計(jì)數(shù))〈由加速度傳感器協(xié)助的角速度傳感器〉 角速度傳感器輸出相對(duì)角移位量。 通過對(duì)迄今為止獲得的相對(duì)值進(jìn)行積分，來計(jì)算關(guān)于當(dāng)前位置的絕對(duì)位置信息。
當(dāng)相對(duì)值包括小偏差或噪聲時(shí)，隨著積分時(shí)間的增加，可發(fā)生大偏差。
盡管角速度傳感器能夠通過檢測重力加速度來獲得Y軸旋轉(zhuǎn)(傾斜)和Z軸 旋轉(zhuǎn)(滾動(dòng))的絕對(duì)值，但是角速度傳感器僅能夠在成像全景圖像的情況下檢測其集總 (lumped)值，并由此角速度傳感器在可用性方面比加速度傳感器差。 然而，由于角速度傳感器具有其能夠輸出絕對(duì)值的優(yōu)點(diǎn)，所以可通過將它們與相 對(duì)移位距離的積分值進(jìn)行周期性比較，來校正積分值和絕對(duì)值。 當(dāng)相機(jī)被移動(dòng)可由加速度傳感器充分檢測的絕對(duì)量時(shí)，如果必要，則通過將其與 基于那時(shí)的相對(duì)移位距離的積分值而計(jì)算的絕對(duì)位置進(jìn)行比較，來校正絕對(duì)量。
〈從圖像和傳感器獲得的移位信息>
圖20是移位量獲取方法的流程圖。 在移位量獲取方法中，執(zhí)行圖20中的步驟ST31到ST35的操作。
當(dāng)比較角速度傳感器142的分辨率與通過圖像匹配獲得的移位量的分辨率時(shí)，圖 像匹配提供更高精度值。所以，只要可能，就將從圖像匹配計(jì)算的移位量用作相對(duì)移位距離 (ST33和ST34)。 由于沒有在圖像(例如不包括高頻分量的相同顏色的天空的圖像)之間實(shí)現(xiàn)匹 配，所以在該情況下，通過使用角速度傳感器142的輸出值來計(jì)算相對(duì)移位量(ST33和 ST35)?！磸某上竦膱D像分配空間座標(biāo)的方法> 圖21是從成像的圖像分配空間座標(biāo)的方法的流程圖。 在從成像的圖像分配空間座標(biāo)的方法中，執(zhí)行圖21中的步驟ST41到ST47的操作。 對(duì)于按照上述方式成像的所有全景圖像，可計(jì)算通過圖像匹配和角速度傳感器獲 得的與先前幀的相對(duì)旋轉(zhuǎn)移位量(ST41到ST43)。 為了創(chuàng)建全景圖像，必須向這些相對(duì)旋轉(zhuǎn)移位量分配絕對(duì)空間座標(biāo)。 由于成像的圖像具有相同視角，所以可分配具有在成像圖像的中心點(diǎn)處的焦點(diǎn)的
座標(biāo)，即相機(jī)的方位矢量。 可在相對(duì)于先前幀的視點(diǎn)矢量的、相機(jī)的方位方向(即拍攝視點(diǎn)矢量)的角度方 面，表達(dá)與先前幀的相對(duì)旋轉(zhuǎn)移位量。 當(dāng)該排列僅由視點(diǎn)矢量簡化時(shí)，難以表達(dá)幀的Z軸方向周圍的旋轉(zhuǎn)，即滾動(dòng)。
所以，將通過在該幀的正上方的Y軸上移置的另一矢量來表達(dá)幀的滾動(dòng)。
這兩個(gè)矢量表達(dá)相機(jī)的拍攝方向和Z軸周圍的滾動(dòng)，并且即使在旋轉(zhuǎn)座標(biāo)之后， 仍連續(xù)保存幀的信息。 當(dāng)在空間中排列圖像時(shí)，新幀將總是位于空間前方位置a(O，O， 1. 0)。 當(dāng)相對(duì)旋轉(zhuǎn)移位量可用時(shí)，所有先前幀按照反方向旋轉(zhuǎn)該量，并然后，排列空間前
方位置a(O，O， 1. 0) (ST44到ST46)。 按照這樣的方式處置相對(duì)旋轉(zhuǎn)移位量，使得不通過從先前幀到當(dāng)前幀的差、而是 通過從當(dāng)前幀到較老幀的差來計(jì)算這些量。 當(dāng)前成像的幀將被標(biāo)注為A，而先前成像的幀將被標(biāo)注為B。
通過從幀A到幀B的差來計(jì)算相對(duì)旋轉(zhuǎn)移位量(ST43)。 當(dāng)從當(dāng)前幀A的相機(jī)位置到先前幀B計(jì)算時(shí)的計(jì)算結(jié)果示出了相機(jī)在X、Y和Z軸
周圍旋轉(zhuǎn)移位rx、ry和rz時(shí)，將rx、ry和rz的旋轉(zhuǎn)施加到除了幀A之外的所有較老圖像
幀的拍攝方向矢量和滾動(dòng)索引矢量。 旋轉(zhuǎn)矩陣可以是典型三維空間。 Z軸方向上的旋轉(zhuǎn) x2 = x氺cos(rx)—y氺sin (rx) y2 = y氺sin (rx)+z*cos (rx) z2 = z Y軸方向上的旋轉(zhuǎn) x2 = x氺cos (ry)—z氺sin (ry) y2 = y
z2 = x氺sin (ry)+z*cos (ry)
X軸方向上的旋轉(zhuǎn)
x2 = x y2 = y氺cos(rz)—z氺sin (rz)
z2 = ，sin (rz)+2化08 (rz) 當(dāng)按照這樣的方式旋轉(zhuǎn)全體幀使得新幀被安排在固定位置(即，前方位置)時(shí)，相 對(duì)旋轉(zhuǎn)移位量可被轉(zhuǎn)移為絕對(duì)空間座標(biāo)。
當(dāng)處理了所有幀時(shí)，全體幀將具有合適的絕對(duì)座標(biāo)。 然而，由于將最后幀用作參考點(diǎn)，所以可存在任意幀不得不相對(duì)移位到參考點(diǎn)的 情況。 接下來，將描述第四配置。 [O526][第四配置] 在第四配置中，當(dāng)檢測到視差的影響或移動(dòng)對(duì)象時(shí)，經(jīng)由顯示單元18或揚(yáng)聲器單 元20輸出警告信號(hào)，由此提示用戶重新拍攝。 關(guān)于移動(dòng)對(duì)象的檢測，在第四配置中，確保在具有50%或更多重疊率的至少兩幅 圖像中將出現(xiàn)對(duì)象的任何部分，以在相鄰圖像之間的運(yùn)動(dòng)矢量的相似度匹配的幫助下檢測 視差的影響或?qū)ο蟆?在利用單一掃描來成像寬范圍圖像的多個(gè)條紋形狀圖像并將它們組合為一幅圖 像的相機(jī)設(shè)備10中，檢測近距范圍中的對(duì)象正接收到多少視差的影響，并且基于檢測結(jié)果 提示用戶重新拍攝該相機(jī)的視點(diǎn)周圍的對(duì)象。 由于典型廣角相機(jī)具有正好在其鏡頭之后的其視點(diǎn)，所以理想的是，用戶用手持 有相機(jī)，以在用戶的手腕周圍旋轉(zhuǎn)相機(jī)。 當(dāng)在相機(jī)的視點(diǎn)周圍成像圖像時(shí)，即使當(dāng)圖像中包括近距范圍內(nèi)的對(duì)象時(shí)，仍可 將圖像組合為一個(gè)圖像。 由于根據(jù)本實(shí)施例的相機(jī)設(shè)備10成像多個(gè)條紋形狀圖像，所以相機(jī)設(shè)備10具有 以下優(yōu)點(diǎn)，即使當(dāng)在從相機(jī)視點(diǎn)稍微移置的位置周圍成像圖像時(shí)，其影響仍不可能出現(xiàn)。
然而，當(dāng)利用由手持有并在肩膀周圍旋轉(zhuǎn)的相機(jī)成像圖像時(shí)，相機(jī)將在從相機(jī)視 點(diǎn)向后很遠(yuǎn)的位置周圍旋轉(zhuǎn)，并由此，視差可強(qiáng)烈影響得到的圖像。 盡管當(dāng)場面具有位于遠(yuǎn)距范圍內(nèi)的所有對(duì)象時(shí)基本上不存在問題，但是如果場面 中包括近距范圍內(nèi)的對(duì)象，則與相鄰圖像的位置關(guān)系不能被正確組合，這與遠(yuǎn)距范圍中的 對(duì)象不同。 所以，在第四配置中，當(dāng)檢測到由于視差影響不能正確組合圖像時(shí)，通過命令用戶 在相機(jī)視點(diǎn)周圍旋轉(zhuǎn)相機(jī)，而提示用戶重新拍攝。 [owe][視差檢測方法]
將描述視差檢測方法。 在時(shí)間相鄰的兩幅圖像的重疊范圍內(nèi)執(zhí)行多次塊匹配，以計(jì)算得到的運(yùn)動(dòng)矢量。 —般來說，如果正確掃描相機(jī)，則BM結(jié)果將產(chǎn)生大致相同的矢量。 當(dāng)相機(jī)在肩膀周圍旋轉(zhuǎn)并且在遠(yuǎn)距范圍內(nèi)的場面中包括近距范圍內(nèi)的對(duì)象時(shí)，得
到的矢量將具有不同值。
25
由于圖像中的改變?cè)诮喾秶鷥?nèi)的對(duì)象和遠(yuǎn)距范圍內(nèi)的對(duì)象的邊界處嚴(yán)重，所以 難以獲得正確BM結(jié)果。通過該方法檢測視差。
下面將描述視差檢測的特定處理示例。 以下處理由系統(tǒng)控制器16的微計(jì)算機(jī)162和圖像信號(hào)處理部分161按照協(xié)作方 式來執(zhí)行?！匆暡顧z測方法> [O545][粗略組合] 相機(jī)設(shè)備10從左到右旋轉(zhuǎn)，并且成像與大約120度的范圍對(duì)應(yīng)的幾十幅圖像。 確保存在其中在相鄰圖像中存在同一對(duì)象的充足區(qū)域(重疊區(qū)域)。 相機(jī)設(shè)備10在拍攝期間的運(yùn)動(dòng)由位置傳感器14檢領(lǐng)U，并按照非常小的時(shí)間間隔記錄。 由于與成像圖像同步地記錄傳感器數(shù)據(jù)，所以可能知道相應(yīng)圖像的拍攝方向；然 而數(shù)據(jù)的精度不高。 基于該信息在經(jīng)度_緯度平面上排列相應(yīng)圖像。 在該狀態(tài)下，相鄰圖像的每一重疊區(qū)域包括大約IOO像素，并被排列在大致正確 的位置。 根據(jù)這一點(diǎn)，執(zhí)行精確自動(dòng)化組合例程的處理。 [O553][精確自動(dòng)化組合] 在重疊區(qū)域內(nèi)的多個(gè)區(qū)中執(zhí)行運(yùn)動(dòng)檢測(ME ;運(yùn)動(dòng)搜索或運(yùn)動(dòng)估計(jì))。 在運(yùn)動(dòng)檢測ME中，使用基于FFT的僅相位校正方法。作為選擇，可使用特征點(diǎn)提
取方法或其他方法。 在僅存在一種轉(zhuǎn)換的情況下，僅一個(gè)ME區(qū)將是足夠的。
兩個(gè)ME區(qū)可給出交互傾斜信息。
三個(gè)ME區(qū)可給出鏡頭失真系數(shù)。 如果在重疊區(qū)域中不存在移動(dòng)對(duì)象并且在背景中沒有檢測到手搖晃的影響，則ME 區(qū)的數(shù)目可小。 然而，如果ME區(qū)的數(shù)目太小，則難以應(yīng)付在重疊區(qū)域中包括移動(dòng)對(duì)象或在近距范 圍中檢測到視差影響的情況。 所以，在重疊區(qū)域中盡可能多的區(qū)中執(zhí)行ME。 當(dāng)作為ME的結(jié)果獲得的許多運(yùn)動(dòng)矢量具有基本相同的值時(shí)，可通過相對(duì)于其他 圖像轉(zhuǎn)換圖像之一，而組合圖像。 盡管運(yùn)動(dòng)矢量不具有基本相同的值，但是如果這些值從上一個(gè)到下一個(gè)均勻地改 變，則可通過相對(duì)于其他圖像傾斜圖像之一，而組合圖像。 然而，當(dāng)從重疊區(qū)域獲得不同ME結(jié)果時(shí)，實(shí)際上不可能將圖像組合在一起。
這是因?yàn)榇嬖谝苿?dòng)對(duì)象、或因?yàn)槔糜捎诮嗷蜻h(yuǎn)距范圍中的對(duì)象共存而移位的 視點(diǎn)來成像圖像。
[ME的方法] 首先，通過縮小經(jīng)受ME的圖像，來粗略執(zhí)行ME。 縮小比率逐漸減小，并最終，利用實(shí)際尺寸的圖像來執(zhí)行ME。
改變ME的塊尺寸或減小塊的中心到中心的距離，使得可獲取更詳細(xì)的運(yùn)動(dòng)矢量。 [O570] [ME結(jié)果的評(píng)估] 基于關(guān)于是否能正確執(zhí)行拼接的ME的許多結(jié)果，來進(jìn)行確定，并且如果確定不可 能，則顯示這樣的確定結(jié)果，以提示用戶重新拍攝。 如果確定可能，則執(zhí)行拼接，并顯示組合結(jié)果并將其記錄在記錄介質(zhì)(存儲(chǔ)器) 中。[移動(dòng)對(duì)象的行為] 接下來，將描述移動(dòng)對(duì)象的行為。 在時(shí)間相鄰的兩幅圖像的重疊范圍內(nèi)執(zhí)行多次塊匹配(BM)，以計(jì)算得到的運(yùn)動(dòng)矢
該矢量對(duì)應(yīng)于移動(dòng)方向，并由此可與固定部分分離。 由于圖像中的改變?cè)谝苿?dòng)對(duì)象和固定對(duì)象的邊界處嚴(yán)重，所以難以獲得正確BM 結(jié)果。當(dāng)沿著水平方向掃描相機(jī)時(shí)，難以區(qū)分由于在近距范圍中存在固定對(duì)象而發(fā)生視差 的情況以及存在沿著水平方向移動(dòng)的對(duì)象的情況。 所以，在這樣的情況下，輸出警告信號(hào)，而不區(qū)分視差和移動(dòng)對(duì)象。 當(dāng)在圖像中檢測到視差或移動(dòng)對(duì)象時(shí)，現(xiàn)有技術(shù)實(shí)際上不可能在不產(chǎn)生對(duì)于用戶
的任何不便之處的情況下拼接圖像。 所以，在本實(shí)施例中，輸出警告信號(hào)，以提示用戶"重新拍攝"或"利用改變的拍攝 方法重新拍攝"。 例如，輸出例如"在對(duì)象中出現(xiàn)視差的影響或移動(dòng)對(duì)象。請(qǐng)利用降低的旋轉(zhuǎn)半徑來 重新拍攝。"的警告信號(hào)。 如上所述，在第四配置中，由于可正好在拍攝之后檢測移動(dòng)對(duì)象的存在，所以可能 進(jìn)行重新拍攝。 結(jié)果，由于可正好在拍攝之后檢測視差的影響，所以可能進(jìn)行重新拍攝。
接下來，將描述第五配置。
[第五配置] 在第五配置中，向用戶通知掃描角速度(用戶掃描相機(jī)的速度)的適當(dāng)值，并且如 果掃描太快，則輸出警告信號(hào)，由此提示用戶重新拍攝。 如上所述，微計(jì)算機(jī)162通過圖形在例如LCD的顯示單元18的屏幕的水平和垂直
軸上分別顯示時(shí)間和位置傳感器(陀螺儀傳感器)的輸出(掃描角速度)。 由于當(dāng)設(shè)置水平視角、水平像素?cái)?shù)目和快門速度時(shí)確定了最大掃描角速度，所以
作為圖4中示出的適當(dāng)范圍RNG在表上顯示了最大掃描角速度的60到80% 。 操作過程的概況如下。[1]利用操作單元19的按壓的開始按鈕來掃描相機(jī)，并然
后釋放開始按鈕。[2]在圖4中圖示的顯示單元18的屏幕上顯示在開始按鈕的按壓狀態(tài)期
間的掃描角速度。 [3]當(dāng)掃描角速度低于適當(dāng)范圍RNG時(shí)，不輸出警告信號(hào)，但是當(dāng)掃描角速度高于 適當(dāng)范圍時(shí)，將輸出警告信號(hào)。 如上所述，在第五配置中，由于向用戶通知適當(dāng)速度，所以可能消除例如太快掃描 導(dǎo)致沒有重疊區(qū)域以及太慢掃描導(dǎo)致窄場面的成像的不便之處。
將參考圖22A到22D來描述用于計(jì)算掃描速度的處理的示例。
〈掃描速度的計(jì)算〉 將描述用于計(jì)算以下這樣的掃描速度的方法，當(dāng)確定曝光周期、像素計(jì)數(shù)、每一線
的讀出周期、視角、重疊率、和幀頻時(shí)，消除了模糊角、模糊像素計(jì)數(shù)中的任何問題。 可從三個(gè)公式獲得的掃描速度的最低值是該條件下的最大角速度。 圖22A到22D中示出的表示出了當(dāng)給出例如視角和掃描速度的各種參數(shù)時(shí)的模糊
像素計(jì)數(shù)和幀頻的計(jì)算結(jié)果。 在不同條件[1]到[6]下獲得計(jì)算結(jié)果。 下面將描述圖22A到22D中的條件[1]下的計(jì)算結(jié)果。 使用掃描速度vp、視角th、水平像素計(jì)數(shù)H、和重疊率k，從圖22A到22D中的表的
右邊的計(jì)算公式來如下計(jì)算模糊角ab2、模糊像素計(jì)數(shù)nb2、和幀頻f。 ab2 = vp (ts+n rs) 1000 nb2 = vp (ts+n rs) H/th f = 100/(100-k) H vp/n/th 根據(jù)這些等式，掃描速度vp成為如下。 vp = 1000 ab2/(ts+n rs) [deg]…(1) vp = nb2 th/H/(ts+n rs) [deg/sec]…(2) vp = (100-k)/100 n th f/H…(3) 這里，當(dāng)模糊角ab2是0. 28度、曝光周期是1毫秒、較短側(cè)像素計(jì)數(shù)n是400像素、 而每一線的讀出周期rs是7. 8微秒時(shí)，掃描速度vp成為68度/秒。 此外，當(dāng)模糊像素計(jì)數(shù)nb2是19. 9像素、較長側(cè)視角th是50度、而水平像素計(jì)數(shù) H是3560像素時(shí)，掃描速度vp成為68度/秒。 此外，當(dāng)重疊率k是20X而幀頻f是15. 13時(shí)，掃描速度vp成為68度/秒。
所以，當(dāng)改變公式(1)、 (2)和(3)右邊的參數(shù)時(shí)，掃描速度將受到這些公式的限 制。 當(dāng)比通過公式(1)獲得的掃描速度vp更快地掃描相機(jī)時(shí)，其可超出光學(xué)圖像穩(wěn)定 元件的工作限制。 當(dāng)比通過公式(2)獲得的掃描速度vp更快地掃描相機(jī)時(shí)，模糊量可超出許可限 制。 當(dāng)比通過公式(3)獲得的掃描速度vp更快地掃描相機(jī)時(shí)，重疊范圍將降低，并且 在一些情況下甚至將消失。 上面詳細(xì)描述的第一到第五配置可單獨(dú)或全部在相機(jī)設(shè)備10中采用，并可適當(dāng) 地組合在一起以便在其中采用。 上面詳細(xì)描述的方法可實(shí)現(xiàn)為要由例如CPU的計(jì)算機(jī)執(zhí)行的與上述過程對(duì)應(yīng)的 程序。 這樣的程序可經(jīng)由例如半導(dǎo)體存儲(chǔ)器、磁盤、光盤或軟(注冊(cè)商標(biāo))盤的記錄介質(zhì) 或通過其中設(shè)置有這樣的記錄介質(zhì)的計(jì)算機(jī)而訪問，由此執(zhí)行程序。 本申請(qǐng)包括與2008年12月8日向日本專利局提交的日本優(yōu)先權(quán)專利申請(qǐng) JP2008-312674中公開的內(nèi)容相關(guān)的主題，由此通過引用合并其全部內(nèi)容。
本領(lǐng)域技術(shù)人員應(yīng)理解，可取決于設(shè)計(jì)需求和其他因素而發(fā)生各種修改、組合、子 組合和替換，只要它們?cè)谒綑?quán)利要求或其等效的范圍之內(nèi)即可。
權(quán)利要求
一種成像設(shè)備，包括成像裝置，用于通過光學(xué)系統(tǒng)成像對(duì)象圖像；圖像信號(hào)處理部分，具有將多個(gè)成像圖像組合為一幅組合圖像的功能，所述成像圖像是在掃描該成像設(shè)備的同時(shí)獲得的；位置傳感器，能夠獲得該成像設(shè)備的位置信息；和控制器，用于處理該位置傳感器的信息，其中該控制器基于該位置傳感器的檢測信息來發(fā)送掃描角速度的適當(dāng)值的通知，并且當(dāng)掃描角速度超出適當(dāng)范圍時(shí)，輸出警告信號(hào)。
2. 根據(jù)權(quán)利要求1的成像設(shè)備，還包括顯示單元，其中該控制器在該顯示單元上連同該適當(dāng)范圍一起顯示時(shí)間和該掃描角速度之間的關(guān)系。
3. 根據(jù)權(quán)利要求2的成像設(shè)備，還包括揚(yáng)聲器單元，其中當(dāng)該掃描角速度超出該適當(dāng)范圍時(shí)，該控制器經(jīng)由該揚(yáng)聲器單元輸出警告聲音。
4. 根據(jù)權(quán)利要求1到3中的任一個(gè)的成像設(shè)備，其中基于通過水平視角、水平像素計(jì)數(shù)、和快門速度確定的最大掃描角速度，來設(shè)置該適當(dāng)范圍。
5. —種成像方法，包括步驟在掃描成像設(shè)備的同時(shí)、通過具有能夠改變其光軸的光軸改變?cè)墓鈱W(xué)系統(tǒng)使用成像裝置來成像對(duì)象圖像；經(jīng)由位置傳感器獲得該成像設(shè)備的位置信息；基于該位置傳感器的檢測信息來發(fā)送掃描角速度的適當(dāng)值的通知；禾口當(dāng)該掃描角速度超出適當(dāng)范圍時(shí)，輸出警告信號(hào)。
6. 根據(jù)權(quán)利要求5的成像方法，其中在該顯示單元上連同該適當(dāng)范圍一起顯示時(shí)間和該掃描角速度之間的關(guān)系。
7. 根據(jù)權(quán)利要求6的成像方法，其中當(dāng)該掃描角速度超出該適當(dāng)范圍時(shí)，經(jīng)由該揚(yáng)聲器單元輸出警告聲音。
8. 根據(jù)權(quán)利要求5到7中的任一個(gè)的成像方法，其中基于通過水平視角、水平像素計(jì)數(shù)、和快門速度確定的最大掃描角速度，來設(shè)置該適當(dāng)范圍。
9. 一種用于執(zhí)行成像處理的程序，該程序促使計(jì)算機(jī)執(zhí)行以下處理在掃描成像設(shè)備的同時(shí)、通過具有能夠改變其光軸的光軸改變?cè)墓鈱W(xué)系統(tǒng)使用成像裝置來成像對(duì)象圖像；經(jīng)由位置傳感器獲得該成像設(shè)備的位置信息；基于該位置傳感器的檢測信息來發(fā)送掃描角速度的適當(dāng)值的通知；禾口當(dāng)該掃描角速度超出適當(dāng)范圍時(shí)，輸出警告信號(hào)。
全文摘要
一種成像設(shè)備包括成像裝置，用于通過光學(xué)系統(tǒng)成像對(duì)象圖像；圖像信號(hào)處理部分，具有將多個(gè)成像圖像組合為一幅組合圖像的功能，所述成像圖像是在掃描成像設(shè)備的同時(shí)獲得的；位置傳感器，能夠獲得該成像設(shè)備的位置信息；和控制器，用于處理該位置傳感器的信息，其中該控制器基于該位置傳感器的檢測信息來發(fā)送掃描角速度的適當(dāng)值的通知，并且當(dāng)掃描角速度超出適當(dāng)范圍時(shí)，輸出警告信號(hào)。
文檔編號(hào)H04N5/225GK101753818SQ20091025380
公開日2010年6月23日 申請(qǐng)日期2009年12月8日 優(yōu)先權(quán)日2008年12月8日
發(fā)明者山下紀(jì)之, 藤田俊史 申請(qǐng)人:索尼株式會(huì)社