專利名稱：帶有使用定時快門的多個圖像傳感器的全景照相機(jī)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及全景靜止和運(yùn)動攝影領(lǐng)域。
技術(shù)背景
在被聯(lián)結(jié)到車輛的花飾(rosette)結(jié)構(gòu)中存在包括多于一個照相機(jī)的成像系統(tǒng)。 那些成像系統(tǒng)可以被用于例如沿著街道捕捉全景圖像。每一個照相機(jī)包括入射光瞳。在不 同的位置處具有多個入射光瞳能夠引起空間視差。視差指的是感知到的、由照相機(jī)的入射 光瞳的不同視點(diǎn)引起的、被成像的對象朝著背景的移位。當(dāng)將來自多個照相機(jī)的圖像拼合 到一起時，視差尤其成為問題，因?yàn)楫?dāng)背景對象在相鄰圖像重疊的區(qū)域中對準(zhǔn)時，它能夠引 起前景對象的重像。
已經(jīng)使用了鏡來避免全景成像中的視差。例如，迪斯尼(Disney)的 Circle-ViSiOn360°系統(tǒng)使用鏡來通過多個共定位入射光瞳觀看外界。這能夠產(chǎn)生零視 差。然而，制造和使用必要的大的鏡是困難的。
而且，這項(xiàng)技術(shù)限制了豎直視場。
花飾結(jié)構(gòu)中的每一個照相機(jī)包括將光學(xué)信號轉(zhuǎn)換成電信號以形成圖像的圖像傳 感器。兩種類型的圖像傳感器避免了對于機(jī)械快門的需求，即線間快門電荷耦合器件(CCD) 或者互補(bǔ)金屬氧化物半導(dǎo)體(CM0Q傳感器。
CMOS傳感器通常具有滾動快門，該滾動快門按照滾過圖像的順序以稍微不同的時 間曝光不同的場景線。當(dāng)照相機(jī)相對于場景或者被攝體移動時，滾動快門能夠引起圖像畸 變例如翹曲。已經(jīng)作出了一些工作來補(bǔ)償圖像畸變。Wilburn等人描述了使用滾動快門定 時偏移來處理并且校正由圖像的被攝體的運(yùn)動誘發(fā)的畸變。見Wilburn等人“使用稠密照 相機(jī)陣列的高速攝像(High-Speed Videography Using a DenseCamera Array) ”，2004 計(jì) 算機(jī)視覺和模式識別IEEE計(jì)算機(jī)協(xié)會大會(2004IEEE Computer Society Conference on Computer Vision andPattern Recognition)(CVPR' 04)，Vol. 2，pp.294—301。
線間快門CXD避免了滾動快門CMOS傳感器的圖像畸變問題。然而，線間快門CXD 可能遭遇彌散和條紋現(xiàn)象。當(dāng)傳感器的一部分被過度曝光，從而引起光溢出到相鄰像素或 者讀出CCD結(jié)構(gòu)中時，發(fā)生彌散和條紋現(xiàn)象。
所需要的是這樣一種成像設(shè)備，該成像設(shè)備減輕了畸變和空間視差，同時避免了 與CCD相關(guān)聯(lián)的彌散和條紋問題。發(fā)明內(nèi)容
本發(fā)明涉及全景靜止和運(yùn)動攝影領(lǐng)域。在第一實(shí)施例中，一種用于全景攝影的照 相機(jī)設(shè)備包括被定位成捕捉第一圖像的第一圖像傳感器。該第一圖像傳感器具有以畫像定向布置的滾動快門讀出器。該照相機(jī)設(shè)備還包括被定位成捕捉第二圖像的第二圖像傳感 器。該第二圖像傳感器具有以畫像定向布置的滾動快門讀出器。最后，該照相機(jī)設(shè)備包括 控制器，該控制器被配置為信號指示第二圖像傳感器在第一圖像傳感器結(jié)束捕捉第一圖像 之前開始捕捉第二圖像。相對于照相機(jī)設(shè)備的向前方向，第一圖像的至少一部分在第二圖 像的前面。
在第二實(shí)施例中，一種用于全景攝影的方法包括以下步驟利用第一圖像傳感器 捕捉第一圖像并且在第一圖像的捕捉完成之前開始利用第二圖像傳感器捕捉第二圖像。該 第一和第二圖像傳感器具有以景觀定向布置的滾動快門讀出器。相對于包括第一和第二圖 像傳感器的照相機(jī)設(shè)備的向前方向，第一圖像的至少一部分在第二圖像的前面。
在第三實(shí)施例中，一種用于運(yùn)動攝影的照相機(jī)設(shè)備包括具有第一入射光瞳的第一 照相機(jī)。在照相機(jī)設(shè)備的向前運(yùn)動期間，該第一照相機(jī)捕捉第一圖像。照相機(jī)設(shè)備還包括 具有第二入射光瞳的第二照相機(jī)。在照相機(jī)設(shè)備的向前運(yùn)動期間，該第二照相機(jī)捕捉第二 圖像。照相機(jī)設(shè)備的運(yùn)動引起運(yùn)動視差。相對于第二照相機(jī)何時捕捉第二圖像的、第一照 相機(jī)何時捕捉第一圖像的定時使用該運(yùn)動視差減小在第一照相機(jī)和第二照相機(jī)之間的空 間視差的效果。
在第四實(shí)施例中，一種利用照相機(jī)設(shè)備的、用于運(yùn)動攝影的方法包括在照相機(jī)設(shè) 備的向前運(yùn)動期間在第一時間利用照相機(jī)設(shè)備中的第一照相機(jī)捕捉第一圖像，和，在照相 機(jī)設(shè)備的向前運(yùn)動期間在第二時間利用照相機(jī)設(shè)備中的第二照相機(jī)捕捉第二圖像。照相機(jī) 設(shè)備的運(yùn)動引起運(yùn)動視差。相對于捕捉(b)何時發(fā)生的、捕捉(a)何時發(fā)生的定時使用該 運(yùn)動視差減小在第一照相機(jī)和第二照相機(jī)之間的空間視差的效果。
以此方式，本發(fā)明的實(shí)施例減小了畸變和空間視差。
在下面參考附圖
詳細(xì)描述了本發(fā)明的進(jìn)一步的實(shí)施例、特征和優(yōu)點(diǎn)，以及各種實(shí) 施例的結(jié)構(gòu)和操作。
附圖簡要說明
并入這里并且形成說明書的一部分的附圖示意本發(fā)明并且與說明一起地進(jìn)一步 用于解釋本發(fā)明的原理并且用于使得本領(lǐng)域技術(shù)人員能夠?qū)崿F(xiàn)并且使用本發(fā)明。
圖IA包括示意包括滾動快門CMOS傳感器的照相機(jī)的圖表。
圖IB包括示意根據(jù)本發(fā)明的一個實(shí)施例的、具有滾動快門CMOS傳感器的照相機(jī) 的圖表，該滾動快門CMOS傳感器帶有成組的、基本垂直于地面而成列布置的光電二極管。
圖2A-C包括示意根據(jù)本發(fā)明的一個實(shí)施例的、可以在全景成像中使用的照相機(jī) 花飾的一部分的圖表。
圖3包括更加詳細(xì)地示出圖2A-C所示的照相機(jī)花飾的操作的圖表。
圖4A-B示出照相機(jī)的入射光瞳的定位如何影響視差。
圖5示出根據(jù)本發(fā)明的一個實(shí)施例示意對在照相機(jī)花飾中的照相機(jī)曝光進(jìn)行定 時以減小空間視差的圖表。
圖6示出附著到車輛的照相機(jī)花飾的圖表。
元件首次出現(xiàn)的繪圖通常由相應(yīng)的引用數(shù)字中的最左位或者多個位示意。在圖 中，同樣的引用數(shù)字可以示意相同或者在功能上類似的元件。
具體實(shí)施方式
本發(fā)明的實(shí)施例減小了從附著到車輛的照相機(jī)花飾攝取的全景圖像中的畸變和 空間視差。照相機(jī)花飾中的每一個照相機(jī)包括圖像傳感器。該圖像傳感器可以在車輛正在 移動時曝光以捕捉圖像。這個運(yùn)動能夠在所得圖像中引起畸變。在本發(fā)明的一個實(shí)施例中， 以“畫像”定向布置CMOS傳感器。如在下面詳細(xì)地描述的，這減小了圖像畸變。
在照相機(jī)花飾上的不同位置中具有多個照相機(jī)能夠引起空間視差。在本發(fā)明進(jìn)一 步的實(shí)施例中，采用車輛的運(yùn)動視差來抵消空間視差。在該實(shí)施例中，當(dāng)車輛移動時，照相 機(jī)花飾中的照相機(jī)的曝光被定時，從而當(dāng)每一個傳感器被曝光時，照相機(jī)的入射光瞳處于 大致相同的位置中。在下面詳細(xì)描述了這個實(shí)施例。
在隨后的、本發(fā)明的詳細(xì)說明中，對于“ 一個實(shí)施例”、“實(shí)施例”、“實(shí)例實(shí)施例”等 的提及示意所描述的實(shí)施例可以包括具體的特征、結(jié)構(gòu)或者特性，但是每一個實(shí)施例可以 不必包括該具體的特征、結(jié)構(gòu)或者特性。而且，這種短語不必涉及相同的實(shí)施例。此外，當(dāng) 結(jié)合實(shí)施例描述了具體的特征、結(jié)構(gòu)或者特性時，這是承認(rèn)在無論是否明確描述的其它實(shí) 施例方面，實(shí)現(xiàn)這種特征、結(jié)構(gòu)或者特性是在本領(lǐng)域技術(shù)人員的知識范圍內(nèi)的。
在這里使用的術(shù)語“照相機(jī)花飾”指的是被布置成捕捉全景圖像的兩個或者更多 照相機(jī)。每一個照相機(jī)均捕捉圖像。圖像可以被拼合到一起以形成全景圖像。這種拼合可 以例如利用眾所周知的軟件技術(shù)進(jìn)行。
在這里使用的術(shù)語“照相機(jī)”指的是捕捉攝影圖像的器件。照相機(jī)包括圖像傳感 器和具有入射光瞳的透鏡。
在這里使用的術(shù)語“圖像傳感器”指的是當(dāng)被曝光時將光學(xué)信號轉(zhuǎn)換成電信號以 捕捉圖像的器件。
圖IA包括示意包括滾動快門CMOS圖像傳感器的照相機(jī)的圖表100。圖表100在 兩個時間點(diǎn)處示出照相機(jī)及其圖像傳感器。在第一時間點(diǎn)處，照相機(jī)處于位置102并且它 的圖像傳感器處于位置104。在第二時間點(diǎn)處，照相機(jī)處于位置112并且它的圖像傳感器處 于位置114。圖中的點(diǎn)代表透鏡的入射光瞳，并且為了簡潔起見，按照針孔照相機(jī)的方式，示 出射線透射通過它。
在一個實(shí)例中，該照相機(jī)可以被聯(lián)結(jié)到車輛，并且車輛的運(yùn)動可能已經(jīng)引起照相 機(jī)移動。如上所述，該圖像傳感器可以是滾動快門CMOS傳感器。滾動快門CMOS傳感器可以 包括在曝光期間捕捉光并且將光轉(zhuǎn)換成電信號的、成組的光電二極管。滾動快門CMOS傳感 器可以在不同的時間曝光不同的光電二極管組。滾動快門CMOS傳感器具有讀出時間。讀 出時間是在所有光電二極管組的各自的曝光時間結(jié)束時讀出所有光電二極管組所必要的 時間。在圖IA所示實(shí)例中，CMOS傳感器處于“景觀”定向中，這意味著光電二極管組是以平 行于地面延伸的行布置的。
滾動快門傳感器可以在車輛處于運(yùn)動中時被曝光。在一個實(shí)例中，滾動快門傳感 器可以要求100ms的讀出時間來捕捉圖像。在圖像被捕捉時，車輛和照相機(jī)可能已經(jīng)向前 移動了 lm。該運(yùn)動引起由圖像傳感器捕捉的對象改變，如在106處所示地。這在所得圖像 中引起畸變。因?yàn)镃MOS傳感器中的、不同行的光電二極管被在不同的時間曝光，所以圖像 可能出現(xiàn)翹曲，例如豎直特征可能是傾斜的。不具有滾動快門并且被整體曝光的圖像傳感 器例如線間快門CCD傳感器可以減小或者避免翹曲。然而，如早先述及地，線間快門CCD傳感器可能遭遇彌散(blooming)和條紋現(xiàn)象。
為了應(yīng)對由于滾動快門傳感器而引起翹曲的問題，本發(fā)明的實(shí)施例具有以“畫像” 定向布置的滾動快門圖像傳感器，如在圖IB中所示意地。圖IB包括圖表150，該圖表150 示意具有處于畫像定向中的滾動快門傳感器例如CMOS傳感器的照相機(jī)。畫像定向意味著 光電二極管組是以垂直于地面延伸的列布置的。
圖表150示出在不同的時間點(diǎn)處于不同位置的照相機(jī)。如早先述及地，照相機(jī)可 以被附著到車輛，并且車輛可能是處于運(yùn)動中的。在本發(fā)明的一個實(shí)施例中，光電二極管列 是在對象空間中從后向前地并且在圖像空間中從前向后地曝光的。
在位置152處，照相機(jī)曝光最前光電二極管列156以捕捉包括最后的視場154的 圖像。然后，在位置160處，照相機(jī)曝光在光電二極管列156后面的光電二極管列158。這 個曝光捕捉在視場154前面的視場172。當(dāng)照相機(jī)移動到位置162和位置164時，光電二 極管列繼續(xù)以從前向后方式曝光，這樣從后向前地捕捉對象。最終，當(dāng)照相機(jī)處于位置166 時，照相機(jī)曝光最后的光電二極管列168以捕捉包括最 前視場170的圖像。
以畫像定向定位圖像傳感器避免了在景觀定向中發(fā)生的、豎直特征的翹曲。相反， 對象可能表現(xiàn)為被以依賴于它們的距離的量拉伸。拉伸并不像翹曲那樣在視覺上令人感到 不悅。事實(shí)上，拉伸可能是一種積極的特征。當(dāng)沿著所述方向布置滾動快門時，拉伸使得前 景對象相對于背景對象更瘦而非更胖。結(jié)果，前景對象遮蔽的、在它們后面的場景更少。這 在與全景成像有關(guān)的很多應(yīng)用中可能是一個益處。
全景成像經(jīng)常包括從沿著不同方向定向的多個照相機(jī)攝取圖像。該多個圖像然 后可以使用眾所周知的軟件技術(shù)而被一起地拼合成全景。當(dāng)以此方式使用多個照相機(jī)時， 對象可以存在于多于一個照相機(jī)的視場中。在運(yùn)動攝影中，對象可能相對于照相機(jī)而隨著 時間移動或者改變。如果多個照相機(jī)在不同的時間曝光該對象，則對象可以在將一起地拼 合成單一全景的多個圖像中不同地出現(xiàn)。所得全景可能具有重像或者其它不理想的圖像問 題。為了應(yīng)對這個問題，曝光需要在多個照相機(jī)之間得到協(xié)調(diào)以同時地或者接近同時地捕 捉對象。利用滾動快門圖像傳感器，這進(jìn)一步變得更加難以解決，因?yàn)槊恳粋€圖像傳感器的 不同的部分被在不同的時間曝光。為了應(yīng)對這個問題，本發(fā)明的實(shí)施例對多個圖像傳感器 的曝光進(jìn)行定時，如在圖2A-C中所示意地。
圖2A-C包括示意可以在全景成像中使用的照相機(jī)花飾的一部分的圖表。照相機(jī) 花飾中的每一個照相機(jī)包括沿著如關(guān)于圖IB描述的畫像定向的滾動快門圖像傳感器，例 如滾動快門CMOS傳感器。
圖2A包括圖表200。圖表200示出帶有照相機(jī)202和210的照相機(jī)花飾。為了 清楚起見，僅僅示出兩個照相機(jī)。然而，在實(shí)踐中花飾可以包含不同數(shù)目的照相機(jī)。照相機(jī) 202具有向視場220曝光的光電二極管列204。
圖2B包括圖表230。圖表230示出在以后的時間點(diǎn)的在圖2A中所示的花飾。照 相機(jī)202具有總視場224，并且照相機(jī)210具有總視場234。當(dāng)照相機(jī)202從后向前地(在 對象空間中)跨過視場2 掃描時，照相機(jī)202開始從光電二極管列206的組曝光光電二 極管列。列206的組捕捉在視場222內(nèi)的對象。對于遠(yuǎn)側(cè)對象，視場222與照相機(jī)210的 總視場234重疊。
當(dāng)照相機(jī)202開始從列206的組曝光光電二極管列時，照相機(jī)210開始從光電二8極管列208的組曝光光電二極管列。照相機(jī)210從后向前地(在對象空間中)曝光列208 的組中的光電二極管列以捕捉視場226。對于遠(yuǎn)側(cè)對象，視場2 與照相機(jī)202'的總視場 224重疊。有效地，與照相機(jī)210曝光列208的組中的光電二極管列同時地，照相機(jī)202曝 光列206的組中的光電二極管列。當(dāng)照相機(jī)202完成曝光列206的組時，照相機(jī)202結(jié)束 它的曝光。然而，照相機(jī)210繼續(xù)曝光光電二極管列，如圖2C所示。
圖2C示出圖表M0。圖表240示出在照相機(jī)202已經(jīng)完成它的曝光之后的、以后 的時間點(diǎn)的在圖2B中所示的花飾。在圖表MO中，光電二極管列232被曝光，從而捕捉視 場228。當(dāng)照相機(jī)210繼續(xù)它的曝光時，它可以與利用另一照相機(jī)(未示出)的視場重疊， 并且如關(guān)于圖3描述地，該過程可以對于整個照相機(jī)花飾繼續(xù)。
關(guān)于示意性的實(shí)例描述了在圖2A-C中示意的實(shí)施例。在一個實(shí)例中，在照相機(jī) 202和照相機(jī)210之間對于遠(yuǎn)側(cè)對象的重疊視場222可以是照相機(jī)202的總視場224的 10%。在該實(shí)例中，在當(dāng)照相機(jī)202開始曝光時的時間和當(dāng)照相機(jī)210開始曝光時的時間 之間的延遲可以是照相機(jī)202讀出時間的90%。照相機(jī)202和210可以具有或者可以不具 有相同的讀出時間。在其中讀出時間是IOOms的實(shí)例中，在當(dāng)照相機(jī)202開始曝光時的時 間和當(dāng)照相機(jī)210開始曝光時的時間之間的延遲可以是90ms。
照相機(jī)花飾可以具有同步化照相機(jī)的至少一個控制器，從而以規(guī)定的時間偏移捕 捉圖像。從而，可以利用示意每一個照相機(jī)何時開始捕捉圖像的延遲而對該控制器預(yù)編程。
在另一實(shí)施例中，延遲時間可以根據(jù)車輛的速率而偏移。如在下面關(guān)于圖5描述 地，這具有以下效果，即，使用來自車輛移動的運(yùn)動視差來抵消由該多個照相機(jī)引起的空間視差。
如上所述，關(guān)于圖2A-C描述的兩個照相機(jī)的操作可以貫穿整個照相機(jī)花飾而繼 續(xù)。在一個實(shí)施例中，照相機(jī)花飾可以具有被定位成捕捉360度全景的、總共在六個和十個 之間的照相機(jī)，包括六個和十個。在一個優(yōu)選實(shí)施例中，照相機(jī)花飾可以具有至少八個照相 機(jī)，例如關(guān)于圖3示意的花飾。
圖3示出圖表300，該圖表300更加詳細(xì)地示意根據(jù)本發(fā)明的一個實(shí)施例的照相機(jī) 花飾的操作。在一個優(yōu)選實(shí)施例中，照相機(jī)花飾可以包括九個照相機(jī)，八個照相機(jī)處于水平 環(huán)中，并且一個照相機(jī)直向上。圖表300示出八個水平照相機(jī)。照相機(jī)花飾中的每一個照 相機(jī)包括帶有光電二極管列的、處于畫像定向的滾動快門傳感器。
照相機(jī)花飾以最后照相機(jī)305和304開始捕捉全景圖像。照相機(jī)305和304這兩 者通過曝光最后的光電二極管列(在對象空間中)而開始并且向前掃描，如關(guān)于圖IB描述 的。照相機(jī)306、303在由時間延遲限定的時間開始捕捉圖像，如關(guān)于圖2B描述的。
花飾繼續(xù)向前掃描，直至最前的照相機(jī)301、308已經(jīng)完成掃描。每一個照相機(jī)在 由在它的后面的相鄰照相機(jī)的開始時間加上延遲所限定的時間開始。例如，照相機(jī)302在 由照相機(jī)303的開始時間加上延遲所限定的時間開始。該延遲可以對應(yīng)于在相鄰照相機(jī)的 視場中的重疊尺寸，如關(guān)于圖2B描述的。該延遲還可以根據(jù)車輛速率而偏移，如關(guān)于圖5 描述的。
圖3中的八個照相機(jī)中的每一個均處于不同的位置并且具有處于不同位置的入 射光瞳。使得入射光瞳處于不同的位置引起如在圖4A-B中所示意的空間視差。
圖4A-B示出兩個照相機(jī)的入射光瞳的定位如何影響空間視差。圖4A示出一種實(shí)例成像設(shè)備400。成像設(shè)備400包括照相機(jī)402和照相機(jī)404。照相機(jī)402具有入射光瞳 406，并且照相機(jī)404具有入射光瞳408。入射光瞳406和入射光瞳408被以距離似6分離。 每一個照相機(jī)402、404捕捉包括對象410的圖像。然而當(dāng)對象410出現(xiàn)于照相機(jī)402、404 中時在對象410的背景中存在大的差異。這由大的視差角度422示出。
圖4B示出一種實(shí)例成像設(shè)備450。成像設(shè)備450包括照相機(jī)416和照相機(jī)414。 照相機(jī)416具有入射光瞳418，并且照相機(jī)414具有入射光瞳420。入射光瞳418和入射光 瞳420被以距離似8分離。距離428比圖4A中的距離似6更短。每一個照相機(jī)416、414 捕捉包括對象412的圖像。如與圖4A中的照相機(jī)402、404相比，當(dāng)對象412出現(xiàn)于照相機(jī) 416、414中時，在對象412的背景中存在小的差異。這是由視差角度4M示出的。因此，圖 4B中的視差角度422小于圖4A中的視差角度424。
因此，處于不同地方中的兩個照相機(jī)能夠引起空間視差。類似地，在不同的時間處 于不同位置中的照相機(jī)引起運(yùn)動視差。根據(jù)本發(fā)明的一個實(shí)施例，由照相機(jī)花飾的運(yùn)動引 起的運(yùn)動視差抵消或者減小了由在照相機(jī)花飾上位于不同位置處的不同照相機(jī)的入射光 瞳引起的空間視差的效果。在圖5中示意出這個實(shí)施例。
圖5示出圖表500，該圖表500示意根據(jù)本發(fā)明的一個實(shí)施例對照相機(jī)花飾中的照 相機(jī)的曝光進(jìn)行定時以減小視差。如在圖4A-B中所示，當(dāng)照相機(jī)入射光瞳變得更加靠近到 一起時，在照相機(jī)之間的空間視差降低。圖表500示出在車輛的運(yùn)動期間如何對照相機(jī)的 曝光進(jìn)行定時從而當(dāng)每一個照相機(jī)的入射光瞳位于大致相同的位置處時每一個照相機(jī)被 曝光。結(jié)果，在圖表500中，由移動中的車輛引起的運(yùn)動視差減小了由于多個照相機(jī)引起的 空間視差。
圖表500示出在三個不同的時間點(diǎn)在三個位置510、520、530處的照相機(jī)花飾的一 部分。所示照相機(jī)花飾示出三個照相機(jī)502、504和506。照相機(jī)502、504和506分別地具 有入射光瞳508、514和512。為了清楚起見，僅僅示出三個照相機(jī)。然而，在實(shí)踐中，可以使 用不同數(shù)目的照相機(jī)(例如在另一實(shí)施例中8個水平照相機(jī)和總共9個照相機(jī))。
在圖5中的實(shí)施例中，圖像傳感器可以具有或者可以不具有滾動快門。該實(shí)施例 對于滾動快門適用。然而，該實(shí)施例還可以利用具有“全局”快門的圖像傳感器例如線間CCD 或者使用機(jī)械快門的圖像傳感器減小視差。圖像捕捉被描述成在瞬間發(fā)生，即使將存在一 些曝光持續(xù)時間和導(dǎo)致小的運(yùn)動模糊。在位置510處，照相機(jī)502捕捉圖像。在位置510 處，照相機(jī)502的入射光瞳508在位置5M處。每一個隨后的照相機(jī)被定時以當(dāng)該照相機(jī) 的入射光瞳大致位于位置5M處時攝取圖像。
當(dāng)車輛正在移動時，在以后的時間點(diǎn)期間，照相機(jī)花飾到達(dá)位置520。在位置520 處，照相機(jī)504的入射光瞳514大致在位置5M處。在這點(diǎn)處，照相機(jī)504捕捉圖像。最后， 在位置530處，照相機(jī)506的入射光瞳512大致到達(dá)位置524，并且照相機(jī)506捕捉圖像。
近似可能是由于車輛速率中的不準(zhǔn)確性，或者車輛方向的變化而引起的。在一個 實(shí)例中，近似可以基于在有關(guān)時段上的、與實(shí)際速率相對的平均車輛速率。而且，近似可能 是由于以下事實(shí)，即，照相機(jī)在照相機(jī)花飾上以二維或者三維方式定位，而花飾(例如，在 車輛上)的運(yùn)動可能沿著僅僅一個方向。例如，在圖5中，因?yàn)槿肷涔馔?08和入射光瞳514 在垂直于運(yùn)動軸線的軸線上處于不同的位置，所以入射光瞳508并不精確地處于與入射光 瞳514相同的位置處。
在另一實(shí)施例中，虛擬平面垂直于照相機(jī)花飾的運(yùn)動方向。當(dāng)照相機(jī)的入射光瞳 通過該平面時，照相機(jī)花飾中的每一個照相機(jī)可以曝光。以此方式，當(dāng)每一個照相機(jī)的入射 光瞳處于大致相同的位置時，每一個照相機(jī)被曝光，從而降低視差。
如早先指出地，可以根據(jù)車輛速率和在照相機(jī)之間的距離，例如距離522計(jì)算用 于觸發(fā)每一個隨后的照相機(jī)的時間。在所述實(shí)例中，從當(dāng)照相機(jī)504捕捉圖像時的時間與 當(dāng)照相機(jī)506捕捉圖像時的時間的延遲是距離522除以車輛的速率。假設(shè)距離522是IOcm 并且車輛速率是lOm/s，則在當(dāng)照相機(jī)504捕捉圖像時的時間和當(dāng)照相機(jī)506捕捉圖像時的 時間之間的延遲將是10ms。換言之，更后面的照相機(jī)(照相機(jī)506)在更前面的照相機(jī)(照 相機(jī)504)之后IOms時開始捕捉圖像。
如早先述及地，被用于對照相機(jī)定時的車輛速率可以是平均車輛速率?？商娲?， 車輛速率可以由速度計(jì)、車輪編碼器(wheel encoder)或者GPS傳感器實(shí)時地確定。速率 可以作為信號而被發(fā)送到照相機(jī)中的控制器，該控制器據(jù)此調(diào)節(jié)定時。
在一個優(yōu)選實(shí)施例中，可以與關(guān)于圖2A-C描述的特征相結(jié)合地使用圖表500所示 特征。圖2B描述在照相機(jī)花飾中的定時照相機(jī)曝光，在該照相機(jī)花飾中，每一個照相機(jī)均 包括處于畫像定向的滾動快門CMOS傳感器。在該實(shí)施例中，每一個照相機(jī)被定時成當(dāng)前一 照相機(jī)開始以一定距離掃描它們的視場重疊的區(qū)域時開始曝光。關(guān)于圖2B描述該實(shí)施例， 在當(dāng)照相機(jī)202開始曝光時和當(dāng)照相機(jī)210開始曝光時之間的延遲基本上滿足等式
權(quán)利要求
1.一種用于全景攝影的照相機(jī)設(shè)備，包括被定位成捕捉第一圖像的第一圖像傳感器，所述第一圖像傳感器具有以畫像定向布置 的滾動快門讀出器；被定位成捕捉第二圖像的第二圖像傳感器，所述第二圖像傳感器具有以畫像定向布置 的滾動快門讀出器；和控制器，所述控制器被配置為信號指示所述第二圖像傳感器在所述第一圖像傳感器結(jié) 束捕捉所述第一圖像之前開始捕捉所述第二圖像，其中相對于所述照相機(jī)設(shè)備的向前方向，所述第一圖像的至少一部分在所述第二圖像 前面。
2.根據(jù)權(quán)利要求1的照相機(jī)設(shè)備，其中所述控制器被配置為大致當(dāng)所述第一圖像傳感 器開始捕捉所述第一和第二圖像傳感器的重疊視場時，信號指示所述第二圖像傳感器開始 捕捉所述第二圖像。
3.根據(jù)權(quán)利要求1的照相機(jī)設(shè)備，其中所述控制器被配置為信號指示所述第二圖像傳 感器以與所述第一和第二圖像傳感器的重疊視場相應(yīng)的延遲時間開始捕捉所述第二圖像。
4.根據(jù)權(quán)利要求3的照相機(jī)設(shè)備，其中所述延遲時間根據(jù)所述照相機(jī)設(shè)備的速率數(shù)值 而偏移，以使用從所述照相機(jī)設(shè)備的運(yùn)動產(chǎn)生的運(yùn)動視差來抵消在所述第一和第二圖像傳 感器之間的空間視差。
5.根據(jù)權(quán)利要求4的照相機(jī)設(shè)備，其中所述照相機(jī)設(shè)備的所述速率數(shù)值是所述照相機(jī) 設(shè)備的近似或者平均速率。
6.根據(jù)權(quán)利要求4的照相機(jī)設(shè)備，其中所述延遲時間以在所述照相機(jī)設(shè)備的向前運(yùn)動 期間在當(dāng)所述第一圖像傳感器的入射光瞳經(jīng)過一定位置時和當(dāng)所述第二圖像傳感器的入 射光瞳經(jīng)過所述位置時之間的時間而偏移。
7.根據(jù)權(quán)利要求4的照相機(jī)設(shè)備，其中所述延遲時間近似滿足以下等式
8.根據(jù)權(quán)利要求1的照相機(jī)設(shè)備，其中所述第一和第二圖像傳感器被聯(lián)結(jié)到車輛。
9.根據(jù)權(quán)利要求1的照相機(jī)設(shè)備，其中所述第一圖像傳感器曝光所述第一圖像傳感器 的至少第一和第二列，相對于所述照相機(jī)設(shè)備的向前運(yùn)動，所述第一列捕捉所述第一圖像 的更靠后面的部分并且所述第二列捕捉所述第一圖像的更靠前面的部分，其中所述第一圖像傳感器的所述第一列在所述第一圖像傳感器的所述第二列之前開 始曝光，其中所述第二圖像傳感器曝光所述第二圖像傳感器的至少第一和第二列，相對于所述照相機(jī)設(shè)備的向前運(yùn)動，所述第一列捕捉所述第二圖像的更靠后面的部分并且所述第二列 捕捉所述第二圖像的更靠前面的部分，并且其中所述第二圖像傳感器的所述第一列在所述第二圖像傳感器的所述第二列之前開 始曝光。
10.根據(jù)權(quán)利要求1的照相機(jī)設(shè)備，進(jìn)一步包括至少六個另外的圖像傳感器，其中計(jì)算 機(jī)能夠?qū)乃隹偣仓辽侔藗€照相機(jī)攝取的圖像拼合到一起以形成全景圖像。
11.根據(jù)權(quán)利要求1的照相機(jī)設(shè)備，其中所述第一和第二圖像傳感器是CMOS圖像傳感器ο
12.一種用于全景攝影的方法，包括(a)利用第一圖像傳感器捕捉第一圖像，所述第一圖像傳感器具有以景觀定向布置的 滾動快門讀出器；和(b)在(a)中的捕捉完成之前開始利用第二圖像傳感器捕捉第二圖像，所述第二圖像 傳感器具有以景觀定向布置的滾動快門讀出器，其中相對于包括所述第一和第二圖像傳感器的照相機(jī)設(shè)備的向前方向，所述第一圖像 的至少一部分在所述第二圖像前面。
13.根據(jù)權(quán)利要求12的方法，其中所述開始捕捉(b)以與所述第一和第二圖像傳感器 的重疊視場相應(yīng)的延遲時間發(fā)生。
14.根據(jù)權(quán)利要求13的方法，其中所述延遲時間根據(jù)所述照相機(jī)設(shè)備的速率數(shù)值而偏 移，以使用從所述照相機(jī)設(shè)備的運(yùn)動產(chǎn)生的運(yùn)動視差來抵消在所述第一和第二圖像傳感器 之間的空間視差。
15.一種用于運(yùn)動攝影的照相機(jī)設(shè)備，包括具有第一入射光瞳的第一照相機(jī)，其中，在所述照相機(jī)設(shè)備的向前運(yùn)動期間，所述第一 照相機(jī)捕捉第一圖像；和具有第二入射光瞳的第二照相機(jī)，其中，在所述照相機(jī)設(shè)備的向前運(yùn)動期間，所述第二 照相機(jī)捕捉第二圖像，其中所述照相機(jī)設(shè)備的運(yùn)動產(chǎn)生運(yùn)動視差，并且其中相對于所述第二照相機(jī)何時捕捉所述第二圖像的、所述第一照相機(jī)何時捕捉第一 圖像的定時使用所述運(yùn)動視差以減小在所述第一照相機(jī)和所述第二照相機(jī)之間的空間視 差的效果。
16.根據(jù)權(quán)利要求15的照相機(jī)設(shè)備，其中，在所述照相機(jī)設(shè)備的向前運(yùn)動期間，當(dāng)所述 第一入射光瞳處于第一位置時所述第一照相機(jī)捕捉第一圖像，并且當(dāng)所述第二入射光瞳處 于第二位置時所述第二照相機(jī)捕捉第二圖像，其中所述第二位置近似等于所述第一位置。
17.根據(jù)權(quán)利要求15的照相機(jī)設(shè)備，其中所述第一和第二照相機(jī)被聯(lián)結(jié)到車輛。
18.根據(jù)權(quán)利要求15的照相機(jī)設(shè)備，進(jìn)一步包括至少六個另外的圖像傳感器，其中計(jì) 算機(jī)能夠?qū)乃隹偣仓辽侔藗€照相機(jī)攝取的圖像拼合到一起以形成全景圖像。
19.一種利用照相機(jī)設(shè)備的、用于運(yùn)動攝影的方法，包括(a)在所述照相機(jī)設(shè)備的向前運(yùn)動期間在第一時間利用所述照相機(jī)設(shè)備中的第一照相 機(jī)捕捉第一圖像；和(b)在所述照相機(jī)設(shè)備的向前運(yùn)動期間在第二時間利用所述照相機(jī)設(shè)備中的第二照相機(jī)捕捉第二圖像，其中所述照相機(jī)設(shè)備的運(yùn)動產(chǎn)生運(yùn)動視差，其中相對于捕捉(b)何時發(fā)生的、捕捉(a)何時發(fā)生的定時使用所述運(yùn)動視差以減小 在所述第一照相機(jī)和所述第二照相機(jī)之間的空間視差的效果。
20.根據(jù)權(quán)利要求19的方法，其中所述捕捉所述第一圖像(a)包括當(dāng)所述第一照相機(jī) 的第一入射光瞳處于第一位置時捕捉所述第一圖像，并且其中所述捕捉所述第二圖像(b)包括當(dāng)所述第二入射光瞳處于第二位置時捕捉所述 第二圖像，其中所述第二位置近似等于所述第一位置。
21.一種用于全景攝影的系統(tǒng)，包括用于利用第一圖像傳感器捕捉第一圖像的裝置，所述第一圖像傳感器具有以景觀定向 布置的滾動快門讀出器；并且用于在(a)中的捕捉完成之前利用第二圖像傳感器開始捕捉第二圖像的裝置，所述第 二圖像傳感器具有以景觀定向布置的滾動快門讀出器，其中相對于包括所述第一和第二圖像傳感器的照相機(jī)設(shè)備的向前方向，所述第一圖像 的至少一部分在所述第二圖像前面。
22.一種利用照相機(jī)設(shè)備的、用于運(yùn)動攝影的設(shè)備，包括用于在所述照相機(jī)設(shè)備的向前運(yùn)動期間在第一時間利用所述照相機(jī)設(shè)備中的第一照 相機(jī)捕捉第一圖像的裝置；和用于在所述照相機(jī)設(shè)備的向前運(yùn)動期間在第二時間利用所述照相機(jī)設(shè)備中的第二照 相機(jī)捕捉第二圖像的裝置，其中所述照相機(jī)設(shè)備的運(yùn)動產(chǎn)生運(yùn)動視差，其中相對于所述第二圖像的捕捉何時發(fā)生的、所述第一圖像的捕捉何時發(fā)生的定時使 用所述運(yùn)動視差以減小在所述第一照相機(jī)和所述第二照相機(jī)之間的空間視差的效果。
全文摘要
本發(fā)明涉及全景靜止和運(yùn)動攝影領(lǐng)域。在第一實(shí)施例中，一種用于全景攝影的照相機(jī)設(shè)備包括被定位成捕捉第一圖像的第一圖像傳感器。該第一圖像傳感器具有以畫像定向布置的滾動快門讀出器。該照相機(jī)設(shè)備還包括被定位成捕捉第二圖像的第二圖像傳感器。該第二圖像傳感器具有以畫像定向布置的滾動快門讀出器。最后，該照相機(jī)設(shè)備包括被配置為信號指示第二圖像傳感器在第一圖像傳感器結(jié)束捕捉第一圖像之前開始捕捉第二圖像的控制器。相對于照相機(jī)設(shè)備的向前方向，第一圖像的至少一個部分在第二圖像前面。
文檔編號H04N5/232GK102037720SQ200980110758
公開日2011年4月27日 申請日期2009年2月9日 優(yōu)先權(quán)日2008年2月8日
發(fā)明者伊恩·理查德·蒂龍·麥克克萊奇, 理查德·F·萊恩, 蓋里·恩布勒, 賈森·霍爾特 申請人:谷歌公司