專利名稱：用于實(shí)現(xiàn)運(yùn)動(dòng)驅(qū)動(dòng)的多張拍攝圖像穩(wěn)定性的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明通常涉及照相機(jī)和照相機(jī)模塊領(lǐng)域。更具體地，本發(fā)明 涉及用于改進(jìn)照相機(jī)和照相機(jī)模塊中的圖像穩(wěn)定性的系統(tǒng)。
背景技術(shù)：
自攝影術(shù)的開始，圖像穩(wěn)定性就已經(jīng)成為一貫的問(wèn)題。即使照 相機(jī)技術(shù)發(fā)展到現(xiàn)代，確保不會(huì)因照相機(jī)運(yùn)動(dòng)而使照片模糊的難題 仍然是個(gè)問(wèn)題。在數(shù)字照相機(jī)中，圖像穩(wěn)定的問(wèn)題源于這樣的事實(shí)，
即任何已知的圖像傳感器都需要在此處被稱為積分時(shí)間(integration time )的時(shí)間周期內(nèi)將圖像投影到傳感器上。照相機(jī)在該時(shí)間期間的 任何運(yùn)動(dòng)致使投影到傳感器上的圖像的移位，從而導(dǎo)致最終圖像的 質(zhì)量降低。此處將該質(zhì)量降低稱為運(yùn)動(dòng)模糊。
恢復(fù)運(yùn)動(dòng)模糊的圖像的主要困難之一 涉及到這樣的事實(shí)，即在 每個(gè)質(zhì)量降低的圖像中運(yùn)動(dòng)模糊是不同的。運(yùn)動(dòng)模糊的等級(jí)取決于 在曝光時(shí)間期間發(fā)生的照相機(jī)運(yùn)動(dòng)。
具有圖像獲取能力的消費(fèi)者設(shè)備的微型化以及正在進(jìn)行的發(fā)展 增加了對(duì)于穩(wěn)固的和有效的圖像穩(wěn)定性解決方案的需求。這種需求 由兩個(gè)主要因素推動(dòng)。第 一 因素是當(dāng)使用諸如照相電話的小型手持 設(shè)備時(shí)避免在積分時(shí)間期間不期望運(yùn)動(dòng)的固有困難。第二因素是因 小像素區(qū)域而引起需要更長(zhǎng)的積分時(shí)間，該小像素區(qū)域是由圖像傳 感器的微型化以及圖像分辨率的增加而引起的。像素區(qū)域越小，像 素每秒可以捕獲的光子越少。因此，得到滿意結(jié)果需要更長(zhǎng)的積分 時(shí)間。
目前，存在兩種類型的用于解決圖像穩(wěn)定性的傳統(tǒng)解決方案。 這些解決方案被稱作單張拍攝和多張拍攝解決方案。單張拍攝解決方案是基于在長(zhǎng)曝光時(shí)間期間捕獲單張圖像拍攝的解決方案。這是 用于圖像捕獲的經(jīng)典系統(tǒng)，其中所捕獲的圖像通常因曝光時(shí)間期間 發(fā)生的運(yùn)動(dòng)所導(dǎo)致的運(yùn)動(dòng)模糊被破壞。為了恢復(fù)圖像，必須具有關(guān) 于在曝光時(shí)間期間所發(fā)生的運(yùn)動(dòng)的非常準(zhǔn)確的知識(shí)。因此，該方法 可能需要高價(jià)的運(yùn)動(dòng)傳感器(即，以陀螺儀形式)，該運(yùn)動(dòng)傳感器 在尺寸上也較大并因此難以包括在小型設(shè)備中。此外，如果曝光時(shí) 間長(zhǎng)，那么從運(yùn)動(dòng)傳感器輸出導(dǎo)出的位置信息展現(xiàn)出相對(duì)于真實(shí)值 的偏差漂移誤差。偏差漂移誤差隨時(shí)間而累積，使得該過(guò)程的結(jié)果 可能隨著時(shí)間而受到顯著破壞。
若干機(jī)構(gòu)已經(jīng)在高端照相機(jī)中實(shí)現(xiàn)了特定類型的單張拍攝解決
以便在曝光時(shí)間期間保持圖像被投影到傳感器的相同位置上。然而， 該解決方案還遭受系統(tǒng)漂移誤差，因此對(duì)于長(zhǎng)曝光時(shí)間該方案是不 實(shí)用的。
相反，多張拍攝方案建立在通過(guò)捕獲相同景物的若干圖像拍攝 而將長(zhǎng)曝光時(shí)間劃分成若干較短的時(shí)間間隔的基礎(chǔ)上。針對(duì)每張拍 攝的曝光時(shí)間很小，以便減少單獨(dú)拍攝的運(yùn)動(dòng)模糊質(zhì)量降低。在捕 獲到所有這些拍攝后，以兩個(gè)步驟來(lái)計(jì)算最終圖像。第一步驟包括
相對(duì)于第一張圖像拍攝配準(zhǔn)(register)所有圖像拍攝。該步驟被稱 做配準(zhǔn)步驟。第二步驟，被稱作像素融合，包括基于每個(gè)單獨(dú)拍攝 中的像素值來(lái)計(jì)算最終圖像中每個(gè)像素的值。 一個(gè)簡(jiǎn)單的像素融合 方法包括將每個(gè)像素的最終值計(jì)算為單獨(dú)拍攝中像素值的平均。
盡管解決了上述中的某些問(wèn)題，但是多張拍攝解決方案需要大 量的計(jì)算資源，以便在短時(shí)間間隔期間捕獲若干高分辨率幀。此外， 這些方法還需要大量的存儲(chǔ)器，以便在像素融合步驟之前存儲(chǔ)所捕 獲的圖像拍攝。在存儲(chǔ)器資源可能非常有限的較小設(shè)備中，這實(shí)現(xiàn) 起來(lái)可能代價(jià)特別高
發(fā)明內(nèi)容
本發(fā)明提供了 一種在多張拍攝和單張拍攝解決方案之間的混合 方式，以用于圖像捕獲。在本發(fā)明中，基于關(guān)于任何照相機(jī)運(yùn)動(dòng)的 存在或者不存在的知識(shí)來(lái)控制所攝取的圖像拍攝的數(shù)量以及每張圖 像拍攝的積分時(shí)間。無(wú)論何時(shí)檢測(cè)到運(yùn)動(dòng)，都結(jié)束當(dāng)前圖像拍攝的 積分階段，并開始下一圖像拍攝的積分。因此本發(fā)明適用于在曝光 期間的實(shí)際照相機(jī)運(yùn)動(dòng)。如果不存在照相機(jī)運(yùn)動(dòng)，則捕獲單張長(zhǎng)曝 光的圖像拍攝。如果存在照相機(jī)運(yùn)動(dòng)，則根據(jù)照相機(jī)運(yùn)動(dòng)的程度在 多張拍攝之間劃分總曝光時(shí)間。
本發(fā)明包括一種使用照相機(jī)在圖像捕獲周期期間捕獲圖像的方 法。所述方法包括開始積分階段以便捕獲幀。如果在照相機(jī)中檢測(cè) 到超過(guò)預(yù)定運(yùn)動(dòng)閾值的運(yùn)動(dòng)，或者如果達(dá)到預(yù)定積分周期的結(jié)束， 則結(jié)束積分階段并保存所捕獲的幀。如果用于所捕獲的幀的積分階 段的時(shí)間未達(dá)到圖像捕獲周期的時(shí)間，則繼續(xù)捕獲和保存幀，直到 積分階段的總時(shí)間達(dá)到圖像捕獲周期的時(shí)間為止，此后通過(guò)組合每 個(gè)所捕獲的幀來(lái)生成最終圖片。
本發(fā)明還包括一種用于使用照相機(jī)在圖像捕獲周期期間捕獲圖
像的計(jì)算機(jī)程序產(chǎn)品。該計(jì)算機(jī)程序產(chǎn)品包括用于開始積分階段 以便捕獲幀的計(jì)算機(jī)代碼；用于如果在照相機(jī)中檢測(cè)到超過(guò)預(yù)定運(yùn) 動(dòng)閾值的運(yùn)動(dòng)或者如果達(dá)到預(yù)定積分周期的結(jié)束，則結(jié)束積分階段 并保存所捕獲的幀的計(jì)算機(jī)代碼；用于如果用于所捕獲的幀的積分 階段的時(shí)間未達(dá)到圖像捕獲周期的時(shí)間，則繼續(xù)捕獲和保存幀直到 積分階段的總時(shí)間達(dá)到圖像捕獲周期的時(shí)間為止的計(jì)算機(jī)代碼；以 及用于通過(guò)組合每個(gè)所捕獲的幀來(lái)生成最終圖片的計(jì)算機(jī)代碼。
本發(fā)明還進(jìn)一步包括一種電子設(shè)備，所述電子設(shè)備包括處理器 和操作性地連接到所述處理器的存儲(chǔ)器單元。所述存儲(chǔ)器單元包括 用于開始積分階段以便捕獲幀的計(jì)算機(jī)代碼；用于如果在照相機(jī)中 檢測(cè)到超過(guò)預(yù)定運(yùn)動(dòng)閾值的運(yùn)動(dòng)或者如果達(dá)到預(yù)定積分周期的結(jié) 束，則結(jié)束積分階段并保存所捕獲的幀的計(jì)算機(jī)代碼；用于如果用 于所捕獲的幀的積分階段的時(shí)間未達(dá)到圖像捕獲周期的時(shí)間，則繼續(xù)捕獲和保存幀直到積分階段的總時(shí)間達(dá)到圖像捕獲周期的時(shí)間為
止的計(jì)算機(jī)代碼；以及用于通過(guò)組合每個(gè)所捕獲的幀來(lái)生成最終圖
片的計(jì)算機(jī)代碼。
本發(fā)明還包括一種照相機(jī)模塊。所述照相機(jī)模塊包括透鏡， 安置用于聚焦圖像；傳感器單元，用于接收由所述透鏡聚焦的圖像； 處理器，操作性地連接至所述傳感器單元；以及存儲(chǔ)器單元，操作 性地連接到所述處理器。所述存儲(chǔ)器單元包括用于積分階段以便 捕獲幀的計(jì)算機(jī)代碼；用于如果在照相機(jī)模塊中檢測(cè)到超過(guò)預(yù)定運(yùn) 動(dòng)閾值的運(yùn)動(dòng)或者如果達(dá)到預(yù)定積分周期的結(jié)束，則結(jié)束積分階段 并保存所捕獲的幀的計(jì)算機(jī)代碼；用于如果用于所捕獲的幀的積分 階段的時(shí)間未達(dá)到圖像捕獲周期的時(shí)間，則繼續(xù)捕獲和保存幀直到 積分階段的總時(shí)間達(dá)到圖像捕獲周期的時(shí)間為止的計(jì)算機(jī)代碼；以 及用于通過(guò)組合每個(gè)所捕獲的幀來(lái)生成最終圖片的計(jì)算機(jī)代碼。
本發(fā)明進(jìn) 一 步包括 一 種用于在圖像捕獲周期期間使用照相機(jī)模 塊捕獲圖像的計(jì)算機(jī)程序。該計(jì)算機(jī)程序包括用于開始積分階段 以便捕獲幀的裝置；用于如果在照相機(jī)中檢測(cè)到超過(guò)預(yù)定運(yùn)動(dòng)閾值 的運(yùn)動(dòng)或者如果達(dá)到預(yù)定積分周期的結(jié)束，則結(jié)束積分階段并保存 所捕獲的幀的裝置；用于如果用于所捕獲的幀的積分階段的時(shí)間未 達(dá)到圖像捕獲周期的時(shí)間，則繼續(xù)捕獲和保存幀直到積分階段的總 時(shí)間達(dá)到圖像捕獲周期的時(shí)間為止的裝置；以及用于通過(guò)組合每個(gè) 所捕獲的幀來(lái)生成最終圖片的計(jì)算機(jī)代碼。
本發(fā)明提供了傳統(tǒng)系統(tǒng)中得不到的大量顯著優(yōu)勢(shì)。利用本發(fā)明， 由于僅僅需要檢測(cè)運(yùn)動(dòng)而不必測(cè)量運(yùn)動(dòng)，因此就無(wú)需使用昂貴的運(yùn) 動(dòng)傳感器。為了該目的，簡(jiǎn)單的運(yùn)動(dòng)傳感器就可以提供非常好的結(jié) 果。例如，加速度計(jì)比陀螺儀小得多并且也便宜得多，因此對(duì)于本 發(fā)明的目的能夠特別有用。還可以使用沿著裝置的邊界分布的兩個(gè) 或更多加速度計(jì)，以^更在線性平移之外還感測(cè)旋轉(zhuǎn)運(yùn)動(dòng)。
利用本發(fā)明，將曝光期間捕獲的圖像拍攝的數(shù)量降低到最小， 從而與經(jīng)典的多張拍攝方式相比，降低對(duì)許多圖像拍攝進(jìn)行處理的計(jì)算成本以及存儲(chǔ)器需求。另外，本發(fā)明允許根據(jù)系統(tǒng)狀態(tài)對(duì)運(yùn)動(dòng) 檢測(cè)閾值的等級(jí)進(jìn)行調(diào)整。例如，該閾值可以根據(jù)捕獲圖像時(shí)使用 的變焦比來(lái)調(diào)整。因此，當(dāng)使用大變焦比時(shí)，將需要小閾值，這是 因?yàn)樯踔梁苄〉倪\(yùn)動(dòng)就能夠?qū)е峦队暗綀D像傳感器上的圖像的顯著 移位。另一方面，當(dāng)使用變焦xl時(shí)，相同運(yùn)動(dòng)可能導(dǎo)致非常小的移 位，這并不是中斷當(dāng)前幀的曝光時(shí)間的合理理由。
本發(fā)明的系統(tǒng)和方法擁有上述多張拍攝技術(shù)的所有優(yōu)勢(shì)。特別 地，本發(fā)明的使用產(chǎn)生了低等級(jí)的噪聲敏感度，并且本發(fā)明并不要 求該系統(tǒng)應(yīng)用反向?yàn)V波來(lái)恢復(fù)圖像。與此同時(shí)，本發(fā)明擁有單張拍 攝技術(shù)的優(yōu)勢(shì)，即由于所捕獲的圖像拍攝的數(shù)量小，所以存儲(chǔ)器需 求小且計(jì)算成本低。
從下面結(jié)合附圖進(jìn)行的詳細(xì)描述中，本發(fā)明的這些和其他優(yōu)勢(shì) 和特征及其操作的組織和方式將變得顯而易見，其中在下面描述的 若干附圖中，相似的元件具有相似的標(biāo)記。


圖1示出了根據(jù)本發(fā)明原理的普通數(shù)字照相機(jī)的剖面?zhèn)纫晥D； 圖2示出了可以在本發(fā)明的實(shí)現(xiàn)中使用的移動(dòng)電話的透視圖； 圖3示出了圖2的移動(dòng)電話的電話電路的示意性表示； 圖4(a)-圖4(c)示出了用于降低圖像模糊的經(jīng)典單張拍攝方式、
傳統(tǒng)的多張拍攝技術(shù)以及本發(fā)明的運(yùn)動(dòng)驅(qū)動(dòng)的多張拍攝方法之間的
差別的圖示；以及
圖5示出了本發(fā)明的一個(gè)實(shí)施例的實(shí)現(xiàn)的流程圖。
具體實(shí)施例方式
在圖1中以110示出了根據(jù)本發(fā)明的原理構(gòu)造的普通照相機(jī)模 塊。照相機(jī)模塊110可以是單獨(dú)的設(shè)備或者可以并入到諸如便攜式 電話的另外的電子設(shè)備。照相機(jī)模塊110包括外殼111,該外殼包含 至少一個(gè)透鏡112、主存儲(chǔ)器單元114和照相機(jī)處理器116以及至少一個(gè)圖像傳感器118。主存儲(chǔ)器單元114可以用來(lái)存儲(chǔ)數(shù)字圖像和用 于執(zhí)行照相機(jī)模塊110中的各種功能的計(jì)算機(jī)軟件，以及用來(lái)實(shí)現(xiàn) 本發(fā)明。在該數(shù)字照相機(jī)內(nèi)還可以包括存儲(chǔ)卡形式的可移動(dòng)的輔助 存儲(chǔ)器單元120,用以提供額外的存儲(chǔ)空間。圖像傳感器118可以是 電荷耦合器件(CCD)、互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)或者其他 系統(tǒng)。照相機(jī)模塊110還包括至少一個(gè)運(yùn)動(dòng)傳感器130，其操作性地 連接到照相機(jī)處理器116。當(dāng)攝取對(duì)象128的圖片時(shí)，該至少一個(gè)透 鏡112將圖像聚焦到該至少一個(gè)圖像傳感器118上，該圖像傳感器 118以電子學(xué)方式記錄光。然后照相機(jī)處理器116將電子信息分解成 數(shù)字?jǐn)?shù)據(jù)，該數(shù)字?jǐn)?shù)據(jù)可以存儲(chǔ)在主存儲(chǔ)器單元114和/或輔助存儲(chǔ) 器單元120中。
圖2和圖3示出了可以在其上實(shí)現(xiàn)本發(fā)明的一個(gè)代表性移動(dòng)電 話12。然而，重要的是需要注意本發(fā)明并不僅限于任何類型的電子 設(shè)備，并且可以結(jié)合到諸如個(gè)人數(shù)字助理、個(gè)人計(jì)算機(jī)以及其他設(shè) 備的設(shè)備中。應(yīng)當(dāng)理解的是，本發(fā)明能夠結(jié)合到廣泛種類的移動(dòng)電 話12上。圖2和圖3的移動(dòng)電話12包括外殼30、液晶顯示器形式 的顯示器32、小鍵盤34、麥克風(fēng)36、耳機(jī)38、電池40、紅外端口 42、天線44、根據(jù)本發(fā)明一個(gè)實(shí)施例的通用集成電路卡(UICC)形 式的智能卡46、讀卡器48、無(wú)線接口電路52、編解碼器電路54、 控制器56以及存儲(chǔ)器58。應(yīng)當(dāng)理解的是，控制器56可以是與照相 機(jī)處理器116相同的單元或者不同的單元。在本發(fā)明的各種實(shí)施例 中，存儲(chǔ)器58與主存儲(chǔ)器單元114可以是也可以不是相同的部件。 單獨(dú)的電路和元件可以是本領(lǐng)域公知的所有類型，例如Nokia移動(dòng) 電i舌系列。
本發(fā)明涉及對(duì)由照相機(jī)或者照相機(jī)模塊所攝取的圖像拍攝的數(shù) 量的控制。特別地，本發(fā)明涉及基于任何照相機(jī)運(yùn)動(dòng)的存在或者不 存在來(lái)調(diào)整每張圖像拍攝的積分時(shí)間。無(wú)論何時(shí)檢測(cè)到運(yùn)動(dòng)，結(jié)束 當(dāng)前圖像拍攝的積分階段，并開始下一圖像拍攝的積分。因此本發(fā) 明適合于在曝光期間的實(shí)際照相機(jī)運(yùn)動(dòng)。如果沒(méi)有照相機(jī)運(yùn)動(dòng)，則捕獲單張長(zhǎng)曝光的圖像拍攝。如果存在照相機(jī)運(yùn)動(dòng)，則根據(jù)照相機(jī) 運(yùn)動(dòng)的程度在多張拍攝之間劃分總曝光時(shí)間。本發(fā)明提供了 一種在 單張拍攝方式和多張拍攝方式之間的混合解決方案，其中通過(guò)在一 個(gè)或多個(gè)運(yùn)動(dòng)傳感器的輔助下檢測(cè)存在或不存在照相機(jī)運(yùn)動(dòng)來(lái)驅(qū)動(dòng) 多張拍攝技術(shù)。
動(dòng)在特定閾值以下時(shí)保持每個(gè)單獨(dú)圖像拍攝的曝光階段。只要感測(cè) 到運(yùn)動(dòng)(或者檢測(cè)到超過(guò)閾值的運(yùn)動(dòng))，則結(jié)束當(dāng)前拍攝的積分， 并開始下 一 拍攝的新的積分階段。
本發(fā)明并不需要關(guān)于照相機(jī)或照相機(jī)模塊的運(yùn)動(dòng)的精確幅度的 準(zhǔn)確信息，這意味這不需要復(fù)雜的運(yùn)動(dòng)傳感器。由于本發(fā)明僅僅需 要用于檢測(cè)運(yùn)動(dòng)存在或者不存在的機(jī)構(gòu)，并且不需準(zhǔn)確地測(cè)量運(yùn)動(dòng) 軌跡，因此諸如加速度計(jì)的小型且便宜的運(yùn)動(dòng)傳感器可以用于本發(fā) 明。這種運(yùn)動(dòng)的存在或者不存在可以通過(guò)將一個(gè)或多個(gè)運(yùn)動(dòng)傳感器 的輸出值與給定閾值(此處稱作運(yùn)動(dòng)檢測(cè)閾值)進(jìn)行比較而容易地 確定。
除上述情況之外，本發(fā)明允許照相機(jī)或者照相機(jī)模塊根據(jù)照相 機(jī)運(yùn)動(dòng)來(lái)調(diào)節(jié)拍攝的數(shù)量以及每張拍攝的曝光時(shí)間二者。如果一個(gè) 或多個(gè)運(yùn)動(dòng)傳感器沒(méi)有檢測(cè)到運(yùn)動(dòng)，那么該照相機(jī)或者照相機(jī)模塊 只是在給定曝光時(shí)間期間攝取單張拍攝。另一方面，如果一個(gè)或多 個(gè)運(yùn)動(dòng)傳感器檢測(cè)到照相機(jī)或者照相機(jī)模塊的運(yùn)動(dòng)，那么在多張圖 像拍攝之間劃分給定曝光時(shí)間。該自適應(yīng)方式根據(jù)曝光期間的現(xiàn)有 運(yùn)動(dòng)來(lái)確保最小的拍攝數(shù)量。
制照相機(jī)快門，使得在任何時(shí)候檢測(cè)到運(yùn)動(dòng)時(shí)關(guān)閉快門。在本發(fā)明 的各種實(shí)施例的實(shí)現(xiàn)中存在許多需要考慮的基本方面。例如，應(yīng)該
建立用于幀的最小曝光時(shí)間。如果在開始曝光時(shí)立刻檢測(cè)到運(yùn)動(dòng)， 則為了避免非常短的幀，這種做法是需要的。另外，最大總積分時(shí) 間(即，用于每張拍攝的單獨(dú)積分時(shí)間的總和)也需要設(shè)置。為了在沒(méi)有運(yùn)動(dòng)以及僅僅捕獲了 一幀的情況下建立積分時(shí)間的合理限 度，需要用于每幀的最大總積分時(shí)間。最后，應(yīng)當(dāng)設(shè)置運(yùn)動(dòng)檢測(cè)閾 值。運(yùn)動(dòng)檢測(cè)閾值代表運(yùn)動(dòng)幅度(例如，加速度)的最小值，如果 低于最小值，就會(huì)如同沒(méi)有出現(xiàn)能夠影響照片的運(yùn)動(dòng) 一樣來(lái)對(duì)待系 統(tǒng)。運(yùn)動(dòng)檢測(cè)閾值用于根據(jù)由一個(gè)或多個(gè)運(yùn)動(dòng)傳感器所產(chǎn)生的值的 觀點(diǎn)來(lái)區(qū)分"運(yùn)動(dòng)"和"未運(yùn)動(dòng)"情形。
圖4(a)-圖4(c)描述了傳統(tǒng)的單張拍攝方式、傳統(tǒng)的多張拍攝方 式和本發(fā)明的方式之間的差別。圖4(a)示出了單張拍攝方法，其中 單個(gè)積分階段500用于在積分時(shí)間開始510和積分時(shí)間停止520之 間的時(shí)間期間捕獲圖像拍攝。圖4(b)示出了多張拍攝方式，其中在 相同時(shí)間周期期間存在若干積分階段5 00 ，每個(gè)積分階段具有其自己 的積分時(shí)間開始510和積分時(shí)間停止520。對(duì)于每個(gè)積分時(shí)間500， 積分時(shí)間開始510和積分時(shí)間結(jié)束520之間的時(shí)間長(zhǎng)度基本相同。 與此對(duì)比，圖4(c)示出了本發(fā)明的實(shí)現(xiàn)。在圖4(c)中，與圖4(b)類似 地涉及多個(gè)積分階段500。然而，每個(gè)積分階段500的時(shí)間長(zhǎng)度并不 是恒定的。相反，每張拍攝的積分時(shí)間停止520是由檢測(cè)到任何運(yùn) 動(dòng)或者檢測(cè)到預(yù)定等級(jí)的運(yùn)動(dòng)來(lái)確定的，任何運(yùn)動(dòng)或者預(yù)定等級(jí)的 運(yùn)動(dòng)兩者均在步驟530表示。該過(guò)程繼續(xù)，直到系統(tǒng)基于光條件或 其他因素所要求的總積分時(shí)間結(jié)束540為止。
圖5示出了本發(fā)明的一個(gè)實(shí)施例的實(shí)現(xiàn)的流程圖。在圖5的步 驟600，第一積分階段開始。這通常伴隨著照相機(jī)快門的打開。在步 驟610,照相機(jī)快門在曝光時(shí)間周期保持打開，在積分階段繼續(xù)。該 時(shí)間周期通常具有最小閾值，并且它還可以具有最大閾值。在步驟 620，讀取一個(gè)或多個(gè)運(yùn)動(dòng)傳感器的值。然后，在步驟630,確定運(yùn) 動(dòng)傳感器輸出是否超過(guò)運(yùn)動(dòng)檢測(cè)閾值。該運(yùn)動(dòng)閾值可以是零，或者 該運(yùn)動(dòng)閾值可以是更高的等級(jí)，以允許確定什么運(yùn)動(dòng)是不顯著的運(yùn) 動(dòng)。如果沒(méi)有超過(guò)運(yùn)動(dòng)閾值，則將會(huì)在隨后的時(shí)間再次讀取一個(gè)或 多個(gè)運(yùn)動(dòng)傳感器。應(yīng)當(dāng)注意的是，這可以在連續(xù)的基礎(chǔ)上發(fā)生，或 者下一次讀取可以在預(yù)定時(shí)間周期之后發(fā)生。如果運(yùn)動(dòng)傳感器輸出超過(guò)該閾值，則在步驟640終止該積分階 段。在該點(diǎn)處，照相機(jī)快門關(guān)閉。如果達(dá)到了每幀的最大曝光時(shí)間 周期，也稱為積分周期，則該快門也可以關(guān)閉。在本發(fā)明的又一實(shí) 施例中，如果攝取完整圖片的總時(shí)間量已經(jīng)屆滿，則可以關(guān)閉該快 門。照相機(jī)快門的關(guān)閉還可以伴隨有人工聲音的產(chǎn)生，從而給予用 戶與照相機(jī)或者照相機(jī)模塊的相對(duì)運(yùn)動(dòng)相關(guān)的指導(dǎo)。在步驟650,對(duì) 捕獲的幀進(jìn)行處理。該步驟涉及諸如色彩插值的功能以及其他功能。 在步驟660,確定捕獲的幀是否是第一張圖像拍攝。如果捕獲的幀是 第一張圖像拍攝，則在步驟680記錄該幀以及積分時(shí)間的值。如果 所捕獲的幀不是第 一張圖像拍攝，則將該圖像拍攝關(guān)于第 一張圖像 拍攝進(jìn)行配準(zhǔn)。這在步驟670進(jìn)行，并且之后是步驟680,其中更新 積分時(shí)間的值。
在步驟690,確定總積分時(shí)間是否小于特定照片所需的積分時(shí) 間，該特定照片所需的積分時(shí)間也稱作圖像捕獲周期。如果總積分 時(shí)間不小于所需的積分時(shí)間或者圖像捕獲周期，那么通過(guò)結(jié)合單獨(dú) 配準(zhǔn)的拍攝中的像素值來(lái)計(jì)算最終像素值。該操作在步驟700表示， 并且最終圖像被如此處理。另一方面，如果總積分時(shí)間小于所需的 積分時(shí)間或者圖像捕獲周期，那么該過(guò)程返回到步驟600,并開始新 的積分階段。
像素融合步驟700可以以各種方式來(lái)執(zhí)行。 一種方式是將最終 像素值計(jì)算為所有單獨(dú)圖像拍攝中的像素值的加權(quán)平均。特定實(shí)施 例中最自然的權(quán)重正好是用于每張拍攝的積分時(shí)間。因此，通過(guò)將N 個(gè)捕獲的圖像拍攝的積分時(shí)間指示為T,，T2，…，Tn，位于(x， y)坐 標(biāo)處的像素的最終值由以下式子給出
<formula>formula see original document page 15</formula>在該情景下，In(x,y)指示了第n個(gè)圖像拍攝中的(x,y)像素的值。在方法步驟的普通場(chǎng)景下對(duì)本發(fā)明進(jìn)行了描述，本發(fā)明可以通 過(guò)程序產(chǎn)品在 一 個(gè)實(shí)施例中來(lái)實(shí)現(xiàn)，該計(jì)算機(jī)程序產(chǎn)品包括在聯(lián)網(wǎng) 環(huán)境中由計(jì)算機(jī)執(zhí)行的計(jì)算機(jī)可執(zhí)行指令，諸如程序代碼。
通常，程序代碼包括用于執(zhí)行特定任務(wù)或者實(shí)現(xiàn)特定抽象數(shù)據(jù) 類型的例程、程序、對(duì)象、組件、數(shù)據(jù)結(jié)構(gòu)等。計(jì)算機(jī)可執(zhí)行指令、 相關(guān)數(shù)據(jù)結(jié)構(gòu)和程序模塊代表了用于執(zhí)行此處公開的方法的步驟的 程序代碼的實(shí)例。這種可執(zhí)行指令或者相關(guān)數(shù)據(jù)結(jié)構(gòu)的特定序列代 表了用于實(shí)現(xiàn)在這種步驟中描述的功能的對(duì)應(yīng)動(dòng)作的實(shí)例。
本發(fā)明的軟件和網(wǎng)絡(luò)實(shí)現(xiàn)能夠利用標(biāo)準(zhǔn)編程技術(shù)來(lái)完成，利用 基于規(guī)則的邏輯或者其他邏輯來(lái)實(shí)現(xiàn)各種數(shù)據(jù)庫(kù)搜索步驟、相關(guān)步 驟、比較步驟和決策步驟。還應(yīng)當(dāng)注意的是，此處以及權(quán)利要求中 使用的詞語(yǔ)"組件"和"模塊"意在包括使用 一行或多行軟件代碼的實(shí) 現(xiàn)和/或硬件實(shí)現(xiàn)和/或用于接收手工輸入的設(shè)備。
出于示例和描述的目的，已經(jīng)給出了本發(fā)明實(shí)施例的前述說(shuō)明。
式，根據(jù)上述教導(dǎo)還可能存在變型和修改，或者是可能從本發(fā)明的 實(shí)踐中得到變型和修改。選擇和描述這些實(shí)施例是為了說(shuō)明本發(fā)明 的原理及其實(shí)際應(yīng)用，以使得本領(lǐng)域的技術(shù)人員能夠在各種實(shí)施例
權(quán)利要求
1.一種用于在圖像捕獲周期期間使用照相機(jī)捕獲圖像的方法，包括開始積分階段，以便捕獲幀；如果在所述照相機(jī)中檢測(cè)到超過(guò)預(yù)定運(yùn)動(dòng)閾值的運(yùn)動(dòng)，或者如果達(dá)到預(yù)定積分周期的結(jié)束，則結(jié)束所述積分階段并保存所述捕獲的幀；如果用于所述捕獲的幀的所述積分階段的時(shí)間未達(dá)到所述圖像捕獲周期的時(shí)間，則繼續(xù)捕獲和保存幀，直到所述積分階段的總時(shí)間達(dá)到所述圖像捕獲周期的時(shí)間為止；以及通過(guò)組合每個(gè)所述捕獲的幀來(lái)生成最終圖片。
2. 根據(jù)權(quán)利要求1所述的方法，其中使用至少一個(gè)運(yùn)動(dòng)傳感器 來(lái)檢測(cè)在照相機(jī)中的運(yùn)動(dòng)。
3. 根據(jù)權(quán)利要求1所述的方法，其中所述運(yùn)動(dòng)檢測(cè)閾值根據(jù)捕 獲圖像時(shí)使用的變焦比來(lái)自動(dòng)調(diào)整。
4. 根據(jù)權(quán)利要求1所述的方法，其中所述運(yùn)動(dòng)檢測(cè)閾值可由用 戶手動(dòng)調(diào)整。
5. 根據(jù)權(quán)利要求1所述的方法，其中每個(gè)積分階段具有最小的 曝光時(shí)間量。
6. 根據(jù)權(quán)利要求1所述的方法，其中每個(gè)積分階段的開始包括 照相機(jī)快門的打開，并且其中每個(gè)積分階段的結(jié)束包括照相機(jī)快門 的關(guān)閉。
7. 根據(jù)權(quán)利要求1所述的方法，其中所述生成最終圖片包括 針對(duì)每個(gè)像素，基于相同像素在每個(gè)所述捕獲的圖像中的像素值來(lái) 計(jì)算最終像素值。
8. 根據(jù)權(quán)利要求1所述的方法，其中所述預(yù)定積分周期包括所 述圖像捕獲周期。
9. 根據(jù)權(quán)利要求2所述的方法，其中所述至少一個(gè)運(yùn)動(dòng)傳感器包括至少一個(gè)加速度計(jì)。
10. 根據(jù)權(quán)利要求10所述的方法，進(jìn)一步包括在保存之前對(duì)每個(gè)所述捕獲的幀進(jìn)行處理。
11. 根據(jù)權(quán)利要求1所述的方法，其中所述處理包括色彩插值。
12. —種用于在圖像捕獲周期期間使用照相機(jī)捕獲圖像的計(jì)算 機(jī)程序產(chǎn)品，包括用于開始積分階段以便捕獲幀的計(jì)算機(jī)代碼；用于如果在所述照相機(jī)中檢測(cè)到超過(guò)預(yù)定運(yùn)動(dòng)閾值的運(yùn)動(dòng)或者 如果達(dá)到預(yù)定積分周期的結(jié)束，則結(jié)束所述積分階段并保存所述捕 獲的幀的計(jì)算機(jī)代碼；用于如果用于所述捕獲的幀的積分階段的時(shí)間未達(dá)到所述圖像 捕獲周期的時(shí)間，則繼續(xù)捕獲和保存幀直到所述積分階段的總時(shí)間 達(dá)到所述圖像捕獲周期的時(shí)間為止的計(jì)算機(jī)代碼；以及用于通過(guò)組合每個(gè)所述捕獲的幀來(lái)生成最終圖片的計(jì)算機(jī)代碼。
13. 根據(jù)權(quán)利要求12所述的計(jì)算機(jī)程序產(chǎn)品，其中所述運(yùn)動(dòng)檢 測(cè)閾值根據(jù)捕獲圖像時(shí)使用的變焦比來(lái)自動(dòng)調(diào)整。
14. 根據(jù)權(quán)利要求12所述的計(jì)算機(jī)程序產(chǎn)品，其中所述運(yùn)動(dòng)檢 測(cè)闊值可由用戶手動(dòng)調(diào)整。
15. 根據(jù)權(quán)利要求12所述的計(jì)算機(jī)程序產(chǎn)品，其中每個(gè)積分階 段具有最小的曝光時(shí)間量。
16. 根據(jù)權(quán)利要求12所述的計(jì)算機(jī)程序產(chǎn)品，其中每個(gè)積分階 段的開始包括照相機(jī)快門的打開，并且其中每個(gè)積分階段的結(jié)束包 括照相機(jī)快門的關(guān)閉。
17. 根據(jù)權(quán)利要求12所述的計(jì)算機(jī)程序產(chǎn)品，其中所述生成最 終圖片包括針對(duì)每個(gè)像素，基于相同像素在每個(gè)所述捕獲的圖像 中的像素值來(lái)計(jì)算最終像素值。
18. 根據(jù)權(quán)利要求12所述的計(jì)算機(jī)程序產(chǎn)品，其中所述預(yù)定積 分周期包括所述圖像捕獲周期。
19. 根據(jù)權(quán)利要求12所述的計(jì)算機(jī)程序產(chǎn)品，進(jìn)一步包括用于在保存之前對(duì)每個(gè)所述捕獲的幀進(jìn)行處理的計(jì)算機(jī)代碼。
20. 根據(jù)權(quán)利要求19所述的計(jì)算機(jī)程序產(chǎn)品，其中所述處理包 括色彩插值。
21. —種電子設(shè)備，包括 處理器；照相機(jī)模塊，操作性地連接到所述處理器；以及 存儲(chǔ)器單元，操作性地連接到所述處理器，并且所述存儲(chǔ)器單元 包括用于開始積分階段以便利用所述照相機(jī)模塊捕獲幀的計(jì)算機(jī)代碼；用于如果在所述照相機(jī)中檢測(cè)到超過(guò)預(yù)定運(yùn)動(dòng)閾值的運(yùn)動(dòng) 或者如果達(dá)到預(yù)定積分周期的結(jié)束，則結(jié)束所述積分階段并保存所 述捕獲的幀的計(jì)算機(jī)代碼；用于如果用于所述捕獲的幀的積分階段的時(shí)間未達(dá)到圖像 捕獲周期的時(shí)間，則利用所述照相機(jī)模塊繼續(xù)捕獲和保存幀，直到 所述積分階段的總時(shí)間達(dá)到所述圖像捕獲周期的時(shí)間的計(jì)算機(jī)代 碼；以及用于通過(guò)組合每個(gè)所述捕獲的幀來(lái)生成最終圖片的計(jì)算機(jī)代碼。
22. 根據(jù)權(quán)利要求21所述的電子設(shè)備，其中所述運(yùn)動(dòng)檢測(cè)閾值 根據(jù)捕獲所述圖像時(shí)使用的變焦比來(lái)自動(dòng)調(diào)整。
23. 根據(jù)權(quán)利要求21所述的電子設(shè)備，其中所述運(yùn)動(dòng)檢測(cè)閾值 可由用戶手動(dòng)調(diào)整。
24. 根據(jù)權(quán)利要求21所述的電子設(shè)備，其中所述生成最終圖片 包括針對(duì)每個(gè)像素，基于相同像素在每個(gè)所述捕獲的圖像中的像 素值來(lái)計(jì)算最終像素值。
25. 根據(jù)權(quán)利要求21所述的電子設(shè)備，其中每個(gè)積分階段具有 最小的曝光時(shí)間量。
26. 根據(jù)權(quán)利要求21所述的電子設(shè)備，其中所述預(yù)定積分周期包括所述圖像捕獲周期。
27. 根據(jù)權(quán)利要求21所述的電子設(shè)備，其中所述存儲(chǔ)器單元進(jìn) 一步包括用于在保存之前對(duì)每個(gè)所述捕獲的幀進(jìn)行處理的計(jì)算機(jī)代 碼。
28. —種照相機(jī)模塊，包括 透鏡，安置用于聚焦圖像；傳感器單元，用于接收由所述透鏡聚焦的圖像； 處理器，操作性地連接至所述傳感器單元；以及 存儲(chǔ)器單元，操作性地連接到所述處理器，所述存儲(chǔ)器單元包括 用于開始積分階段以便捕獲幀的計(jì)算機(jī)代碼， 用于如果在所述照相機(jī)模塊中檢測(cè)到超過(guò)預(yù)定運(yùn)動(dòng)閾值的 運(yùn)動(dòng)或者如果達(dá)到預(yù)定積分周期的結(jié)束，則結(jié)束積分階段并保存所 捕獲的幀的計(jì)算機(jī)代碼，用于如果用于所述捕獲的幀的積分階段的時(shí)間未達(dá)到所述 圖像捕獲周期的時(shí)間，則繼續(xù)捕獲和保存幀直到所述積分階段的總 時(shí)間達(dá)到所述圖像捕獲周期的時(shí)間為止的計(jì)算機(jī)代碼，以及用于通過(guò)組合每個(gè)所述捕獲的幀來(lái)生成最終圖片的計(jì)算機(jī)代碼。
29. —種計(jì)算機(jī)可執(zhí)行指令集，包括用于控制處理器來(lái)執(zhí)行根據(jù) 權(quán)利要求1所述的方法的計(jì)算機(jī)可執(zhí)行指令。
30. —種用于在圖像捕獲周期期間使用照相機(jī)模塊捕獲圖像的 計(jì)算機(jī)程序，包括用于開始積分階段以便捕獲幀的裝置；用于如果在照相機(jī)中檢測(cè)到超過(guò)預(yù)定運(yùn)動(dòng)閾值的運(yùn)動(dòng)或者如果 達(dá)到預(yù)定積分周期的結(jié)束，則結(jié)束積分階段并保存所述捕獲的幀的 裝置；用于如果用于所捕獲的幀的所述積分階段的時(shí)間未達(dá)到所述圖 像捕獲周期的時(shí)間，則繼續(xù)捕獲和保存幀直到積分階段的總時(shí)間達(dá) 到圖像捕獲周期的時(shí)間為止的裝置；以及用于通過(guò)組合每個(gè)所述捕獲的幀來(lái)生成最終圖片的計(jì)算機(jī)代碼。
全文摘要
一種用于使用照相機(jī)或者照相機(jī)模塊捕獲圖像的改進(jìn)的系統(tǒng)和方法。在本發(fā)明中，基于關(guān)于照相機(jī)運(yùn)動(dòng)的存在或者不存在的知識(shí)來(lái)控制所攝取的圖像拍攝的數(shù)量以及每張圖像拍攝的積分時(shí)間。無(wú)論何時(shí)檢測(cè)到運(yùn)動(dòng)超過(guò)預(yù)定運(yùn)動(dòng)閾值，都結(jié)束當(dāng)前圖像拍攝的積分階段，并開始下一圖像拍攝的積分。因此本發(fā)明適用于在曝光期間的實(shí)際照相機(jī)運(yùn)動(dòng)。如果不存在照相機(jī)運(yùn)動(dòng)，則捕獲單張長(zhǎng)曝光的圖像拍攝。如果存在照相機(jī)運(yùn)動(dòng)，則根據(jù)照相機(jī)運(yùn)動(dòng)的程度在多張拍攝之間劃分總曝光時(shí)間。
文檔編號(hào)H04N5/232GK101300830SQ200580051987
公開日2008年11月5日 申請(qǐng)日期2005年9月14日 優(yōu)先權(quán)日2005年9月14日
發(fā)明者M·弗維萊南, M·蒂科 申請(qǐng)人:諾基亞公司