使用多曝光模式的圖像穩(wěn)定化的制作方法

文檔序號：7680453閱讀：183來源：國知局

專利名稱：使用多曝光模式的圖像穩(wěn)定化的制作方法
技術領域：
本發(fā)明總體上涉及照相機或包括照相機的電子設備，并且更具體地，涉及利用用于捕獲由照相機所拍射的圖像的固定多曝光像素模式來進4亍圖像穩(wěn)定化。
背景技術：
通過圖像穩(wěn)定化來解決的問題追溯到攝影術的開始，并且基本上是由以下事實造成的任何已知的圖像傳感器都需要在被稱為積分(曝光)時間的時間段期間使圖像在其上投影。在該時間期間，照相機和/或物體的任何運動都可能造成投影在傳感器上的圖像的偏移，從而導致被稱為運動模糊(motion blur)的最終圖4象的變差。
對具有圖像獲取能力的消費性設備正在進行的開發(fā)和小型化增加了對于穩(wěn)健性和高效圖像穩(wěn)定化解決方案的需要。這些要求可能包括
更長的積分時間，以4更處理由于傳感器小型化和分辨率增加要求所造成的更小的像素區(qū)域；
更長的積分時間，以l更在低光照條件下獲取更好的圖片；
當使用高變焦和/或小型手持設備等時，避免在積分時間期間不希望的運動。
防止運動模糊的筒單方法是為圖像設置短曝光時間。然而，在沒有良好照明的情況下，這樣的短曝光圖片將由于各種噪聲因素(例如，傳感器噪聲、光子拍攝噪聲(photon-shot noise)、量化噪聲等)而造成噪聲非常大。
為了處理噪聲，我們可以采用所謂的"多幀圖像穩(wěn)定化，，解決方案，在該解決方案中，多個短曝光圖像被對準并且被組合在一起，以便合成單個長曝光圖像。
可選地，如果照相機的曝光時間被設置得越長，那么所獲取的圖〗象將受噪聲的影響越少，但是可能由于在啄光時間期間任意的照相機運動而造成的運動模糊，使得所獲取的圖像變差。為了恢復這樣的圖像，必須具有關于在曝光時間期間發(fā)生的運動的精確知識。這樣的"單幀圖像穩(wěn)定化" 解決方案的特殊情況在類屬名稱"光機圖傳4I定器(opto-mechanical image stabilizers)"下是已知的。這些穩(wěn)定器由幾個廠商(例如，佳能、松下、柯尼卡美能達，等等)實現(xiàn)，并且它們基于在照相機運動的相反方向上移動光學器件或圖像傳感器，以便在曝光時間期間將投影在傳感器上的圖像保持在相同的位置。該方法僅應對不能夠校正由于場景中的移動物體所造成的模糊的相機運動。另外，該方法還具有其它缺點，比如難以維持在較長曝光時間期間的穩(wěn)定性，并且除了平移運動之外，不能夠應對其它運動模型(例如，旋轉(zhuǎn))。除此之外，還存在與移動設備的光穩(wěn)定器有關的大小和成本問題。
多數(shù)圖像傳感器對所有的像素均使用相同的曝光時間。然而，并不是所有的圖像像素都在相同程度上受到運動模糊的影響。例如，記錄平滑圖像區(qū)域的像素與位于移動物體邊界(即，移動邊緣)附近的〗象素相比受到運動模糊的影響要少得多。而且，如果照相機是固定的，則僅是通過快速移動物體經(jīng)過照相機前方而不是通過靜態(tài)背景才可以產(chǎn)生運動模糊。在這樣的情況下，只有表示移動物體的圖像的〗象素才受到運動模糊的影響。
用于穩(wěn)定化的一種方法是基于實際的場景內(nèi)容和動態(tài)，在圖l象捕獲期間動態(tài)地設置不同像素的曝光時間。這種方法實際上根據(jù)的是以下事實一些圖傳J象素與另一些相比受到運動才莫糊的影響更少。然而，這樣的方法被證明效率非常低，因為它需要在曝光期間監(jiān)控所有圖像像素的負荷(charge)，以便判定其中任何一個上是否發(fā)生了某種運動從而停止其曝光。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的第一方面，一種方法包括對于至少一個顏色通道，由圖像傳感器利用預先選擇的多膝光像素模式來捕獲圖像，其中，所述圖像傳感器的像素的多個組對于所述至少一個顏色通道具有不同的預先選擇的曝光時間；以及使用對每個像素的值與每個像素的一個或多個鄰近像素的值的加權(quán)組合，為所述至少一個顏色通道確定所述圖像的每個像素的值，其中，4吏用預定算法的所述每個4象素與所述一個或多個鄰近4象素中的至少一個相比具有不同的曝光時間。
進一步根據(jù)本發(fā)明的第一方面，所述確定可以包括使用所述〗象素的值以及所述一個或多個鄰近像素的值來計算所述圖像的每個像素的內(nèi)插值；使用所述值、所述內(nèi)插值以及用于每個像素和用于所述一個或多個鄰近像素中的至少一個的不同曝光時間，為每個像素計算加權(quán)系數(shù)；以及使用所述內(nèi)插值和所i^口權(quán)系數(shù)來為每個像素計算最g。
進一步根據(jù)本發(fā)明的第一方面，所述像素的多個組可以包括具有兩個不同曝光時間的像素的兩個組，其中，這兩個組中的一個組的每個4象素由這兩個組中的另一組的四個鄰近像素環(huán)繞。
再進一步根據(jù)本發(fā)明的第一方面，所述像素的多個組可以包括〗象素的兩個組。而且，所述像素的兩個組可以是以下之一a)具有兩個不同曝光時間的像素的交替行，以及b)具有兩個不同曝光時間的像素的交替列。
進一步根據(jù)本發(fā)明的第一方面，所述多個組可以包括具有三個不同曝光時間的像素的三個組。
再進一步根據(jù)本發(fā)明的第一方面，可以為用于圖像形成的每個顏色單獨定義所述多膝光〗象素模式。
再進一步根據(jù)本發(fā)明的第一方面，所述圖像傳感器可以是對所述圖像的每個像素的值進行確定的電子設備的一部分。再進一步根據(jù)本發(fā)明的第一方面，所述圖像傳感器可以是互補金屬氧化物半導體圖像傳感器。
根據(jù)本發(fā)明的第二方面，一種計算機程序產(chǎn)品包括其上體現(xiàn)了計算機程序代碼的計算機可讀存儲結(jié)構(gòu)，用于由計算機處理器執(zhí)行所述計算機程序代碼，其中所述計算枳艱序代碼包括用于實現(xiàn)本發(fā)明的第一方面的指令。
根據(jù)本發(fā)明的第三方面，一種裝置包括多曝光組合模塊，用于使用
對每個像素的值與所述每個^象素的一個或多個鄰近像素的值的加積ia合，來為至少一個顏色通道確定圖像的每個像素的值，其中，使用預定算法的每個像素與所述一個或多個鄰近像素中的至少一個相比具有不同的曝光時間，其中，所述圖《象是4吏用為所述至少一個顏色通道預先選擇的多曝光像素模式來捕獲的，并且其中，像素的多個組對于所述至少一個顏色通道具有不同的預先選擇的曝光時間。
進一步根據(jù)本發(fā)明的第三方面，所述裝置可以進一步包括圖像傳感器，所述圖像傳感器被配置以便使用所述預先選擇的多膝光像素模式來捕獲所述圖像，其中，所述圖4象傳感器的像素的多個組具有不同的預先選擇的膝光時間?？蛇x地，所述裝置可以被配置以便通過網(wǎng)絡通信來訪問所述圖像。
再進一步根據(jù)本發(fā)明的第三方面，所述多曝光組合模塊可以被配置以便實現(xiàn)所述確定，所述確定可以包括使用所述〗象素的值以及所述一個或多個鄰近像素的值來計算所述圖像的每個像素的內(nèi)插值；使用所述值、所述內(nèi)插值以及用于每個4象素和用于所述一個或多個鄰近像素中的至少一個的不同曝光時間，為每個像素計算加權(quán)系數(shù)；以及使用所述內(nèi)插值和所 #權(quán)系數(shù)來為每個像素計算最,。
再進一步根據(jù)本發(fā)明的第三方面，所述像素的多個組可以包括具有兩個不同啄光時間的像素的兩個組，其中，這兩個組中的一個組的每個像素可以由這兩個組中的另一組的四個鄰近〗象素環(huán)繞。進一步根據(jù)本發(fā)明的第三方面，所述像素的多個組可以包括像素的兩
個組。而且，所述l象素的兩個組可以是以下之一a)具有兩個不同曝光時間的像素的交替行，以及b)具有兩個不同曝光時間的像素的交替列。
進一步根據(jù)本發(fā)明的第三方面，所述多個組可以包括具有三個不同曝光時間的像素的三個組。
再進一步根據(jù)本發(fā)明的第三方面，可以為用于圖像形成的每個顏色單獨定義所述多啄光l象素模式。
再進一步根據(jù)本發(fā)明的第三方面，所述圖像傳感器可以是互4險屬氧化物半導體圖4象傳感器。
再進一步根據(jù)本發(fā)明的第三方面，集成電路可以包括所述裝置的所有模塊或所選擇的模塊。
根據(jù)本發(fā)明的第四方面，一種電子設備包括圖像傳感器模塊，用于利用為至少一個顏色通道預先選擇的多曝光像素模式來捕獲圖像，其中，所述圖像傳感器的像素的多個組對于所述至少一個顏色通道具有不同的預先選擇的膝光時間；以及多曝光組合才莫塊，用于使用對每個像素的值與每個像素的一個或多個鄰近像素的值的加權(quán)組合，為所述至少一個顏色通道確定所述圖像的每個像素的值，其中，使用預定算法的每個像素與所述一個或多個鄰近像素中的至少一個相比具有不同的膝光時間。
進一步根據(jù)本發(fā)明的第四方面，所述電子設備可以包括照相機和所述圖像傳感器模塊，并且所述多曝光組合模塊是所述照相機的一部分。
根據(jù)本發(fā)明的第五方面，一種設備包括用于使用對每個像素的值與每個像素的一個或多個鄰近像素的值的加權(quán)組合來為至少一個顏色通道確定圖像的每個像素的值的裝置，其中，使用預定算法的每個像素與所述一個或多個鄰近l象素中的至少一個相比具有不同的曝光時間，其中，所述圖像是使用為所述至少一個顏色通道預先選擇的多曝光像素模式來捕獲的，并且其中，#>素的多個組對于所述至少一個顏色通道具有不同的預先選擇的啄光時間。進一步根據(jù)本發(fā)明的第五方面，所述設備可以包括用于使用所述預先選擇的多曝光像素模式來捕獲所述圖像的裝置，其中，用于捕獲的裝置的所述像素的多個組具有不同的預先選擇的曝光時間。

為了更好地理解本發(fā)明的本質(zhì)和目的，結(jié)合附圖參照以下的具體實施方式，在附圖中
圖la和圖lb是根據(jù)本發(fā)明實施例，在相同顏色通道中具有圖像傳感器的短曝光像素和長曝光像素兩個組的像素模式的示意性表示；
圖2是根據(jù)本發(fā)明實施例，在相同顏色通道中具有圖像傳感器的三個不同曝光時間下的三組像素(不同行)的像素模式的示意性表示；
圖3是根據(jù)本發(fā)明實施例闡明了用于亮度信息的不同曝光時間的像素模式的示意性表示；
圖4a和圖4b是根據(jù)本發(fā)明實施例示出了穿過移動圖像的兩個像素的邊緣的圖4象信號線的示圖關于短膝光和長曝光(圖4a)，以及在短膝光和長膝光之間的差別(圖4b);
圖5是根據(jù)本發(fā)明的實施例包括照相機的電子設備的框圖，該照相機在用于捕獲照相機所拍攝的圖像的固定多曝光像素模式的情況下進行圖像穩(wěn)定化；以及
圖6是根據(jù)本發(fā)明的實施例闡明了在用于捕獲照相機所拍攝的圖像的固定多曝光像素模式的情況下進行圖像穩(wěn)定化的流程圖。
具體實施例方式
一種新的方法、裝置和軟件產(chǎn)品，其對于由照相機的圖像傳感器在用于至少一個顏色通道的固定(即，預先選擇的)多曝M式下所拍才聶的圖像進行圖#^1定化，其中，該圖像傳感器的像素的多個組對所述至少一個顏色通道具有不同的預先選擇的曝光時間。照相機可以是例如像移動電話或便攜式電子設備這樣的電子設備的一部分。根據(jù)本發(fā)明的實施例，圖#^1定化可以取決于圖像傳感器的使用，該圖像傳感器對其像素允許不同的曝光時間，以便補償可能在曝光時間期間由照相機和/或物體的移動而造成的運動才莫糊。具有不同啄光時間的l象素可以根據(jù)具體模式(例如，檢查模式、逐行模式等)來進行交替，且在拍攝圖片之前預置膝光時間。這可以通過4吏用例如在其中可以獨立地控制l象素
的CMOS (互4峻屬氧化物半導體)圖像傳感器來實現(xiàn)，但是也可以使用其它傳感器。
此外，在捕獲圖像之后，通過組合在不同啄光的像素中可獲得的信息，可以(對每個顏色)生成最終的圖像。例如，僅考慮用于圖傳J象素的兩個啄光時間，可以通過對平滑和靜態(tài)圖像區(qū)域中的更長曝光的圖像像素加權(quán) 得更多，以及通過對移動非平滑區(qū)域或移動邊緣附近中的更短曝光的圖像像素加權(quán)得更多，來創(chuàng)建最終圖像。換句話說，不是(通過采用在曝光期間對每個像素負荷的復雜監(jiān)控過程)針對圖像內(nèi)容調(diào)^個像素的曝光時間，而是在高效的后處理操作中調(diào)整長和短曝光的像素信息對圖像內(nèi)容的的重要，l"生。
此外，可以關于在照相機(電子設備)的濾色陣列(color filter array) 中所表示的每個顏色通道來單獨地定義預先選擇的不同曝光的像素的模式。在圖la、圖lb和圖2中對這樣的模式進行了舉例，其中出于簡化的目的，假設對每個顏色信道使用相同的模式。圖la和lb圖是根據(jù)本發(fā)明的實施例，在相同顏色通道中具有圖4象傳感器的短曝光^^素和長曝光^象素兩個組的像素模式的示意性表示的例子。圖la是檢查模式，而圖2b是具有不同曝光時間的像素的交替行。類似地，也可以使用具有不同曝光時間的像素的交替列。圖2是根據(jù)本發(fā)明的另一個實施例，在相同顏色通道中具有圖像傳感器的三個不同曝光時間(正常曝光、曝光不足以及過度曝光) 的三組像素(不同行)的像素模式的示意性表示的另一個例子。
其它更復雜的模式可以被設計成關于亮度信息來使用更低分辨率的顏色信息。圖3示出了根據(jù)本發(fā)明的進一步實施例的這樣的例子，其尤其示出了闡明用于亮度信息的不同曝光時間(Wl和W2 )的^象素才莫式的示意性表示。
相比于圖la、圖lb和圖2中所示的布置，圖3中的布置可以在以更低密度顏色信息為代價的情況下實現(xiàn)更密集的亮度信息。圖3中的布置取決于四個通道濾色陣列，包括W(白色)、R(紅色)、G(綠色)和B(藍色)。白色通道與其它通道相比具有更高的密度，并且捕獲亮度(輝度)信息，其含有圖像細節(jié)信息。顏色通道是不太密集的，并且允許更低分辨率的顏色信息獲取，這依照于人類視覺感知。由于人眼具有小的顏色敏感度，因此，亮度通道的精確度與顏色信息的精確度相比對所捕獲的圖像具有更重要的影響。人類視覺系統(tǒng)的這個特征可以在例如視頻格式Y(jié)UV422、 YUV411和YUV420中使用，其全部基于對密集亮度信息(Y)連同子采樣的色度信息(U，V)進行存儲。圖3中的像素布置是才艮據(jù)該原理，并且另外，它通過對像素使用不同的曝光時間來處理運動模糊。因而，亮度信息在三個不同的曝光處可用在W像素上的兩個極端曝光(分別是Wl 和W2),以及在任何的R、 G和B像素中的中等啄光時間，其中亮度可以通過內(nèi)插來導出。根據(jù)該布置，有可能通過組合在不同曝光的像素中的信息來移除亮度通道的運動模糊。于是并不處理顏色通道，因為在這些通道中的模糊將具有很小的影響。
要注意，在所有情況下(例如，參見圖la、圖lb、圖2和圖3的例子)，在圖像處理期間，優(yōu)選地在實際的顏色內(nèi)插操作之前，執(zhí)行融合較短和較長曝光的像素信息的過程(詳見圖5)。
進一步描述了實現(xiàn)的例子。我們假設圖像傳感器的每個像素曝光時
間r,或時間r2，其中r7 r2。而且，才艮據(jù)類似圖ia中所例示的預先建立
的^=莫式，短曝光^^素和長曝光^^素在空間上布置于傳感器上。
根據(jù)一個實施例，如在圖4a和圖4b中所示，平滑(或靜態(tài))圖像區(qū) 域可以基于短曝光像素值和長曝光像素值之間的差而區(qū)別于移動物體邊緣區(qū)域。
圖4a和圖4b是根據(jù)本發(fā)明的實施例，示出了穿過移動圖像的兩個像素的邊緣的圖l象信號線的示圖的例子如圖4a中所示的短曝光和長曝光，以及如圖4b中所示的在短啄光和長啄光之間(即，圖4a的短曝光和長曝光的信號線之間)的差。如圖4a和圖4b所例示的，該差在平滑(或靜態(tài)) 區(qū)域中較小，而在移動邊緣的附近較大。因此，長曝光的像素值在該差較小的圖像區(qū)域中被加權(quán)得較多，并且短膝光的像素值在短爆光像素值與長啄光像素值之間的差較大的圖像區(qū)域中^^權(quán)得較多。
根據(jù)進一步的實施例，在不同曝光的像素之間的融合操作可以包括以下步驟
1. 內(nèi)插；
2. 加權(quán)計算；以及
3. 最終的圖像計算。
在下文中，較為詳細地描述了每個步驟。
內(nèi)插
令和^分別表示像素(/, _/ )的短曝光和長曝光值，其中i和j是標識每個像素的坐標的整數(shù)。由于交替模式結(jié)構(gòu)，僅將兩個值中的一個( 或^)應用于每個像素，這取決于像素是短曝光像素還是長曝光像素?？?以通過內(nèi)插，基于位于當前像素附近的類似曝光的像素值來估計其它的值。存在幾種可以使用的內(nèi)插方法，并且在此描述的內(nèi)插方法僅是一個例子。根據(jù)一個實施例，例如，可以使用雙線性內(nèi)插。如此，使用例如圖la中所
示的檢查模式，所估計的每個像素的長(或短)曝光值可以被計算為其四個水平和垂直臨近像素的平均值。例如，如果像素(Z，"是短曝光的，那
么值在像素中可用，并且值^可以被估計為
加權(quán)計算
如在此所描述的，我們?nèi)鐖D4a和4b圖中所示，基于在短曝光的和長膝光的圖像像素之間的差來在靜態(tài)和移動圖像區(qū)域之間進行區(qū)分。然后，可以基于該差來計算加權(quán)函數(shù)，以便強調(diào)與移動邊斜目對應的采集(picks ) 并且降低在不同圖像中所呈現(xiàn)的噪聲。在一種方法中，在像素(/， y)處的加權(quán)圖像可以如下計算:
(2)
其中，";，=^",,， T1和T2分別是對于短曝光像素和長曝光像素的曝
r '，J
光時間的值，并且義是正的常數(shù)。等式2強調(diào)了與移動邊射目對應的采集。為了進一步降^f氐噪聲，還可以通過應用平滑二維濾波器來在空間上平滑加權(quán)圖像w。
最終的圖像計算
這里由力,;所表示的像素(/J)的最終值可以在一種情況中計算作為像素的短曝光值和長瀑光值的加權(quán)平均。在先前步驟所計算的加權(quán)圖^^可以被調(diào)適成強調(diào)了在靜態(tài)和移動圖像區(qū)域之間的差的圖像內(nèi)容。因此，用于組合短曝光像素信息和長曝光像素信息的筒單方式是采用它們的加權(quán)平均，例如，如下
力,廣"'W+fev一 <V)'W'V， (3)
其中，力j代表像素(/，_/ )的最^。
圖5是根據(jù)本發(fā)明的各種實施例的電子設備10的框圖的例子，電子設備10包括照相機12，如在此所描述的，照相機12在用于捕獲由照相機12 所拍攝的圖像的預先選擇(固定)的多曝光像素模式的情況下進行圖^NI 定化。
電子設備10可以是但不限于照相機、無線通信設備、移動電話、照相機電話移動設備、便攜式電子設備、非便攜式電子設備等。
照相機12可以包括光學器件14 (例如，鏡頭、濾色器等)以及圖像傳感器16(例如，CMOS傳感器)，用于對至少一個顏色通道利用固定(預先選擇)的多曝光模式來捕獲圖像，如在此所描述的，以便提供傳感器信號26。根據(jù)在此描述的各種實施例，預處理模塊18可以實現(xiàn)一些預處理，包括但不限于，例如，基座消除(pedestal elimination )、漸暈校正(vignetting correction )、直方圖分析、預置增益，等等，并且然后向多曝光組合模塊 20提供圖像信號26，其中，多曝光組合模塊20可以使用在圖像傳感器中不同曝光的像素來實現(xiàn)內(nèi)插、加權(quán)計算和最終圖像計算的步驟(例如，參見等式l-3)。此外，模塊20可以向進一步處理模塊22提供組合的圖像信號28，以便實現(xiàn)例如自動白平衡(AWB)、顏色內(nèi)插、對比度增強、噪聲降低、雜項校正(miscellaneous correction )，等等，并且然后可以進一步被(任選地)提供作為輸出通往電子設備10的不同模塊，例如，用于查看的顯示器(取景器)、用于存儲的設備存儲器，或者用于向期望目的地進行轉(zhuǎn)發(fā)的輸V輸出(I/O)端口。
要注意，圖像傳感器16通常可以是用于捕獲的裝置或其結(jié)構(gòu)等同物 (或等同結(jié)構(gòu))。而且，多曝光組合模塊20通?？梢允怯糜诖_定每個像素的值的裝置或其結(jié)構(gòu)等同物(或等同結(jié)構(gòu))。
根據(jù)本發(fā)明的實施例，模塊18、 20或22可以被實現(xiàn)為軟件或硬件模塊或其組合。此外，模塊18、 20或22可以被實現(xiàn)為分離的模塊，或者它可以與電子設備10的任何其它模^/塊進行組合，或者它可以4艮據(jù)其功能被分成幾個塊。此外，要注意，電子設備10的所有模塊或所選擇的模塊可以使用集成電路來實現(xiàn)。最后，要注意，作為對于使圖像傳感器16成為電子設備10的一部分的替換，可以通過網(wǎng)絡通信(例如，使用因特網(wǎng))將傳感器信號提供到處理模塊18。
圖6是根據(jù)本發(fā)明的實施例闡明了利用用于捕獲由照相機所拍攝的圖像的固定多曝光像素模式來進行圖#^1定化的流程圖的例子。
圖6的流程圖M示其中一種可能的情況。要注意，圖6中所示的步驟順序并不是絕對必須的，所以原則上，可以不按次序地來執(zhí)行各種步驟。在根據(jù)本發(fā)明的實施例的方法中，在第一步驟40中，如在此所描述的，在用于至少一個顏色通道的固定多曝光4象素模式的情況下，^使用傳感器(例如，CMOS)來捕獲圖像。在下一步驟42中，實現(xiàn)了圖像的預處理(例如，基座消除、漸暈校正、直方圖分析等)。在下一步驟44中，根據(jù)本發(fā)明的實施例實現(xiàn)了像素值的內(nèi)插(例如，參見等式l的例子)。在下一步驟46中，根據(jù)本發(fā)明的實施例實現(xiàn)了對于每個像素的加權(quán)計算(例如，參見等式2的例子)。在下一步驟42中，根據(jù)本發(fā)明的實施例實現(xiàn)了對于每個像素的最終圖像計算(例如，參見等式 3的例子)，并且然后轉(zhuǎn)到進一步處理。
如以上所解釋的，本發(fā)明提供了一種方法和相應的設備，該設備包括各種模塊來提供用于實現(xiàn)該方法的步驟的功能性。這些模塊可以被實現(xiàn)為硬件，或者可以被實現(xiàn)為由計算機處理器執(zhí)行的軟件或固件。特別地，在固件或軟件的情況下，本發(fā)明可以被提供為一種計算^Mi序產(chǎn)品，包括其上體現(xiàn)了用于由計算機處理器執(zhí)行的計算機程序代碼(即，軟件或固件) 的計算機可讀存儲結(jié)構(gòu)。
要注意，在此所記載的本發(fā)明的各種實施例可以針對具體應用而被單獨地、組合地或選擇性地組合使用。
應當理解，上述布置僅是對本發(fā)明的原理的應用的說明。在不背離本發(fā)明的范圍的情況下，本領域的技術人員可以設計各種修改和替換布置，并且所附權(quán)利要求旨在涵蓋這樣的修改和布置。
權(quán)利要求
1.一種方法，其包括對于至少一個顏色通道，由圖像傳感器利用預先選擇的多曝光像素模式來捕獲圖像，其中，所述圖像傳感器的像素的多個組對于所述至少一個顏色通道具有不同的預先選擇的曝光時間；以及使用對每個像素的值與所述每個像素的一個或多個鄰近像素的值的加權(quán)組合，為所述至少一個顏色通道確定所述圖像的所述每個像素的值，其中，使用預定算法的所述每個像素與所述一個或多個鄰近像素中的至少一個相比具有不同的曝光時間。
2. 根據(jù)權(quán)利要求l所述的方法，其中所述確定包括使用所述像素的值和所述一個或多個鄰近像素的值來計算所述圖像的所述每個像素的內(nèi)插值；使用所述值、所述內(nèi)插值以及用于所述每個像素和用于所述一個或多個鄰近像素中的所述至少一個的不同曝光時間，為所述每個像素計算加權(quán) 系數(shù)；以及使用所述內(nèi)插值和所#權(quán)系數(shù)來為所述每個像素計算最,。
3. 根據(jù)權(quán)利要求l所述的方法，其中所述像素的所述多個組包括具有兩個不同瀑光時間的所述4象素的兩個組，其中，這兩個組中的一個組的每個像素由所述兩個組中的另一組的四個鄰近像素環(huán)繞。
4. 根據(jù)權(quán)利要求l所述的方法，其中所述像素的所述多個組包括所述寸象素的兩個組。
5. 根據(jù)權(quán)利要求4所述的方法，其中所述像素的所述兩個組是以下之一具有兩個不同曝光時間的所述像素的交替行，以及具有兩個不同曝光時間的所述^象素的交替列。
6. 根據(jù)權(quán)利要求l所述的方法，其中所述多個組包括具有三個不同膝光時間的像素的三個組。
7. 根據(jù)權(quán)利要求1所述的方法，其中所述多曝光像素模式是為用于圖像形成的每個顏色單獨定義的。
8. 根據(jù)權(quán)利要求l所述的方法，其中所述圖像傳感器是實現(xiàn)所述確定的電子設備的一部分。
9. 根據(jù)權(quán)利要求1所述的方法，其中所述圖像傳感器是互#^屬氧化物半導體圖像傳感器。
10. —種計算機程序產(chǎn)品，包括其上體現(xiàn)了計算*序代碼的計算機可讀存儲結(jié)構(gòu)，用于由計算機處理器執(zhí)行所述計算機程序代碼，其中所述計算^^呈序代碼包括用于實現(xiàn)權(quán)利要求1的方法的指令。
11. 一種裝置，其包括多曝光組合模塊，用于使用對每個像素的值與所述每個像素的一個或多個鄰近像素的值的加權(quán)組合，來為至少一個顏色通道確定圖像的所述每個像素的值，其中，使用預定算法的所述每個像素與所述一個或多個鄰近 <象素中的至少一個相比具有不同的曝光時間，其中，所述圖像是使用為所述至少一個顏色通道預先選擇的多曝光4象素模式來捕獲的，并且其中，像素的多個組對于所述至少一個顏色通道具有不同的預先選擇的膝光時間。
12. 根據(jù)權(quán)利要求ll所述的裝置，其進一步包括圖像傳感器，所述圖像傳感器被配置以便使用所述預先選擇的多曝光像素模式來捕獲圖像，其中，所述圖像傳感器的像素的多個組具有所述不同的預先選擇的曝光時間。
13. 根據(jù)權(quán)利要求11所述的裝置，其中所述裝置被配置以便通過網(wǎng) 絡通信來訪問所述圖像。
14. 根據(jù)權(quán)利要求11所述的裝置，其中所述多曝光組合模塊被配置以便實現(xiàn)所述確定，所述確定包括使用所述像素的值和所述一個或多個鄰近像素的值，來計算所述圖^象的所述每個像素的內(nèi)插值；使用所述值、所述內(nèi)插值以及用于所述每個像素和用于所述一個或多個鄰近像素中的所述至少一個的不同曝光時間，為所述每個像素計算加權(quán)系數(shù)；以及使用所述內(nèi)插值和所述加權(quán)系數(shù)來為所述每個像素計算最終值。
15. 才艮據(jù)權(quán)利要求11所述的裝置，其中所述4象素的所述多個組包括: 具有兩個不同曝光時間的所述像素的兩個組，其中，所述兩個組中的一個組的每個像素由所述兩個組中的另一組的四個鄰近像素環(huán)繞。
16. 根據(jù)權(quán)利要求11所述的裝置，其中所述像素的所述多個組包括所述像素的兩個組。
17. 根據(jù)權(quán)利要求16所述的裝置，其中所述像素的所述兩個組是以下之一具有兩個不同膝光時間的所述像素的交替行，以及具有兩個不同曝光時間的所述像素的交替列。
18. 根據(jù)權(quán)利要求11所述的裝置，其中所述多個組包括具有三個不同曝光時間的像素的三個組。
19. 根據(jù)權(quán)利要求11所述的裝置，其中所述多曝光像素模式是為用于圖像形成的每個顏色單獨定義的。
20. 根據(jù)權(quán)利要求11所述的裝置，其中所述圖像傳感器是互#^屬氧化物半導體圖像傳感器。
21. 根據(jù)權(quán)利要求11所述的裝置，其中集成電路包括所述裝置的所有模塊或所選擇的模塊。
22. —種電子設備，其包括圖像傳感器模塊，用于利用為至少一個顏色通道預先選擇的多曝光像素模式來捕獲圖像，其中，所述圖像傳感器的像素的多個組對于所述至少一個顏色通道具有不同的預先選擇的曝光時間；以及多曝光組合模塊，用于^f吏用對每個像素的值與所述每個像素的一個或多個鄰近像素的值的加權(quán)組合，來為所述至少一個顏色通道確定所述圖像的所述每個4象素的值，其中，使用預定算法的所述每個像素與所述一個或多個鄰近^象素中的至少一個相比具有不同的膝光時間。
23. 根據(jù)權(quán)利要求22所述的電子設備，其中所述電子設備包括照相機和所述圖像傳感器模塊，并且所述多曝光組合模塊是所述照相機的一部
24. —種設備，其包括用于使用對每個像素的值與所述每個像素的一個或多個鄰近像素的值的加權(quán)組合，來為至少一個顏色通道確定圖像的所述每個像素的值的裝置，其中，使用預定算法的所述每個像素與所述一個或多個鄰近像素中的至少一個相比具有不同的膝光時間，其中，所述圖像是使用為所述至少一個顏色通道預先選擇的多曝光l象素才莫式來捕獲的，并且其中，1象素的多個組對于所述至少一個顏色通道具有不同的預先選擇的曝光時間。
25. 根據(jù)權(quán)利要求24所述的設備，其進一步包括用于使用所述預先選擇的多啄光像素模式來捕獲圖像的裝置，其中，用于捕獲的所述裝置的像素的多個組具有所述不同的預先選擇的曝光時間。
全文摘要
本說明書和附圖提供了一種新的方法、裝置和軟件產(chǎn)品，用于對由照相機的圖像傳感器在用于至少一個顏色通道的固定(即，預先選擇的)多曝光模式的情況下所拍攝的圖像進行圖像穩(wěn)定化，其中所述圖像傳感器的像素的多個組對于所述至少一個顏色通道具有不同的預先選擇的曝光時間。所述照相機可以是例如像移動電話或便攜式電子設備這樣的電子設備的一部分。
文檔編號H04N5/235GK101543056SQ200780044432
公開日2009年9月23日申請日期2007年12月12日優(yōu)先權(quán)日2006年12月15日
發(fā)明者M·特里梅齊, M·齊科申請人:諾基亞公司

完整全部詳細技術資料下載