專利名稱：亮度校正的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及圖像處理，尤其涉及亮度校正。
(2)背景技術(shù)當(dāng)拍攝一個場景時，從場景里的物體散發(fā)出來的光線被記錄在膠片上，諸如常規(guī)膠片或數(shù)字膠片。因此，攝影術(shù)涉及對這些光線的記錄。與在充足的照明條件下拍攝的照片相比較，當(dāng)照明條件不合適時(例如，當(dāng)在低照度下攝影時)，照片缺乏某些場景信息。
在昏暗的照明條件下拍攝令人滿意的照片在歷史上已經(jīng)造成一個非常困難的問題。圖像往往模糊或曝光不足。曝光不足通常是由于膠片沒有在充足的光照下曝光。通過使膠片曝光較長時間，例如，通過使用較低的快門速度來保持快門開啟較長時間，可以在某種程度上校正曝光不足。然而，較低的快門速度會導(dǎo)致模糊。當(dāng)使用一臺手持式照相機(jī)時(例如，不使用三腳架)，模糊問題加劇了，部分地因?yàn)樵诳扉T開啟期間所增加的移動。也可能是由于在快門開啟期間場景里的物體移動而出現(xiàn)模糊。
幾種普通的解決方案包括使用閃光燈(通過引進(jìn)額外的照明來補(bǔ)償?shù)驼斩?和使用較高ISO(由國際標(biāo)準(zhǔn)化組織制定的前綴)的膠片。
使用閃光受到多種因素的限制。例如，閃光燈只能在相對較短的距離內(nèi)使用。同時，閃光燈可能導(dǎo)致色彩的變化，產(chǎn)生場景的不準(zhǔn)確表示。多重閃光燈(例如，帶遙控激活的)可以用于提高閃光攝影的結(jié)果，但在場景的周圍布置多個閃光燈并非總是可行的(例如，戶外攝影或臨時通知的抓拍)。
較高ISO的膠片也受到多種因素的限制。在傳統(tǒng)攝影中，膠片通常只能每次更換一卷。因此，當(dāng)一臺照相機(jī)裝入較高ISO的膠片時(例如，適用于弱照明條件)，如果不限制攝影師的選擇(例如，在這樣的條件下必須以較高的快門速度拍攝照片，以免曝光過度)，照相機(jī)就不能用于正常的照明條件。在數(shù)字?jǐn)z影中，較高ISO設(shè)置的性能完全依賴于照相機(jī)的傳感器，傳感器在不同的照相機(jī)之間可以顯著不同。而且，一個甚至更嚴(yán)重的缺點(diǎn)是由于使用較高ISO而導(dǎo)致的相對較多的噪聲。
當(dāng)前有一些用于提高模糊圖像的質(zhì)量的技術(shù)，例如，由于使用了高于安全快門速度的曝光時間所產(chǎn)生的模糊圖像。通常，安全快門速度是不低于鏡頭焦距倒數(shù)的速度。這些技術(shù)可以粗略地分類為過程中方法和過程后方法，這些方法限制由諸如長曝光時間、照相機(jī)抖動或物體移動等引起的運(yùn)動模糊。
過程中方法是主要基于硬件的技術(shù)，其中通過照相機(jī)抖動補(bǔ)償獲得鏡頭的穩(wěn)定性?；蛘撸咚贁?shù)字照相機(jī)(例如那些具有互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)傳感器的數(shù)字照相機(jī))可以在正常的曝光時間內(nèi)執(zhí)行高速幀捕捉，其考慮到了多重基于圖像的運(yùn)動模糊恢復(fù)。如果給定合理的曝光時間，過程中技術(shù)可以產(chǎn)生相對清晰和鮮艷的圖像。然而，這些技術(shù)需要特別設(shè)計(jì)的硬件設(shè)備。
另一方面，過程后方法總體上可以視作運(yùn)動去模糊技術(shù)。其中，廣泛地采用盲解卷積來提升單個模糊圖像，這可以在關(guān)于點(diǎn)散布函數(shù)(PSF)的不同假設(shè)下應(yīng)用?；蛘?，在比較普遍的情況下，不同模糊方向的多幅圖像或一個圖像序列可以用于估計(jì)PSF。在這兩種情況下，由于在空間坐標(biāo)和時間坐標(biāo)中進(jìn)行圖像的離散化和量化，因此不能可靠地估計(jì)PSF，這就導(dǎo)致產(chǎn)生不如地面實(shí)況圖像(ground truth image)(是指用三腳架上的照相機(jī)拍攝的圖像或正確曝光的靜態(tài)場景)的結(jié)果。也已經(jīng)提出了由一個主要(高空間分辨率)探測器和一個次要(高時間分辨率)探測器組成的混合成像系統(tǒng)。次要探測器提供更精確的運(yùn)動信息以估計(jì)PSF。因此，甚至可以在長曝光下使去模糊成為可能。然而，該技術(shù)需要額外的硬件支持，而且去模糊的圖像在觀感細(xì)節(jié)上仍然不如地面實(shí)況好。
因此，現(xiàn)有的解決辦法無法提供足夠的圖像質(zhì)量。
(3)發(fā)明內(nèi)容揭示用于改進(jìn)模糊或曝光不足的圖像(例如，由于照相機(jī)抖動、在昏暗的照明條件下拍攝或高速運(yùn)動場景的圖像)的質(zhì)量的技術(shù)。
在所描述的一種實(shí)現(xiàn)中，一種方法包括提供相同場景的兩幅圖像。該方法確定兩幅圖像的空間相干性和色彩統(tǒng)計(jì)。所確定的色彩統(tǒng)計(jì)和空間相干性被用于增強(qiáng)兩幅圖像的其中之一。
在所描述的另一個實(shí)現(xiàn)中，一種方法包括提供場景曝光不足的圖像和相同場景的模糊圖像。該方法確定兩幅圖像的空間相干性和色彩統(tǒng)計(jì)。通過利用色彩統(tǒng)計(jì)和空間相干性，增強(qiáng)曝光不足的圖像。
(4)


參照附圖詳細(xì)描述本發(fā)明。附圖中，附圖標(biāo)記最左邊的數(shù)字標(biāo)識該附圖標(biāo)記首次出現(xiàn)的附圖編號。在不同圖中使用相同的附圖標(biāo)記表示是相似的或相同的項(xiàng)目。
圖1和圖2例示在昏暗的照明條件下對相同場景拍攝的兩幅圖像。
圖3例示一幅應(yīng)用了亮度校正的示例性的高質(zhì)量圖像。
圖4例示一種亮度校正的示例性方法。
圖5例示一種可以用于亮度校正的色彩直方圖均衡的示例性方法。
圖6A示出原始圖像的均勻區(qū)域，而圖6B示出運(yùn)動模糊時所拍攝的相同區(qū)域。
圖7A和圖7B例示沿一個方向的像素色彩曲線。
圖8例示一種可以用于亮度校正的示例性的空間區(qū)域匹配方法。
圖9例示將圖2的圖像樣本分割為多個區(qū)域。
圖10例示一幅由侵蝕圖9中的圖像的區(qū)域而得到的示例性中間圖像。
圖11將所選擇的圖9和圖10的區(qū)域中心例示為點(diǎn)。
圖12例示一個曝光不足的圖像的樣本輸入。
圖13例示一幅由對圖12的圖像應(yīng)用亮度校正而得到的示例性圖像。
圖14例示一個對圖12的圖像應(yīng)用色彩傳遞(colour transfer)技術(shù)而得到的示例性結(jié)果。
圖15例示一個對圖12的圖像應(yīng)用自適應(yīng)直方圖均衡而得到的示例性結(jié)果。
圖16例示一個對圖12的圖像應(yīng)用2.5的伽瑪校正(Gamma Correction)而得到的示例性結(jié)果。
圖17例示一個在圖像編輯程序中對圖12的圖像應(yīng)用曲線調(diào)整而得到的示例性結(jié)果。
圖18-21例示在此所描述的各種方法以最佳方式融合不同曝光時間的兩幅輸入圖像的色彩信息的能力。
圖22-24例示場景里的物體運(yùn)動所引起的運(yùn)動模糊的實(shí)驗(yàn)結(jié)果。
圖25-28示出與高對比度場景實(shí)現(xiàn)有關(guān)的樣本圖像。
圖29例示一種示例性的數(shù)字照相機(jī)配置，用于一次進(jìn)行可以用于提供亮度校正的多重拍攝。
圖30例示一種通過軟件控制照相機(jī)曝光的示例性方法。
圖31例示一個可以用于實(shí)現(xiàn)在此所描述的技術(shù)的一般計(jì)算機(jī)環(huán)境。
(5)具體實(shí)施方式
下文描述用于提高模糊或曝光不足的圖像(例如，由于昏暗的照明條件、高速運(yùn)動場景的存在或照相機(jī)抖動)的質(zhì)量的技術(shù)。以不同曝光間隔拍攝相同場景的兩張照片。因此，一幅圖像可能曝光不足，而另一幅可能模糊。使用這兩幅圖像中的信息來提供該場景的沒有明顯模糊或黑暗的高質(zhì)量圖像。例如，兩個照片可以在一個短間隔里拍攝，以保證圖像中心不會顯著移動或限制由場景里的物體移動或照相機(jī)運(yùn)動引起的運(yùn)動影響。這些技術(shù)可以容易地?cái)U(kuò)展到處理高對比度場景以展現(xiàn)飽和區(qū)域中的精確細(xì)節(jié)(正如將參照圖22-25所討論的那樣)。
此外，這些技術(shù)中有一些可以直接結(jié)合到一臺數(shù)字照相機(jī)中。例如，數(shù)字照相機(jī)可以配置成在拍攝兩張照片時保持其快門開啟(正如將參照圖29-30所進(jìn)一步討論的那樣)。
縱覽圖1和圖2例示在昏暗的照明條件下對相同場景拍攝的兩幅圖像。正如所例示的那樣，圖1的圖像(IL)曝光不足，而圖2的圖像(IH)模糊。圖1和圖2的圖像有不同的曝光間隔。正如所例示的那樣，圖1的圖像(IL)有比圖2的圖像更長的曝光時間。在此所討論的技術(shù)可以利用圖1和圖2中示出的圖像來構(gòu)造一幅如圖3所示的高質(zhì)量圖像(IC)。
圖像獲取在一個實(shí)現(xiàn)中，為利用所捕捉圖像的曝光時間和模糊度之間的折中方案，使用具有下述曝光設(shè)置的相同捕捉設(shè)備(例如，一臺照相機(jī))拍攝兩幅輸入圖像
·一幅圖像(例如，圖1的IL)以約等于安全快門速度的曝光時間拍攝，產(chǎn)生一幅曝光不足的圖像，圖像中運(yùn)動模糊大大減少。因?yàn)檫@幅圖像(IL)太暗，圖像的色彩是不可接受的。
·另一幅圖像(例如，圖2的IH)是一幅在延長了的曝光時間下得到的圖像。這幅圖像的色彩和亮度是可以接受的。然而，由于照相機(jī)抖動或場景里的移動物體，這幅圖像產(chǎn)生運(yùn)動模糊。
在有可能存在場景(或場景里的物體)移動和/或捕捉設(shè)備(例如，一臺不用三腳架的手持式照相機(jī))移動的情況下，這兩張照片可在一個短間隔里拍攝。如果保持盡可能短的時滯，兩幅圖像之間的差異被最小化和/或每個像素位置的區(qū)域匹配被最大化。
亮度校正圖4例示亮度校正的示例性方法400。在提供相同場景的兩幅圖像(402)之后，正如參照圖1-2(例如，IL和IH)所討論的那樣，確定圖像的色彩統(tǒng)計(jì)(404)和空間相干性(406)(正如將在下面類似標(biāo)題的節(jié)中更詳細(xì)地描述的那樣)。正如參照圖1-2所描述的那樣，IL和IH是相同場景的不同曝光間隔的兩幅圖像。因此，它們不但通過色彩統(tǒng)計(jì)聯(lián)系起來，而且還通過相應(yīng)的空間相干性聯(lián)系起來。
色彩統(tǒng)計(jì)和空間相干性信息被用于(408)在色彩空間中增強(qiáng)曝光不足的圖像(例如，圖1的IL)，以提供正常曝光的高質(zhì)量圖像(例如，圖3的IC)。更具體地，步驟408在一個實(shí)現(xiàn)中利用色彩映射法。色彩映射受到從曝光不足圖像所確定的空間細(xì)節(jié)的約束，因此不同于先前的純粹色彩傳遞技術(shù)并且是對該技術(shù)的改進(jìn)。正如下面將進(jìn)一步更詳細(xì)地討論的那樣，通過適當(dāng)?shù)赜霉絹肀硎旧式y(tǒng)計(jì)和空間約束，并將它們納入貝葉斯定理(Bayesian)框架中，極大后驗(yàn)(MAP)解提供色彩空間中的在增強(qiáng)像素色彩的同時也保留結(jié)構(gòu)細(xì)節(jié)的最佳色彩映射函數(shù)。
此外，方法400可以并且是在統(tǒng)一框架中同時處理照相機(jī)抖動和物體移動。而且，也可以處理物體拓?fù)涞母淖兓蛭矬w形變，這對大多數(shù)去模糊方法來說是困難的，因?yàn)槲矬w的不同部分有不同的PSF。此外，通過些微地修改一個拘束(正如將在“高對比度場景中的色彩統(tǒng)計(jì)”中進(jìn)一步討論的那樣)，可以將方法400擴(kuò)展到處理高對比度場景并產(chǎn)生具有在加亮或飽和區(qū)域中所捕捉的精確細(xì)節(jié)的圖像。
IL和IH之間的關(guān)系正如參照圖1-2所描述的那樣，IL和IH是相同場景的不同曝光間隔的兩幅圖像。因此，它們不但通過色彩統(tǒng)計(jì)聯(lián)系起來，而且還通過相應(yīng)的空間相干性聯(lián)系起來。它們的關(guān)系可以轉(zhuǎn)化為用于在貝葉斯定理(Bayesian)框架中推導(dǎo)色彩映射函數(shù)的約束。
在一個實(shí)現(xiàn)中，可以將曝光不足的圖像IL視為正常曝光的圖像IH在時間坐標(biāo)中的一個感測分量。這使得在曝光時間期間對照相機(jī)或場景(或場景的物體)移動合理地進(jìn)行建模并約束下一節(jié)中將進(jìn)一步描述的映射過程成為可能。
色彩統(tǒng)計(jì)在RGB(紅、綠和藍(lán))色彩空間中，常?？梢酝ㄟ^色彩直方圖的形狀來展現(xiàn)重要的色彩統(tǒng)計(jì)。一個直方圖通常是使用長方形或條形的頻率分布表示，長方形或條形的寬度代表分類間隔，而其面積與相應(yīng)的頻率成比例。因此，直方圖可以用于建立IL和IH之間的引申聯(lián)系(explicate connection)。而且，由于高輻照度產(chǎn)生較亮的像素，IL和IH中的色彩統(tǒng)計(jì)可以根據(jù)像素亮度值從低到高的順序匹配。因此，可以修改IL的直方圖(hIL)以使得g(hIL)≈hIH---(1)]]>方程(1)中，g(·)是在直方圖中的每個色值上執(zhí)行的轉(zhuǎn)換函數(shù)，hIH為IH的直方圖。估算g(·)的普通方法是通常根據(jù)目的曲線修改圖像動態(tài)范圍和對比度的自適應(yīng)直方圖均衡。
然而，直方圖均衡在一些情況中不能得到令人滿意的結(jié)果。更具體地，每個通道中量子化的256(單字節(jié)精度)種色彩可能不足以對模型直方圖形狀的多樣性進(jìn)行精確建模。
圖5例示可以用于亮度校正的色彩直方圖均衡的示例性方法500。更具體地，方法500可以用于最佳地估算轉(zhuǎn)換函數(shù)。首先，來自RGB空間的圖像被傳遞到基于感知的色彩空間lαβ(502)中，其中l(wèi)為非彩色通道，α和β包含色度值。這樣，圖像被轉(zhuǎn)換到一個更離散化的具有已知熒光色度的空間中。
新色彩空間中的色彩分配被聚類(clustered)為65536(雙字節(jié)精度)部分(504)。然后，在新色彩空間中執(zhí)行直方圖均衡(506)。直方圖均衡(506)的結(jié)果傳遞回RGB空間(508)。
通過執(zhí)行兩幅圖像(例如，圖1-2)的經(jīng)轉(zhuǎn)換的直方圖均衡，這兩幅圖像可以在它們的色彩空間中完全地聯(lián)系起來。然而，色彩統(tǒng)計(jì)主要依賴于照相機(jī)的圖像質(zhì)量。例如，如果較暗的圖像包括很多的噪聲，就需要首先處理被污染的信息(例如，通過對圖像進(jìn)行濾波處理)。
空間約束上述色彩統(tǒng)計(jì)不考慮IL和IH之間的任何時間相干性。然而，因?yàn)檫@兩幅圖像拍攝的是相同場景，在IL和IH之間有一個強(qiáng)空間約束。
在某一區(qū)域包含相似色彩像素的情形中，圖6A示出原始圖像的均勻區(qū)域，而圖6B示出運(yùn)動模糊時所拍攝的相同區(qū)域。諸點(diǎn)602標(biāo)記諸區(qū)域中心。圖7A和圖7B的相應(yīng)曲線例示沿一個方向的像素色彩。從圖6A、圖6B、圖7A和圖7B中可以觀察到，如果區(qū)域面積足夠大且均勻，近區(qū)域中心的色彩較少受到模糊的影響。另外，區(qū)域中色彩的一致性允許匹配中央像素色彩。
圖8例示一種可以用于亮度校正的示例性的空間區(qū)域匹配方法。方法800可以用于選擇IL和IH中的匹配種子。模糊圖像(例如，圖2的IH)被分割為多個區(qū)域，以使得每個區(qū)域Rm(IH)包含相似的色彩(802)。圖9示出對圖2的樣本分割。
為了根據(jù)均勻性和大小對區(qū)域進(jìn)行排序，侵蝕(erode)每個區(qū)域Rm(IH)(804)，并確定完全地侵蝕每個區(qū)域及其區(qū)域中心的迭代次數(shù)(806)，區(qū)域中心是在每個區(qū)域的侵蝕過程中的最后少數(shù)像素。在一個實(shí)現(xiàn)中可以對每個區(qū)域Rm(IH)執(zhí)行相同的形態(tài)侵蝕操作。圖10例示一幅由侵蝕圖9的圖像中的區(qū)域而得到的示例性的中間圖像。
以降序排序迭代次數(shù)，并選擇前M個區(qū)域作為區(qū)域匹配的最可能的候選(808)。其結(jié)果是，選擇這些區(qū)域中心的位置作為匹配位置。從圖像IH和IL中，選擇匹配位置中的像素對{cLm，cHm}(810)，并計(jì)算每個cm的值，作為附近像素色彩的高斯平均(812)，附近像素中方差與迭代次數(shù)成比例。圖11將所選擇諸區(qū)域中心例示為圓點(diǎn)(1102)。正如所例示的那樣，諸圓點(diǎn)(1102)位于最大且最均勻M個區(qū)域。
匹配過程(800)暗示，理想的色彩映射函數(shù)應(yīng)該能夠?qū)L中的一些匹配種子色彩轉(zhuǎn)換為IH中的那些色彩。在下一節(jié)中，描述了貝葉斯定理(Bayesian)框架，其中將兩個約束(色彩和空間)納入考慮，以推導(dǎo)約束映射函數(shù)。
約束映射函數(shù)色彩映射函數(shù)可以定義為f(li)＝li′在此li和li′分別為兩個集里的色值。因此，通過將f(·)應(yīng)用到曝光不足的圖像IL來構(gòu)造所得到的圖像ICIC(x，y)＝f(IL(x，y))，其中Ik(x，y)為圖像Ik中的像素值。注意，f(·)的形式受到IL和IH的約束。
在貝葉斯定理(Bayesian)框架中，給定來自IL和IH的觀察，最大化后驗(yàn)概率(MAP)以推導(dǎo)出f*。
f*=argmaxfp(f|IL,IH)---(2)]]>在先前的節(jié)中，觀察到IL和IH之間有兩種類型的聯(lián)系。一種是可以分別由IL和IH的兩個直方圖hIL和hIH描述的色彩統(tǒng)計(jì)。另一種是可以由IL和IH之間的M個相應(yīng)的匹配色彩種子{cLm，cHm}m＝1M表示的區(qū)域匹配約束?？梢詫⑦@些關(guān)系視為約束，方程(2)可以改寫為f*=argmaxfp(f|hIL,hIH,{cLm,cHm}m=1M)]]>=argmaxfp(hIL,hIH,{cLm,cHm}m-1M|f)p(f)---(3)]]>下面的節(jié)中定義似然函數(shù)p(hIL，hIH，{cLm，cHm}m＝1M|f)和先驗(yàn)函數(shù)p(f)。
似然函數(shù)由于是在一個離散色彩空間中執(zhí)行的全局匹配，f由一系列離散值f＝{f1，f2，...，fi，...，fN}近似得到，其中N為色彩空間中面元的總數(shù)。因此，方程(3)可以根據(jù)獨(dú)立恒等分布(IID)假設(shè)進(jìn)行分解p(hIL,hIH,{cLm,cHm}m-1M|f)=Πi=1Np(g(li),{cL-1,cH-1}|fi)---(4)]]>在方程(4)中，g(li)是在色值li下將hIL轉(zhuǎn)換為hIH的函數(shù)。cL-i是在色彩種子組{cLm}m＝1M中與li最接近的色彩，cH-i是色彩種子對中cL-i的相應(yīng)色彩。
根據(jù)先前的節(jié)中的分析，g(li)和{cL-i，cH-i}是每個fi的兩個約束因子。應(yīng)該在映射函數(shù)上維護(hù)它們的特性。因此，可以平衡這兩個約束，而且似然函數(shù)可以建模為p(g(li),{cL-1,cH-1}|fi)∝exp(-||fi-ag(li)+(1-α)cL-i||22σI2)---(5)]]>在方程(5)中，標(biāo)度α對兩個約束進(jìn)行加權(quán)，σI2是對兩種約束的不確定性進(jìn)行建模的方差。當(dāng)值α增大時，匹配種子對的置信度下降。α與下述因素有關(guān)·距離‖li-cL-i‖。大的距離意味著弱的區(qū)域匹配約束，這使得α接近1。
因此，α與這個距離成反比。
·匹配色彩對{cL-i，cH-i}中相應(yīng)的不確定性。正如先前的節(jié)中所描述的那樣，匹配區(qū)域的尺寸越大，從匹配區(qū)域中心得到的匹配色彩的置信度就越大。因此，不確定性σc可以定義為與每個匹配色彩的區(qū)域大小成比例。組合這兩個因素，α可以定義為α=exp(σc2||li-cL-i||22β2)---(6)]]>在方程(6)中，β是控制α的影響的標(biāo)度參數(shù)。
先驗(yàn)函數(shù)作為先驗(yàn)函數(shù)，單調(diào)約束可以強(qiáng)加于f(·)，這維持了IL的結(jié)構(gòu)細(xì)節(jié)。此外，為避免鄰近色彩的色彩映射突變，要求在一個實(shí)現(xiàn)中f(·)的形狀是平滑的。在另一個實(shí)現(xiàn)中，f的二階導(dǎo)數(shù)可以最小化為p(f)∝exp(-12σf2∫(f′′)2)]]>∝cxp(-12σf2Σi(fi-1-2fi+fi+1)2)---(7)]]>
在方程(7)中，σf2是控制f的平滑度的方差。
映射解聯(lián)合方程(4)的對數(shù)似然函數(shù)和方程(7)的對數(shù)先驗(yàn)函數(shù)，優(yōu)化問題可以通過最小化下述對數(shù)后驗(yàn)函數(shù)來解決E(f)=-Σilogp(g(li),{cL-i,cH-i}|fi)-logp(f)---(8)]]>在方程(8)中，E(f)是一個二次目標(biāo)函數(shù)。因此，全局最佳映射函數(shù)f(·)可以通過奇異值分解(SVD)獲得。盡管單調(diào)約束沒有明確地強(qiáng)加于方程(7)，但平滑度約束足以在一個實(shí)現(xiàn)中構(gòu)造最終的單調(diào)f。
其他樣本結(jié)果將在此所描述的技術(shù)應(yīng)用到困難情況中以顯示該方式的有效性。把結(jié)果分類成下列不同的組圖12例示一個曝光不足的樣本圖像輸入；圖13例示一幅由對圖12的圖像應(yīng)用本發(fā)明的亮度校正而得到的示例性圖像；圖14例示一個應(yīng)用色彩傳遞技術(shù)而得到的示例性結(jié)果；圖15例示一個由自適應(yīng)直方圖均衡得到的示例性結(jié)果；圖16例示一個應(yīng)用2.5的伽瑪校正(Gamma Correction)而得到的示例性結(jié)果；圖17例示一個在照片編輯程序中應(yīng)用曲線調(diào)整所得到的示例性結(jié)果。正如所看到的那樣，通過使用在此所描述的約束，可以獲得更好的視覺質(zhì)量和更多的細(xì)節(jié)(即圖13)。
同時，在一個實(shí)現(xiàn)中，在此所描述的兩個約束(空間和色彩)都是有益的。它們在兩個不同的方面優(yōu)化解。因此，這些約束的組合和平衡可以保證在此在一個實(shí)現(xiàn)中所描述的方法的視覺正確性。
由手持式照相機(jī)引起的運(yùn)動模糊圖18-21的巖石例子例示在此所描述方法以最佳方式組合兩幅輸入圖像(即圖18和圖19)的色彩信息的能力。在每個圖的左下部示出每幅圖像的直方圖。不同于其他去模糊方法，在此所得到的邊緣是鮮艷和清晰的。兩幅輸入圖像分別以1/40秒和1/3秒的快門速度拍攝。圖20和圖21分別是經(jīng)過色彩映射的圖像(IC)和地面實(shí)況及其相應(yīng)直方圖。地面實(shí)況圖像(圖21)使用三腳架拍攝。注意，圖20和圖21中的兩幅圖像在視覺上和統(tǒng)計(jì)上都是接近的。
由物體移動引起的運(yùn)動模糊在一個實(shí)現(xiàn)中，在此所討論的技術(shù)可以容易地解決物體運(yùn)動或形變的問題(例如，如果在正常的曝光間隔中物體移動太快)。圖22-24例示實(shí)驗(yàn)的結(jié)果。正如所例示的那樣，放大圖23和24的一些部分以便于參考。輸入的正常曝光圖像局部模糊(圖23)，即，PSF在整個圖像上沒有均勻表示，這容易造成解卷積方法的失效。使用在此所討論的技術(shù)(以及圖22曝光不足的圖像)，可以經(jīng)過四個步驟減小照相機(jī)快門速度。結(jié)果，可以產(chǎn)生大大減少了模糊效應(yīng)的高質(zhì)量圖像(IC)(圖24)。
高對比度場景中的色彩統(tǒng)計(jì)圖像是高對比度場景時，IH中的亮區(qū)將會變得飽和。直方圖均衡忠實(shí)地將色彩從IL傳遞到IH，包括飽和區(qū)域，這不但降低了亮區(qū)的空間細(xì)節(jié)，而且還在圖像色彩空間中產(chǎn)生突變。
為了解決這個問題，可以修改在前面的諸節(jié)中所描述的色彩映射函數(shù)g(·)以覆蓋一個較大的范圍。在一個實(shí)現(xiàn)中，色彩傳遞技術(shù)可以用于在高對比度情況下提高圖像質(zhì)量。該技術(shù)也在一幅圖像直方圖上操作，通過為每個通道匹配平均偏差和標(biāo)準(zhǔn)偏差，將色彩從源圖像傳遞到目標(biāo)圖像。由于該過程是一個高斯匹配，因此不限制所傳遞的色彩的最大值。
在一個實(shí)現(xiàn)中，使用IH中的所有非飽和像素來進(jìn)行到IL的色彩傳遞。在應(yīng)用色彩傳遞技術(shù)之后，IL的映射結(jié)果超出了色彩深度(即，高于255)，而且將飽和像素?cái)U(kuò)展為較大的色值。因此，構(gòu)造出一幅較高范圍的圖像以展現(xiàn)亮區(qū)和暗區(qū)中的細(xì)節(jié)。
與這樣的實(shí)現(xiàn)相關(guān)聯(lián)的圖像范例在圖25-28中示出。正如所例示的那樣，放大圖25-28的一些部分以便于參考。圖25和圖26例示輸入圖像(分別為IH和IL)。通過將g(·)設(shè)置為原始直方圖均衡函數(shù)來重建圖27的圖像。圖28是一個通過將g(·)修改為使用色彩傳遞方法而得到的具有增強(qiáng)色彩和細(xì)節(jié)的結(jié)果。同時也執(zhí)行色調(diào)映射，以給出在圖28所例示的圖像。
硬件實(shí)現(xiàn)一種硬件實(shí)現(xiàn)可以包括一臺連接到通用計(jì)算機(jī)的數(shù)字照相機(jī)。以不同的快門速度捕捉兩幅圖像(正如參照圖1和圖2所討論的那樣)可以由計(jì)算機(jī)上相應(yīng)的照相機(jī)軟件控制。這個裝置可以將攝影師從在兩次拍攝之間手動改變照相機(jī)參數(shù)中解放出來，使得攝影師可以將注意力集中在拍攝最好的照片上?；蛘?，軟件可以實(shí)現(xiàn)在照相機(jī)之內(nèi)(或在一個附屬于照相機(jī)的存儲器設(shè)備如閃速存儲器內(nèi)實(shí)現(xiàn))。結(jié)合進(jìn)照相機(jī)的功能性可以實(shí)現(xiàn)為軟件、硬件、固件或它們的組合。
一些照相機(jī)已經(jīng)包括曝光托架(例如，佳能G型數(shù)字照相機(jī)和部分尼康(Nikon)Coolpix型數(shù)字照相機(jī))，這些照相機(jī)只需按一次快門按鈕就能以不同的快門速度拍攝多張照片。然而，使用現(xiàn)有的內(nèi)置于照相機(jī)的功能性有一些限制。即，它不能在手動模式中操作，而且快門速度的差異也受到限制。
圖29例示一個示例性的數(shù)字照相機(jī)配置2900，用于一次進(jìn)行可以用于提供亮度校正的多重拍攝。照相機(jī)可以是一臺獨(dú)立照相機(jī)，也可以是一臺整合到另一個設(shè)備(如個人數(shù)字助理、蜂窩式移動電話等)的照相機(jī)。配置2900包括一個曝露在光線下的快門2902。當(dāng)快門2902開啟時(例如，一旦按下照相機(jī)上的一個按鈕)，快門2902將光線傳遞到傳感器2904(例如，互補(bǔ)型金屬氧化半導(dǎo)體(CMOS)或電荷耦合器件(CCD))。通過按一次快門按鈕，照相機(jī)可以拍攝兩張照片。然后，正如在此所討論的那樣，可以對照片應(yīng)用亮度校正。
在一個實(shí)現(xiàn)中，快門2902的存在可以是可任選的。例如，傳感器2904可以在需要時激活(例如，電動)而不需要物理隔板(如快門2902)。而且，更為簡化的裝置(如一個傳感器蓋)可以用于保護(hù)傳感器2904免受環(huán)境因素的影響(例如，強(qiáng)烈的陽光、灰塵、水、潮濕等等)正如圖29所例示的那樣，圖2906表明被傳感器2904捕捉到的光子能量是如何隨著時間的過去而增加的。例如，在時刻T1，在昏暗的照明條件下傳感器圖像可能曝光不足(正如參照圖1所討論的那樣)。在時刻T2(例如，在時刻T1后的1/2秒)，傳感器圖像可能模糊(例如，由照相機(jī)、場景里的物體等引起的運(yùn)動)，正如參照圖2所討論的那樣。這一曝光差異可以用于一個實(shí)現(xiàn)中，以提供軟件曝光(而不是機(jī)械的曝光機(jī)構(gòu))，正如將參照圖30所進(jìn)一步討論的那樣。
在一個實(shí)現(xiàn)中，執(zhí)行亮度校正的軟件可以通過通用計(jì)算機(jī)提供(正如參照圖31所討論的那樣)。計(jì)算機(jī)可以直接耦合到照相機(jī)，或者，照相機(jī)的存儲卡可以在稍后連接到計(jì)算機(jī)以使得圖像可以用于處理。或者，軟件可以在照相機(jī)里實(shí)現(xiàn)(或在一個附屬于照相機(jī)的存儲器設(shè)備如閃速存儲器里實(shí)現(xiàn))。而且，整合到照相機(jī)的功能性可以實(shí)現(xiàn)為軟件、硬件、固件或它們的組合。
軟件曝光實(shí)現(xiàn)圖30例示通過軟件控制照相機(jī)曝光的示例性方法3000。方法3000可以實(shí)現(xiàn)為數(shù)字照相機(jī)里的軟件、硬件、固件或它們的組合，正如參照圖29所討論的那樣。
一旦接收到一個捕捉圖像的命令(3002)，例如，通過按下一臺獨(dú)立數(shù)字照相機(jī)或一臺整合到另一個設(shè)備(如個人數(shù)字助理、蜂窩式移動電話等)的照相機(jī)上的一個按鈕，照相機(jī)快門(例如，2902)就開啟(3004)。第一幅圖像可以在時刻T1捕捉(3006)。時間T1可以是參照圖29的曲線圖2906所討論的時刻。因此，第一幅圖像可能曝光不足(例如，圖1的IL)。
不關(guān)閉快門，在時刻T2捕捉第二幅圖像(3008)。時刻T2可以是參照圖29的曲線圖2906所討論的時刻。因此，第二幅圖像可模糊(例如，圖2的IH)。
然后，正如在此所討論的那樣，對所捕捉的圖像應(yīng)用亮度校正(3010)，以提供高質(zhì)量圖像(例如，圖3的IC)。
因此，當(dāng)快門保持開啟時，依照方法3000，曝光不足的圖像和模糊的圖像都被捕捉。這樣的實(shí)現(xiàn)可以保證對任何運(yùn)動(例如，來自照相機(jī)或場景里的物體的運(yùn)動)加以限制。
一般計(jì)算機(jī)環(huán)境圖31例示一個可以用于實(shí)現(xiàn)在此所描述的技術(shù)的一般計(jì)算機(jī)環(huán)境。例如，計(jì)算機(jī)環(huán)境3100可以用于運(yùn)行控制圖像捕捉設(shè)備(如照相機(jī))的軟件程序。計(jì)算環(huán)境3100僅僅是計(jì)算環(huán)境的一個例子，并不暗示對計(jì)算機(jī)和網(wǎng)絡(luò)體系結(jié)構(gòu)的使用范圍或功能性的任何限制。計(jì)算機(jī)環(huán)境3100也不應(yīng)該被解釋為具有對在示例性計(jì)算機(jī)環(huán)境3100中所例示的任何組件或它們的組合的任何依賴或要求。
計(jì)算機(jī)環(huán)境3100包括一個計(jì)算機(jī)3102形式的通用計(jì)算設(shè)備。計(jì)算機(jī)3102的組件可以包括但不限于一個或多個處理器或處理單元3104(可任選地，包括一個密碼處理器或共用處理器)、系統(tǒng)存儲器3106、將包括處理器3104在內(nèi)的各種系統(tǒng)組件耦合到系統(tǒng)存儲器3106的系統(tǒng)總線3108。
系統(tǒng)總線3108代表包括使用各種總線體系結(jié)構(gòu)的存儲器總線或存儲器控制器、外圍設(shè)備總線、加速圖形接口和處理器或本地總線在內(nèi)的幾種總線結(jié)構(gòu)類型中的一種或多種。作為例子，這些體系結(jié)構(gòu)包括工業(yè)標(biāo)準(zhǔn)體系結(jié)構(gòu)(ISA)總線、微通道體系結(jié)構(gòu)(MCA)總線、增強(qiáng)型ISA(EISA)總線、視頻電子標(biāo)準(zhǔn)協(xié)會(VESA)局部總線、也被稱作Mezzanine總線的外設(shè)部件互聯(lián)(PCI)總線。
計(jì)算機(jī)3102通常包括各種計(jì)算機(jī)可讀介質(zhì)。這樣的介質(zhì)可以是能夠由計(jì)算機(jī)3102存取的任何可用介質(zhì)，包括易失性和非易失性的介質(zhì)、可移動和不可移動的介質(zhì)。
系統(tǒng)存儲器3106包括易失性存儲器形式的計(jì)算機(jī)可讀介質(zhì)如隨機(jī)存取存儲器(RAM)3110，和/或非易失性形式的計(jì)算機(jī)可讀介質(zhì)如只讀存儲器(ROM)3112?；据斎?輸出系統(tǒng)(BIOS)3114存儲在ROM 3112中，它包含幫助在計(jì)算機(jī)3102內(nèi)的部件之間傳輸信息的基本例程，比如在啟動過程中。RAM 3110通常包含處理單元3104可以即時存取的和/或目前在操作的數(shù)據(jù)和/或程序模塊。
計(jì)算機(jī)3102也可以包括其他可移動/不可移動、易失性/非易失性的計(jì)算機(jī)存儲介質(zhì)。作為例子，圖31例示了從不可移動的非易失性磁介質(zhì)中讀取和向其中寫入的硬盤驅(qū)動器3116(未示出)、從可移動的非易失性磁盤3120(例如，一個“軟盤”)中讀取和向其中寫入的磁盤驅(qū)動器3118以及從諸如CD-ROM、DVD-ROM其他光介質(zhì)那樣的可移動的非易失性光盤3124中讀取和/或向其中寫入的光盤驅(qū)動器3122。硬盤驅(qū)動器3116、磁盤驅(qū)動器3118和光盤驅(qū)動器3122各自通過一個或多個數(shù)據(jù)介質(zhì)接口3121連接到系統(tǒng)總線3108?；蛘撸脖P驅(qū)動器3116、磁盤驅(qū)動器3118和光盤驅(qū)動器3122可以通過一個或多個接口(未示出)連接到系統(tǒng)總線3108。
磁盤驅(qū)動器及其相關(guān)聯(lián)的計(jì)算機(jī)可讀介質(zhì)為計(jì)算機(jī)3102提供了計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊和其他數(shù)據(jù)的非易失性存儲。盡管例子例示了硬盤3116、可移動磁盤3120和可移動光盤3124，但也需要認(rèn)識到，其他類型的可以存儲計(jì)算機(jī)可存取數(shù)據(jù)的計(jì)算機(jī)可讀介質(zhì)，諸如磁帶盒或其他磁存儲設(shè)備、閃速存儲卡、CD-ROM、數(shù)字通用盤(DVD)或其他光存儲器、隨機(jī)存取存儲器(RAM)、只讀存儲器(ROM)、電可擦可編程序只讀存儲器(EEPROM)等等，也可以用于實(shí)現(xiàn)示例性的計(jì)算系統(tǒng)和環(huán)境。
任意數(shù)量的程序模塊可以存儲在硬盤3116、磁盤3120、光盤3124、ROM3112和/或RAM 3110中，包括——作為例子——操作系統(tǒng)3126、一個或多個應(yīng)用程序3128、其他程序模塊3130和程序數(shù)據(jù)3132。此類操作系統(tǒng)3126、一個或多個應(yīng)用程序3128、其他程序模塊3130和程序數(shù)據(jù)3132(或它們的某種組合)中的每一個可以實(shí)現(xiàn)支持分布式文件系統(tǒng)的常駐組件的全部或部分。
用戶可以通過輸入設(shè)備如鍵盤3134和定位設(shè)備3136(例如，“鼠標(biāo)”)往計(jì)算機(jī)系統(tǒng)3102里輸入命令和信息。其他輸入設(shè)備3138(未具體示出)可以包括麥克風(fēng)、操縱桿、游戲墊、圓盤式衛(wèi)星天線、串行端口、掃描儀等等。
這些和其他輸入設(shè)備通過耦合到系統(tǒng)總線3104的輸入/輸出接口3140連接到處理單元3108，但也可以通過其他接口和總線結(jié)構(gòu)如并行端口、游戲端口或通用串行總線(USB)連接。USB端口可以用于將一臺照相機(jī)或一個閃速存儲卡讀卡器(正如參照圖29所討論的那樣)連接到計(jì)算機(jī)環(huán)境3100。
監(jiān)視器3142或其他類型的顯示設(shè)備也可以通過接口如視頻適配器3144連接到系統(tǒng)總線3108上。除了監(jiān)視器3142之外，其他外圍輸出設(shè)備可以包括各種可以通過輸入/輸出接口3140連接到計(jì)算機(jī)3102的組件，如揚(yáng)聲器(未示出)和打印機(jī)3146。
計(jì)算機(jī)3102可以在使用到一個或多個遠(yuǎn)程計(jì)算機(jī)如遠(yuǎn)程計(jì)算設(shè)備3148的邏輯連接的網(wǎng)絡(luò)化環(huán)境中操作。作為例子，遠(yuǎn)程計(jì)算設(shè)備3148可以是個人計(jì)算機(jī)、便攜式計(jì)算機(jī)、服務(wù)器、路由器、網(wǎng)絡(luò)計(jì)算機(jī)、對等設(shè)備或其他公共網(wǎng)絡(luò)節(jié)點(diǎn)、游戲控制臺等等。遠(yuǎn)程計(jì)算設(shè)備3148例示為一個便攜式計(jì)算機(jī)，它可以包括在此所描述的與計(jì)算機(jī)系統(tǒng)3102相關(guān)的許多或所有的要素和特征。
計(jì)算機(jī)3102和遠(yuǎn)程計(jì)算機(jī)3148之間的邏輯連接被描述為局域網(wǎng)(LAN)3150和通用廣域網(wǎng)(WAN)3152。這類網(wǎng)絡(luò)環(huán)境常見于辦公室、企業(yè)范圍的計(jì)算機(jī)網(wǎng)絡(luò)、企業(yè)內(nèi)部互聯(lián)網(wǎng)和因特網(wǎng)。
當(dāng)在LAN網(wǎng)絡(luò)環(huán)境中實(shí)現(xiàn)時，計(jì)算機(jī)3102通過網(wǎng)絡(luò)接口或適配器3154連接到局域網(wǎng)3150上。當(dāng)在WAN網(wǎng)絡(luò)環(huán)境中實(shí)現(xiàn)時，計(jì)算機(jī)3102通常包括調(diào)制解調(diào)器3156或其他用于在廣域網(wǎng)3152上建立通信的方法。可以內(nèi)置于或外置于計(jì)算機(jī)的調(diào)制解調(diào)器3156可以通過輸入/輸出接口3140或其他適當(dāng)?shù)难b置連接到系統(tǒng)總線3108。應(yīng)該明白，所例示的網(wǎng)絡(luò)連接是示例性的，也可以使用在計(jì)算機(jī)3102和3148之間建立(諸)通信鏈路的其他方法。
在網(wǎng)絡(luò)化的環(huán)境中，如用計(jì)算環(huán)境3100所例示的網(wǎng)絡(luò)化的環(huán)境，與計(jì)算機(jī)3102有關(guān)的所描述的程序模塊或其中的部分，可以存儲在一個遠(yuǎn)程存儲設(shè)備內(nèi)。作為例子，遠(yuǎn)程應(yīng)用程序3158駐留于遠(yuǎn)程計(jì)算機(jī)3148的存儲設(shè)備中。
盡管認(rèn)識到應(yīng)用程序和其他可執(zhí)行的程序組件如操作系統(tǒng)，在不同的時刻駐留于計(jì)算設(shè)備3102的不同存儲組件中，并由計(jì)算機(jī)的(諸)數(shù)據(jù)處理器執(zhí)行，但為了進(jìn)行闡述，此類程序和組件在此被例示成離散的塊。
各種組件和技術(shù)可以在計(jì)算機(jī)可執(zhí)行指令的一般上下文如程序模塊中描述，由一個或多個計(jì)算機(jī)或其他設(shè)備執(zhí)行。一般地，程序模塊包括完成特定的任務(wù)或?qū)崿F(xiàn)特定的抽象數(shù)據(jù)類型的例程、程序、對象、數(shù)據(jù)結(jié)構(gòu)等等。通常，程序模塊的功能性可以根據(jù)各種實(shí)現(xiàn)中的需要進(jìn)行組合或分配。
這些模塊和技術(shù)的一個實(shí)現(xiàn)可以被儲存在或傳輸?shù)接?jì)算機(jī)可讀介質(zhì)的某種形式。計(jì)算機(jī)可讀介質(zhì)可以是能夠由計(jì)算機(jī)存取的任何可用介質(zhì)。作為例子而非限制，計(jì)算機(jī)可讀介質(zhì)可以包括“計(jì)算機(jī)存儲介質(zhì)”和“通信介質(zhì)”。
“計(jì)算機(jī)存儲介質(zhì)”包括在任何存儲信息如計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其他數(shù)據(jù)的方法和技術(shù)中實(shí)現(xiàn)的易失性和非易失性的、可移動的和不可移動的介質(zhì)。計(jì)算機(jī)存儲介質(zhì)包括但不局限于RAM、ROM、EEPROM、閃速存儲器或者其他存儲器技術(shù)、CD-ROM、數(shù)字通用盤(DVD)或其他光學(xué)存儲器、磁帶盒、磁帶、磁盤存儲器或其他磁存儲設(shè)備、或任何其他能夠用于存儲或者傳遞所需信息并且能夠由計(jì)算機(jī)存取的介質(zhì)。
“通信介質(zhì)”一般以已調(diào)制的數(shù)據(jù)信號如載波或其他傳輸機(jī)制的形式包括計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其他數(shù)據(jù)。通信介質(zhì)也包括任何信息傳遞介質(zhì)。術(shù)語“已調(diào)制的數(shù)據(jù)信號”是指以在該信號中編碼信息的方式來設(shè)置或改變其一個或多個特性的信號。作為例子而非限制，通信媒質(zhì)包括有線介質(zhì)如有線網(wǎng)絡(luò)或有線直接連接，以及無線介質(zhì)如聲音、射頻、紅外和其他無線介質(zhì)。以上任何介質(zhì)的組合也應(yīng)該被包括在計(jì)算機(jī)可讀介質(zhì)的范圍之內(nèi)。
結(jié)論盡管已經(jīng)用結(jié)構(gòu)特征和/或方法動作特異性的語言對本發(fā)明進(jìn)行了描述，但應(yīng)該明白，由所附權(quán)利要求書定義的本發(fā)明，并非僅僅局限于所描述的具體特征或動作。相反，具體的特征和動作只是作為實(shí)現(xiàn)所要求的發(fā)明的示例性形式而被揭示的。例如，在此所討論的亮度校正技術(shù)可以容易地被應(yīng)用到非彩色圖像(例如，灰度圖像)中。
權(quán)利要求
1.一種亮度校正的方法，包括提供相同場景的兩幅圖像；確定所述兩幅圖像的空間相干性和色彩統(tǒng)計(jì)；以及利用所確定的色彩統(tǒng)計(jì)和空間相干性增強(qiáng)所述兩幅圖像中的一幅。
2.如權(quán)利要求1所述的方法，其特征在于，所述兩幅圖像是在昏暗的照明條件下拍攝的。
3.如權(quán)利要求1所述的方法，其特征在于，所述兩幅圖像的其中之一曝光不足。
4.如權(quán)利要求1所述的方法，其特征在于，所述兩幅圖像的其中之一模糊。
5.如權(quán)利要求1所述的方法，其特征在于，增強(qiáng)所述兩幅圖像中的曝光不足者。
6.如權(quán)利要求1所述的方法，其特征在于，所述兩幅圖像由色彩統(tǒng)計(jì)和空間相干性聯(lián)系起來。
7.如權(quán)利要求1所述的方法，其特征在于，進(jìn)一步包括將所述兩幅圖像下載到一臺通用計(jì)算機(jī)，所述通用計(jì)算機(jī)增強(qiáng)所述兩幅圖像的其中之一。
8.如權(quán)利要求1所述的方法，進(jìn)一步包括將所述兩幅圖像下載到一態(tài)通用計(jì)算機(jī)，所述通用計(jì)算機(jī)確定色彩統(tǒng)計(jì)和空間相干性中的一個或多個。
9.如權(quán)利要求1所述的方法，其特征在于，進(jìn)一步包括修改所述兩幅圖像的色彩映射函數(shù)，以覆蓋高對比度場景的相對較大的范圍。
10.如權(quán)利要求1所述的方法，其特征在于，進(jìn)一步包括利用色彩直方圖均衡確定所述色彩統(tǒng)計(jì)。
11.如權(quán)利要求1所述的方法，進(jìn)一步包括利用色彩直方圖均衡確定色彩統(tǒng)計(jì)，其中，所述色彩直方圖均衡包括將所述兩幅圖像傳遞到一個基于感知的色彩空間；在所述基于感知的色彩空間中聚類色彩分配；在所述基于感知的色彩空間中執(zhí)行直方圖均衡；以及將直方圖均衡的結(jié)果傳遞到一個紅-綠-藍(lán)空間中。
12.如權(quán)利要求1所述的方法，其特征在于，進(jìn)一步包括利用空間區(qū)域匹配確定空間相干性。
13.如權(quán)利要求1所述的方法，進(jìn)一步包括利用空間區(qū)域匹配確定空間相干性，其中，所述空間區(qū)域匹配包括將所述兩幅圖像中的模糊者分割為多個色彩類似的區(qū)域；侵蝕每一個所述區(qū)域；確定迭代以完全地侵蝕每個所述區(qū)域的次數(shù)；確定每個所述區(qū)域的區(qū)域中心；以降序排序迭代次數(shù)；從匹配位置的所述兩幅圖像中選擇像素對；以及計(jì)算每一個所選擇的像素的鄰域值。
14.如權(quán)利要求1所述的方法，其特征在于，進(jìn)一步包括使用一臺數(shù)字照相機(jī)的曝光托架部件提供所述兩幅圖像。
15.如權(quán)利要求1所述的方法，其特征在于，所述方法由一臺數(shù)字照相機(jī)執(zhí)行。
16.存儲計(jì)算機(jī)可執(zhí)行指令的一個或多個計(jì)算機(jī)可讀介質(zhì)，當(dāng)執(zhí)行所述計(jì)算機(jī)可執(zhí)行指令時，執(zhí)行如權(quán)利要求1所述的方法，其中，所述一個或多個計(jì)算機(jī)可讀介質(zhì)結(jié)合在一臺數(shù)字照相機(jī)中。
17.一種亮度校正的方法，包括提供一個場景的一幅曝光不足的圖像；提供相同場景的一幅模糊的圖像；確定所述兩幅圖像的空間相干性和色彩統(tǒng)計(jì)；以及利用所確定的色彩統(tǒng)計(jì)和空間相干性增強(qiáng)所述兩幅圖像的其中之一。
18.如權(quán)利要求17所述的方法，其特征在于，所述兩幅圖像是在昏暗的照明條件下拍攝的。
19.如權(quán)利要求17所述的方法，其特征在于，所述兩幅圖像是在一個短間隔中連續(xù)地拍攝的。
20.如權(quán)利要求17所述的方法，其特征在于，進(jìn)一步包括利用色彩直方圖均衡確定所述色彩統(tǒng)計(jì)。
21.如權(quán)利要求17所述的方法，進(jìn)一步包括利用色彩直方圖均衡確定色彩統(tǒng)計(jì)，其中，所述色彩直方圖均衡包括將所述兩幅圖像傳遞到一個基于感知的色彩空間；在所述基于感知的空間中聚類色彩分配；在所述基于感知的空間中執(zhí)行直方圖均衡；以及將直方圖均衡的結(jié)果傳遞到一個紅-綠-藍(lán)空間中。
22.如權(quán)利要求17所述的方法，其特征在于，進(jìn)一步包括利用空間區(qū)域匹配確定空間相干性。
23.如權(quán)利要求17所述的方法，進(jìn)一步包括利用空間區(qū)域匹配確定空間相干性，其中，所述空間區(qū)域匹配包括將所述兩幅圖像中的模糊者分割為多個色彩類似的區(qū)域；侵蝕每一個所述區(qū)域；確定迭代以完全地侵蝕每一個所述區(qū)域的次數(shù)；確定每一個所述區(qū)域的區(qū)域中心；以降序排序迭代次數(shù)；從匹配位置的所述兩幅圖像中選擇像素對；以及計(jì)算每一個所選擇的像素的鄰域值。
24.存儲計(jì)算機(jī)可執(zhí)行指令的一個或多個計(jì)算機(jī)可讀介質(zhì)，當(dāng)執(zhí)行所述計(jì)算機(jī)可執(zhí)行指令時，執(zhí)行如權(quán)利要求17所述的方法。
25.一種被配置成執(zhí)行如權(quán)利要求17所述的方法的數(shù)字照相機(jī)。
26.其中存儲有指令的一個或多個計(jì)算機(jī)可讀介質(zhì)，當(dāng)執(zhí)行所述指令時，指示機(jī)器執(zhí)行以下動作提供相同場景的兩幅圖像；確定所述兩幅圖像的空間相干性和色彩統(tǒng)計(jì)；以及利用所確定的色彩統(tǒng)計(jì)和空間相干性增強(qiáng)所述兩幅圖像的其中之一。
27.如權(quán)利要求26所述的計(jì)算機(jī)可讀的介質(zhì)，其特征在于，所述動作進(jìn)一步包括修改所述兩幅圖像的色彩映射函數(shù)，以覆蓋高對比度場景的相對較大的范圍。
28.如權(quán)利要求26所述的計(jì)算機(jī)可讀的介質(zhì)，其特征在于，所述動作進(jìn)一步包括利用色彩直方圖均衡確定所述色彩統(tǒng)計(jì)。
29.如權(quán)利要求26所述的計(jì)算機(jī)可讀介質(zhì)，其中所述動作進(jìn)一步包括利用色彩直方圖均衡確定所述色彩統(tǒng)計(jì)，其中，所述色彩直方圖均衡包括將所述兩幅圖像傳遞到一個基于感知的色彩空間；在所述基于感知的空間中聚類色彩分配；在所述基于感知的空間中執(zhí)行直方圖均衡；以及將直方圖均衡的結(jié)果傳遞到一個紅-綠-藍(lán)空間中。
30.如權(quán)利要求26所述的計(jì)算機(jī)可讀的介質(zhì)，其特征在于，所述動作進(jìn)一步包括利用空間區(qū)域匹配確定空間相干性。
31.如權(quán)利要求26所述的計(jì)算機(jī)可讀介質(zhì)，其中所述動作進(jìn)一步包括利用空間區(qū)域匹配確定空間相干性，其中，所述空間區(qū)域匹配包括將所述兩幅圖像中的模糊者分割為多個色彩近似的區(qū)域；侵蝕每一個所述區(qū)域；確定迭代以完全地侵蝕每一個所述區(qū)域的次數(shù)；確定每一個所述區(qū)域的區(qū)域中心；以降序排序迭代次數(shù)；從匹配位置的所述兩幅圖像中選擇像素對；以及計(jì)算每一個所選擇的像素的鄰域值。
32.其中存儲有指令的一個或多個計(jì)算機(jī)可讀介質(zhì)，當(dāng)執(zhí)行所述指令時，指示機(jī)器執(zhí)行以下動作提供一個場景的一幅曝光不足的圖像；提供相同場景的一幅模糊的圖像；確定所述兩幅圖像的空間相干性和色彩統(tǒng)計(jì)；以及利用所確定的色彩統(tǒng)計(jì)和空間相干性增強(qiáng)所述兩幅圖像的其中之一。
33.如權(quán)利要求32所述的計(jì)算機(jī)可讀介質(zhì)，其特征在于，所述動作進(jìn)一步包括利用色彩直方圖均衡確定所述色彩統(tǒng)計(jì)。
34.如權(quán)利要求32所述的計(jì)算機(jī)可讀介質(zhì)，其中所述動作進(jìn)一步包括利用色彩直方圖均衡確定所述色彩統(tǒng)計(jì)，其中，所述色彩直方圖均衡包括將所述兩幅圖像傳遞到一個基于感知的色彩空間；在所述基于感知的空間中聚類色彩分配；在所述基于感知的空間中執(zhí)行直方圖均衡；以及將直方圖均衡的結(jié)果傳遞到一個紅-綠-藍(lán)空間中。
35.如權(quán)利要求32所述的計(jì)算機(jī)可讀的介質(zhì)，其特征在于，所述動作進(jìn)一步包括利用空間區(qū)域匹配確定空間相干性。
36.如權(quán)利要求32所述的計(jì)算機(jī)可讀介質(zhì)，其中所述動作進(jìn)一步包括利用空間區(qū)域匹配確定空間相干性，其中，所述空間區(qū)域匹配包括將所述兩幅圖像中的模糊者分割為多個色彩近似的區(qū)域；侵蝕每一個所述區(qū)域；確定要進(jìn)行迭代以完全地侵蝕每一個所述區(qū)域的次數(shù)；確定每一個所述區(qū)域的區(qū)域中心；以降序排序迭代次數(shù)；從匹配位置的所述兩幅圖像中選擇像素對；以及計(jì)算每一個所選擇的像素的鄰域值。
37.一種裝置，包括用于提供相同場景的兩幅圖像的裝置；用于確定所述兩幅圖像的空間相干性和色彩統(tǒng)計(jì)的裝置；以及用于利用所確定的色彩統(tǒng)計(jì)和空間相干性增強(qiáng)所述兩幅圖像的其中之一的裝置。
38.如權(quán)利要求37所述的裝置，其特征在于，進(jìn)一步包括用于修改所述兩幅圖像的色彩映射函數(shù)以覆蓋高對比度場景的相對較大的范圍的裝置。
39.如權(quán)利要求37所述的裝置，其特征在于，進(jìn)一步包括用于利用色彩直方圖均衡確定所述色彩統(tǒng)計(jì)的裝置。
40.如權(quán)利要求37所述的裝置，其特征在于，進(jìn)一步包括用于利用空間區(qū)域匹配確定空間相干性的裝置。
全文摘要
揭示了提高模糊或曝光不足的圖像的質(zhì)量的技術(shù)。在一個所描述的實(shí)現(xiàn)中，一種方法包括提供相同場景的兩幅圖像。該方法確定兩幅圖像的空間相干性和色彩統(tǒng)計(jì)。所確定的色彩統(tǒng)計(jì)和空間相干性被用于增強(qiáng)兩幅圖像的其中之一。
文檔編號G06T5/50GK1677442SQ200510064929
公開日2005年10月5日 申請日期2005年4月1日 優(yōu)先權(quán)日2004年4月1日
發(fā)明者沈向洋, 孫劍, 賈佳亞 申請人:微軟公司