一種圖像白平衡方法、裝置和計算設(shè)備的制造方法
【專利摘要】本發(fā)明公開了一種圖像白平衡方法，適于在計算設(shè)備中執(zhí)行，該方法包括：采集第一數(shù)量的不同色溫環(huán)境下的中性色素材圖像；根據(jù)中性色素材圖像的矯正參數(shù)及其對應(yīng)的色溫值確定圖像傳感器在中性色區(qū)域的色溫曲線；采集第二數(shù)量的含有基準(zhǔn)色的非中性色素材圖像；根據(jù)非中性色素材圖像中的基準(zhǔn)色信息確定該圖像的理想矯正參數(shù)；根據(jù)中性色區(qū)域的色溫曲線和非中性色素材圖像的理想矯正參數(shù)，擬合得到非中性色區(qū)域的色溫曲線；根據(jù)中性色區(qū)域和非中性色區(qū)域的色溫曲線獲取待處理圖像的矯正參數(shù)并對其進(jìn)行偏色處理。本發(fā)明還公開了一種圖像白平衡裝置和計算設(shè)備。
【專利說明】
一種圖像白平衡方法、裝置和計算設(shè)備
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及圖像處理領(lǐng)域，尤其涉及一種圖像白平衡方法、裝置和計算設(shè)備。
【背景技術(shù)】
[0002] 由于相機(jī)傳感器硬件上的缺陷，通過傳感器獲得的圖像通常與我們?nèi)搜鬯吹降?景象有一定的區(qū)別。例如，由于不同色溫的光源影響，導(dǎo)致了通過傳感器獲得的圖像的色調(diào) 與實際場景的色調(diào)并不一致。為了獲得色調(diào)與實際場景一致的圖像，通常需要進(jìn)行自動白 平衡（AWB，Auto While Balance)矯正。
[0003] 現(xiàn)有的自動白平衡方案中可以參考圖像中的中性點進(jìn)行矯正，但若圖像中沒有中 性點(或者尋找中性點錯誤），則會直接影響矯正的效果。即使存在中性點，這種矯正方式也 僅僅是將圖像完全的消除色溫的影響，而并未考慮實際場景，制造出一副"看似正常"的圖 像。而且，這類算法通常需要一定的檢測時間，還會出現(xiàn)誤檢/漏檢等問題。
[0004] 另一種算法是基于推測待處理原始圖像的相關(guān)色溫（CCT，Correlated Color Temperature)，根據(jù)相關(guān)色溫特性曲線，可以推測出待處理原始圖像的相關(guān)色溫值，進(jìn)而計 算出其相應(yīng)的矯正參數(shù)，即可準(zhǔn)確的矯正圖像的色彩平衡。但若原始圖像中沒有中性色，則 會極大影響致推測出來的相關(guān)色溫值，從而導(dǎo)致錯誤的矯正。

【發(fā)明內(nèi)容】

[0005] 鑒于上述問題，提出了本發(fā)明以便提供一種克服上述問題或者至少部分地解決上 述問題的一種圖像處理方法、裝置以及移動終端。
[0006] 根據(jù)本發(fā)明的一個方面，提供圖像白平衡方法，適于在計算設(shè)備中執(zhí)行，該方法包 括:采集第一數(shù)量的不同色溫環(huán)境下的中性色素材圖像;根據(jù)中性色素材圖像的矯正參數(shù) 及其對應(yīng)的色溫值確定圖像傳感器在中性色區(qū)域的色溫曲線;采集第二數(shù)量的含有基準(zhǔn)色 的非中性色素材圖像;根據(jù)非中性色素材圖像中的基準(zhǔn)色信息確定該圖像的理想矯正參 數(shù);根據(jù)中性色區(qū)域的色溫曲線和非中性色素材圖像的理想矯正參數(shù)，通過機(jī)器學(xué)習(xí)的方 法擬合得到非中性色區(qū)域的色溫曲線;根據(jù)中性色區(qū)域和非中性色區(qū)域的色溫曲線獲取待 處理圖像的矯正參數(shù)；以及根據(jù)待處理圖像的矯正參數(shù)對其進(jìn)行偏色處理；其中矯正參數(shù) 包括三基色的R增益、B增益和G增益中的至少兩個。
[0007]可選地，在根據(jù)本發(fā)明的圖像白平衡方法中，中性色素材圖像為灰卡原始圖像，非 中性色素材圖像為含有基準(zhǔn)色色卡的實景原始圖像，其中所述基準(zhǔn)色色卡為灰卡或24色 卡。可選地，在根據(jù)本發(fā)明的圖像白平衡方法中，在進(jìn)行機(jī)器學(xué)習(xí)時適于通過以下?lián)p失函數(shù) 對非中性色區(qū)域進(jìn)行模型訓(xùn)練：
[0008]
[0009] 其中，Hgb)是代表非中性色素材圖像中增益值進(jìn)行歸一化后分布情況的參數(shù)， Cr(r,b)和Cb(r,b)是色差值，是非中性色素材圖像中每個區(qū)域內(nèi)的平均增益 值，i代表圖像編號，η代表圖像總數(shù)，λ是權(quán)重衰減系數(shù)，Gt^和Gt^是機(jī)器學(xué)習(xí)中Ground Truth的參數(shù)，其中所述Ground Truth是所述非中性色素材圖像的理想矯正參數(shù)。
[0010] 可選地，在根據(jù)本發(fā)明的圖像白平衡方法中，對非中性色區(qū)域進(jìn)行模型訓(xùn)練時，適 于通過調(diào)整Cr(r, b)和Cb(r,b)降低損失函數(shù)的誤差值。
[0011] 可選地，在根據(jù)本發(fā)明的圖像白平衡方法中，確定圖像傳感器在中性色區(qū)域的色 溫曲線的步驟包括:根據(jù)中性色素材圖像的矯正參數(shù)及其對應(yīng)的色溫值在色度空間坐標(biāo)系 上進(jìn)行采樣點標(biāo)定;對第一數(shù)量的采樣點進(jìn)行插值處理，擬合得到中性色區(qū)域的色溫曲線。
[0012] 可選地，在根據(jù)本發(fā)明的圖像白平衡方法中，進(jìn)行采樣點標(biāo)定時適于選擇R增益和 B增益作為色度空間坐標(biāo)系的橫縱坐標(biāo)參數(shù)。
[0013] 根據(jù)本發(fā)明的另一方面，提供一種圖像白平衡裝置，適于駐留在計算設(shè)備中，該裝 置包括：圖像采集單元，適于采集第一數(shù)量的不同色溫環(huán)境下的中性色素材圖像和第二數(shù) 量的含有基準(zhǔn)色的非中性色素材圖像;第一擬合單元，適于確定圖像傳感器在中性色區(qū)域 的色溫曲線;第一獲取單元，適于根據(jù)非中性色素材圖像中的基準(zhǔn)色信息確定該圖像的理 想矯正參數(shù);第二擬合單元，適于根據(jù)中性色區(qū)域的色溫曲線和非中性色素材圖像的理想 矯正參數(shù)，通過機(jī)器學(xué)習(xí)的方法擬合得到非中性色區(qū)域的色溫曲線;第二獲取單元，適于根 據(jù)中性色區(qū)域和非中性色區(qū)域的色溫曲線獲取待處理圖像的矯正參數(shù)；以及圖像矯正單 元，適于根據(jù)待處理圖像的矯正參數(shù)對其進(jìn)行偏色處理。
[0014]可選地，在根據(jù)本發(fā)明的圖像白平衡裝置中，中性色素材圖像為灰卡原始圖像，所 述非中性色素材圖像為含有基準(zhǔn)色色卡的實景原始圖像，其中所述基準(zhǔn)色色卡為灰卡或24 色卡。
[0015] 可選地，在根據(jù)本發(fā)明的圖像自動白平衡裝置中，第二擬合單元適于通過以下?lián)p 失函數(shù)對非中性色區(qū)域進(jìn)行模型訓(xùn)練：
[0016]
[0017] 其中，是代表非中性色素材圖像中增益值進(jìn)行歸一化后分布情況的參數(shù)， Cr(r,b)和Cb(r,b)是色差偏值，Arg b0PAbgb)是非中性色素材圖像中每個區(qū)域內(nèi)的平均增益 值，i代表圖像編號，η代表圖像總數(shù)，λ是權(quán)重衰減系數(shù)，Gti?和是機(jī)器學(xué)習(xí)中Ground Truth參數(shù)，其中所述Ground Truth是所述非中性色素材圖像的理想矯正參數(shù)。
[0018] 可選地，在根據(jù)本發(fā)明的圖像白平衡裝置中，第二擬合單元適于通過調(diào)整Cr(r,b)和 Cb(r,b)降低損失函數(shù)的誤差值。
[0019] 可選地，在根據(jù)本發(fā)明的圖像白平衡裝置中，第一擬合單元適于通過以下方法確 定中性色區(qū)域的色溫曲線:根據(jù)中性色素材圖像的矯正參數(shù)及其對應(yīng)的色溫值在色度空間 坐標(biāo)系上進(jìn)行采樣點標(biāo)定;對第一數(shù)量的采樣點進(jìn)行插值處理，擬合得到中性色區(qū)域的色 溫曲線。
[0020] 可選地，在根據(jù)本發(fā)明的圖像白平衡裝置中，第一擬合單元進(jìn)行采樣點標(biāo)定時適 于選擇R增益和B增益作為色度空間坐標(biāo)系的橫縱坐標(biāo)參數(shù)。
[0021] 根據(jù)本發(fā)明的又一個方面，提供一種計算設(shè)備，包括如上所述的圖像白平衡裝置。
[0022] 根據(jù)本發(fā)明的技術(shù)方案，通過采集大量的帶有基準(zhǔn)色的實景原始圖像作為非中性 區(qū)域的素材圖像，對傳統(tǒng)的基于色溫曲線進(jìn)行自動白平衡的算法進(jìn)行了優(yōu)化，有效避免了 僅利用原始圖像的中性色區(qū)域信息推測色溫的不穩(wěn)定問題。同時，在使用大量數(shù)據(jù)擬合非 中性色區(qū)域的色溫曲線模型時，采用了機(jī)器學(xué)習(xí)的方案，把帶有Ground Truth的原始圖像 進(jìn)行訓(xùn)練，得到了一個同時包含中性色區(qū)域與非中性色區(qū)域的全區(qū)色溫曲線模型，從而能 夠?qū)崿F(xiàn)對原始圖像中全部信息的有效利用，明顯提高了圖像自動白平衡的處理效果。
【附圖說明】
[0023] 為了實現(xiàn)上述以及相關(guān)目的，本文結(jié)合下面的描述和附圖來描述某些說明性方 面，這些方面指示了可以實踐本文所公開的原理的各種方式，并且所有方面及其等效方面 旨在落入所要求保護(hù)的主題的范圍內(nèi)。通過結(jié)合附圖閱讀下面的詳細(xì)描述，本公開的上述 以及其它目的、特征和優(yōu)勢將變得更加明顯。遍及本公開，相同的附圖標(biāo)記通常指代相同的 部件或元素。
[0024]圖1示出了根據(jù)本發(fā)明一個實施例的計算設(shè)備100的結(jié)構(gòu)框圖；
[0025] 圖2示出了根據(jù)本發(fā)明一個實施例的圖像白平衡方法200的流程圖；
[0026] 圖3示出了根據(jù)本發(fā)明一個實施例的圖像白平衡裝置300的結(jié)構(gòu)框圖。
【具體實施方式】
[0027] 下面將參照附圖更詳細(xì)地描述本公開的示例性實施例。雖然附圖中顯示了本公開 的示例性實施例，然而應(yīng)當(dāng)理解，可以以各種形式實現(xiàn)本公開而不應(yīng)被這里闡述的實施例 所限制。相反，提供這些實施例是為了能夠更透徹地理解本公開，并且能夠?qū)⒈竟_的范圍 完整的傳達(dá)給本領(lǐng)域的技術(shù)人員。
[0028] 圖1示出的根據(jù)本發(fā)明的一個實施例的計算設(shè)備100的結(jié)構(gòu)圖。圖1布置為實現(xiàn)根 據(jù)本發(fā)明的圖像白平衡裝置的示例計算設(shè)備1〇〇的框圖。在基本的配置102中，計算設(shè)備100 典型地包括系統(tǒng)存儲器106和一個或者多個處理器104。存儲器總線108可以用于在處理器 104和系統(tǒng)存儲器106之間的通信。
[0029] 取決于期望的配置，處理器104可以是任何類型的處理，包括但不限于:微處理器 ((此）、微控制器(yC)、數(shù)字信息處理器(DSP)或者它們的任何組合。處理器104可以包括諸 如一級高速緩存110和二級高速緩存112之類的一個或者多個級別的高速緩存、處理器核心 114和寄存器116。示例的處理器核心114可以包括運算邏輯單元(ALU)、浮點數(shù)單元(FPU)、 數(shù)字信號處理核心(DSP核心）或者它們的任何組合。示例的存儲器控制器118可以與處理器 104-起使用，或者在一些實現(xiàn)中，存儲器控制器118可以是處理器104的一個內(nèi)部部分。
[0030] 取決于期望的配置，系統(tǒng)存儲器106可以是任意類型的存儲器，包括但不限于：易 失性存儲器(諸如RAM)、非易失性存儲器(諸如R0M、閃存等)或者它們的任何組合。系統(tǒng)存儲 器106可以包括操作系統(tǒng)120、一個或者多個應(yīng)用122以及程序數(shù)據(jù)124。在一些實施方式中， 應(yīng)用122可以布置為在操作系統(tǒng)上利用程序數(shù)據(jù)124進(jìn)行操作。
[0031] 計算設(shè)備100還可以包括有助于從各種接口設(shè)備（例如，輸出設(shè)備142、外設(shè)接口 144和通信設(shè)備146)到基本配置102經(jīng)由總線/接口控制器130的通信的接口總線140。示例 的輸出設(shè)備142包括圖形處理單元148和音頻處理單元150。它們可以被配置為有助于經(jīng)由 一個或者多個A/V端口 152與諸如顯示器或者揚聲器之類的各種外部設(shè)備進(jìn)行通信。示例外 設(shè)接口 144可以包括串行接口控制器154和并行接口控制器156，它們可以被配置為有助于 經(jīng)由一個或者多個I/O端口 158和諸如輸入設(shè)備(例如，鍵盤、鼠標(biāo)、筆、語音輸入設(shè)備、觸摸 輸入設(shè)備)或者其他外設(shè)(例如打印機(jī)、掃描儀等)之類的外部設(shè)備進(jìn)行通信。示例的通信設(shè) 備146可以包括網(wǎng)絡(luò)控制器160,其可以被布置為便于經(jīng)由一個或者多個通信端口 164與一 個或者多個其他計算設(shè)備162通過網(wǎng)絡(luò)通信鏈路的通信。
[0032] 網(wǎng)絡(luò)通信鏈路可以是通信介質(zhì)的一個示例。通信介質(zhì)通常可以體現(xiàn)為在諸如載波 或者其他傳輸機(jī)制之類的調(diào)制數(shù)據(jù)信號中的計算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊，并且可 以包括任何信息遞送介質(zhì)。"調(diào)制數(shù)據(jù)信號"可以這樣的信號，它的數(shù)據(jù)集中的一個或者多 個或者它的改變可以在信號中編碼信息的方式進(jìn)行。作為非限制性的示例，通信介質(zhì)可以 包括諸如有線網(wǎng)絡(luò)或者專線網(wǎng)絡(luò)之類的有線介質(zhì)，以及諸如聲音、射頻(RF)、微波、紅外 (IR)或者其它無線介質(zhì)在內(nèi)的各種無線介質(zhì)。這里使用的術(shù)語計算機(jī)可讀介質(zhì)可以包括存 儲介質(zhì)和通信介質(zhì)二者。
[0033]計算設(shè)備100可以實現(xiàn)為小尺寸便攜(或者移動）電子設(shè)備的一部分。計算設(shè)備100 還可以實現(xiàn)為包括桌面計算機(jī)和筆記本計算機(jī)配置的個人計算機(jī)。在一些實施例中，計算 設(shè)備100被配置為執(zhí)行根據(jù)本發(fā)明的圖像白平衡方法200,其中應(yīng)用122包括根據(jù)本發(fā)明的 圖像白平衡裝置300。
[0034]圖2示出了根據(jù)本發(fā)明一個實施例的圖像白平衡方法200,適于在計算設(shè)備100中 執(zhí)行，該方法始于步驟S210。
[0035]在步驟S210中，采集第一數(shù)量的不同色溫環(huán)境下的中性色素材圖像，如灰卡原始 圖像。色溫環(huán)境可以由色溫箱提供，也可以由其他已知的色溫光源提供，如火柴光的色溫約 為1700K，蠟燭色溫約為1850K，鎢燈（白熾燈)色溫2800K等，本發(fā)明對此不作限制。例如，可 以分別在20001(、30001(、40001(、50001(、60001(的光源環(huán)境下，拍攝一組灰卡的原始圖像。 [0036]隨后，在步驟S220中，根據(jù)中性色素材圖像的矯正參數(shù)及其對應(yīng)的色溫值確定圖 像傳感器在中性色區(qū)域的色溫曲線。一般地，需要先獲取上述不同色溫的第一數(shù)量的灰卡 原始圖像的矯正參數(shù)，并在色度空間坐標(biāo)系上進(jìn)行采樣點標(biāo)定，之后對這些采樣點進(jìn)行插 值處理，擬合得到圖像傳感器中性色區(qū)域的色溫曲線。
[0037] 其中，矯正參數(shù)通常包括三基色的R增益(Rg)、B增益(Bg)和G增益中的至少兩個， 為了便于理解，本發(fā)明以Rg和Bg參數(shù)為例進(jìn)行說明。具體地，統(tǒng)計該灰卡圖像中RGB三通道 中的各分量值，并根據(jù)下式得到Rg和Bg的值。
[0038]
[0039]假設(shè)在2000K色溫環(huán)境下拍攝的灰卡原始圖像的Rg值為0.7，Bg值為0.1; 3000K色 溫環(huán)境下，1?值為0.65，取值為0.2;4000K色溫環(huán)境下，I?g值為0.5，Bg值為0.25; 5000K色溫 環(huán)境下，Rg值為〇. 4，Bg值為0.5; 6000K色溫環(huán)境下，Rg值為0.2，Bg值為0.7。
[0040] 根據(jù)上述Rg和Bg及其對應(yīng)的色溫值，可以在Rg-Bg色度空間坐標(biāo)系中標(biāo)定出6個采 樣點，每個采樣點對應(yīng)一個色溫區(qū)域，其中可以以Rg為橫坐標(biāo)，Bg為縱坐標(biāo)，也可反過來，本 發(fā)明對此不作限制。之后，對這6個點進(jìn)行插值處理后即可擬合得到該圖像傳感器在中性色 區(qū)域的色溫曲線。具體在進(jìn)行插值示可以限定各個標(biāo)定點之間的距離閾值，根據(jù)該閾值確 定各采樣點之間是否需要插值或需要插入幾個標(biāo)定點。
[0041]隨后，在步驟S230中，采集第二數(shù)量的具有基準(zhǔn)色的非中性色素材圖像，如帶有灰 卡或24色卡的實景原始圖像，本發(fā)明對圖像數(shù)量及來源不作限制。
[0042]隨后，在步驟S240中，根據(jù)非中性色素材圖像中的基準(zhǔn)色信息確定該圖像的理想 矯正參數(shù)。具體地，非中性色素材圖像的色卡中通常含有中性色，通過對上述非中性色素材 圖像進(jìn)行手動調(diào)參，可以很容易地計算得到色卡中中性色的矯正參數(shù)，進(jìn)而可以確定該非 中性色素材圖像的理想矯正參數(shù)。顯然，進(jìn)行手動調(diào)參在于用設(shè)定的矯正參數(shù)(如Rg、Bg等） 將實景原始圖像調(diào)整到最優(yōu)狀態(tài)，而這些理想的矯正參數(shù)還可以作為機(jī)器學(xué)習(xí)中的Ground Truth參數(shù)，即標(biāo)定過的真實數(shù)據(jù)。
[0043]隨后，在步驟S250中，根據(jù)中性色區(qū)域的色溫曲線和非中性色素材圖像的理想矯 正參數(shù)，通過機(jī)器學(xué)習(xí)擬合得到非中性色區(qū)域的色溫曲線。顯然，該曲線與中性色區(qū)域的色 溫曲線共同構(gòu)成了全區(qū)色溫曲線，從而極大地擴(kuò)展了色溫曲線的適用范圍。其中，采用大量 素材數(shù)據(jù)對非中性色區(qū)域進(jìn)行推測的過程可以被視為一個最小優(yōu)化的問題，本發(fā)明使用機(jī) 器學(xué)習(xí)的算法，以中性色區(qū)域的色溫曲線為起點，使用帶有Ground Truth的實景原始圖像 數(shù)據(jù)，去訓(xùn)練出非中性色區(qū)域的值。具體地，可以通過以下?lián)p失函數(shù)對非中性色區(qū)域進(jìn)行模 型訓(xùn)練·
[0044]
[0045] 其中，是代表非中性色素材圖像中增益值進(jìn)行歸一化后分布情況的參數(shù)， Cr(r,b)和Cb(r,b)是色差值，Argb^PAbg^是實景原始圖像中每個區(qū)域內(nèi)的平均增益值，i代 表圖像編號，η代表圖像總數(shù)，λ是權(quán)重衰減系數(shù)，Gtp和Gtf是機(jī)器學(xué)習(xí)中Ground Truth參 數(shù)，即如上所述的非中性色素材圖像的理想矯正參數(shù)。需要說明的是，（r，b)是一組坐標(biāo)，表 示了圖像中每個像素點當(dāng)前的增益值，&，13) = (6/1?，6/8)。通過對圖像的所有像素點進(jìn)行 計算可以得到這幅圖像的增益值分布信息。
[0046]在該機(jī)器學(xué)習(xí)中，I?g和Bg的目標(biāo)值為Gtf gGt^，在該損失函數(shù)中，Cr(r,b)和 Cb(r,b)可以理解為變量，通過對其進(jìn)行調(diào)整可以改變模型輸出的Rg和Bg值。機(jī)器學(xué)習(xí)的目標(biāo) 是讓最終的輸出值盡可能地接近其目標(biāo)值Gtp與Gtf。實際上，可以使用上述實景原始圖 像的增益值分布情況H.gb)、原始圖像的色差值Cr(r,b)與Cb (r,b)計算出校正值，并將其與 Ground Truth值Gtf .1 求差的平方作為誤差，通過機(jī)器學(xué)習(xí)的算法，調(diào)整Cr(r,b)與 Cb(r,b)這兩個變量的值以降低損失函數(shù)的誤差值。
[0047]隨后，在步驟S260中，根據(jù)全區(qū)色溫線模型獲取待處理圖像的矯正參數(shù)，如Rg'和 Bg\根據(jù)灰度世界假設(shè)，相同的相關(guān)色溫下，圖像的矯正參數(shù)的應(yīng)當(dāng)相同，同一個色溫的Rg 和Bg基本都在一個比較確定的范圍內(nèi)。因此，通常只要確定待處理圖像的Rg和Bg值，就可以 得到拍照時的色溫值，繼而得到該色溫下的理想矯正參數(shù)，當(dāng)然也可以略過對色溫的估計 而直接在全區(qū)色溫曲線模型中得到其理想矯正參數(shù)。
[0048]在傳統(tǒng)的基于色溫估計的自動白平衡矯正中，通常需要判斷待處理圖像像素的R、 G、B值是否在合適的范圍之內(nèi)，如是否在中性色區(qū)域的色溫曲線范圍內(nèi)。因為若像素值過 低，則包含太多噪聲信息，而像素值過高則已過度曝光，不能提供有效的顏色信息。而本發(fā) 明對中性色區(qū)域和非中性色區(qū)域都進(jìn)行了模型標(biāo)定，從而可以利用待處理圖像的全部信 息。
[0049]應(yīng)當(dāng)理解，根據(jù)全區(qū)色溫曲線模型有多種方法可以獲取到待處理圖像的矯正參 數(shù)，本發(fā)明對此不作限制。例如，可以統(tǒng)計待處理圖像中每個像素點點的Rg和Bg值，每組增 益值都可在全區(qū)色溫曲線模型中找到起對應(yīng)的分布區(qū)域。當(dāng)整幅圖像處理完畢后，即可以 得到每種色溫下的像素個數(shù)n，以及每種色溫下的三通道的總值，分別計為Rs、Bs和Gs。取像 素點數(shù)目最多的色溫為光源色溫，相應(yīng)的像素點可以用來計算三基色的增益值。若判斷出 當(dāng)前色溫為3100K，則將該色溫下的R通道總量Rs除以該色溫下的像素個數(shù)n(3100K)即可得 到該色溫下的R通道平均值Raver，同理可以得到其他兩個通道的平均值Baver和Gaver。
[0050] Raver = Rs(3100K)/n(3100K)
[0051] Baver = Bs(3100K)/n(3100K)
[0052] gaver = Rs(3100K)/n(3100K)
[0053] 已知各灰度點的三通道均值，即可按照Rg' =Gaver/Raver，Bg/ =Gaver/Baver確 定待處理圖像的矯正參數(shù)Rg^Bg'。
[0054] 隨后，在步驟S270中，根據(jù)待處理圖像的矯正參數(shù)對其進(jìn)行偏色處理。通常，將圖 像的原始各通道值乘以對應(yīng)矯正參數(shù)即可完成了白平衡調(diào)整功能，即R〇ut = Rin*RgSBg' = Rin*Bg'。
[0055] 圖3示出了根據(jù)本發(fā)明的一個實施例的圖像白平衡裝置300,適于駐留在計算設(shè)備 中，該裝置包括圖像采集單元310、第一擬合單元320、第一獲取單元330、第二擬合單元340、 第二獲取單元350和圖像矯正單元360。
[0056] 圖像采集單元310適于采集第一數(shù)量的不同色溫環(huán)境下的中性色素材圖像和第二 數(shù)量的含有基準(zhǔn)色的非中性色素材圖像。其中，中性色素材圖像可以是灰卡原始圖像，非中 性色素材圖像為含有基準(zhǔn)色色卡的實景原始圖像，其中所述基準(zhǔn)色色卡為灰卡或24色卡。 色溫環(huán)境可以由色溫箱提供，也可以由其他已知的色溫光源提供，如可以根據(jù)色溫從高到 低劃分出6種光源:D65、室內(nèi)日光燈、CW、TL84、A光和Η光等。
[0057]第一擬合單元320適于根據(jù)中性色素材圖像的矯正參數(shù)及其對應(yīng)的色溫值確定圖 像傳感器在中性色區(qū)域的色溫曲線。具體地，通過以下方法確定中性色區(qū)域的色溫曲線： [0058]根據(jù)中性色素材圖像的矯正參數(shù)及其對應(yīng)的色溫值在色度空間坐標(biāo)系上進(jìn)行采 樣點標(biāo)定，并對上述第一數(shù)量的采樣點進(jìn)行插值處理，擬合得到中性色區(qū)域的色溫曲線。其 中，矯正參數(shù)包括三基色中的R增益、Β增益和G增益中的至少兩個
[0059]第一獲取單元330適于根據(jù)非中性色素材圖像中的基準(zhǔn)色信息確定該圖像的理想 矯正參數(shù)。具體地，通過對所述非中性色素材圖像進(jìn)行手動調(diào)參，通過計算得到其中色卡里 包含的中性色的矯正參數(shù)，進(jìn)而得到該非中性色素材圖像的理想矯正參數(shù)。該理想矯正參 數(shù)適于作為機(jī)器學(xué)習(xí)算法中的Ground Truth參數(shù)。
[0060] 第二擬合單元340適于根據(jù)中性色區(qū)域的色溫曲線和非中性色素材圖像的理想矯 正參數(shù)，通過機(jī)器學(xué)習(xí)算法擬合得到非中性色區(qū)域的色溫曲線，該曲線與所述中性色區(qū)域 的色溫曲線共同構(gòu)成全區(qū)色溫曲線模型。其中，通過以下?lián)p失函數(shù)對非中性色區(qū)域進(jìn)行模 型訓(xùn)練：
[0061]
[0062]其中，Hgb).是代表所述非中性色素材圖像中增益值進(jìn)行歸一化后分布情況的參 數(shù)，Cr(r,b)和Cb(r,b)是色差偏值，Aif b^PAb(|b)是所述非中性色素材圖像中每個區(qū)域內(nèi)的 平均增益值，i代表圖像編號，η代表圖像總數(shù)，λ是權(quán)重衰減系數(shù)，Gtf和是機(jī)器學(xué)習(xí)中 Ground Truth參數(shù)。第二擬合單元340可以通過調(diào)整Cr(r,b)和Cb(r,b)這兩個變量降低損失函 數(shù)的誤差值。
[0063]第二獲取單元350可以根據(jù)全區(qū)色溫曲線獲取待處理圖像的矯正參數(shù)，圖像矯正 單元360則可以根據(jù)待處理圖像的矯正參數(shù)對其進(jìn)行偏色處理。
[0064] 根據(jù)本發(fā)明的圖像白平衡裝置，其具體細(xì)節(jié)已在基于圖1和圖2的描述中詳細(xì)公 開，在此不再贅述。
[0065] 根據(jù)本發(fā)明的技術(shù)方案，根據(jù)中性色區(qū)域的色溫曲線，采用機(jī)器學(xué)習(xí)的算法計算 得到了包含非中性色區(qū)域的全區(qū)色溫曲線模型，使得可以利用待處理圖像中的全部信息區(qū) 推測色溫，解決了傳統(tǒng)的色溫推測方法中因缺少中性色而推測不準(zhǔn)確的問題，提升了自動 白平衡的精度，即使在大面積純色的場景下也可以實現(xiàn)優(yōu)良的白平衡效果。另外，在算法的 執(zhí)行上采用傳統(tǒng)的相關(guān)色溫曲線推測算法，也保證了圖像處理過程中較快的運行速度。
[0066] B10、如B9所述的圖像白平衡裝置，其中所述第二擬合單元適于通過調(diào)整Cr(r,b)和 Cb(r,b)降低損失函數(shù)的誤差值。
[0067] B11、如B7所述的圖像白平衡裝置，其中所述第一擬合單元適于通過以下方法確定 中性色區(qū)域的色溫曲線：
[0068]根據(jù)所述中性色素材圖像的矯正參數(shù)及其對應(yīng)的色溫值在色度空間坐標(biāo)系上進(jìn) 行采樣點標(biāo)定；
[0069]對所述第一數(shù)量的采樣點進(jìn)行插值處理，擬合得到中性色區(qū)域的色溫曲線。
[0070] B12、如B11所述的圖像白平衡裝置，其中所述第一擬合單元進(jìn)行采樣點標(biāo)定時適 于選擇R增益和B增益作為色度空間坐標(biāo)系的橫縱坐標(biāo)參數(shù)。
[0071] 在此處所提供的說明書中，說明了大量具體細(xì)節(jié)。然而，能夠理解，本發(fā)明的實施 例可以在沒有這些具體細(xì)節(jié)的情況下被實踐。在一些實例中，并未詳細(xì)示出公知的方法、結(jié) 構(gòu)和技術(shù)，以便不模糊對本說明書的理解。
[0072]類似地，應(yīng)當(dāng)理解，為了精簡本公開并幫助理解各個發(fā)明方面中的一個或多個，在 上面對本發(fā)明的示例性實施例的描述中，本發(fā)明的各個特征有時被一起分組到單個實施 例、圖、或者對其的描述中。然而，并不應(yīng)將該公開的方法解釋成反映如下意圖：即所要求保 護(hù)的本發(fā)明要求比在每個權(quán)利要求中所明確記載的特征更多特征。更確切地說，如下面的 權(quán)利要求書所反映的那樣，發(fā)明方面在于少于前面公開的單個實施例的所有特征。因此，遵 循【具體實施方式】的權(quán)利要求書由此明確地并入該【具體實施方式】，其中每個權(quán)利要求本身都 作為本發(fā)明的單獨實施例。
[0073]本領(lǐng)域那些技術(shù)人員應(yīng)當(dāng)理解在本文所公開的示例中的設(shè)備的模塊或單元或組 件可以布置在如該實施例中所描述的設(shè)備中，或者可替換地可以定位在與該示例中的設(shè)備 不同的一個或多個設(shè)備中。前述示例中的模塊可以組合為一個模塊或者此外可以分成多個 子模塊。
[0074]本領(lǐng)域那些技術(shù)人員可以理解，可以對實施例中的設(shè)備中的模塊進(jìn)行自適應(yīng)性地 改變并且把它們設(shè)置在與該實施例不同的一個或多個設(shè)備中?？梢园褜嵤├械哪K或單 元或組件組合成一個模塊或單元或組件，以及此外可以把它們分成多個子模塊或子單元或 子組件。除了這樣的特征和/或過程或者單元中的至少一些是相互排斥之外，可以采用任何 組合對本說明書(包括伴隨的權(quán)利要求、摘要和附圖）中公開的所有特征以及如此公開的任 何方法或者設(shè)備的所有過程或單元進(jìn)行組合。除非另外明確陳述，本說明書(包括伴隨的權(quán) 利要求、摘要和附圖）中公開的每個特征可以由提供相同、等同或相似目的的替代特征來代 替。
[0075]此外，本領(lǐng)域的技術(shù)人員能夠理解，盡管在此所述的一些實施例包括其它實施例 中所包括的某些特征而不是其它特征，但是不同實施例的特征的組合意味著處于本發(fā)明的 范圍之內(nèi)并且形成不同的實施例。例如，在下面的權(quán)利要求書中，所要求保護(hù)的實施例的任 意之一都可以以任意的組合方式來使用。
[0076]此外，所述實施例中的一些在此被描述成可以由計算機(jī)系統(tǒng)的處理器或者由執(zhí)行 所述功能的其它裝置實施的方法或方法元素的組合。因此，具有用于實施所述方法或方法 元素的必要指令的處理器形成用于實施該方法或方法元素的裝置。此外，裝置實施例的在 此所述的元素是如下裝置的例子:該裝置用于實施由為了實施該發(fā)明的目的的元素所執(zhí)行 的功能。
[0077]如在此所使用的那樣，除非另行規(guī)定，使用序數(shù)詞"第一"、"第二"、"第三"等等來 描述普通對象僅僅表示涉及類似對象的不同實例，并且并不意圖暗示這樣被描述的對象必 須具有時間上、空間上、排序方面或者以任意其它方式的給定順序。
[0078]盡管根據(jù)有限數(shù)量的實施例描述了本發(fā)明，但是受益于上面的描述，本技術(shù)領(lǐng)域 內(nèi)的技術(shù)人員明白，在由此描述的本發(fā)明的范圍內(nèi)，可以設(shè)想其它實施例。此外，應(yīng)當(dāng)注意， 本說明書中使用的語言主要是為了可讀性和教導(dǎo)的目的而選擇的，而不是為了解釋或者限 定本發(fā)明的主題而選擇的。因此，在不偏離所附權(quán)利要求書的范圍和精神的情況下，對于本 技術(shù)領(lǐng)域的普通技術(shù)人員來說許多修改和變更都是顯而易見的。對于本發(fā)明的范圍，對本 發(fā)明所做的公開是說明性的，而非限制性的，本發(fā)明的范圍由所附權(quán)利要求書限定。
【主權(quán)項】
1. 一種圖像白平衡方法，適于在計算設(shè)備中執(zhí)行，該方法包括： 采集第一數(shù)量的不同色溫環(huán)境下的中性色素材圖像； 根據(jù)所述中性色素材圖像的矯正參數(shù)及其對應(yīng)的色溫值確定圖像傳感器在中性色區(qū) 域的色溫曲線； 采集第二數(shù)量的含有基準(zhǔn)色的非中性色素材圖像； 根據(jù)所述非中性色素材圖像中的基準(zhǔn)色信息確定該圖像的理想矯正參數(shù)； 根據(jù)所述中性色區(qū)域的色溫曲線和所述非中性色素材圖像的理想矯正參數(shù)，通過機(jī)器 學(xué)習(xí)的方法擬合得到非中性色區(qū)域的色溫曲線； 根據(jù)所述中性色區(qū)域和非中性色區(qū)域的色溫曲線獲取待處理圖像的矯正參數(shù)；以及 根據(jù)待處理圖像的矯正參數(shù)對其進(jìn)行偏色處理； 其中所述矯正參數(shù)包括三基色的R增益、B增益和G增益中的至少兩個。2. 如權(quán)利要求1所述的圖像白平衡方法，其中所述中性色素材圖像為灰卡原始圖像，所 述非中性色素材圖像為含有基準(zhǔn)色色卡的實景原始圖像，其中所述基準(zhǔn)色色卡為灰卡或24 色卡。3. 如權(quán)利要求2所述的圖像白平衡方法，其中在進(jìn)行所述機(jī)器學(xué)習(xí)時適于通過以下?lián)p 失函數(shù)對非中性色區(qū)域進(jìn)行模型訓(xùn)練：其中是代表所述非中性色素材圖像中增益值進(jìn)行歸一化后分布情況的參數(shù)， Cr(r,b)和Cb(r,b)是色差值，Aif b^PAbgb)是所述非中性色素材圖像中每個區(qū)域內(nèi)的平均增 益值，i代表圖像編號，η代表圖像總數(shù)，λ是權(quán)重衰減系數(shù)，Gtp和是機(jī)器學(xué)習(xí)中Ground Truth參數(shù)，其中所述Ground Truth是所述非中性色素材圖像的理想矯正參數(shù)。4. 如權(quán)利要求3所述的圖像白平衡方法，其中對所述非中性色區(qū)域進(jìn)行模型訓(xùn)練時，適 于通過調(diào)整Cr(r, b)和Cb(r,b)降低損失函數(shù)的誤差值。5. 如權(quán)利要求1所述的圖像白平衡方法，其中所述確定圖像傳感器在中性色區(qū)域的色 溫曲線包括： 根據(jù)所述中性色素材圖像的矯正參數(shù)及其對應(yīng)的色溫值在色度空間坐標(biāo)系上進(jìn)行采 樣點標(biāo)定； 對所述第一數(shù)量的采樣點進(jìn)行插值處理，擬合得到中性色區(qū)域的色溫曲線。6. 如權(quán)利要求5所述的圖像白平衡方法，其中所述進(jìn)行采樣點標(biāo)定時適于選擇R增益和 B增益作為色度空間坐標(biāo)系的橫縱坐標(biāo)參數(shù)。7. -種圖像白平衡裝置，適于駐留在計算設(shè)備中，該裝置包括： 圖像采集單元，適于采集第一數(shù)量的不同色溫環(huán)境下的中性色素材圖像和第二數(shù)量的 含有基準(zhǔn)色的非中性色素材圖像； 第一擬合單元，適于確定圖像傳感器在中性色區(qū)域的色溫曲線； 第一獲取單元，適于根據(jù)所述非中性色素材圖像中的基準(zhǔn)色信息確定該圖像的理想矯 正參數(shù)； 第二擬合單元，適于根據(jù)所述中性色區(qū)域的色溫曲線和所述非中性色素材圖像的理想 矯正參數(shù)，通過機(jī)器學(xué)習(xí)的方法擬合得到非中性色區(qū)域的色溫曲線； 第二獲取單元，適于根據(jù)所述中性色區(qū)域和非中性色區(qū)域的色溫曲線獲取待處理圖像 的矯正參數(shù)； 圖像矯正單元，適于根據(jù)待處理圖像的矯正參數(shù)對其進(jìn)行偏色處理； 其中所述矯正參數(shù)包括三基色的R增益、B增益和G增益中的至少兩個。8. 如權(quán)利要求7所述的圖像白平衡裝置，其中所述中性色素材圖像為灰卡原始圖像，所 述非中性色素材圖像為含有基準(zhǔn)色色卡的實景原始圖像，其中所述基準(zhǔn)色色卡為灰卡或24 色卡。9. 如權(quán)利要求8所述的圖像白平衡裝置，其中所述第二擬合單元適于通過以下?lián)p失函 數(shù)對非中性色區(qū)域進(jìn)行機(jī)器學(xué)習(xí)的模型訓(xùn)練：其中，是代表所述非中性色素材圖像中增益值進(jìn)行歸一化后分布情況的參數(shù)， Cr(r,b)和Cb(r,b)是色差偏值，和Ab| b)是所述非中性色素材圖像中每個區(qū)域內(nèi)的平均 增益值，i代表圖像編號，η代表圖像總數(shù)，λ是權(quán)重衰減系數(shù)，Gt^和Gtg}是機(jī)器學(xué)習(xí)中 Ground Truth參數(shù)，其中所述Ground Truth是所述非中性色素材的理想矯正參數(shù)D10. -種計算設(shè)備，包括如權(quán)利要求7-9中任一項所述的圖像白平衡裝置。
【文檔編號】H04N9/73GK105898263SQ201610351680
【公開日】2016年8月24日
【申請日】2016年5月24日
【發(fā)明人】周凡, 張長定, 陳星 , 張偉
【申請人】廈門美圖之家科技有限公司