專利名稱：圖像處理設(shè)備和圖像處理方法、學(xué)習(xí)設(shè)備和學(xué)習(xí)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備、圖像處理方法、學(xué)習(xí)設(shè)備、學(xué)習(xí)方法、程序和記錄介質(zhì)，更具體地講，涉及能夠高度準(zhǔn)確從拜爾陣列的圖像產(chǎn)生亮度-色差空間的低噪聲圖像的圖像處理設(shè)備、圖像處理方法、學(xué)習(xí)設(shè)備、學(xué)習(xí)方法、程序和記錄介質(zhì)。
背景技術(shù)：
在過去，為了小型化的目的，成像裝置僅僅包括一個(gè)成像元件(例如，電荷耦合器件(CXD)圖像傳感器或者互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)圖像傳感器)。在這些成像裝置中，通常對(duì)成像元件的各個(gè)像素采用不同彩色濾光片，并且由此從每個(gè)像素獲取諸如紅、綠和藍(lán)(RGB)的多個(gè)顏色中的任何ー個(gè)的信號(hào)。例如，這樣由成像元件獲取的圖像變成圖I所示的彩色矩陣的圖像。在下文中，圖I的彩色矩陣被稱作“拜爾陣列”。
·
通常，通過稱作去馬賽克處理的內(nèi)插處理，由成像元件獲取的拜爾陣列的圖像被轉(zhuǎn)換成彩色圖像，其中每個(gè)像素具有例如RGB的多個(gè)彩色分量的任何一個(gè)的像素值。有人考慮使用類別分類自適應(yīng)處理作為去馬賽克處理來降低彩色圖像的噪聲(例如，見日本專利 No. 4433545)。該類別分類自適應(yīng)處理是指這樣ー個(gè)處理，其中，將關(guān)注像素(即處理圖像中的吸引注意的像素)分類成預(yù)定類別并且通過將通過與該類別對(duì)應(yīng)的學(xué)習(xí)獲得的預(yù)測(cè)系數(shù)同與關(guān)注像素對(duì)應(yīng)的非處理圖像的像素值進(jìn)行線性組合來預(yù)測(cè)關(guān)注像素的像素值。圖2是示出執(zhí)行類別分類自適應(yīng)處理作為去馬賽克處理的圖像處理設(shè)備的示例性結(jié)構(gòu)的框圖。圖2的圖像處理設(shè)備10包括成像元件11和預(yù)測(cè)信號(hào)處理單元12。圖像處理設(shè)備10的成像元件11對(duì)各個(gè)像素采用不同彩色濾光片。成像元件11針對(duì)每個(gè)像素獲取來自被攝體的光的R分量、G分量和B分量的任何ー個(gè)的模擬信號(hào)，并且對(duì)模擬信號(hào)執(zhí)行模擬到數(shù)字(AD)轉(zhuǎn)換，從而產(chǎn)生拜爾陣列的圖像。成像元件11將產(chǎn)生的拜爾陣列的圖像提供給預(yù)測(cè)信號(hào)處理單元12。預(yù)測(cè)信號(hào)處理單元12對(duì)從成像元件11提供的拜爾陣列的圖像執(zhí)行去馬賽克處理并且產(chǎn)生低噪聲RGB圖像，該低噪聲RGB圖像是包括各個(gè)像素的紅色(R)分量、緑色(G)分量和藍(lán)色(B)分量的像素值的彩色圖像。具體地講，預(yù)測(cè)信號(hào)處理單元12順序設(shè)置RGB圖像的每個(gè)像素作為關(guān)注像素，并且使用關(guān)注像素四周的拜爾陣列的圖像的各像素的像素值將關(guān)注像素分類成針對(duì)每個(gè)彩色分量的預(yù)定類別。另外，預(yù)測(cè)信號(hào)處理單元12保持針對(duì)彩色分量和類別通過學(xué)習(xí)獲得的預(yù)測(cè)系數(shù)，在該學(xué)習(xí)中預(yù)先將拜爾陣列的圖像設(shè)置為學(xué)生圖像并且將低噪聲RGB圖像設(shè)置為教師圖像的。然后，預(yù)測(cè)信號(hào)處理單元12通過針對(duì)每種彩色分量將與關(guān)注像素的類別對(duì)應(yīng)的預(yù)測(cè)系數(shù)同與關(guān)注像素四周的拜爾陣列的圖像的像素值進(jìn)行線性組合來預(yù)測(cè)關(guān)注像素的像素值。其間，在圖2的預(yù)測(cè)信號(hào)處理單元12中的類別分類自適應(yīng)處理中，由于針對(duì)每個(gè)彩色分量和類獲得預(yù)測(cè)系數(shù)，所以難以按照與彩色分量不同的単位來調(diào)整輸出圖像中的降噪程度。因此，即使調(diào)整輸出圖像中的降噪程度，任意彩色分量中的降噪程度相對(duì)強(qiáng)大，并且當(dāng)彩色分量的噪聲之外的部分受到影響時(shí)，出現(xiàn)在邊緣部分中產(chǎn)生錯(cuò)誤彩色的不利效果。其間，存在一種通過將作為去馬賽克處理的結(jié)果獲得的RGB圖像轉(zhuǎn)換成亮度-色差空間的圖像(下文稱作“YUV圖像”)并且對(duì)YUV圖像執(zhí)行類別分類自適應(yīng)處理降低YUV圖像的噪聲的方法。在這個(gè)方法中，依據(jù)對(duì)亮度的清晰度靈敏而對(duì)色差的清晰度不靈敏的人類視覺屬性，色差分量(Cb和Cr分量)的降噪程度大于亮度分量(Y分量)的降噪程度。因此，由于即使輸出圖像的色差分量的噪聲降低也不會(huì)影響亮度分量(Y分量)的噪聲之外的部分，所以很難通過眼睛檢測(cè)清晰度下降。換言之，能夠降低彩色噪聲而清晰度不會(huì)下降。圖3示出了使用上述方法將拜爾陣列的圖像轉(zhuǎn)換成低噪聲YUV圖像的圖像處理設(shè)備的示例性結(jié)構(gòu)。在圖3所示的部件之中，與圖2所示的部件相同的部件由相同標(biāo)號(hào)進(jìn)行指示。將 恰當(dāng)省去冗余描述。圖3的圖像處理設(shè)備20包括成像元件11、去馬賽克處理單元21、亮度-色差轉(zhuǎn)換単元22以及預(yù)測(cè)信號(hào)處理單元23和24。圖像處理設(shè)備20的去馬賽克處理單元21對(duì)由成像元件11產(chǎn)生的拜爾陣列的圖像執(zhí)行去馬賽克處理，并且將作為結(jié)果所得的RGB圖像提供給亮度-色差轉(zhuǎn)換單元22。亮度-色差轉(zhuǎn)換單元22執(zhí)行用于將從去馬賽克處理單元21提供的RGB圖像轉(zhuǎn)換成YUV圖像的亮度-色差轉(zhuǎn)換處理。亮度-色差轉(zhuǎn)換單元22將作為結(jié)果所得的YUV圖像的亮度分量提供給預(yù)測(cè)信號(hào)處理單元23并且將亮度分量提供給預(yù)測(cè)信號(hào)處理單元24。預(yù)測(cè)信號(hào)處理單元23對(duì)從亮度-色差轉(zhuǎn)換單元22提供的YUV圖像的亮度分量執(zhí)行類別分類自適應(yīng)處理，并且產(chǎn)生低噪聲YUV圖像的亮度分量。具體地講，預(yù)測(cè)信號(hào)處理單元23順序設(shè)置低噪聲YUV圖像的每個(gè)像素作為關(guān)注像素，并且使用關(guān)注像素周圍的亮度-色差轉(zhuǎn)換單元22的降噪之前的YUV圖像的像素的像素值將關(guān)注像素的亮度分量分類成預(yù)定類別。另外，預(yù)測(cè)信號(hào)處理單元23保持針對(duì)每個(gè)類別通過學(xué)習(xí)處理獲得的亮度分量的預(yù)測(cè)系數(shù)，在該學(xué)習(xí)處理中，預(yù)先將降噪之前的YUV圖像設(shè)置為學(xué)生圖像并且將降噪后的YUV圖像設(shè)置為教師圖像。然后，預(yù)測(cè)信號(hào)處理單元23通過將與關(guān)注像素的亮度分量的類別對(duì)應(yīng)的亮度分量的預(yù)測(cè)系數(shù)與關(guān)注像素周圍的降噪之前的YUV圖像的像素值進(jìn)行線性組合來預(yù)測(cè)關(guān)注像素的亮度分量的像素值。結(jié)果，產(chǎn)生低噪聲YUV圖像的亮度分量。預(yù)測(cè)信號(hào)處理單元23輸出低噪聲YUV圖像的亮度分量作為輸出圖像的亮度分量。與預(yù)測(cè)信號(hào)處理單元23類似，預(yù)測(cè)信號(hào)處理單元24使用通過學(xué)習(xí)處理對(duì)每個(gè)類別獲得的色差分量的預(yù)測(cè)系數(shù)對(duì)從亮度-色差轉(zhuǎn)換單元22提供的YUV圖像的色差分量執(zhí)行類別分類自適應(yīng)處理。然后，預(yù)測(cè)信號(hào)處理單元24輸出作為結(jié)果產(chǎn)生的低噪聲YUV圖像的色差分量作為輸出圖像的色差分量。學(xué)習(xí)亮度分量的預(yù)測(cè)系數(shù)和色差分量的預(yù)測(cè)系數(shù)，從而輸出圖像的色差分量中的降噪程度能夠大于亮度分量中的降噪程度。

發(fā)明內(nèi)容
圖3的圖像處理設(shè)備20對(duì)拜爾陣列的圖像執(zhí)行三個(gè)處理，即，去馬賽克處理、亮度-色差轉(zhuǎn)換處理和類別分類自適應(yīng)處理。因此，當(dāng)由于去馬賽克處理等等而丟失拜爾陣列的圖像中的細(xì)線部分等等的信息吋，輸出圖像的準(zhǔn)確度下降。具體地講，當(dāng)由于去馬賽克處理而丟失細(xì)線部分等等的信息并且由此RGB圖像具有平坦部分時(shí)，亮度-色差轉(zhuǎn)換單元22很難識(shí)別RGB圖像的平坦部分是原始存在的平坦部分還是由于細(xì)線部分的丟失導(dǎo)致的平坦部分。因此，即使當(dāng)由于去馬賽克處理而丟失細(xì)線部分等等的信息時(shí)，亮度-色差轉(zhuǎn)換單元22將從去馬賽克處理單元21提供的RGB圖像轉(zhuǎn)換成YUV圖像，這與細(xì)線部分等等的信息沒有丟失的RGB圖像類似。結(jié)果，輸出圖像變成與通過對(duì)沒有經(jīng)歷去馬賽克處理的拜爾陣列的圖像進(jìn)行平滑處理獲得的圖像對(duì)應(yīng)的圖像，并且由此輸出圖像的準(zhǔn)確度下降。類似的是，即使當(dāng)由于去馬賽克處理而產(chǎn)生在拜爾陣列的圖像內(nèi)不存在的彩色邊·緣等等吋，輸出圖像的準(zhǔn)確度下降。鑒于上述研究出本發(fā)明的技術(shù)，并且可以期望高度準(zhǔn)確地從拜爾陣列的圖像產(chǎn)生低噪聲YUV圖像。根據(jù)本發(fā)明的第一實(shí)施例，提供了ー種圖像處理設(shè)備，包括亮度預(yù)測(cè)計(jì)算単元，通過使用與關(guān)注像素對(duì)應(yīng)的教師圖像和與拜爾陣列的圖像對(duì)應(yīng)的學(xué)生圖像計(jì)算通過求解表示與低噪聲圖像即包括拜爾陣列的圖像的每個(gè)像素的亮度分量和色差分量的像素值的圖像和降噪的圖像對(duì)應(yīng)的教師圖像的每個(gè)像素的亮度分量的像素值與亮度分量的預(yù)測(cè)系數(shù)之間的關(guān)系的公式進(jìn)行學(xué)習(xí)的亮度分量的預(yù)測(cè)系數(shù)和包括拜爾陣列的預(yù)定圖像的像素的像素值的亮度預(yù)測(cè)抽頭，計(jì)算關(guān)注像素即與拜爾陣列的預(yù)定圖像對(duì)應(yīng)的預(yù)定低噪聲圖像中的吸引注意的像素的亮度分量的像素值；以及色差預(yù)測(cè)計(jì)算單元，通過使用教師圖像和學(xué)習(xí)圖像計(jì)算通過求解表示教師圖像的每個(gè)像素的色差分量的像素值、與所述像素對(duì)應(yīng)的學(xué)生圖像的像素的像素值和色差分量的預(yù)測(cè)系數(shù)之間的關(guān)系的公式進(jìn)行學(xué)習(xí)的色差分量的預(yù)測(cè)系數(shù)和與預(yù)定低噪聲圖像中的關(guān)注像素對(duì)應(yīng)并且包括拜爾陣列的預(yù)定圖像的像素的像素值并且降噪效果強(qiáng)于亮度分量的預(yù)測(cè)系數(shù)的色差預(yù)測(cè)抽頭，計(jì)算關(guān)注像素的色差分量的像素值。根據(jù)本發(fā)明的第一實(shí)施例的圖像處理方法、程序以及記錄在記錄介質(zhì)內(nèi)的程序?qū)?yīng)于根據(jù)本發(fā)明的第一方面的圖像處理設(shè)備。根據(jù)本發(fā)明的第一實(shí)施例，可以通過使用與關(guān)注像素對(duì)應(yīng)的教師圖像和與拜爾陣列的圖像對(duì)應(yīng)的學(xué)生圖像計(jì)算通過求解表示與低噪聲圖像即包括拜爾陣列的圖像的每個(gè)像素的亮度分量和色差分量的像素值的圖像和降噪的圖像對(duì)應(yīng)的教師圖像的每個(gè)像素的亮度分量的像素值與亮度分量的預(yù)測(cè)系數(shù)之間的關(guān)系的公式進(jìn)行學(xué)習(xí)的亮度分量的預(yù)測(cè)系數(shù)和包括拜爾陣列的預(yù)定圖像的像素的像素值的亮度預(yù)測(cè)抽頭，計(jì)算關(guān)注像素即與拜爾陣列的預(yù)定圖像對(duì)應(yīng)的預(yù)定低噪聲圖像中的吸引注意的像素的亮度分量的像素值；以及通過使用教師圖像和學(xué)習(xí)圖像計(jì)算通過求解表示教師圖像的每個(gè)像素的色差分量的像素值、與所述像素對(duì)應(yīng)的學(xué)生圖像的像素的像素值和色差分量的預(yù)測(cè)系數(shù)之間的關(guān)系的公式進(jìn)行學(xué)習(xí)的色差分量的預(yù)測(cè)系數(shù)和與預(yù)定低噪聲圖像中的關(guān)注像素對(duì)應(yīng)并且包括拜爾陣列的預(yù)定圖像的像素的像素值并且降噪效果強(qiáng)于亮度分量的預(yù)測(cè)系數(shù)的色差預(yù)測(cè)抽頭，計(jì)算關(guān)注像素的色差分量的像素值。根據(jù)本發(fā)明的第二實(shí)施例，提供了ー種學(xué)習(xí)設(shè)備，包括學(xué)習(xí)單元，通過使用與關(guān)注像素即教師圖像中吸引注意的像素對(duì)應(yīng)并且包括與拜爾陣列的預(yù)定圖像對(duì)應(yīng)的學(xué)生圖像的像素的像素值和關(guān)注像素的像素值的預(yù)測(cè)抽頭求解表示用于學(xué)習(xí)預(yù)測(cè)系數(shù)并且與預(yù)定低噪聲圖像對(duì)應(yīng)的教師圖像的每個(gè)像素的像素值、像素的預(yù)測(cè)抽頭和預(yù)測(cè)系數(shù)之間的關(guān)系的公式計(jì)算用于將拜爾陣列的預(yù)定圖像轉(zhuǎn)換成預(yù)定低噪聲圖像即包括拜爾陣列的預(yù)定圖像的每個(gè)像素的亮度分量和色差分量的像素值的圖像和降噪的圖像的預(yù)測(cè)系數(shù)。學(xué)習(xí)亮度分量的預(yù)測(cè)系數(shù)和色差分量的預(yù)測(cè)系數(shù)以使得輸出圖像的色差分量的降噪程度能夠大于亮度分量的降噪程度。根據(jù)本發(fā)明的第二實(shí)施例，可以通過使用與關(guān)注像素即教師圖像中吸引注意的像素對(duì)應(yīng)并且包括與拜爾陣列的預(yù)定圖像對(duì)應(yīng)的學(xué)生圖像的像素的像素值和關(guān)注像素的像素值的預(yù)測(cè)抽頭求解表示用于學(xué)習(xí)預(yù)測(cè)系數(shù)并且與預(yù)定低噪聲圖像對(duì)應(yīng)的教師圖像的每個(gè)像素的像素值、像素的預(yù)測(cè)抽頭和預(yù)測(cè)系數(shù)之間的關(guān)系的公式計(jì)算用于將拜爾陣列的預(yù) 定圖像轉(zhuǎn)換成預(yù)定低噪聲圖像即包括拜爾陣列的預(yù)定圖像的每個(gè)像素的亮度分量和色差分量的像素值的圖像和降噪的圖像的預(yù)測(cè)系數(shù)。根據(jù)本發(fā)明的實(shí)施例，能夠高度準(zhǔn)確地從拜爾陣列的圖像產(chǎn)生低噪聲YUV圖像。另外，根據(jù)本發(fā)明的另ー個(gè)實(shí)施例，可以學(xué)習(xí)用于高度準(zhǔn)確從拜爾陣列的圖像產(chǎn)生低噪聲YUV圖像的預(yù)測(cè)系數(shù)。


圖I是示出了拜爾陣列的例子的圖；圖2是示出現(xiàn)有技術(shù)的圖像處理設(shè)備的示例性結(jié)構(gòu)的框圖；圖3是示出現(xiàn)有技術(shù)的圖像處理設(shè)備的另一個(gè)示例性結(jié)構(gòu)的框圖；圖4是示出根據(jù)本發(fā)明的實(shí)施例的圖像處理設(shè)備的示例性結(jié)構(gòu)的框圖；圖5是示出預(yù)測(cè)信號(hào)處理單元的詳細(xì)結(jié)構(gòu)例子的框圖；圖6是示出了類別抽頭的抽頭結(jié)構(gòu)的例子的圖；圖7是示出了預(yù)測(cè)抽頭的抽頭結(jié)構(gòu)的例子的圖；圖8是解釋圖像處理設(shè)備的圖像處理的流程圖；圖9是解釋亮度分量的類別分類自適應(yīng)處理的細(xì)節(jié)的流程圖；圖10是示出學(xué)習(xí)設(shè)備的示例性結(jié)構(gòu)的框圖；圖11是解釋學(xué)習(xí)設(shè)備的學(xué)習(xí)處理的流程圖；以及圖12是示出了根據(jù)實(shí)施例的計(jì)算機(jī)的示例性結(jié)構(gòu)的圖。
具體實(shí)施例方式在下文中，將參照附圖詳細(xì)描述本發(fā)明的優(yōu)選實(shí)施例。注意在這個(gè)說明書和附圖中，功能和結(jié)構(gòu)基本相同的組成部件由相同標(biāo)號(hào)進(jìn)行指示，并且省去對(duì)這些組成部件的重復(fù)解釋。<實(shí)施例>[根據(jù)實(shí)施例的圖像處理設(shè)備的示例性結(jié)構(gòu)]
圖4是示出根據(jù)本發(fā)明的實(shí)施例的圖像處理設(shè)備的示例性結(jié)構(gòu)的框圖。在圖4中，與圖3中相同的部件由相同標(biāo)號(hào)進(jìn)行指示。將恰當(dāng)省去對(duì)它們的冗余描述。圖4的圖像處理設(shè)備50包括成像元件11、缺陷像素校正單元51、箝位(clamp)處理單元52、白平衡単元53、預(yù)測(cè)信號(hào)處理單元54、預(yù)測(cè)信號(hào)處理單元55和輸出彩色空間轉(zhuǎn)換單元56。圖像處理設(shè)備50使用類別分類自適應(yīng)處理從拜爾陣列的圖像直接產(chǎn)生低噪聲YUV圖像。圖像處理設(shè)備50的缺陷像素校正単元51、箝位處理單元52和白平衡単元53對(duì)由成像元件11產(chǎn)生的拜爾陣列的圖像執(zhí)行預(yù)處理以提高輸出圖像的質(zhì)量。具體地講，缺陷像素校正單元51根據(jù)從成像元件11提供的拜爾陣列的圖像檢測(cè)成像元件11中的缺陷像素的像素值。成像元件11中的缺陷像素是指不會(huì)響應(yīng)入射光的元·件或者不管任何原因電荷總是保持累積的元件。缺陷像素校正単元51例如使用附近非缺陷像素的像素值校正檢測(cè)到的成像元件11中的缺陷像素的像素值，并且將校正的拜爾陣列的圖像提供給箝位處理單元52。箝位處理單元52對(duì)從缺陷像素校正單元51提供的校正的拜爾陣列的圖像進(jìn)行箝位處理。具體地講，為了防止刪除負(fù)值，成像元件11在正向上偏移模擬信號(hào)的信號(hào)值，然后執(zhí)行AD轉(zhuǎn)換。因此，箝位處理單元52對(duì)校正的拜爾陣列的圖像進(jìn)行箝位從而能夠否定在AD轉(zhuǎn)換時(shí)的偏移部分。箝位處理單元52將箝位的拜爾陣列的圖像提供給白平衡単元53。白平衡単元53通過校正從箝位處理單元52提供的拜爾陣列的圖像的彩色分量的増益來調(diào)整白平衡。白平衡単元53將已經(jīng)調(diào)整了白平衡的拜爾陣列的圖像提供給預(yù)測(cè)信號(hào)處理單兀54和預(yù)測(cè)信號(hào)處理單兀55。預(yù)測(cè)信號(hào)處理單元54基于表示用戶指定的降噪程度的噪聲參數(shù)對(duì)從白平衡単元53提供的拜爾陣列的圖像執(zhí)行針對(duì)亮度分量的類別分類自適應(yīng)處理，并且產(chǎn)生低噪聲YUV圖像的亮度分量。預(yù)測(cè)信號(hào)處理單元54將低噪聲YUV圖像的亮度分量提供給輸出彩色空間轉(zhuǎn)換単元56。預(yù)測(cè)信號(hào)處理單元55基于表示用戶指定的降噪程度的噪聲參數(shù)對(duì)從白平衡単元53提供的拜爾陣列的圖像執(zhí)行針對(duì)色差分量的類別分類自適應(yīng)處理，并且產(chǎn)生低噪聲YUV圖像的色差分量。預(yù)測(cè)信號(hào)處理單元55將低噪聲YUV圖像的色差分量提供給輸出彩色空間轉(zhuǎn)換単元56。輸出彩色空間轉(zhuǎn)換単元56將包括來自預(yù)測(cè)信號(hào)處理單元54的亮度分量和來自預(yù)測(cè)信號(hào)處理單元55的色差分量的YUV圖像轉(zhuǎn)換成由用戶預(yù)先選擇的YUV圖像或RGB圖像的圖像，并且輸出轉(zhuǎn)換后的圖像作為輸出圖像。具體地講，當(dāng)用戶選擇的圖像是YUV圖像時(shí)，輸出彩色空間轉(zhuǎn)換単元56原樣輸出包括來自預(yù)測(cè)信號(hào)處理單元54的亮度分量和來自預(yù)測(cè)信號(hào)處理單元55的色差分量的YUV圖像作為輸出圖像。然而，當(dāng)用戶選擇的圖像是RGB圖像吋，輸出彩色空間轉(zhuǎn)換単元56將包括來自預(yù)測(cè)信號(hào)處理單元54的亮度分量和來自預(yù)測(cè)信號(hào)處理單元55的色差分量的YUV圖像轉(zhuǎn)換成遵照ITU-RBT. 601等等的RGB圖像。然后，輸出彩色空間轉(zhuǎn)換單元56輸出轉(zhuǎn)換后的RGB圖像作為輸出圖像。[預(yù)測(cè)信號(hào)處理單元的詳細(xì)結(jié)構(gòu)例子]
圖5是示出圖4所示的預(yù)測(cè)信號(hào)處理單元54的詳細(xì)結(jié)構(gòu)例子的框圖。圖5的預(yù)測(cè)信號(hào)處理單元54包括預(yù)測(cè)抽頭獲取単元71、類別抽頭獲取単元72、類別號(hào)產(chǎn)生単元73、系數(shù)產(chǎn)生單元74和預(yù)測(cè)計(jì)算單元75。預(yù)測(cè)信號(hào)處理單元54的預(yù)測(cè)抽頭獲取単元71順序設(shè)置要進(jìn)行預(yù)測(cè)的低噪聲YUV圖像的每個(gè)像素作為關(guān)注像素。預(yù)測(cè)抽頭獲取単元71從由圖4所示的白平衡単元53提供的拜爾陣列的圖像獲取用于預(yù)測(cè)關(guān)注像素的亮度分量的像素值的ー個(gè)或多個(gè)像素值作為預(yù)測(cè)抽頭。然后，預(yù)測(cè)抽頭獲取単元71將預(yù)測(cè)抽頭提供給預(yù)測(cè)計(jì)算單元75。類別抽頭獲取単元72從由白平衡単元53提供的拜爾陣列的圖像獲取用于執(zhí)行類別分類以將關(guān)注像素的亮度分量的像素值分類成一個(gè)或更多類別中的任何ー個(gè)的ー個(gè)或多個(gè)像素值作為類別抽頭。然后，類別抽頭獲取単元72將類別抽頭提供給類別號(hào)產(chǎn)生單元73。類別號(hào)產(chǎn)生單元73用作亮度類別分類単元，并且基于從類別抽頭獲取單元72提供的每個(gè)彩色分量的類別抽頭對(duì)關(guān)注像素的亮度分量的像素值執(zhí)行類別分類。類別號(hào)產(chǎn)生単元73產(chǎn)生與作為結(jié)果獲得的類別對(duì)應(yīng)的類別號(hào)，并且將產(chǎn)生的類別號(hào)提供給系數(shù)產(chǎn)生單元74。例如，可以采用使用自適應(yīng)動(dòng)態(tài)范圍編碼(ADRC)的方法作為執(zhí)行類別分類的方法。當(dāng)采用使用ADRC的方法作為執(zhí)行類別分類的方法吋，構(gòu)成類別抽頭的像素值經(jīng)歷ADRC處理，并且根據(jù)作為結(jié)果獲得的再量化碼決定關(guān)注像素的類別號(hào)。具體地講，執(zhí)行根據(jù)指定的比特?cái)?shù)P均等分割類別抽頭的最大值MAX與最小值MIN之間的值并且通過下面公式(I)再量化分割結(jié)果的處理作為ADRC處理。qi=[(ki-MIN+0. 5)*2~p/DR]. . . (I)在公式(I)中，[]是指[]中的值的小數(shù)點(diǎn)后的數(shù)字被截?cái)?。另外，Ici表示類別抽頭的第i個(gè)像素值，Qi表示類別抽頭的第i個(gè)像素值的再量化碼。另外，DR表示動(dòng)態(tài)范圍并且是 “MAX-MIN+1”。然后，在下面公式(2)中使用如上所述獲得的再量化碼Qi計(jì)算關(guān)注像素的類別號(hào)類別。[數(shù)學(xué)式I]
權(quán)利要求
1.一種圖像處理設(shè)備，包括 亮度預(yù)測(cè)計(jì)算單元，通過使用與低噪聲圖像對(duì)應(yīng)的教師圖像和與拜爾陣列的圖像對(duì)應(yīng)的學(xué)生圖像計(jì)算亮度預(yù)測(cè)抽頭和亮度分量的預(yù)測(cè)系數(shù)來計(jì)算關(guān)注像素的亮度分量的像素值，所述關(guān)注像素是在與預(yù)定的拜爾陣列的圖像對(duì)應(yīng)的預(yù)定低噪聲圖像中的吸引注意的像素，通過求解表示教師圖像的每個(gè)像素的亮度分量的像素值，學(xué)生圖像中與該像素對(duì)應(yīng)的像素的像素值以及亮度分量的預(yù)測(cè)系數(shù)之間關(guān)系的方程式來學(xué)習(xí)亮度分量的預(yù)測(cè)系數(shù)，所述低噪聲圖像是這樣的圖像，低噪聲圖像是具有減小的噪聲的圖像并且低噪聲圖像由拜爾陣列圖像的每個(gè)像素的亮度分量和色差分量的像素值構(gòu)成，所述亮度預(yù)測(cè)抽頭由與關(guān)注像素對(duì)應(yīng)的預(yù)定的拜爾陣列的圖像的像素的像素值構(gòu)成；以及 色差預(yù)測(cè)計(jì)算單元，通過使用教師圖像和學(xué)生圖像計(jì)算色差分量的預(yù)測(cè)系數(shù)和與預(yù)定的低噪聲圖像中的關(guān)注像素對(duì)應(yīng)的色差預(yù)測(cè)抽頭來計(jì)算關(guān)注像素的色差分量的像素值，其中通過求解表示教師圖像的每個(gè)像素的色差分量的像素值、學(xué)生圖像中與該像素對(duì)應(yīng)的像素的像素值以及色差分量的預(yù)測(cè)系數(shù)之間關(guān)系的方程式來學(xué)習(xí)色差分量的預(yù)測(cè)系數(shù)，所述色差預(yù)測(cè)抽頭由預(yù)定的拜爾陣列的圖像的像素的像素值構(gòu)成，并且色差分量的預(yù)測(cè)系數(shù)的降噪效果高于亮度分量的預(yù)測(cè)系數(shù)的降噪效果。
2.根據(jù)權(quán)利要求I的圖像處理設(shè)備， 其中，針對(duì)表示預(yù)定低噪聲圖像中的降噪程度的每個(gè)噪聲參數(shù)學(xué)習(xí)亮度分量的預(yù)測(cè)系數(shù)和色差分量的預(yù)測(cè)系數(shù)， 亮度預(yù)測(cè)計(jì)算單元通過基于預(yù)定噪聲參數(shù)計(jì)算該噪聲參數(shù)的亮度分量的預(yù)測(cè)系數(shù)和亮度預(yù)測(cè)抽頭來計(jì)算關(guān)注像素的亮度分量的像素值，以及 色差預(yù)測(cè)計(jì)算單元通過基于預(yù)定噪聲參數(shù)計(jì)算該噪聲參數(shù)的色差分量的預(yù)測(cè)系數(shù)和色差預(yù)測(cè)抽頭來計(jì)算關(guān)注像素的色差分量的像素值。
3.根據(jù)權(quán)利要求I的圖像處理設(shè)備，還包括 亮度預(yù)測(cè)抽頭獲取單元，從預(yù)定的拜爾陣列的圖像獲取亮度預(yù)測(cè)抽頭；以及 色差預(yù)測(cè)抽頭獲取單元，從預(yù)定的拜爾陣列的圖像獲取色差預(yù)測(cè)抽頭。
4.根據(jù)權(quán)利要求I的圖像處理設(shè)備，還包括 亮度類別抽頭獲取單元，獲取與關(guān)注像素對(duì)應(yīng)的預(yù)定的拜爾陣列的圖像的像素的像素值作為用于執(zhí)行類別分類的亮度類別抽頭，所述類別分類用于將關(guān)注像素的亮度分量的像素值分類到多個(gè)類別中的任何一個(gè)； 亮度類別分類單元，基于由亮度類別抽頭獲取單元獲取的亮度類別抽頭對(duì)關(guān)注像素的亮度分量的像素值進(jìn)行分類； 色差類別抽頭獲取單元，獲取與關(guān)注像素對(duì)應(yīng)的預(yù)定的拜爾陣列的圖像的像素的像素值作為用于對(duì)關(guān)注像素的色差分量的像素值執(zhí)行類別分類的色差類別抽頭；以及 色差類別分類單元，基于由色差類別抽頭獲取單元獲取的色差類別抽頭，對(duì)關(guān)注像素的色差分量的像素值進(jìn)行分類， 其中，針對(duì)每個(gè)類別學(xué)習(xí)亮度分量的預(yù)測(cè)系數(shù)和色差分量的預(yù)測(cè)系數(shù)， 亮度預(yù)測(cè)計(jì)算單元通過計(jì)算與由亮度類別分類單元執(zhí)行類別分類獲得的關(guān)注像素的亮度分量的像素值的類別對(duì)應(yīng)的亮度分量的預(yù)測(cè)系數(shù)和亮度預(yù)測(cè)抽頭來計(jì)算關(guān)注像素的亮度分量的像素值，以及色差預(yù)測(cè)計(jì)算單元通過計(jì)算與由色差類別分類單元執(zhí)行類別分類獲得的關(guān)注像素的色差分量的像素值的類別對(duì)應(yīng)的色差分量的預(yù)測(cè)系數(shù)和色差預(yù)測(cè)抽頭來計(jì)算關(guān)注像素的色差分量的像素值。
5.—種圖像處理方法,包括 在圖像處理設(shè)備處， 通過使用與低噪聲圖像對(duì)應(yīng)的教師圖像和與拜爾陣列的圖像對(duì)應(yīng)的學(xué)生圖像計(jì)算亮度預(yù)測(cè)抽頭和亮度分量的預(yù)測(cè)系數(shù)來計(jì)算關(guān)注像素的亮度分量的像素值，所述關(guān)注像素是在與預(yù)定的拜爾陣列的圖像對(duì)應(yīng)的預(yù)定低噪聲圖像中的吸引注意的像素，通過求解表示教師圖像的每個(gè)像素的亮度分量的像素值，學(xué)生圖像中與該像素對(duì)應(yīng)的像素的像素值以及亮度分量的預(yù)測(cè)系數(shù)之間關(guān)系的方程式來學(xué)習(xí)亮度分量的預(yù)測(cè)系數(shù)，所述低噪聲圖像是這樣的圖像，低噪聲圖像是具有減小的噪聲的圖像并且低噪聲圖像由拜爾陣列圖像的每個(gè)像素的亮度分量和色差分量的像素值構(gòu)成，所述亮度預(yù)測(cè)抽頭由與關(guān)注像素對(duì)應(yīng)的預(yù)定的拜爾陣列的圖像的像素的像素值構(gòu)成；以及 通過使用教師圖像和學(xué)生圖像計(jì)算色差分量的預(yù)測(cè)系數(shù)和與預(yù)定的低噪聲圖像中的關(guān)注像素對(duì)應(yīng)的色差預(yù)測(cè)抽頭來計(jì)算關(guān)注像素的色差分量的像素值，其中通過求解表示教師圖像的每個(gè)像素的色差分量的像素值、學(xué)生圖像中與該像素對(duì)應(yīng)的像素的像素值以及色差分量的預(yù)測(cè)系數(shù)之間關(guān)系的方程式來學(xué)習(xí)色差分量的預(yù)測(cè)系數(shù)，所述色差預(yù)測(cè)抽頭由預(yù)定的拜爾陣列的圖像的像素的像素值構(gòu)成，并且色差分量的預(yù)測(cè)系數(shù)的降噪效果高于亮度分量的預(yù)測(cè)系數(shù)的降噪效果。
6.一種程序，使得計(jì)算機(jī)執(zhí)行如下處理 通過使用與低噪聲圖像對(duì)應(yīng)的教師圖像和與拜爾陣列的圖像對(duì)應(yīng)的學(xué)生圖像計(jì)算亮度預(yù)測(cè)抽頭和亮度分量的預(yù)測(cè)系數(shù)來計(jì)算關(guān)注像素的亮度分量的像素值，所述關(guān)注像素是在與預(yù)定的拜爾陣列的圖像對(duì)應(yīng)的預(yù)定低噪聲圖像中的吸引注意的像素，通過求解表示教師圖像的每個(gè)像素的亮度分量的像素值，學(xué)生圖像中與該像素對(duì)應(yīng)的像素的像素值以及亮度分量的預(yù)測(cè)系數(shù)之間關(guān)系的方程式來學(xué)習(xí)亮度分量的預(yù)測(cè)系數(shù)，所述低噪聲圖像是這樣的圖像，低噪聲圖像是具有減小的噪聲的圖像并且低噪聲圖像由拜爾陣列圖像的每個(gè)像素的亮度分量和色差分量的像素值構(gòu)成，所述亮度預(yù)測(cè)抽頭由與關(guān)注像素對(duì)應(yīng)的預(yù)定的拜爾陣列的圖像的像素的像素值構(gòu)成；以及 通過使用教師圖像和學(xué)生圖像計(jì)算色差分量的預(yù)測(cè)系數(shù)和與預(yù)定的低噪聲圖像中的關(guān)注像素對(duì)應(yīng)的色差預(yù)測(cè)抽頭來計(jì)算關(guān)注像素的色差分量的像素值，其中通過求解表示教師圖像的每個(gè)像素的色差分量的像素值、學(xué)生圖像中與該像素對(duì)應(yīng)的像素的像素值以及色差分量的預(yù)測(cè)系數(shù)之間關(guān)系的方程式來學(xué)習(xí)色差分量的預(yù)測(cè)系數(shù)，所述色差預(yù)測(cè)抽頭由預(yù)定的拜爾陣列的圖像的像素的像素值構(gòu)成，并且色差分量的預(yù)測(cè)系數(shù)的降噪效果高于亮度分量的預(yù)測(cè)系數(shù)的降噪效果。
7.一種記錄權(quán)利要求6中所述的程序的記錄介質(zhì)。
8.—種學(xué)習(xí)設(shè)備,包括 學(xué)習(xí)單元，所述學(xué)習(xí)單元通過使用與關(guān)注像素的對(duì)應(yīng)的預(yù)測(cè)抽頭和關(guān)注像素的像素值求解表示教師圖像的每個(gè)像素的像素值、該像素的預(yù)測(cè)抽頭以及預(yù)測(cè)系數(shù)之間關(guān)系的方程式來計(jì)算預(yù)測(cè)系數(shù)，所述預(yù)測(cè)系數(shù)用于將預(yù)定的拜爾陣列的圖像轉(zhuǎn)換成預(yù)定的低噪聲圖像，所述低噪聲圖像是這樣的圖像，低噪聲圖像具有減小的噪聲的圖像并且低噪聲圖像由預(yù)定的拜爾陣列的圖像的每個(gè)像素的亮度分量和色差分量的像素值構(gòu)成，所述教師圖像用于學(xué)習(xí)預(yù)測(cè)系數(shù)并且與預(yù)定的低噪聲圖像對(duì)應(yīng)，所述關(guān)注像素是教師圖像中吸引注意的像素，所述預(yù)測(cè)抽頭由與關(guān)注像素對(duì)應(yīng)的且與預(yù)定的拜爾陣列的圖像對(duì)應(yīng)的學(xué)生圖像的像素的像素值構(gòu)成。
9.根據(jù)權(quán)利要求8的學(xué)習(xí)設(shè)備，還包括 噪聲添加單元，將預(yù)定噪聲加入教師圖像； 彩色空間轉(zhuǎn)換單元，將通過噪聲添加單元加入預(yù)定噪聲的教師圖像轉(zhuǎn)換成由教師圖像的每個(gè)像素的多個(gè)預(yù)定彩色分量的像素值構(gòu)成的彩色圖像；以及 間隔剔除處理單元，對(duì)由彩色空間轉(zhuǎn)換單元轉(zhuǎn)換的彩色圖像的每個(gè)像素的多個(gè)預(yù)定彩色分量的像素值之中的預(yù)定彩色分量的像素值進(jìn)行間隔剔除，并且將作為結(jié)果獲得的拜爾陣列的圖像設(shè)置為學(xué)生圖像。
10.根據(jù)權(quán)利要求9的學(xué)習(xí)設(shè)備， 其中，噪聲添加單元針對(duì)表示預(yù)定低噪聲圖像中的降噪程度的每個(gè)噪聲參數(shù)添加與該噪聲參數(shù)對(duì)應(yīng)的預(yù)定噪聲，以及 所述學(xué)習(xí)單元通過針對(duì)每個(gè)噪聲參數(shù)使用預(yù)測(cè)抽頭和關(guān)注像素的像素值求解所述方程式來計(jì)算每個(gè)噪聲參數(shù)的預(yù)測(cè)系數(shù)，所述預(yù)測(cè)抽頭由構(gòu)成與該噪聲參數(shù)對(duì)應(yīng)的學(xué)生圖像并且對(duì)應(yīng)于關(guān)注像素的像素的像素值構(gòu)成。
11.根據(jù)權(quán)利要求8的學(xué)習(xí)設(shè)備，還包括 預(yù)測(cè)抽頭獲取單元，用于從學(xué)生圖像獲取預(yù)測(cè)抽頭。
12.根據(jù)權(quán)利要求8的學(xué)習(xí)設(shè)備，還包括 類別抽頭獲取單元，獲取與關(guān)注像素對(duì)應(yīng)的學(xué)生圖像的像素的像素值作為用于執(zhí)行類別分類的類別抽頭，所述類別分類將關(guān)注像素分類到多個(gè)類別中的任何一個(gè)；以及 類別分類單元，基于由類別抽頭獲取單元獲取的類別抽頭對(duì)關(guān)注像素執(zhí)行類別分類， 其中，學(xué)習(xí)單元通過使用關(guān)注像素的像素值和預(yù)測(cè)抽頭針對(duì)關(guān)注像素的每個(gè)類別求解所述方程式來計(jì)算每個(gè)類別的預(yù)測(cè)系數(shù)。
13.—種學(xué)習(xí)方法，包括 在學(xué)習(xí)設(shè)備， 通過使用與關(guān)注像素的對(duì)應(yīng)的預(yù)測(cè)抽頭和關(guān)注像素的像素值求解表示教師圖像的每個(gè)像素的像素值、該像素的預(yù)測(cè)抽頭以及預(yù)測(cè)系數(shù)之間關(guān)系的方程式來計(jì)算預(yù)測(cè)系數(shù)，所述預(yù)測(cè)系數(shù)用于將預(yù)定的拜爾陣列的圖像轉(zhuǎn)換成預(yù)定的低噪聲圖像，所述低噪聲圖像是這樣的圖像，低噪聲圖像是具有減小的噪聲的圖像并且低噪聲圖像由預(yù)定的拜爾陣列的圖像的每個(gè)像素的亮度分量和色差分量的像素值構(gòu)成，所述教師圖像用于學(xué)習(xí)預(yù)測(cè)系數(shù)并且與預(yù)定的低噪聲圖像對(duì)應(yīng)，所述關(guān)注像素是教師圖像中吸引注意的像素，所述預(yù)測(cè)抽頭由與關(guān)注像素對(duì)應(yīng)的且與預(yù)定的拜爾陣列的圖像對(duì)應(yīng)的學(xué)生圖像的像素的像素值構(gòu)成。
14.一種程序，使得計(jì)算機(jī)執(zhí)行如下處理 通過使用與關(guān)注像素的對(duì)應(yīng)的預(yù)測(cè)抽頭和關(guān)注像素的像素值求解表示教師圖像的每個(gè)像素的像素值、該像素的預(yù)測(cè)抽頭以及預(yù)測(cè)系數(shù)之間關(guān)系的方程式來計(jì)算預(yù)測(cè)系數(shù)，所述預(yù)測(cè)系數(shù)用于將預(yù)定的拜爾陣列的圖像轉(zhuǎn)換成預(yù)定的低噪聲圖像，所述低噪聲圖像是這樣的圖像，低噪聲圖像具有減小的噪聲的圖像并且低噪聲圖像由預(yù)定的拜爾陣列的圖像的每個(gè)像素的亮度分量和色差分量的像素值構(gòu)成，所述教師圖像用于學(xué)習(xí)預(yù)測(cè)系數(shù)并且與預(yù)定的低噪聲圖像對(duì)應(yīng)，所述關(guān)注像素是教師圖像中吸引注意的像素，所述預(yù)測(cè)抽頭由與關(guān)注像素對(duì)應(yīng)的且與預(yù)定的拜爾陣列的圖像對(duì)應(yīng)的學(xué)生圖像的像素的像素值構(gòu)成。
15.—種記錄權(quán)利要求14中所述的程序的記錄介質(zhì)。
全文摘要
預(yù)測(cè)信號(hào)處理單元通過計(jì)算亮度分量的預(yù)測(cè)系數(shù)和亮度預(yù)測(cè)抽頭計(jì)算關(guān)注像素的亮度分量的像素值。預(yù)測(cè)信號(hào)處理單元通過計(jì)算降噪效果高于亮度分量的預(yù)測(cè)系數(shù)的色差分量的預(yù)測(cè)系數(shù)和色差預(yù)測(cè)抽頭計(jì)算關(guān)注像素的色差分量的像素值。例如，本發(fā)明可以應(yīng)用到圖像處理設(shè)備。
文檔編號(hào)H04N5/217GK102790885SQ201210146230
公開日2012年11月21日 申請(qǐng)日期2012年5月11日 優(yōu)先權(quán)日2011年5月20日
發(fā)明者千田圭祐 申請(qǐng)人:索尼公司