用于數(shù)字圖像的自適應(yīng)縮放的系統(tǒng)和方法
【專利說明】用于數(shù)字圖像的自適應(yīng)縮放的系統(tǒng)和方法
[0001]相關(guān)申請的交叉參考
[0002]本發(fā)明要求2012年12月19日提交的名稱為“Adaptive Scaler”的美國臨時(shí)申請第61/739，428號的優(yōu)先權(quán)，其全部內(nèi)容通過引用并入與此。
技術(shù)領(lǐng)域
[0003]本發(fā)明總體來說涉及圖像處理，更具體地，涉及數(shù)字圖像縮放。
【背景技術(shù)】
[0004]隨著高清晰度(HD)電視在市場上變得越來越普及，以高清分辨率觀看內(nèi)容的消費(fèi)者預(yù)期也連續(xù)增長。在高清電視上以標(biāo)準(zhǔn)分辨率觀看內(nèi)容通產(chǎn)被視為令人失望和不期望的。不幸的是，大量的廣播內(nèi)容以標(biāo)準(zhǔn)清晰度格式進(jìn)行記錄或存儲。圖像提升提供了用于將低分辨率圖像或視頻插入較高分辨率的程序，盡管利用的是低分辨率源，但是提供了機(jī)會以提供內(nèi)容的更悅?cè)?、更高分辨率顯示。

【發(fā)明內(nèi)容】

[0005]提供了用于提升數(shù)字圖像的系統(tǒng)和方法。訪問將被提升的數(shù)字圖像，該數(shù)字圖像包括多個(gè)像素值?；诃h(huán)繞數(shù)字圖像中的第一點(diǎn)的數(shù)字圖像的多個(gè)像素值針對第一點(diǎn)計(jì)算第一半像素值。第一半像素值通過以下方式計(jì)算:確定第一點(diǎn)是否為數(shù)字圖像的高活躍區(qū)；當(dāng)?shù)谝稽c(diǎn)被確定為高活躍區(qū)時(shí)，選擇第一候選作為第一半像素值；以及當(dāng)?shù)谝稽c(diǎn)被確定為不在高活躍區(qū)中時(shí)，選擇不同候選作為第一半像素值。針對數(shù)字圖像中的第二點(diǎn)計(jì)算第二半像素值，以及使用多個(gè)像素值、第一半像素值和第二半像素值確定數(shù)字圖像的提升版本的插值像素。
[0006]作為另一實(shí)例，用于提升數(shù)字圖像的系統(tǒng)包括計(jì)算機(jī)可讀介質(zhì)，被配置成存儲將被提升的數(shù)字圖像的像素值。第一半像素計(jì)算器被配置成基于環(huán)繞數(shù)字圖像中的第一點(diǎn)的數(shù)字圖像的多個(gè)像素值為第一點(diǎn)計(jì)算第一半像素值，其中第一半像素計(jì)算器被配置成通過以下方式計(jì)算第一半像素值:確定第一點(diǎn)是否為數(shù)字圖像的高活躍區(qū)，以及基于第一點(diǎn)是否為高活躍區(qū)來選擇第一候選或不同候選作為第一半像素。第二半像素計(jì)算器被配置成為數(shù)字圖像中的第二點(diǎn)計(jì)算第二半像素值。插值像素計(jì)算器被配置成使用多個(gè)像素值、第一半像素值和第二半像素值確定數(shù)字圖像的提升版本的插值像素，以及計(jì)算機(jī)可讀介質(zhì)被配置成存儲插值像素。
【附圖說明】
[0007]圖1是描繪將被提升的數(shù)字圖像的像素的示圖。
[0008]圖2是描繪提升數(shù)字圖像的方法的流程圖。
[0009]圖3是描繪第一半像素值的計(jì)算的示圖。
[0010]圖4是描繪用于在第一點(diǎn)計(jì)算第一半像素值的處理的流程圖。
[0011]圖5是描繪用于計(jì)算第一半像素值的附加處理的流程圖。
[0012]圖6是描繪在數(shù)字圖像中的第二點(diǎn)處計(jì)算第二半像素值的示圖。
[0013]圖7和圖8是描繪用于計(jì)算第二半像素值的處理的流程圖。
[0014]圖9是描繪用于插值像素在數(shù)字圖像的區(qū)域中的位置的示圖。
[0015]圖10是描繪系統(tǒng)實(shí)施的示圖。
[0016]圖11是描繪用于提升數(shù)字圖像的系統(tǒng)的框圖。
[0017]圖12是描繪提升數(shù)字圖像的計(jì)算機(jī)實(shí)施的方法的流程圖。
【具體實(shí)施方式】
[0018]圖1是描繪將被提升的數(shù)字圖像(諸如將被提升至更高清分辨率的標(biāo)準(zhǔn)清晰度視頻的幀)的像素的示圖。像素P00-P33中的每一個(gè)都與用作加亮顯示器上的像素的指令的像素值相關(guān)聯(lián)。從計(jì)算機(jī)可讀介質(zhì)中得到這些值以開始提升處理，從而將數(shù)字圖像轉(zhuǎn)換為更高的分辨率。在圖1中顯示的低分辨率數(shù)字圖像在所描繪的數(shù)字圖像的區(qū)域中包括16個(gè)像素。為了將數(shù)字圖像提升至更高分辨率，在所示16個(gè)像素之間插入附加像素，使得當(dāng)顯示數(shù)字圖像的相同部分時(shí)，可以在顯示器中照亮更多的像素。數(shù)字圖像可以根據(jù)任何比率(包括非整數(shù)比率)提升。例如，數(shù)字圖像可以從256*256像素提升至3920*2160像素、從130*130像素提升至721*365像素等。
[0019]像素插值的處理提供了基于環(huán)繞像素中存在的信息將適當(dāng)?shù)南袼刂涤糜谠诃h(huán)繞新像素的現(xiàn)有像素之間插入的新像素的最好猜想。有質(zhì)量的插值可以產(chǎn)生令人滿意的高分辨率圖像，其看起來可與高分辨率拍攝的圖像相比。然而，較差的插值會導(dǎo)致不想要的偽像，諸如鋸齒和模糊。
[0020]圖2是描繪提升數(shù)字圖像的方法的流程圖。將被提升的數(shù)字圖像202被提供至第一模塊204，其中使用數(shù)字圖像202的像素在數(shù)字圖像的像素之間計(jì)算一個(gè)或多個(gè)第一半像素的值。第二半像素計(jì)算模塊206計(jì)算數(shù)字圖像202的像素與204處計(jì)算的第一半像素值之間的一個(gè)或多個(gè)第二半像素值。第二半像素使用數(shù)字圖像202的像素以及204處計(jì)算的第一半像素來計(jì)算。半像素值通過表示邏輯像素結(jié)構(gòu)的一組靈活條件、基于隱式邊緣標(biāo)識來反映正確的插值方向。在208中，確定將被插入數(shù)字圖像202的像素之間的插值像素以確切表示所提升的數(shù)字圖像210。如本文進(jìn)一步描述的，該插值像素基于數(shù)字圖像202的像素、在204中計(jì)算的第一半像素值和在206處計(jì)算的第二半像素來確定。
[0021]圖3是描繪第一半像素值的計(jì)算的示圖。該第一半像素值針對數(shù)字圖像的像素的每個(gè)4*4塊來計(jì)算。該第一半像素值的位置在圖3中通過標(biāo)識為HP的交叉符號來示出。其他的第一半像素基于環(huán)繞這些位置的16個(gè)像素值、在四個(gè)像素(例如，P00、P01、P10、P11)的其他正方形組的每一個(gè)的中間來計(jì)算。
[0022]圖4是描繪在第一點(diǎn)處計(jì)算第一半像素值(例如，在圖3中表示為HP的位置的像素值)的處理的流程圖。在402中，(例如，使用圖5的步驟504、506、508、510)確定第一點(diǎn)是否為高活躍區(qū)，諸如似乎包括多個(gè)邊緣或其他高頻率像素?cái)?shù)據(jù)的區(qū)域。在404中，當(dāng)?shù)谝稽c(diǎn)被確定為高活躍區(qū)時(shí)，第一候選被選擇作為第一半像素值408。當(dāng)?shù)谝稽c(diǎn)被確定為不在高活躍區(qū)中時(shí)，在406中不同候選被選擇作為第一半像素值408。
[0023]圖5是描繪用于計(jì)算第一半像素值的附加處理的流程圖。在502中，用于數(shù)字圖像中的第一點(diǎn)的第一像素值的三個(gè)候選根據(jù)等式(1)、⑵和⑶計(jì)算:
[0024]方向DO:
[0025]HP_candl = FourTapFilter (POO, Pll, P22, P33) (I)
[0026]方向Dl:
[0027]HP_cand2 = FourTapFilter (P03, P12, P21, P30) (2)
[0028]水平和豎直方向:
[0029]Vi = FourTapFilter (POi, Pli, P2i, P3i), i = 0，1，2，3
[0030]HP_can3 = FourTapFilter (VO, VI, V2, V3) (3)
[0031]其中，F(xiàn)ourTapFilter是包括來自64相位多項(xiàng)濾波器中的一個(gè)相位的相同系數(shù)的濾波器。
[0032]三個(gè)候選(HP_candl、HP_cand2、HP_cand3)中的一個(gè)基于來自周圍的4*4像素的本地邊緣信息來選擇，其根據(jù)以下計(jì)算而固有地檢測。在504中，在(如圖3所示的)方向DO和Dl上計(jì)算二階導(dǎo)數(shù)。如果一個(gè)方向上的導(dǎo)數(shù)明顯大于另一方向上的導(dǎo)數(shù)，則指示沿著那些方向中的一個(gè)方向的邊緣。在高活躍區(qū)中，邊緣方向可以從一個(gè)像素到下一個(gè)像素頻繁地變化。因此，那些區(qū)域?qū)吘壸赃m應(yīng)插值方法提出最大的挑戰(zhàn)，使得如果那些區(qū)域不被適當(dāng)處理就會在提升數(shù)字圖像中產(chǎn)生新的偽像。
[0033]由于頻繁邊緣方向變化的可能性，代替使用導(dǎo)數(shù)來標(biāo)識對角邊緣，圖5的處理使用導(dǎo)數(shù)來檢測高活躍區(qū)，其中針對高活躍區(qū)選擇不同的第一半像素值計(jì)算技術(shù)。因此，HP_can3被選擇用于通過導(dǎo)數(shù)和其他參數(shù)的特定條件來表示的高活躍區(qū)。對于沒有被確定為高活躍區(qū)的區(qū)域，HP_canl和HP_can2中的一個(gè)基于大部分的相鄰對角線方向而選擇。
[0034]具體地，在一個(gè)實(shí)例中，在504中，根據(jù)等式(4)和(5)計(jì)算二階導(dǎo)數(shù)DDO和DDl:
[0035]DDO= |P00+P22-2*P11 | + |P11+P33-2*P22| + |P10+P32-2*P21
[0036]+|P01+P23_2*P12|(4)
[0