圖像處理裝置、圖像處理方法以及電子設(shè)備的制作方法
【專利摘要】本發(fā)明提供了圖像處理裝置、圖像處理方法以及電子設(shè)備，以克服利用現(xiàn)有的圖像處理技術(shù)對(duì)圖像中像素的缺失顏色分量進(jìn)行補(bǔ)償時(shí)所得到的結(jié)果圖像的精度較低和/或質(zhì)量較差的問題。上述裝置包括：梯度計(jì)算單元，用于計(jì)算圖像的待處理像素在多個(gè)預(yù)定方向上的梯度；方向確定單元，用于根據(jù)計(jì)算的梯度確定多個(gè)預(yù)定方向中與待處理像素在顏色特征上最關(guān)聯(lián)的至少一個(gè)方向；以及缺失顏色分量獲得單元，用于針對(duì)待處理像素所缺失的至少部分缺失顏色分量中的每一個(gè)，獲得待處理像素分別在至少一個(gè)方向中的每一個(gè)上的該缺失顏色分量，以得到待處理像素在圖像中的該缺失顏色分量。本發(fā)明的上述技術(shù)能夠應(yīng)用于圖像處理領(lǐng)域。
【專利說(shuō)明】圖像處理裝置、圖像處理方法以及電子設(shè)備

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理領(lǐng)域，尤其涉及圖像處理裝置、圖像處理方法以及電子設(shè)備。

【背景技術(shù)】
[0002]圖像處理逐漸成為一個(gè)熱門的研究領(lǐng)域。在諸如去馬賽克處理、圖像恢復(fù)等一些圖像處理技術(shù)中，圖像中的某些像素往往缺失部分顏色信息(或稱顏色分量)，使得顯示設(shè)備在顯示這些包含缺失顏色信息的圖像時(shí)，呈現(xiàn)出來(lái)的圖像往往精度較差，或者不夠準(zhǔn)確，甚至可能會(huì)嚴(yán)重影響圖像的質(zhì)量。
[0003]然而，現(xiàn)有的一些圖像技術(shù)(諸如，使用雙線性過(guò)濾來(lái)恢復(fù)RGB像素的圖像處理技術(shù)，基于邊緣的插值方法使用簡(jiǎn)單的水平梯度或者垂直梯度來(lái)選擇插值方向以恢復(fù)RGB像素的圖像處理技術(shù)等)常常存在假色和/或鋸齒效果，從而導(dǎo)致利用上述現(xiàn)有的圖像處理技術(shù)對(duì)圖像中像素的缺失顏色分量進(jìn)行補(bǔ)償時(shí)所得到的結(jié)果圖像的精度較低和/或質(zhì)量較差。


【發(fā)明內(nèi)容】

[0004]在下文中給出了關(guān)于本發(fā)明的簡(jiǎn)要概述，以便提供關(guān)于本發(fā)明的某些方面的基本理解。應(yīng)當(dāng)理解，這個(gè)概述并不是關(guān)于本發(fā)明的窮舉性概述。它并不是意圖確定本發(fā)明的關(guān)鍵或重要部分，也不是意圖限定本發(fā)明的范圍。其目的僅僅是以簡(jiǎn)化的形式給出某些概念，以此作為稍后論述的更詳細(xì)描述的前序。
[0005]鑒于此，本發(fā)明提供了圖像處理裝置、圖像處理方法以及電子設(shè)備，以至少解決利用現(xiàn)有的圖像處理技術(shù)對(duì)圖像中像素的缺失顏色分量進(jìn)行補(bǔ)償時(shí)所得到的結(jié)果圖像的精度較低和/或質(zhì)量較差的問題。
[0006]根據(jù)本發(fā)明的一個(gè)方面，提供了一種圖像處理裝置，該圖像處理裝置包括:梯度計(jì)算單元，其被配置用于計(jì)算圖像的待處理像素在多個(gè)預(yù)定方向上的梯度；方向確定單元，其被配置用于根據(jù)梯度計(jì)算單元計(jì)算的梯度來(lái)確定多個(gè)預(yù)定方向中與待處理像素在顏色特征上最關(guān)聯(lián)的至少一個(gè)方向；以及缺失顏色分量獲得單元，其被配置用于針對(duì)待處理像素所缺失的至少部分缺失顏色分量中的每一個(gè)，利用圖像中包含待處理像素的預(yù)定大小區(qū)域中的、具有該缺失顏色分量的像素的該缺失顏色分量，獲得待處理像素分別在至少一個(gè)方向中的每一個(gè)上的該缺失顏色分量，以得到待處理像素在圖像中的該缺失顏色分量。
[0007]根據(jù)本發(fā)明的另一個(gè)方面，還提供了一種圖像處理方法，該圖像處理方法包括:計(jì)算圖像的待處理像素在多個(gè)預(yù)定方向上的梯度；根據(jù)計(jì)算的梯度確定多個(gè)預(yù)定方向中與待處理像素在顏色特征上最關(guān)聯(lián)的至少一個(gè)方向；以及針對(duì)待處理像素所缺失的至少部分缺失顏色分量中的每一個(gè)，利用圖像中包含待處理像素的預(yù)定大小區(qū)域中的、具有該缺失顏色分量的像素的該缺失顏色分量，獲得待處理像素分別在至少一個(gè)方向上的該缺失顏色分量，以得到待處理像素在圖像中的該缺失顏色分量。
[0008]根據(jù)本發(fā)明的另一個(gè)方面，還提供了一種電子設(shè)備，該電子設(shè)備包括如上所述的圖像處理裝置。
[0009]根據(jù)本發(fā)明的又一個(gè)方面，還提供了一種存儲(chǔ)有機(jī)器可讀取的指令代碼的程序產(chǎn)品，上述程序產(chǎn)品在執(zhí)行時(shí)能夠使上述機(jī)器執(zhí)行如上所述的圖像處理方法。
[0010]此外，根據(jù)本發(fā)明的其他方面，還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有如上所述的程序產(chǎn)品。
[0011]上述根據(jù)本發(fā)明實(shí)施例的圖像處理裝置、圖像處理方法以及電子設(shè)備，其利用圖像的待處理像素在多個(gè)預(yù)定方向上的梯度來(lái)確定與待處理像素在顏色特征上最關(guān)聯(lián)的至少一個(gè)方向，并針對(duì)所缺失的至少缺失顏色分量中的每個(gè)來(lái)求得待處理像素在這至少一個(gè)方向的該缺失顏色分量，以最終得到待處理像素在上述圖像中的該缺失顏色分量，由此使得所得到的圖像的精度較高和/或質(zhì)量較好。
[0012]通過(guò)以下結(jié)合附圖對(duì)本發(fā)明的最佳實(shí)施例的詳細(xì)說(shuō)明，本發(fā)明的這些以及其他優(yōu)點(diǎn)將更加明顯。

【專利附圖】

【附圖說(shuō)明】
[0013]本發(fā)明可以通過(guò)參考下文中結(jié)合附圖所給出的描述而得到更好的理解，其中在所有附圖中使用了相同或相似的附圖標(biāo)記來(lái)表示相同或者相似的部件。所述附圖連同下面的詳細(xì)說(shuō)明一起包含在本說(shuō)明書中并且形成本說(shuō)明書的一部分，而且用來(lái)進(jìn)一步舉例說(shuō)明本發(fā)明的優(yōu)選實(shí)施例和解釋本發(fā)明的原理和優(yōu)點(diǎn)。在附圖中:
[0014]圖1是示意性地示出根據(jù)本發(fā)明的實(shí)施例的圖像處理裝置的一種示例結(jié)構(gòu)的框圖；
[0015]圖2是示出拜耳圖案的RBG像素的典型分布的一個(gè)示例的示意圖；
[0016]圖3A-3D是示出了在多種拜耳圖案的情況下待處理像素的預(yù)定大小區(qū)域的四種可能情況的示意圖；
[0017]圖4A-4D是分別示出圖3A-3D中的預(yù)定大小區(qū)域中的多個(gè)預(yù)定方向的示例的示意圖；
[0018]圖5是示意性示出圖1所示的缺失顏色分量獲得單元的一種可能的示例結(jié)構(gòu)的框圖；
[0019]圖6A-6H是分別示出如圖3A所示的待處理像素B5在N、S、W、E、NE、SE、NW和SW8個(gè)預(yù)定方向上對(duì)應(yīng)的、G分量的預(yù)定權(quán)重矩陣的示例的示意圖；
[0020]圖7A-7H是分別示出如圖3C所示的待處理像素G7在N、S、W、E、NE、SE、NW和SW8個(gè)預(yù)定方向上對(duì)應(yīng)的、R分量的預(yù)定權(quán)重矩陣的示例的示意圖；
[0021]圖8A-8H是分別示出如圖3D所示的待處理像素G7在N、S、W、E、NE、SE、NW和SW8個(gè)預(yù)定方向上對(duì)應(yīng)的、R分量的預(yù)定權(quán)重矩陣的示例的示意圖；
[0022]圖9是示意性地示出根據(jù)本發(fā)明的實(shí)施例的圖像處理方法的一種示例性處理的流程圖；
[0023]圖10是示意性地示出圖9中所示的步驟S940的一種可能的示例性處理的流程圖；以及
[0024]圖11是示出了可用來(lái)實(shí)現(xiàn)根據(jù)本發(fā)明的實(shí)施例的圖像處理裝置和圖像處理方法的一種可能的信息處理設(shè)備的硬件配置的結(jié)構(gòu)簡(jiǎn)圖。
[0025]本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，附圖中的元件僅僅是為了簡(jiǎn)單和清楚起見而示出的，而且不一定是按比例繪制的。例如，附圖中某些元件的尺寸可能相對(duì)于其他元件放大了，以便有助于提高對(duì)本發(fā)明實(shí)施例的理解。

【具體實(shí)施方式】
[0026]在下文中將結(jié)合附圖對(duì)本發(fā)明的示范性實(shí)施例進(jìn)行描述。為了清楚和簡(jiǎn)明起見，在說(shuō)明書中并未描述實(shí)際實(shí)施方式的所有特征。然而，應(yīng)該了解，在開發(fā)任何這種實(shí)際實(shí)施例的過(guò)程中必須做出很多特定于實(shí)施方式的決定，以便實(shí)現(xiàn)開發(fā)人員的具體目標(biāo)，例如，符合與系統(tǒng)及業(yè)務(wù)相關(guān)的那些限制條件，并且這些限制條件可能會(huì)隨著實(shí)施方式的不同而有所改變。此外，還應(yīng)該了解，雖然開發(fā)工作有可能是非常復(fù)雜和費(fèi)時(shí)的，但對(duì)得益于本公開內(nèi)容的本領(lǐng)域技術(shù)人員來(lái)說(shuō)，這種開發(fā)工作僅僅是例行的任務(wù)。
[0027]在此，還需要說(shuō)明的一點(diǎn)是，為了避免因不必要的細(xì)節(jié)而模糊了本發(fā)明，在附圖中僅僅示出了與根據(jù)本發(fā)明的方案密切相關(guān)的裝置結(jié)構(gòu)和/或處理步驟，而省略了與本發(fā)明關(guān)系不大的其他細(xì)節(jié)。
[0028]本發(fā)明的實(shí)施例提供了一種圖像處理裝置，該圖像處理裝置包括:梯度計(jì)算單元，其被配置用于計(jì)算圖像的待處理像素在多個(gè)預(yù)定方向上的梯度；方向確定單元，其被配置用于根據(jù)梯度計(jì)算單元計(jì)算的梯度來(lái)確定多個(gè)預(yù)定方向中與待處理像素在顏色特征上最關(guān)聯(lián)的至少一個(gè)方向；以及缺失顏色分量獲得單元，其被配置用于針對(duì)待處理像素所缺失的至少部分缺失顏色分量中的每一個(gè)，利用圖像中包含待處理像素的預(yù)定大小區(qū)域中的、具有該缺失顏色分量的像素的該缺失顏色分量，獲得待處理像素分別在至少一個(gè)方向中的每一個(gè)上的該缺失顏色分量，以得到待處理像素在圖像中的該缺失顏色分量。
[0029]在根據(jù)本發(fā)明的實(shí)施例的圖像處理裝置的具體現(xiàn)實(shí)方式中，該圖像處理裝置可以用于在圖像中某個(gè)或某些像素缺少部分顏色分量的情況下來(lái)根據(jù)其附近的像素的特征信息獲得這個(gè)或這些像素所缺少的顏色分量。下文中，為清楚起見，將像素所缺少(或缺失)的顏色分量稱為“缺失顏色分量”。
[0030]下面結(jié)合圖1來(lái)詳細(xì)描述根據(jù)本發(fā)明的實(shí)施例的圖像處理裝置的一個(gè)示例。
[0031]如圖1所示，根據(jù)本發(fā)明的實(shí)施例的圖像處理裝置100包括梯度計(jì)算單元110、方向確定單元120以及缺失顏色分量獲得單元130。
[0032]梯度計(jì)算單元110用于計(jì)算圖像的待處理像素在多個(gè)預(yù)定方向上的梯度。
[0033]目前，數(shù)字相機(jī)等電子設(shè)備使用諸如CMOS(互補(bǔ)金屬氧化物半導(dǎo)體)或CCD(電荷耦合器件)等傳感器來(lái)捕獲圖像數(shù)據(jù)，并且在傳感器上方設(shè)置濾色器陣列(CFA，Color FilterArray)。濾色器陣列中的每個(gè)濾色器對(duì)入射到其上的光進(jìn)行過(guò)濾，僅使RGB三原色(紅色、綠色和藍(lán)色，分別表示為R、G和B)中一種顏色分量通過(guò)，該濾色器下方的相應(yīng)傳感器元件對(duì)這種顏色分量的光執(zhí)行光電轉(zhuǎn)換和模數(shù)轉(zhuǎn)換等處理，從而形成只包含一個(gè)顏色分量的像素值。由所有傳感器元件獲得的像素值是圖像的原始圖像數(shù)據(jù)。也就是說(shuō)，在原始圖像數(shù)據(jù)所表示的圖像中，每個(gè)像素的像素值僅包括R分量、G分量和B分量之一。
[0034]作為濾色器陣列的布置方式，拜耳圖案(也稱拜耳陣列)被廣泛使用。圖2示出拜耳圖案的像素格式。在圖2中，僅示出了 2X2的陣列，拜耳圖案實(shí)際上是該2X2陣列在二維方向上的重復(fù)。如圖2所示，I個(gè)像素位置僅包括一個(gè)顏色分量R、G或者B，并且G像素(即，只包括G分量的像素)的數(shù)量是R像素或B像素?cái)?shù)量的兩倍。
[0035]為了使得各個(gè)像素能夠正確顯示，需要對(duì)每個(gè)像素的缺失分量(例如對(duì)于R像素而言，缺失分量是G分量和B分量)進(jìn)行插值或者恢復(fù)，從而使其包括RGB三種分量。該處理稱為去馬賽克(demosaic)。在數(shù)字相機(jī)等電子設(shè)備中，對(duì)像素中的缺失RGB分量的插值或者恢復(fù)在數(shù)字圖像處理流水線中是非常重要的。
[0036]由此，在根據(jù)本發(fā)明的實(shí)施例的圖像處理裝置的具體實(shí)現(xiàn)方式中，圖像處理裝置100所處理的圖像可以是具有馬賽克的圖像，也可以是部分(或全部)像素分別缺少部分顏色分量的其他類型圖像等。
[0037]在一個(gè)實(shí)現(xiàn)方式中，上述圖像例如可以采用某個(gè)預(yù)定的顏色分布圖案。其中，預(yù)定的顏色分布圖案例如可以是任一種類型的拜耳圖案，或者也可以是除拜耳圖案之外的其他圖案(例如，包括藍(lán)綠色、品紅色、黃色和白色的CMYW型圖案，或包括紅色、綠色、藍(lán)色和白色的RGBW型圖案，等等)。
[0038]其中，拜耳圖案中的每個(gè)像素僅具有RGB三原色分量中的一種顏色分量(B卩，紅、綠或藍(lán))，如圖2所示(其中，B表示藍(lán)，G表示綠，R表示紅)。然而，拜耳圖案中像素的分布方式有多種(即多種類型的拜耳圖案)，后面將詳細(xì)描述。
[0039]需要說(shuō)明的是，在根據(jù)本發(fā)明的實(shí)施例的圖像處理裝置的具體實(shí)現(xiàn)方式中，待處理像素可以是圖像中的那些缺少某個(gè)或某些顏色分量的像素中的任一個(gè)，例如，僅具有一種顏色分量(如紅、綠或藍(lán))的像素，具有RGB三原色中的任兩種而缺少另外一種顏色的像素。此外，在上述圖像是具有馬賽克的圖像的情況下，待處理像素可以是該圖像中的馬賽克部分中的某個(gè)像素。
[0040]此外，在根據(jù)本發(fā)明的實(shí)施例的圖像處理裝置的具體實(shí)現(xiàn)方式中，可以根據(jù)具體需要和情況來(lái)設(shè)定上述多個(gè)預(yù)定方向。在一個(gè)實(shí)現(xiàn)方式中，上述多個(gè)預(yù)定方向例如可以包括東、南、西、北四個(gè)方向。特別地，在一個(gè)優(yōu)選的實(shí)現(xiàn)方式中，上述多個(gè)預(yù)定方向例如可以包括東、南、西、北、東南、東北、西南以及西北八個(gè)方向。需要說(shuō)明的是，這里所說(shuō)的東、南、西、北等方向是與地圖方位方向一致的。需要注意的是，雖然上面給出了多個(gè)預(yù)定方向?yàn)樗膫€(gè)方向或八個(gè)方向的示例，但上述多個(gè)預(yù)定方向并不限于此。
[0041]在根據(jù)本發(fā)明的實(shí)施例的圖像處理裝置的具體實(shí)現(xiàn)方式中，梯度計(jì)算單元110可以利用圖像中待處理像素周圍的像素來(lái)計(jì)算待處理像素在各個(gè)預(yù)定方向上的梯度。
[0042]在一個(gè)優(yōu)選的實(shí)現(xiàn)方式中，在計(jì)算待處理像素在每個(gè)預(yù)定方向上的梯度的過(guò)程中，梯度計(jì)算單元110還可以為待處理像素周圍的像素設(shè)置權(quán)重(即下文中所說(shuō)的梯度權(quán)重)，用于通過(guò)加權(quán)計(jì)算來(lái)得到待處理像素在每個(gè)預(yù)定方向上的梯度。例如，以上述多個(gè)預(yù)定方向中任一個(gè)預(yù)定方向do為例，梯度計(jì)算單元110可以在計(jì)算待處理像素在預(yù)定方向do上的梯度的過(guò)程中，對(duì)于待處理像素周圍的一些像素，如果某個(gè)像素距離待處理像素越近，則將該像素對(duì)應(yīng)的梯度權(quán)重設(shè)置得越大。在該實(shí)現(xiàn)方式中，在每個(gè)預(yù)定方向上，對(duì)不同位置的像素分配了不同的梯度權(quán)重(即梯度貢獻(xiàn)程度)，能夠使得最終計(jì)算的待處理像素的梯度更加準(zhǔn)確。
[0043]需要說(shuō)明的是，在計(jì)算待處理像素在某個(gè)預(yù)定方向上的梯度時(shí)所利用的“待處理像素周圍的一些像素”可以根據(jù)需要來(lái)選擇，或者也可以根據(jù)經(jīng)驗(yàn)或通過(guò)試驗(yàn)方法來(lái)確定。例如，在計(jì)算待處理像素在某個(gè)預(yù)定方向上的梯度時(shí)，可以選定包含該待處理像素的一個(gè)區(qū)域(比如以該待處理像素為中心的NXN像素的區(qū)域，N例如可以是大于I的奇數(shù))，利用這個(gè)區(qū)域中的像素來(lái)計(jì)算待處理像素在上述某個(gè)預(yù)定方向上的梯度。
[0044]下面以拜耳圖案的情況為例來(lái)描述梯度計(jì)算單元110的示例性處理。在以下示例中，為了簡(jiǎn)化說(shuō)明和降低計(jì)算復(fù)雜度，對(duì)于每個(gè)待處理像素，分別選擇以該待處理像素為中心的5 X 5像素的區(qū)域來(lái)計(jì)算待處理像素的梯度。對(duì)于數(shù)字相機(jī)之類的便攜裝置，當(dāng)N=5時(shí)，處理(例如包括梯度計(jì)算單元110的用于計(jì)算梯度的處理以及后文中將要描述的缺失顏色分量獲得單元130的處理)的計(jì)算量小，處理時(shí)間短，并且在硬件實(shí)現(xiàn)上比較簡(jiǎn)單，同時(shí)計(jì)算精度基本上也能滿足便攜裝置的要求。當(dāng)然，也可以選擇其他大小的像素塊，例如7X7、9X9等等。
[0045]圖3A-3D示出了在拜耳圖案的情況下上述5 X 5像素的區(qū)域的四種可能情況。其中,在圖3A-3D中，5X5像素區(qū)域(如區(qū)域SI?S4)中的每個(gè)小方格代表一個(gè)像素，而每個(gè)小方格中的字母表示該像素所具有的顏色分量，其中的數(shù)字表示該像素在對(duì)應(yīng)的5X5像素區(qū)域的具有相同種顏色分量的所有像素中的序數(shù)(該序數(shù)用于區(qū)分各個(gè)像素，并沒有次序、順序等方面的限制)。
[0046]圖4A-4D分別示出了圖3A-3D中的5X5像素區(qū)域中的多個(gè)預(yù)定方向。在圖4A-4D所示的各個(gè)示例中，上述多個(gè)預(yù)定方向?yàn)楸?N)、南(S)、西(W)、東(E)、東北(NE)、東南(SE)、西北(NW)和西南(SW)JP 5X5像素區(qū)域的中心像素的上、下、左、右、右上、右下、左上和左下八個(gè)方向。
[0047]在如圖3A和圖4A所示的示例中，假設(shè)某個(gè)待處理像素為圖3A所示的拜耳圖案中的B5。在圖3A所示的包含待處理像素B5的5X5像素區(qū)域SI中，存在4個(gè)R像素Rl?R4、12個(gè)G像素Gl?G12和9個(gè)B像素BI?B9，其中，待處理像素B5是這個(gè)5X5像素區(qū)域SI的中心像素。在一個(gè)例子中，可以根據(jù)如下的公式一.一?公式一.八來(lái)分別計(jì)算待處理像素B5在N、S、W、E、NE、SE、NW和SW八個(gè)方向上的梯度。
[0048]公式一.一:
[0049]Gradient_N=|B2 - B5| + |G4 - G9| + |Gl - G6|/2+|G2 - G7|/2+|Rl - R3|/4+|R2 -R4|/4+|Bl - B4I/4+1B3 - B6|/4 ；
[0050]公式一.二:
[0051 ] Gradient_S=|B5 - B8| +1G4 - G9| +1G6 - Gl 11/2+|G7 - G12|/2+1Rl - R3|/4+1R2 -R4I/4+1B7 - B4|/4+1B9 - B6|/4 ；
[0052]公式一.三:
[0053]Gradient_W=|B5 - B4| + |G6 - G7| + |G4 - G3|/2+|G9 - G8|/2+|Rl - R2|4+|R4 -R3|/4+|Bl -B2|/4+|B7 -B8|/4 ；
[0054]公式一.四:
[0055]Gradient_E=|B5 - B6| +1G7 - G6| +1G4 - G5|/2+1G9 - GlO|/2+|B2 - B3|/4+|B8 -B9I/4+1G4 - G5|/4+1G9 - GlO|/4 ；
[0056]公式一.五:
[0057]Gradient_NE=|B3 - B5| + |R2 - R3| + |G4 - G6|/2+|G7 - G9|/2+|G2 - G4|/4+|G5 -G7I/4+1B2 - B4|/4+1B6 - B8|/4 ；
[0058]公式一.六:
[0059]Gradient_SE=|B5 - B9| +1Rl - R4| + |G4 - G7|/2+|G6 - G9|/2+1G9 - G12|/4+1G7 -GlO I/4+1B4 - B8|/4+1B2 - B6|/4 ；
[0060]公式一.七:
[0061]Gradient_Nff=|Rl - R4| + |B1 - B5 | + | G4 - G7 |/2+| G6 -G9|/2+|Gl - G4 | /4+ | G6 -G3I/4+1B4 - B8|/4+1B2 - B6|/4 ；
[0062]公式一.八:
[0063]Gradient_Sff=|B7 - B5| + |R2 - R3| + |G4 - G6|/2+|G7 - G9|/2+|G6 - G8|/4+|G9 -Gll|/4+|B2 -B4|/4+|B6 -B8|/4。
[0064]其中，在公式一.一?公式一.八中，Gradient_N、Gradient_S、Gradient_W、Gradient_E> Gradient_NE> Gradient_SE> Gradient_NW 和 Gradient_SW 分別表不待處理像素B5在N、S、W、E、NE、SE、NW和SW方向上的梯度。在上面的計(jì)算中，以各個(gè)像素的名字來(lái)表示該像素的像素值，即該像素中包含的分量的值，例如B5表示像素B5的像素值，即像素B5的B分量的值。
[0065]此外，在公式一.一?公式一.八中，還對(duì)待處理像素B5周圍的其他像素根據(jù)其在對(duì)應(yīng)的預(yù)定方向上距離待處理像素B5的遠(yuǎn)近而為這些其他像素設(shè)定了梯度權(quán)重。例如以公式一.一為例，|B2-B5|這一項(xiàng)的梯度權(quán)重為I (相當(dāng)于B2和B5的梯度權(quán)重分別為1)，而|G1-G6 I/2這一項(xiàng)的梯度權(quán)重為1/2 (相當(dāng)于Gl和G6的梯度權(quán)重分別為1/2)，以及|R1-R3 I/4這一項(xiàng)的梯度權(quán)重為1/4 (相當(dāng)于Rl和R3的梯度權(quán)重分別為1/4)，等等。對(duì)于各個(gè)預(yù)定方向，在計(jì)算待處理像素B5在其中每個(gè)預(yù)定方向的梯度時(shí)對(duì)各個(gè)像素分配的梯度權(quán)重可以參考公式一.一?公式一.八，這里不再一一贅述。需要注意的是，在實(shí)際處理中，權(quán)重可以不限于公式一.一?公式一.八所示，可以根據(jù)具體情況和需要來(lái)設(shè)置。
[0066]在圖3B和圖4B所述的包含待處理像素R5的5X5像素區(qū)域S2中，可以利用與上文中結(jié)合圖3A和圖4A所描述的例子中計(jì)算梯度的處理相類似的處理來(lái)計(jì)算待處理像素R5在N、S、W、E、NE、SE、NW和SW八個(gè)方向上的梯度。例如，可以將公式一.一?公式一.八中原來(lái)的R字母全部替換為B字母(如將原來(lái)的R1、R2、R3和R4分別對(duì)應(yīng)地替換為B1、B2、B3和B4)，而將公式一.一?公式一.八中原來(lái)的B字母全部替換為R字母(如將原來(lái)的B1、B2、……、89分別對(duì)應(yīng)地替換為町、1?2、……、R9)，得到的八個(gè)公式可以用于計(jì)算待處理像素R5在上述八個(gè)方向上的梯度。
[0067]此外，在圖3C和圖4C所示的包含待處理像素G7的5X5像素區(qū)域S3中，例如可以根據(jù)如下的公式二.一?公式二.八來(lái)分別計(jì)算待處理像素G7在N、S、W、E、NE、SE、NW和SW八個(gè)方向上的梯度。
[0068]公式二.一:
[0069]Gradient_N=|R2 - R5| +1G2 - G7| +1G4 - G9|/2+1G5 - GlO|/2+|B1- B3|/4+|B2 -B4|/4+|Gl - G6I/4+1G3 - G8|/4 ；
[0070]公式二.二:
[0071 ] Gradient_S=|R2 - R5| +1G12 - G7| + |G4 - G9|/2+|G5 - GlO|/2+|B3 - B5|4+|B6 -B4 I 4+1 Gll -G6|/4+|G13 -G8|/4 ；
[0072]公式二.三:
[0073]Gradient_W=|B3 - B4| + |G6 - G7| + |G4 - G5|/2+|G9 - GlO|/2+|Rl - R2|4+|R4 -R5|/4+|Gl -G2|/4+|Gll _G12|/4 ；
[0074]公式二.四:
[0075]Gradient_E=|B3 - B4| +1G7 - G8| +1G4 - G5|/2+1G9 - GlO|/2+|R2 - R3|/4+|R5 -R6I/4+1G2 - G3|/4+1G12 - G13|/4 ；
[0076]公式二.五:
[0077]Gradient_NE= | G5 - G9 | + | G3 - G7 | + | R3 - R5 | /2+ | B2 - B3 | /2+ | G8 -G10|/4+|G2 -G4|/4 ；
[0078]公式二.六:
[0079]Gradient_SE= | G4 - GlO | + | G7 - G13 | + | R2 - R6 | /2+ | B3 - B6 | /2+ | G5 -G8|/4+|G9 -G12|/4 ；
[0080]公式二.七:
[0081]Gradient_Nff= | G4 - GlO M Gl - G7 M B1- B4 | /2+ | Rl - R5 | /2+ | G2 -G5I/4+1G6 - G9|/4 ；
[0082]公式二.八:
[0083]Gradient_Sff= | G5 - G9 | + | G7 - Gll | + | B4 - B5 | /2+ | R2 - R4 | /2+ | GlO -G12|/4+|G4 -G6|/4。
[0084]其中，在公式二.一?公式二.八中，Gradient_N、Gradient_S、Gradient_W、Gradient_E> Gradient_NE> Gradient_SE> Gradient_NW 和 Gradient_SW 分別表不待處理像素G7在N、S、W、E、NE、SE、NW和SW方向上的梯度。類似地，以各個(gè)像素的名字來(lái)表示該像素的像素值，即該像素中包含的分量的值。此外，在公式二.一?公式二.八中對(duì)各個(gè)像素的梯度權(quán)重的設(shè)置原理類似于公式一.一?公式一.八，故這里不再詳述。
[0085]另外，在另一個(gè)示例中，待處理像素G7周圍像素的分布可以如圖3D和圖4D所示。其中，在包含待處理像素G7的5X5像素區(qū)域S4中，例如可以根據(jù)如下的公式三.一?公式三.八來(lái)分別計(jì)算待處理像素G7在N、S、W、E、NE、SE、NW和SW八個(gè)方向上的梯度。
[0086]公式三.一:
[0087]Gradient_N=|B2 - B5| +1G2 - G7| +1G4 - G9|/2+1G5 - GlO|/2+|Rl - R3|/4+|R2 -R4I/4+IG1-G6I/4+|G3-G8|/4 ；
[0088]公式三.二:
[0089]Gradient_S=|B2 - B5| +1G12 - G7| + |G4 - G9|/2+|G5 - GlO|/2+|R3 - R5|4+|R6 -R4I 4+1 Gl1-G6|/4+1G13-G8|/4 ；
[0090]公式三.三:
[0091]GradientJV= IR3 - R4| + |G6 - G7| + |G4 - G5|/2+|G9 - GlO|/2+|B1-B2|4+|B4 -B5|/4+|Gl-G2|/4+|Gll _G12|/4 ；
[0092]公式三.四:
[0093]Gradient_E=|R3 - R4| +1G7 - G8| +1G4 - G5|/2+1G9 - GlO|/2+|B2 - B3|/4+|B5 -B6I/4+1G2 - G3|/4+1G12 - G13|/4 ；
[0094]公式三.五:
[0095]Gradient_NE= | G5 - G9 | + | G3 - G7 | + | B3 - B5 | /2+ | R2 - R3 | /2+ | G8 -G10|/4+|G2 -G4|/4 ；
[0096]公式三.六:
[0097]Gradient_SE= | G4-G10 | + | G7 - G13 | + | B2 - B6 | /2+ | R3 - R6 | /2+ | G5 -G8|/4+|G9 -G12|/4 ；
[0098]公式三.七:
[0099]Gradient_Nff= | G4 - GlO | + | Gl - G7 | + | Rl - R4 | /2+ | B1- B5 | /2+ | G2 -G5I/4+1G6 - G9|/4 ；
[0100]公式三.八:
[0101]Gradient_Sff= | G5 - G9 M G7 - Gll | + | R4 - R5 | /2+ | B2 - B4 | /2+ GlO -G12|/4+|G4 -G6|/4。
[0102]其中，在公式三.一?公式三.八中，Gradient_N、Gradient_S、Gradient_W、Gradient_E> Gradient_NE> Gradient_SE> Gradient_NW 和 Gradient_SW 分別表不待處理像素G7在N、S、W、E、NE、SE、NW和SW方向上的梯度。類似地，以各個(gè)像素的名字來(lái)表示該像素的像素值，即該像素中包含的分量的值。此外，在公式三.一?公式三.八中對(duì)各個(gè)像素的梯度權(quán)重的設(shè)置原理類似于公式一.一?公式一.八，故這里不再詳述。
[0103]在計(jì)算得到待處理像素沿多個(gè)預(yù)定方向的梯度之后，方向確定單元120根據(jù)梯度計(jì)算單元110所計(jì)算的上述梯度來(lái)在這多個(gè)預(yù)定方向中選擇與待處理像素在顏色特征上最關(guān)聯(lián)的至少一個(gè)方向。
[0104]在根據(jù)本發(fā)明的實(shí)施例的圖像處理裝置的一種實(shí)現(xiàn)方式中，在待處理像素在多個(gè)預(yù)定方向上的梯度中，方向確定單元120可以選擇其中小于或等于預(yù)定閾值的至少一個(gè)梯度，并將所選擇的這至少一個(gè)梯度所對(duì)應(yīng)的預(yù)定方向作為與待處理像素在顏色特征上最關(guān)聯(lián)的至少一個(gè)方向。
[0105]在根據(jù)本發(fā)明的實(shí)施例的圖像處理裝置的另一種實(shí)現(xiàn)方式中，方向確定單元120也可以在待處理像素在多個(gè)預(yù)定方向上的梯度中選擇其中最小的預(yù)定數(shù)量個(gè)梯度(預(yù)定數(shù)量例如為I個(gè)、2個(gè)或更多個(gè))，然后將所選擇的上述預(yù)定數(shù)量個(gè)梯度所對(duì)應(yīng)的預(yù)定方向作為與待處理像素在顏色特征上最關(guān)聯(lián)的至少一個(gè)方向。
[0106]方向確定單元120所確定的與待處理像素在顏色特征上最關(guān)聯(lián)的至少一個(gè)方向?qū)嶋H上反映了圖像中的哪個(gè)方向上的像素值與待處理像素的像素值是最接近的。這樣，在后續(xù)的處理中，利用這些與待處理像素在顏色特征上最關(guān)聯(lián)的至少一個(gè)方向上的某種顏色的像素信息(例如，待處理像素所缺失的某種顏色)來(lái)補(bǔ)償待處理像素的這種顏色，可以使得補(bǔ)償結(jié)果更加準(zhǔn)確。
[0107]以圖3A和圖4A所示的情況為例，方向確定單元120可以將梯度計(jì)算單元110計(jì)算得到的8個(gè)梯度與預(yù)定閾值T進(jìn)行比較，然后選擇梯度小于或等于閾值T的那些梯度所對(duì)應(yīng)的預(yù)定方向作為上述與待處理像素在顏色特征上最關(guān)聯(lián)的至少一個(gè)方向。假設(shè)待處理像素B5在S、W和NE方向的梯度小于閾值T，而在其余預(yù)定方向的梯度均大于閾值T，則可以將S、W和NE這三個(gè)方向作為與待處理像素B5在顏色特征上最關(guān)聯(lián)的至少一個(gè)方向。
[0108]這樣，在通過(guò)方向確定單元120的處理確定了與待處理像素在顏色特征上最關(guān)聯(lián)的至少一個(gè)方向之后，對(duì)于待處理像素所缺失的至少部分缺失顏色分量中的每一個(gè)，缺失顏色分量獲得單元130能夠利用圖像中包含該待處理像素的預(yù)定大小區(qū)域中的那些具有該缺失顏色分量的像素的該缺失顏色分量，來(lái)獲得待處理像素在圖像中的該缺失顏色分量。
[0109]在根據(jù)本發(fā)明的實(shí)施例的圖像處理裝置的一種實(shí)現(xiàn)方式中，缺失顏色分量獲得單元130在計(jì)算過(guò)程中所利用的“包含該待處理像素的預(yù)定大小區(qū)域”例如可以與上文所述的梯度計(jì)算單元110在計(jì)算過(guò)程中所利用的預(yù)定大小區(qū)域相類似，比如可以是以待處理像素為中心的NXN像素的區(qū)域，其中，N例如可以是大于I的奇數(shù)(例如5)。
[0110]在根據(jù)本發(fā)明的實(shí)施例的圖像處理裝置的一種實(shí)現(xiàn)方式中，缺失顏色分量獲得單元130可以具有如圖5所示的結(jié)構(gòu)配置。
[0111]如圖5所示，缺失顏色分量獲得單元130可以包括第一計(jì)算子單元510和第二計(jì)算子單元520。
[0112]其中，用顏色分量CO來(lái)表示待處理像素所缺失的至少部分缺失顏色分量中的任一個(gè)，則第一計(jì)算子單元510可以基于上述預(yù)定大小區(qū)域中的具有顏色分量CO的像素的顏色分量CO來(lái)計(jì)算待處理像素在上述“與待處理像素在顏色特征上最關(guān)聯(lián)的至少一個(gè)方向”中每個(gè)方向上的顏色分量CO。然后，第二計(jì)算子單元520可以將第一計(jì)算子單元510所計(jì)算獲得的待處理像素在上述“與待處理像素在顏色特征上最關(guān)聯(lián)的至少一個(gè)方向”中所有方向上的顏色分量CO進(jìn)行加權(quán)計(jì)算，將得到的結(jié)果作為待處理像素的顏色分量CO。
[0113]在一個(gè)例子中，對(duì)于待處理像素所缺失的某個(gè)缺失顏色分量，第一計(jì)算子單元510例如可以利用與每個(gè)方向?qū)?yīng)的、該缺失顏色分量的預(yù)定權(quán)重矩陣來(lái)計(jì)算待處理像素在該方向上的該缺失顏色分量。
[0114]例如，用方向d0表示上述“與待處理像素在顏色特征上最關(guān)聯(lián)的至少一個(gè)方向”中的任一個(gè)方向、以及用顏色分量CO來(lái)表示待處理像素所缺失的至少部分缺失顏色分量中的任一個(gè)，下面以方向d0和顏色分量c0為例來(lái)描述第一計(jì)算子單兀510利用與方向d0對(duì)應(yīng)的、顏色分量CO的預(yù)定權(quán)重矩陣計(jì)算待處理像素在方向d0上的顏色分量CO的具體示例。在該具體示例(第一具體示例)中，第一計(jì)算子單元510和第二計(jì)算子單元520可以利用方向d0對(duì)應(yīng)的、顏色分量CO的預(yù)定權(quán)重矩陣來(lái)確定上述預(yù)定大小區(qū)域中具有顏色分量CO的像素各自的濾波權(quán)重，然后將這些濾波權(quán)重分別賦予對(duì)應(yīng)的像素來(lái)將上述預(yù)定大小區(qū)域中具有顏色分量CO的像素的顏色分量CO進(jìn)行加權(quán)計(jì)算(例如加權(quán)求和)，然后將結(jié)果(如加權(quán)和)作為待處理像素在方向d0上的顏色分量CO。其中，方向d0對(duì)應(yīng)的、顏色分量CO的預(yù)定權(quán)重矩陣中包括多個(gè)濾波權(quán)重，而每一個(gè)濾波權(quán)重是與上述預(yù)定大小區(qū)域中具有顏色分量CO的像素相對(duì)應(yīng)的。
[0115]在另一個(gè)具體示例(第二具體示例)中，與第一具體示例不同的是，方向d0對(duì)應(yīng)的、顏色分量CO的預(yù)定權(quán)重矩陣中除了可以包括上述預(yù)定大小區(qū)域中具有顏色分量CO的像素所分別對(duì)應(yīng)的濾波權(quán)重之外，還可以包括上述預(yù)定大小區(qū)域中不具有顏色分量CO的像素的濾波權(quán)重。例如，優(yōu)選地，可以將這些不具有顏色分量CO的像素的濾波權(quán)重設(shè)為0，其余的像素可以采用與上文的第一具體示例中的設(shè)置方法來(lái)設(shè)置，這里不再贅述。
[0116]以待處理像素為圖3A所示的B5的情況為例，其周圍像素分布如圖3A所示。由圖3A可知，待處理像素B5所缺少的缺失顏色分量包括G分量(即綠色分量)和R分量(即紅色分量)，其本身所具有的顏色分量為B分量(即藍(lán)色分量)。以待處理像素B5所缺少的G分量為例，下面描述如何利用待處理像素B5周圍具有G分量的像素來(lái)計(jì)算待處理像素B5的G分量，其他情況可以參考該示例來(lái)進(jìn)行。
[0117]在一個(gè)例子中，待處理像素B5在N、S、W、E、NE、SE、NW和SW這8個(gè)預(yù)定方向上對(duì)應(yīng)的、G分量的預(yù)定權(quán)重矩陣的各個(gè)示例分別如圖6A-6H所示。假設(shè)梯度計(jì)算單元110計(jì)算的待處理像素B5在N、S、W、E、NE、SE、NW和SW這8個(gè)預(yù)定方向上的梯度中，待處理像素B5在S、W和NE方向上的梯度大于預(yù)定閾值T，而其余的梯度均小于預(yù)定閾值T。于是，方向確定單元120將S、W和NE這三個(gè)方向確定為與待處理像素B5在顏色特征上最關(guān)聯(lián)的三個(gè)方向。S、W和NE這三個(gè)方向所對(duì)應(yīng)的G分量的預(yù)定權(quán)重矩陣分別如圖6B、圖6C和圖6E所示。
[0118]于是，第一計(jì)算子單元510可以根據(jù)如下的公式四.一至公式四.三來(lái)分別計(jì)算待處理像素B5在S、W和NE這三個(gè)方向上的G分量。
[0119]公式四.一:
[0120]GB5S=(1 XG3+4XG4+1XG5+2XG6+2XG7+1 XG8+4XG9 + 1XG10+2XG11+2XG12)/20
[0121]公式四.二:
[0122]GB5ff=(l XG1 + 1 XG2 + 2XG3+2XG4+4XG6+4XG7+2XG8+2XG9 + 1 XG11 + 1 XG12)/20
[0123]公式四.三:
[0124]Gb5ne= (2 X G2+4 X G4+2 X G5+4 X G6+4 X G7+4 X G9) /20
[0125]其中，GB5S、GB5W和Gb5ne分別表示待處理像素B5在、W和NE這三個(gè)方向上的G分量，而公式四.一至公式四.三中的“G1”、“G2”等則表示對(duì)應(yīng)像素的G分量的大小。需要注意的是，在公式四.一至公式四.三中，每個(gè)像素的濾波權(quán)重是經(jīng)過(guò)歸一化處理的。例如，在公式四.一中，G3對(duì)應(yīng)的歸一化的濾波權(quán)重實(shí)際上是1/20，G4對(duì)應(yīng)的歸一化的濾波權(quán)重實(shí)際上是4/20 (即1/5)，等等；而在公式四.二中，G3對(duì)應(yīng)的歸一化的濾波權(quán)重實(shí)際上是2/20(即1/10)，G4對(duì)應(yīng)的歸一化的濾波權(quán)重實(shí)際上也是2/20 (即1/10)，等等。
[0126]然后，可以根據(jù)GB5S、GB5W和&_來(lái)計(jì)算獲得待處理像素B5的G分量。在一個(gè)例子中，可以將GB5S、GB5dPGb5ne的平均值作為待處理像素B5的G分量，即，GB5=(GB5S+GB5W+GB5NE)/3。在一個(gè)例子中，也可以將GB5S、Gb5w和Gb5ne的加權(quán)和(權(quán)重例如可以是歸一化的)作為待處理像素B5的G分量。
[0127]以上舉例描述了如何計(jì)算如圖3A所示的待處理像素B5的G分量，而對(duì)于待處理像素B5所缺失的R分量，可以采用與上述處理相類似的處理來(lái)獲得。例如，在與各個(gè)預(yù)定方向?qū)?yīng)的、R分量的預(yù)定權(quán)重矩陣中，可以類似地將不具有R分量的像素的濾波權(quán)重設(shè)置為0，而將具有R分量的那些像素(即Rl、R2等)的濾波權(quán)重按照其在對(duì)應(yīng)方向上距離待處理像素的遠(yuǎn)近來(lái)設(shè)置(例如，越近的像素的濾波權(quán)重越大)。
[0128]對(duì)于如圖3B所示的待處理像素R5來(lái)說(shuō)，針對(duì)其缺失的G分量，可以首先利用梯度計(jì)算單元110計(jì)算待處理像素R5在N、S、W、E、NE、SE、NW和SW八個(gè)預(yù)定方向上的梯度。然后，類似地，方向確定單元120在這八個(gè)梯度中選擇小于預(yù)定閾值T的梯度，并將小于預(yù)定閾值T的梯度所對(duì)應(yīng)的方向確定為與待處理像素R5在顏色特征上最關(guān)聯(lián)的至少一個(gè)方向。在一個(gè)例子中，可以將圖7A至圖7H所示的原來(lái)的具有R分量的像素(簡(jiǎn)稱為R像素)替換為具有B分量的像素(簡(jiǎn)稱為B像素)，而將圖7A至圖7H所示的原來(lái)的B像素替換為R像素，這樣得到的替換后的8個(gè)預(yù)定權(quán)重矩陣則可以作為N、S、W、E、NE、SE、NW和SW八個(gè)預(yù)定方向?qū)?yīng)的、B分量的預(yù)定權(quán)重矩陣的可能的示例。在確定了與待處理像素R5在顏色特征上最關(guān)聯(lián)的至少一個(gè)方向之后，第一計(jì)算子單元510可以根據(jù)“N、S、W、E、NE、SE、NW和SW八個(gè)預(yù)定方向?qū)?yīng)的、B分量的預(yù)定權(quán)重矩陣”來(lái)計(jì)算待處理像素R5在上述至少一個(gè)方向中每個(gè)方向上的G分量。
[0129]對(duì)于待處理像素R5所缺失的B分量，可以采用與上述處理相類似的處理來(lái)獲得。例如，在與各個(gè)預(yù)定方向?qū)?yīng)的、B分量的預(yù)定權(quán)重矩陣中，可以類似地將不具有B分量的像素的濾波權(quán)重設(shè)置為0，而將具有B分量的那些像素(即B1、B2等)的濾波權(quán)重按照其在對(duì)應(yīng)方向上距離待處理像素R5的遠(yuǎn)近來(lái)設(shè)置(例如，越近的像素的濾波權(quán)重越大)。
[0130]此外，對(duì)于如圖3C所示的待處理像素G7 (待處理像素G7為具有G分量的像素)來(lái)說(shuō)，針對(duì)其所缺失的R分量，可以首先利用梯度計(jì)算單元110計(jì)算待處理像素G7在N、S、W、E、NE、SE、NW和SW八個(gè)預(yù)定方向上的梯度。然后，類似地，方向確定單元120在這八個(gè)梯度中選擇小于預(yù)定閾值T的梯度，并將小于預(yù)定閾值T的梯度所對(duì)應(yīng)的方向確定為與待處理像素G7在顏色特征上最關(guān)聯(lián)的至少一個(gè)方向。其中，圖7A至圖7H給出了在如圖3C所示情況下，N、S、W、E、NE、SE、NW和SW八個(gè)預(yù)定方向?qū)?yīng)的、R分量的預(yù)定權(quán)重矩陣的可能的示例。假設(shè)與待處理像素G7在顏色特征上最關(guān)聯(lián)的至少一個(gè)方向?yàn)镾、W和NE，則第一計(jì)算子單元510可以利用以下的公式五.一至公式五.三來(lái)分別計(jì)算待處理像素G7在S、W和NE這三個(gè)方向上的R分量。
[0131]公式五.一:
[0132]Rg7s= (I X Rl+2 X R2+1 X R3+1 X R4+2 X R5+1 X R6) /8
[0133]公式五.二:
[0134]Rc7ff= (I X Rl+1 X R2+1 X R4+1 X R5) /4
[0135]公式五.三:
[0136]Rg7ne= (2 XR2+1X R3+1 X G4+2 X R5) /6
[0137]在公式五.一至公式五.三中，Rl、R2等像素對(duì)應(yīng)的濾波權(quán)重同樣是經(jīng)過(guò)歸一化的。歸一化的具體過(guò)程對(duì)于本領(lǐng)域技術(shù)人員來(lái)說(shuō)是可以根據(jù)現(xiàn)有技術(shù)和公知常識(shí)而獲知的，這里不再詳述。其中，RcpRe7w和Re7NE分別表示待處理像素G7在S、W和NE這三個(gè)方向上的R分量。
[0138]然后，在一個(gè)例子中，可以將Re7S、&7?和Rctne進(jìn)行平均，將平均值作為待處理像素G7的R分量，即，Rct=(URctZRctne)Z^c在另一個(gè)例子中，也可以利用加權(quán)求和的方法，這里不再詳述。
[0139]此外，對(duì)于如圖3C所示的待處理像素G7來(lái)說(shuō)，計(jì)算其所缺失的B分量的過(guò)程可以和上面計(jì)算其缺失的R分量的過(guò)程類似，這里不再贅述。
[0140]另外，對(duì)于如圖3D所示的待處理像素G7 (待處理像素G7為具有G分量的像素)來(lái)說(shuō)，針對(duì)其所缺失的R分量，可以首先利用梯度計(jì)算單元110計(jì)算圖3D中的待處理像素G7在N、S、W、E、NE、SE、NW和SW八個(gè)預(yù)定方向上的梯度。然后，類似地，方向確定單元120在這八個(gè)梯度中選擇小于預(yù)定閾值T的梯度，并將小于預(yù)定閾值T的梯度所對(duì)應(yīng)的方向確定為與圖3D中的待處理像素G7在顏色特征上最關(guān)聯(lián)的至少一個(gè)方向。其中，圖8A至圖8H給出了在如圖3D所示情況下，N、S、W、E、NE、SE、NW和SW八個(gè)預(yù)定方向?qū)?yīng)的、R分量的預(yù)定權(quán)重矩陣的可能的示例。假設(shè)與圖3D中的待處理像素G7在顏色特征上最關(guān)聯(lián)的至少一個(gè)方向?yàn)镾、w和NE，則第一計(jì)算子單元510可以利用以下的公式六.一至公式六.三來(lái)分別計(jì)算圖3D中的待處理像素G7在S、W和NE這三個(gè)方向上的R分量。
[0141]公式六.一:
[0142]Rg7s= (I X R3+1 X R4+1 X R5+1 X R6) /4
[0143]公式六.二:
[0144]Rc7ff= (I XR1+1X R2+2 X R3+2 XR4+1X R5+1 X R6) /8
[0145]公式六.三:
[0146]Rg7ne= (I X R2+2 X R3+2 XG4+1X R5) /6
[0147]在公式六.一至公式六.三中，Rl、R2等像素對(duì)應(yīng)的濾波權(quán)重同樣是經(jīng)過(guò)歸一化的。
[0148]類似地，可以將公式六.一至公式六.三得到的Re7S、RCTW和Rctne進(jìn)行平均，將平均值作為圖3D中的待處理像素G7的R分量，即，Re7= (RG7S+RG7ff+RG7NE) /3。在另一個(gè)例子中，也可以利用加權(quán)求和的方法，這里不再詳述。
[0149]此外，對(duì)于如圖3D所示的待處理像素G7來(lái)說(shuō)，計(jì)算其所缺失的B分量的過(guò)程可以和上面計(jì)算其缺失的R分量的過(guò)程類似，這里不再贅述。
[0150]在以上所描述的利用預(yù)定權(quán)重矩陣來(lái)計(jì)算待處理像素缺失的某個(gè)缺失顏色分量的例子中，對(duì)于待處理像素附近的不同方向上和不同位置處的像素，結(jié)合考慮每個(gè)像素的方向性和位置信息，分別對(duì)其配置了獨(dú)立的濾波權(quán)重(可能相同或不同)。這樣，在利用這些像素計(jì)算待處理像素的某個(gè)缺失顏色分量時(shí)，可以將那些與待處理像素位置接近(在與待處理像素在顏色特征上最關(guān)聯(lián)的至少一個(gè)方向中的某個(gè)方向上)的像素的權(quán)重(貢獻(xiàn))設(shè)置的較大，其他的相對(duì)較小，以使得計(jì)算的結(jié)果更為準(zhǔn)確。
[0151]在根據(jù)本發(fā)明的實(shí)施例的圖像處理裝置的一種實(shí)現(xiàn)方式中，上述各個(gè)預(yù)定權(quán)重矩陣可以是預(yù)先存儲(chǔ)在圖像處理裝置中的，例如，預(yù)先存儲(chǔ)在圖像處理裝置內(nèi)部的某個(gè)存儲(chǔ)器中。這樣，能夠相應(yīng)地提高整個(gè)圖像處理裝置的處理速度，提高處理效率。
[0152]此外，在另一種實(shí)現(xiàn)方式中，上述各個(gè)預(yù)定權(quán)重矩陣也可以是通過(guò)實(shí)時(shí)計(jì)算獲得的。在一個(gè)例子中，第一計(jì)算子單元510中可以包括權(quán)重設(shè)置模塊(圖中未示出)，在這種情況下，第一計(jì)算子單元510中還包括其他組成部件以實(shí)現(xiàn)上文所述的功能和處理，這里不再詳述。針對(duì)待處理像素所缺失的每一種顏色，權(quán)重設(shè)置模塊例如可以用于將待處理像素的預(yù)定大小區(qū)域中的具有該缺失顏色分量的像素中的那些距離待處理像素越近的像素所對(duì)應(yīng)的濾波權(quán)重設(shè)置得越大。在另一個(gè)例子中，權(quán)重設(shè)置模塊還可以根據(jù)圖像所采用的顏色分布圖案來(lái)設(shè)置與上述至少一個(gè)方向中的每個(gè)方向?qū)?yīng)的、缺失的每種缺失顏色分量的預(yù)定權(quán)重矩陣。這樣，對(duì)于不同圖案類型的圖像，可以通過(guò)權(quán)重設(shè)置模塊來(lái)適應(yīng)性地調(diào)整預(yù)定權(quán)重矩陣，以得到適合每個(gè)像素的濾波權(quán)重，進(jìn)而能夠適于處理各種圖案的圖像。此外，由于處理的靈活度較高，因此能夠使得針對(duì)某種特定圖案的圖像的處理可以方便地調(diào)整。
[0153]需要說(shuō)明的是，在本發(fā)明的各個(gè)實(shí)施例中，可能存在多個(gè)待處理像素，例如拜耳圖案中的每個(gè)像素都可作為待處理像素。在這種情況下，可以順次對(duì)各個(gè)像素進(jìn)行處理，即順次選擇各個(gè)像素作為待處理像素來(lái)計(jì)算各個(gè)像素的缺失分量。處理的順序可以是從左到右、從上到下，也可以是任何其他的順序(例如螺旋)，甚至可以采用偽隨機(jī)數(shù)來(lái)確定順序。
[0154]此外，需要說(shuō)明的是，不一定所有像素都可以作為待處理像素(即中心像素)。例如當(dāng)采用5X5的像素塊來(lái)進(jìn)行處理時(shí)，圖像的最上方兩行、最下方兩行、最左側(cè)兩列和最右側(cè)兩列像素?zé)o法作為5X5像素塊的中心像素。此時(shí)，可以利用更簡(jiǎn)單的方法對(duì)這些像素進(jìn)行處理，例如簡(jiǎn)單的線性插值，等等?；蛘?，也可以利用鏡像方法等等在像素邊緣外側(cè)添加虛擬像素，從而形成5X5的像素塊，在此情況下就可以使用本發(fā)明的處理方法。
[0155]另外，還需要說(shuō)明的是，在一些情況下，也不必將圖像中的所有像素都作為待處理像素來(lái)處理，例如，可以僅對(duì)圖像中的部分像素進(jìn)行上文所述的處理，即可改善圖像的質(zhì)量。
[0156]通過(guò)以上描述可知，上述根據(jù)本發(fā)明實(shí)施例的圖像處理裝置，利用圖像的待處理像素在多個(gè)預(yù)定方向上的梯度來(lái)確定與待處理像素在顏色特征上最關(guān)聯(lián)的至少一個(gè)方向，并針對(duì)所缺失的至少部分缺失顏色分量中的每一種求得待處理像素在這至少一個(gè)方向的該種缺失顏色分量，以最終得到待處理像素在上述圖像中的該種缺失顏色分量，由此使得所得到的圖像的精度較高和/或質(zhì)量較好。該圖像處理裝置可以用于去除圖像中的馬賽克，用于拜耳圖案CFA (濾色器陣列)的去馬賽克插值方法也可以應(yīng)用于其他類型的圖像處理中，例如，圖像恢復(fù)處理等。
[0157]此外，本發(fā)明的實(shí)施例還提供了一種圖像處理方法，該圖像處理方法包括:計(jì)算圖像的待處理像素在多個(gè)預(yù)定方向上的梯度；根據(jù)計(jì)算的梯度確定多個(gè)預(yù)定方向中與待處理像素在顏色特征上最關(guān)聯(lián)的至少一個(gè)方向；以及針對(duì)待處理像素所缺失的至少部分缺失顏色分量中的每一個(gè)，利用圖像中包含待處理像素的預(yù)定大小區(qū)域中的、具有該缺失顏色分量的像素的該缺失顏色分量，獲得待處理像素分別在至少一個(gè)方向上的該缺失顏色分量，以得到待處理像素在圖像中的該缺失顏色分量。
[0158]下面結(jié)合圖9來(lái)描述上述圖像處理方法的一種示例性處理。
[0159]如圖9所示，根據(jù)本發(fā)明的實(shí)施例的圖像處理方法的處理流程900開始于步驟S910，然后執(zhí)行步驟S920。
[0160]在步驟S920中，計(jì)算圖像的待處理像素在多個(gè)預(yù)定方向上的梯度。然后執(zhí)行步驟S930。
[0161]在一個(gè)實(shí)現(xiàn)方式中，在步驟S920中計(jì)算待處理像素在每個(gè)預(yù)定方向上的梯度的過(guò)程中，可以將位于待處理像素周圍的、距離待處理像素越近的像素所對(duì)應(yīng)的梯度權(quán)重設(shè)置得越大。
[0162]此外，在一個(gè)實(shí)現(xiàn)方式中，多個(gè)預(yù)定方向例如可以包括如下8個(gè)反向:東、南、西、北、東南、東北、西南以及西北。
[0163]其中，步驟S920中所執(zhí)行的處理例如可以與上文中結(jié)合圖1所描述的梯度計(jì)算單元110的處理相同，并能夠達(dá)到類似的技術(shù)效果，在此不再贅述。
[0164]在步驟S930中，根據(jù)計(jì)算的梯度確定多個(gè)預(yù)定方向中與待處理像素在顏色特征上最關(guān)聯(lián)的至少一個(gè)方向。然后執(zhí)行步驟S940。其中，步驟S930中所執(zhí)行的處理例如可以與上文中結(jié)合圖1所描述的方向確定單元120的處理相同，并能夠達(dá)到類似的技術(shù)效果，在此不再贅述。
[0165]在步驟S940中，計(jì)算待處理像素所缺失的至少部分缺失顏色分量中的每一個(gè)。例如，在步驟S940中，針對(duì)待處理像素所缺失的至少部分缺失顏色分量中的每一個(gè)，利用上述圖像中包含待處理像素的預(yù)定大小區(qū)域中的、具有該缺失顏色分量的像素的該缺失顏色分量，獲得待處理像素分別在至少一個(gè)方向上的該缺失顏色分量，以得到待處理像素在圖像中的該缺失顏色分量。然后執(zhí)行步驟S950。其中，步驟S940中所執(zhí)行的處理例如可以與上文中結(jié)合圖1所描述的缺失顏色分量獲得單元130的處理相同，并能夠達(dá)到類似的技術(shù)效果，在此不再贅述。
[0166]在根據(jù)本發(fā)明的實(shí)施例的圖像處理方法的一種實(shí)現(xiàn)方式中，在步驟S940中，可以通過(guò)如圖10所示的步驟S1010和S1020來(lái)獲得待處理像素的所缺失的至少部分缺失顏色分量中的每一個(gè)。
[0167]如圖10所示，在步驟S1010中，可以基于預(yù)定大小區(qū)域中的具有該缺失顏色分量的像素的該缺失顏色分量，計(jì)算待處理像素在至少一個(gè)方向中每個(gè)方向上的該缺失顏色分量。然后執(zhí)行步驟S1020。
[0168]在一個(gè)例子中，在步驟S1010中，例如可以按照如下方式來(lái)計(jì)算待處理像素在至少一個(gè)方向中每個(gè)方向上的該缺失顏色分量:針對(duì)待處理像素所缺失的至少部分缺失顏色分量中的每一個(gè)缺失顏色分量以及上述至少一個(gè)方向中的每一個(gè)方向，將利用該方向?qū)?yīng)的、該缺失顏色分量的預(yù)定權(quán)重矩陣對(duì)預(yù)定大小區(qū)域中具有該缺失顏色分量的像素的該缺失顏色分量進(jìn)行加權(quán)計(jì)算所得到的結(jié)果作為待處理像素在該方向上的該缺失顏色分量，其中，該方向?qū)?yīng)的、該缺失顏色分量的預(yù)定權(quán)重矩陣包括有預(yù)定大小區(qū)域中的具有該缺失顏色分量的像素中每個(gè)像素所對(duì)應(yīng)的濾波權(quán)重。
[0169]在一個(gè)優(yōu)選的例子中，在步驟S1010中，在預(yù)定大小區(qū)域中的具有該缺失顏色分量的像素中，例如可以將距離待處理像素越近的像素所對(duì)應(yīng)的濾波權(quán)重設(shè)置得越大。
[0170]其中，步驟S1010中所執(zhí)行的處理例如可以與上文中結(jié)合圖5所描述的第一計(jì)算子單元510的處理相同，并能夠達(dá)到類似的技術(shù)效果，在此不再贅述。
[0171]在步驟S1020中，可以將待處理像素在至少一個(gè)方向中的所有方向上的該缺失顏色分量進(jìn)行加權(quán)計(jì)算所得到的結(jié)果作為待處理像素在圖像中的該缺失顏色分量。其中，步驟S1020中所執(zhí)行的處理例如可以與上文中結(jié)合圖5所描述的第二計(jì)算子單元520的處理相同，并能夠達(dá)到類似的技術(shù)效果，在此不再贅述。
[0172]處理流程900結(jié)束于步驟S950。
[0173]需要說(shuō)明的是，在上述根據(jù)本發(fā)明實(shí)施例的圖像處理方法的具體處理中，其各個(gè)步驟、子步驟可以分別采用與上文中結(jié)合圖1或圖5所描述的圖像處理裝置中的對(duì)應(yīng)的單元、子單元或者模塊的處理相同的處理，并能夠達(dá)到相類似的功能和效果，這里不再一一贅述。
[0174]通過(guò)以上描述可知，上述根據(jù)本發(fā)明實(shí)施例的圖像處理方法，利用圖像的待處理像素在多個(gè)預(yù)定方向上的梯度來(lái)確定與待處理像素在顏色特征上最關(guān)聯(lián)的至少一個(gè)方向，并針對(duì)所缺失的至少部分缺失顏色分量中的每一種求得待處理像素在這至少一個(gè)方向的該種缺失顏色分量，以最終得到待處理像素在上述圖像中的該種缺失顏色分量，由此使得所得到的圖像的精度較高和/或質(zhì)量較好。該圖像處理方法可以用于去除圖像中的馬賽克(例如用于拜耳圖案CFA (濾色器陣列)的去馬賽克插值方法)，也可以應(yīng)用于其他類型的圖像處理中，例如，圖像恢復(fù)處理等。
[0175]此外，本發(fā)明的實(shí)施例還提供了一種電子設(shè)備，該電子設(shè)備包括如上所述的圖像處理裝置。在根據(jù)本發(fā)明的實(shí)施例的上述電子設(shè)備的具體實(shí)現(xiàn)方式中，上述電子設(shè)備可以是以下設(shè)備中的任意一種設(shè)備:數(shù)字相機(jī)(如基于拜耳圖案的數(shù)字相機(jī))；計(jì)算機(jī)；平板電腦；個(gè)人數(shù)字助理；多媒體播放設(shè)備；手機(jī)以及電紙書等等。其中，該電子設(shè)備具有上述圖像處理裝置的各種功能和技術(shù)效果，這里不再贅述。
[0176]上述根據(jù)本發(fā)明的實(shí)施例的圖像處理裝置中的各個(gè)組成單元、子單元、模塊等可以通過(guò)軟件、固件、硬件或其任意組合的方式進(jìn)行配置。在通過(guò)軟件或固件實(shí)現(xiàn)的情況下，可從存儲(chǔ)介質(zhì)或網(wǎng)絡(luò)向具有專用硬件結(jié)構(gòu)的機(jī)器(例如圖5所示的通用機(jī)器500)安裝構(gòu)成該軟件或固件的程序，該機(jī)器在安裝有各種程序時(shí)，能夠執(zhí)行上述各組成單元、子單元的各種功能。
[0177]圖11是示出了可用來(lái)實(shí)現(xiàn)根據(jù)本發(fā)明的實(shí)施例的圖像處理裝置和圖像處理方法的一種可能的信息處理設(shè)備的硬件配置的結(jié)構(gòu)簡(jiǎn)圖。
[0178]在圖11中，中央處理單元(CPU) 1101根據(jù)只讀存儲(chǔ)器(ROM) 1102中存儲(chǔ)的程序或從存儲(chǔ)部分1108加載到隨機(jī)存取存儲(chǔ)器(RAM) 1103的程序執(zhí)行各種處理。在RAMl 103中，還根據(jù)需要存儲(chǔ)當(dāng)CPUl 101執(zhí)行各種處理等等時(shí)所需的數(shù)據(jù)。CPUl 101、R0M1102和RAMl 103經(jīng)由總線1104彼此連接。輸入/輸出接口 1105也連接到總線1104。
[0179]下述部件也連接到輸入/輸出接口 1105:輸入部分1106 (包括鍵盤、鼠標(biāo)等等)、輸出部分1107(包括顯示器，例如陰極射線管(CRT)、液晶顯示器(LCD)等，和揚(yáng)聲器等)、存儲(chǔ)部分1108 (包括硬盤等)、通信部分1109 (包括網(wǎng)絡(luò)接口卡例如LAN卡、調(diào)制解調(diào)器等)。通信部分1109經(jīng)由網(wǎng)絡(luò)例如因特網(wǎng)執(zhí)行通信處理。根據(jù)需要，驅(qū)動(dòng)器1110也可連接到輸入/輸出接口 1105?？刹鹦督橘|(zhì)1111例如磁盤、光盤、磁光盤、半導(dǎo)體存儲(chǔ)器等等可以根據(jù)需要被安裝在驅(qū)動(dòng)器1110上，使得從中讀出的計(jì)算機(jī)程序可根據(jù)需要被安裝到存儲(chǔ)部分1108 中。
[0180]在通過(guò)軟件實(shí)現(xiàn)上述系列處理的情況下，可以從網(wǎng)絡(luò)例如因特網(wǎng)或從存儲(chǔ)介質(zhì)例如可拆卸介質(zhì)1111安裝構(gòu)成軟件的程序。
[0181]本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，這種存儲(chǔ)介質(zhì)不局限于圖11所示的其中存儲(chǔ)有程序、與設(shè)備相分離地分發(fā)以向用戶提供程序的可拆卸介質(zhì)1111。可拆卸介質(zhì)1111的例子包含磁盤(包含軟盤)、光盤(包含光盤只讀存儲(chǔ)器(⑶-ROM)和數(shù)字通用盤(DVD))、磁光盤(包含迷你盤(MD)(注冊(cè)商標(biāo)))和半導(dǎo)體存儲(chǔ)器?；蛘?，存儲(chǔ)介質(zhì)可以是ROMl 102、存儲(chǔ)部分1108中包含的硬盤等等，其中存有程序，并且與包含它們的設(shè)備一起被分發(fā)給用戶。
[0182]此外，本發(fā)明還提出了一種存儲(chǔ)有機(jī)器可讀取的指令代碼的程序產(chǎn)品。上述指令代碼由機(jī)器讀取并執(zhí)行時(shí)，可執(zhí)行上述根據(jù)本發(fā)明的實(shí)施例的圖像處理方法。相應(yīng)地，用于承載這種程序產(chǎn)品的例如磁盤、光盤、磁光盤、半導(dǎo)體存儲(chǔ)器等的各種存儲(chǔ)介質(zhì)也包括在本發(fā)明的公開中。
[0183]在上面對(duì)本發(fā)明具體實(shí)施例的描述中，針對(duì)一種實(shí)施方式描述和/或示出的特征可以以相同或類似的方式在一個(gè)或更多個(gè)其它實(shí)施方式中使用，與其它實(shí)施方式中的特征相組合，或替代其它實(shí)施方式中的特征。
[0184]此外，本發(fā)明的各實(shí)施例的方法不限于按照說(shuō)明書中描述的或者附圖中示出的時(shí)間順序來(lái)執(zhí)行，也可以按照其他的時(shí)間順序、并行地或獨(dú)立地執(zhí)行。因此，本說(shuō)明書中描述的方法的執(zhí)行順序不對(duì)本發(fā)明的技術(shù)范圍構(gòu)成限制。
[0185]此外，顯然，根據(jù)本發(fā)明的上述方法的各個(gè)操作過(guò)程也可以以存儲(chǔ)在各種機(jī)器可讀的存儲(chǔ)介質(zhì)中的計(jì)算機(jī)可執(zhí)行程序的方式實(shí)現(xiàn)。
[0186]而且，本發(fā)明的目的也可以通過(guò)下述方式實(shí)現(xiàn):將存儲(chǔ)有上述可執(zhí)行程序代碼的存儲(chǔ)介質(zhì)直接或者間接地提供給系統(tǒng)或設(shè)備，并且該系統(tǒng)或設(shè)備中的計(jì)算機(jī)或者中央處理單元(CPU)讀出并執(zhí)行上述程序代碼。
[0187]此時(shí)，只要該系統(tǒng)或者設(shè)備具有執(zhí)行程序的功能，則本發(fā)明的實(shí)施方式不局限于程序，并且該程序也可以是任意的形式，例如，目標(biāo)程序、解釋器執(zhí)行的程序或者提供給操作系統(tǒng)的腳本程序等。
[0188]上述這些機(jī)器可讀存儲(chǔ)介質(zhì)包括但不限于:各種存儲(chǔ)器和存儲(chǔ)單元，半導(dǎo)體設(shè)備，磁盤單元例如光、磁和磁光盤，以及其它適于存儲(chǔ)信息的介質(zhì)等。
[0189]另外，客戶計(jì)算機(jī)通過(guò)連接到因特網(wǎng)上的相應(yīng)網(wǎng)站，并且將依據(jù)本發(fā)明的計(jì)算機(jī)程序代碼下載和安裝到計(jì)算機(jī)中然后執(zhí)行該程序，也可以實(shí)現(xiàn)本發(fā)明。
[0190]最后，還需要說(shuō)明的是，在本文中，諸如左和右、第一和第二等之類的關(guān)系術(shù)語(yǔ)僅僅用來(lái)將一個(gè)實(shí)體或者操作與另一個(gè)實(shí)體或操作區(qū)分開來(lái)，而不一定要求或者暗示這些實(shí)體或操作之間存在任何這種實(shí)際的關(guān)系或者順序。而且，術(shù)語(yǔ)“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過(guò)程、方法、物品或者設(shè)備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過(guò)程、方法、物品或者設(shè)備所固有的要素。在沒有更多限制的情況下，由語(yǔ)句“包括一個(gè)……”限定的要素，并不排除在包括所述要素的過(guò)程、方法、物品或者設(shè)備中還存在另外的相同要素。
[0191]綜上，在根據(jù)本發(fā)明的實(shí)施例中，本發(fā)明提供了如下方案但不限于此:
[0192]附記1.一種圖像處理裝置，包括:
[0193]梯度計(jì)算單元，其被配置用于計(jì)算圖像的待處理像素在多個(gè)預(yù)定方向上的梯度；
[0194]方向確定單元，其被配置用于根據(jù)梯度計(jì)算單元計(jì)算的梯度來(lái)確定所述多個(gè)預(yù)定方向中與所述待處理像素在顏色特征上最關(guān)聯(lián)的至少一個(gè)方向；以及
[0195]缺失顏色分量獲得單元，其被配置用于針對(duì)所述待處理像素所缺失的至少部分缺失顏色分量中的每一個(gè)，利用所述圖像中包含所述待處理像素的預(yù)定大小區(qū)域中的、具有該缺失顏色分量的像素的該缺失顏色分量，獲得所述待處理像素分別在至少一個(gè)方向中的每一個(gè)上的該缺失顏色分量，以得到所述待處理像素在所述圖像中的該缺失顏色分量。
[0196]附記2.根據(jù)附記I所述的圖像處理裝置，其中，所述缺失顏色分量獲得單元包括:
[0197]第一計(jì)算子單元，其被配置用于基于所述預(yù)定大小區(qū)域中的具有該缺失顏色分量的像素的該缺失顏色分量，計(jì)算所述待處理像素在所述至少一個(gè)方向中每個(gè)方向上的該缺失顏色分量；以及
[0198]第二計(jì)算子單元，其被配置用于將所述待處理像素在所述至少一個(gè)方向中的所有方向上的該缺失顏色分量進(jìn)行加權(quán)計(jì)算所得到的結(jié)果作為所述待處理像素在所述圖像中的該缺失顏色分量。
[0199]附記3.根據(jù)附記2所述的圖像處理裝置，其中，所述第一計(jì)算子單元被配置用于:
[0200]針對(duì)所述待處理像素所缺失的至少部分缺失顏色分量中的每一個(gè)以及所述至少一個(gè)方向中的每一個(gè)，
[0201]將利用該方向?qū)?yīng)的、該缺失顏色分量的預(yù)定權(quán)重矩陣對(duì)所述預(yù)定大小區(qū)域中具有該缺失顏色分量的像素的該缺失顏色分量進(jìn)行加權(quán)計(jì)算所得到的結(jié)果作為所述待處理像素在該方向上的該缺失顏色分量，其中，該方向?qū)?yīng)的、該缺失顏色分量的預(yù)定權(quán)重矩陣包括有所述預(yù)定大小區(qū)域中的具有該缺失顏色分量的像素中每個(gè)像素所對(duì)應(yīng)的濾波權(quán)重。
[0202]附記4.根據(jù)附記3所述的圖像處理裝置，其中，所述第一計(jì)算子單元中包括:
[0203]權(quán)重設(shè)置模塊，其被配置用于將所述預(yù)定大小區(qū)域中的具有該缺失顏色分量的像素中距離所述待處理像素越近的像素所對(duì)應(yīng)的濾波權(quán)重設(shè)置得越大。
[0204]附記5.根據(jù)附記3或4所述的圖像處理裝置，其中:
[0205]所述圖像采用預(yù)定的顏色分布圖案；以及
[0206]所述第一計(jì)算子單元中包括的權(quán)重設(shè)置模塊被配置用于根據(jù)所述圖像所采用的顏色分布圖案來(lái)設(shè)置與所述至少一個(gè)方向中的每個(gè)方向?qū)?yīng)的、所述至少部分缺失顏色分量中的每一個(gè)的預(yù)定權(quán)重矩陣。
[0207]附記6.根據(jù)附記1-5中任一項(xiàng)所述的圖像處理裝置，其中，所述梯度計(jì)算單元還被配置用于:
[0208]在計(jì)算所述待處理像素在每個(gè)所述預(yù)定方向上的梯度的過(guò)程中，將位于所述待處理像素周圍的、距離所述待處理像素越近的像素所對(duì)應(yīng)的梯度權(quán)重設(shè)置得越大。
[0209]附記7.根據(jù)附記1-6中任一項(xiàng)所述的圖像處理裝置，其中，所述方向確定單元被配置用于:
[0210]將所述待處理像素在多個(gè)預(yù)定方向上的梯度中小于或等于預(yù)定閾值的至少一個(gè)梯度所對(duì)應(yīng)的預(yù)定方向作為與所述待處理像素在顏色特征上最關(guān)聯(lián)的至少一個(gè)方向；或
[0211]將所述待處理像素在多個(gè)預(yù)定方向上的梯度中最小的預(yù)定數(shù)量個(gè)梯度所對(duì)應(yīng)的預(yù)定方向作為與所述待處理像素在顏色特征上最關(guān)聯(lián)的至少一個(gè)方向。
[0212]附記8.根據(jù)附記1-7中任一項(xiàng)所述的圖像處理裝置，其中，所述多個(gè)預(yù)定方向包括:
[0213]東、南、西、北、東南、東北、西南以及西北。
[0214]附記9.根據(jù)附記5中任一項(xiàng)所述的圖像處理裝置，其中，所述預(yù)定的顏色分布圖案為以下圖案中的任一種:拜耳圖案。
[0215]附記10.根據(jù)附記1-9中任一項(xiàng)所述的圖像處理裝置，其中，所述待處理像素所缺失的至少部分缺失顏色分量包括:RGB三原色中的至少一個(gè)顏色分量。
[0216]附記11.根據(jù)附記1-10中任一項(xiàng)所述的圖像處理裝置，其中，所述圖像處理裝置為去馬賽克裝置，所述待處理像素為所述圖像的馬賽克部分中的像素。
[0217]附記12.—種圖像處理方法，包括:
[0218]計(jì)算圖像的待處理像素在多個(gè)預(yù)定方向上的梯度；
[0219]根據(jù)計(jì)算的梯度確定所述多個(gè)預(yù)定方向中與所述待處理像素在顏色特征上最關(guān)聯(lián)的至少一個(gè)方向；以及
[0220]針對(duì)所述待處理像素所缺失的至少部分缺失顏色分量中的每一個(gè)，
[0221]利用所述圖像中包含所述待處理像素的預(yù)定大小區(qū)域中的、具有該缺失顏色分量的像素的該缺失顏色分量，獲得所述待處理像素分別在至少一個(gè)方向上的該缺失顏色分量，以得到所述待處理像素在所述圖像中的該缺失顏色分量。
[0222]附記13.根據(jù)附記12所述的圖像處理方法，其中，通過(guò)如下方式來(lái)獲得所述待處理像素的所缺失的至少部分缺失顏色分量中的每個(gè)缺失顏色分量:
[0223]基于所述預(yù)定大小區(qū)域中的具有該缺失顏色分量的像素的該缺失顏色分量，計(jì)算所述待處理像素在所述至少一個(gè)方向中每個(gè)方向上的該缺失顏色分量；以及
[0224]將所述待處理像素在所述至少一個(gè)方向中的所有方向上的該缺失顏色分量進(jìn)行加權(quán)計(jì)算所得到的結(jié)果作為所述待處理像素在所述圖像中的該缺失顏色分量。
[0225]附記14.根據(jù)附記13所述的圖像處理方法，其中，所述的計(jì)算所述待處理像素在所述至少一個(gè)方向中每個(gè)方向上的該缺失顏色分量的步驟包括:
[0226]針對(duì)所述待處理像素所缺失的至少部分缺失顏色分量中的每一個(gè)以及所述至少一個(gè)方向中的每一個(gè)，
[0227]將利用該方向?qū)?yīng)的、該缺失顏色分量的預(yù)定權(quán)重矩陣對(duì)所述預(yù)定大小區(qū)域中具有該缺失顏色分量的像素的該缺失顏色分量進(jìn)行加權(quán)計(jì)算所得到的結(jié)果作為所述待處理像素在該方向上的該缺失顏色分量，其中，該方向?qū)?yīng)的、該缺失顏色分量的預(yù)定權(quán)重矩陣包括有所述預(yù)定大小區(qū)域中的具有該缺失顏色分量的像素中每個(gè)像素所對(duì)應(yīng)的濾波權(quán)重。
[0228]附記15.根據(jù)附記12-14中任一項(xiàng)所述的圖像處理方法，其中:
[0229]在計(jì)算所述待處理像素在每個(gè)所述預(yù)定方向上的梯度的過(guò)程中，位于所述待處理像素周圍的、距離所述待處理像素越近的像素所對(duì)應(yīng)的梯度權(quán)重越大。
[0230]附記16.根據(jù)附記12-15中任一項(xiàng)所述的圖像處理方法，其中，所述多個(gè)預(yù)定方向包括:
[0231]東、南、西、北、東南、東北、西南以及西北。
[0232]附記17.—種電子設(shè)備，包括如附記1-11中任一所述的圖像處理裝置。
[0233]附記18.根據(jù)附記17所述的電子設(shè)備，其中，所述電子設(shè)備是以下設(shè)備中的任意一種:
[0234]數(shù)字相機(jī)；計(jì)算機(jī)；平板電腦；個(gè)人數(shù)字助理；多媒體播放設(shè)備；手機(jī)以及電紙書。
[0235]附記19.一種存儲(chǔ)有機(jī)器可讀取的指令代碼的程序產(chǎn)品，所述程序產(chǎn)品在執(zhí)行時(shí)能夠使所述機(jī)器執(zhí)行根據(jù)附記12-16中任一所述的圖像處理方法。
[0236]附記20.—種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有根據(jù)附記19所述的程序產(chǎn)品。
【權(quán)利要求】
1.一種圖像處理裝置，包括: 梯度計(jì)算單元，其被配置用于計(jì)算圖像的待處理像素在多個(gè)預(yù)定方向上的梯度；方向確定單元，其被配置用于根據(jù)梯度計(jì)算單元計(jì)算的梯度來(lái)確定所述多個(gè)預(yù)定方向中與所述待處理像素在顏色特征上最關(guān)聯(lián)的至少一個(gè)方向；以及 缺失顏色分量獲得單元，其被配置用于針對(duì)所述待處理像素所缺失的至少部分缺失顏色分量中的每一個(gè)，利用所述圖像中包含所述待處理像素的預(yù)定大小區(qū)域中的、具有該缺失顏色分量的像素的該缺失顏色分量，獲得所述待處理像素分別在至少一個(gè)方向中的每一個(gè)上的該缺失顏色分量，以得到所述待處理像素在所述圖像中的該缺失顏色分量。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述缺失顏色分量獲得單元包括: 第一計(jì)算子單元，其被配置用于針對(duì)所述至少部分缺失顏色分量中的每一個(gè)，基于所述預(yù)定大小區(qū)域中的具有該缺失顏色分量的像素的該缺失顏色分量及其方向和位置信息，計(jì)算所述待處理像素在所述至少一個(gè)方向中每個(gè)方向上的該缺失顏色分量；以及 第二計(jì)算子單元，其被配置用于針對(duì)所述至少部分缺失顏色分量中的每一個(gè)，將所述待處理像素在所述至少一個(gè)方向中的所有方向上的該缺失顏色分量進(jìn)行加權(quán)計(jì)算所得到的結(jié)果作為所述待處理像素在所述圖像中的該缺失顏色分量。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中，所述第一計(jì)算子單元被配置用于: 針對(duì)所述待處理像素所缺失的至少部分缺失顏色分量中的每一個(gè)以及所述至少一個(gè)方向中的每一個(gè)， 將利用該方向?qū)?yīng)的、該缺失顏色分量的預(yù)定權(quán)重矩陣對(duì)所述預(yù)定大小區(qū)域中具有該缺失顏色分量的像素的該缺失顏色分量進(jìn)行加權(quán)計(jì)算所得到的結(jié)果作為所述待處理像素在該方向上的該缺失顏色分量，其中，該方向?qū)?yīng)的、該缺失顏色分量的預(yù)定權(quán)重矩陣包括有所述預(yù)定大小區(qū)域中的具有該缺失顏色分量的像素中每個(gè)像素所對(duì)應(yīng)的濾波權(quán)重。
4.根據(jù)權(quán)利要求3所述的圖像處理裝置，其中，所述第一計(jì)算子單元中包括: 權(quán)重設(shè)置模塊，其被配置用于將所述預(yù)定大小區(qū)域中的具有該缺失顏色分量的像素中距離所述待處理像素越近的像素所對(duì)應(yīng)的濾波權(quán)重設(shè)置得越大。
5.根據(jù)權(quán)利要求3或4所述的圖像處理裝置，其中: 所述圖像采用多個(gè)預(yù)定的顏色分布圖案中的任一種；以及 所述第一計(jì)算子單元中包括的權(quán)重設(shè)置模塊被配置用于根據(jù)所述圖像所采用的顏色分布圖案來(lái)設(shè)置與所述至少一個(gè)方向中的每個(gè)方向?qū)?yīng)的、所述至少部分缺失顏色分量中的每一個(gè)的預(yù)定權(quán)重矩陣。
6.根據(jù)權(quán)利要求1-5中任一項(xiàng)所述的圖像處理裝置，其中，所述梯度計(jì)算單元還被配置用于: 在計(jì)算所述待處理像素在每個(gè)所述預(yù)定方向上的梯度的過(guò)程中，將位于所述待處理像素周圍的、距離所述待處理像素越近的像素所對(duì)應(yīng)的梯度權(quán)重設(shè)置得越大。
7.根據(jù)權(quán)利要求1-6中任一項(xiàng)所述的圖像處理裝置，其中，所述方向確定單元被配置用于: 將所述待處理像素在多個(gè)預(yù)定方向上的梯度中小于或等于預(yù)定閾值的至少一個(gè)梯度所對(duì)應(yīng)的預(yù)定方向作為與所述待處理像素在顏色特征上最關(guān)聯(lián)的至少一個(gè)方向；或 將所述待處理像素在多個(gè)預(yù)定方向上的梯度中最小的預(yù)定數(shù)量個(gè)梯度所對(duì)應(yīng)的預(yù)定方向作為與所述待處理像素在顏色特征上最關(guān)聯(lián)的至少一個(gè)方向。
8.根據(jù)權(quán)利要求1-7中任一項(xiàng)所述的圖像處理裝置，其中，所述多個(gè)預(yù)定方向包括: 東、南、西、北、東南、東北、西南以及西北。
9.一種圖像處理方法，包括: 計(jì)算圖像的待處理像素在多個(gè)預(yù)定方向上的梯度； 根據(jù)計(jì)算的梯度確定所述多個(gè)預(yù)定方向中與所述待處理像素在顏色特征上最關(guān)聯(lián)的至少一個(gè)方向；以及 針對(duì)所述待處理像素所缺失的至少部分缺失顏色分量中的每一個(gè)， 利用所述圖像中包含所述待處理像素的預(yù)定大小區(qū)域中的、具有該缺失顏色分量的像素的該缺失顏色分量，獲得所述待處理像素分別在至少一個(gè)方向上的該缺失顏色分量，以得到所述待處理像素在所述圖像中的該缺失顏色分量。
10.一種電子設(shè)備，包括如權(quán)利要求1-8中任一項(xiàng)所述的圖像處理裝置。
【文檔編號(hào)】G06T5/00GK104240182SQ201310224471
【公開日】2014年12月24日 申請(qǐng)日期:2013年6月6日 優(yōu)先權(quán)日:2013年6月6日
【發(fā)明者】葉姜莉, 付軒 申請(qǐng)人:富士通株式會(huì)社