專利名稱：圖像處理裝置、圖像處理方法和用于實(shí)現(xiàn)圖像處理的程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及到用成像器件諸如數(shù)碼相機(jī)生成圖像數(shù)據(jù)的技術(shù)。更具
體地本發(fā)明關(guān)于通過(guò)應(yīng)用具有對(duì)應(yīng)于光的三原色的R(紅)、G (綠)、 和B (藍(lán))的精細(xì)濾色器的馬賽克布置(mosaic arrangement)的濾色器 陣列而生成彩色圖像數(shù)據(jù)的技術(shù)。
背景技術(shù)：
隨著數(shù)字技術(shù)的進(jìn)步，圖像一般作為數(shù)字?jǐn)?shù)據(jù)(圖像數(shù)據(jù))處理。 成像器件(諸如數(shù)碼相機(jī))能實(shí)現(xiàn)圖像數(shù)據(jù)形式的捕獲圖像的即時(shí)輸出。 成像器件通常配備了由用于將光強(qiáng)轉(zhuǎn)化為電信號(hào)的小元件組成的電子 圖像傳感器。成像器件將捕獲的對(duì)象圖像借助于光學(xué)系統(tǒng)而聚焦到圖像 傳感器上并檢測(cè)單個(gè)元件中作為電信號(hào)的光強(qiáng)以生成圖像數(shù)據(jù) 進(jìn)入光 學(xué)系統(tǒng)的光可以被分為對(duì)應(yīng)于光的三原色的三種色彩分量R， G， B。三 種色彩分量R, G, B的相應(yīng)色光被聚焦到圖像傳感器上，且表示相應(yīng) 的色彩分量的光強(qiáng)的電信號(hào)被輸出以生成彩色圖像數(shù)據(jù)。
將進(jìn)入光學(xué)系統(tǒng)的光分離而得到的三種色彩分量R、 G和B的相應(yīng) 色光聚焦到圖像傳感器上的最簡(jiǎn)單方法，使用了光譜棱鏡來(lái)將入射光分 為三種色彩分量R， G和B的色光并將相應(yīng)的色光聚焦到圖像傳感器上 以生成關(guān)于相應(yīng)的色彩分量R, G和B的圖像數(shù)據(jù)。此方法不合需要之 處為需要三個(gè)圖像傳感器。 一種廣泛使用的技術(shù)將R, G和B色彩分量 之一分配到構(gòu)成圖像傳感器的每個(gè)元件以實(shí)現(xiàn)通過(guò)一個(gè)圖像傳感器對(duì) 相應(yīng)色彩分量R, G和B的檢測(cè)。此技術(shù)的典型配置提供了容許僅R分 量在指定用于R分量檢測(cè)的元件前方透射過(guò)的小濾色器、容許僅G分量 在指定用于G分量檢測(cè)的元件前方透射過(guò)的小濾色器、和容許僅B分量 在指定用于B分量檢測(cè)的元件前方透射過(guò)的小濾色器。此配置能實(shí)現(xiàn)通 過(guò)一個(gè)圖像傳感器對(duì)三種色彩分量R， G和B的圖像數(shù)據(jù)的同時(shí)檢測(cè)。 在通過(guò)一個(gè)圖像傳感器檢測(cè)相應(yīng)色彩分量R, G和B的技術(shù)中，指定用 于預(yù)定色彩分量(例如，R分量)檢測(cè)的每個(gè)元件不能檢測(cè)其它色彩分量(例如，G分量和B分量)。產(chǎn)生的圖像數(shù)據(jù)因此具有R分量的像素、 G分量的像素、和B分量的像素的馬賽克布置。用相鄰像素的色彩分量 進(jìn)行每個(gè)像素中缺失的色彩分量的插值(interpolation),能生成在所有 像素中具備所有色彩分量R, G和B設(shè)置的彩色圖像數(shù)據(jù)。
依賴于三個(gè)圖像傳感器來(lái)將三種色彩分量R, G和B的分離的色光 轉(zhuǎn)換為電信號(hào)并生成相應(yīng)色彩分量R, G和B的圖像數(shù)據(jù)的成像器件有 時(shí)被稱為"三圖像傳感器"器件。僅使用一個(gè)圖像傳感器來(lái)生成馬賽克 布置的圖像數(shù)據(jù)并通過(guò)插值計(jì)算缺失的色彩分量的成像器件有時(shí)被稱 為"單一圖像傳感器"器件。插值馬賽克布置的圖像數(shù)據(jù)中缺失的色彩 分量以生成具備所有色彩分量R， G和B設(shè)置的過(guò)程往往被稱作"反馬 賽克化(demosaicking)過(guò)程，，。
單一圖像傳感器器件需要缺失色彩分量的插值。這自然地耗費(fèi)了用 于插值的時(shí)間且可能由于插值誤差導(dǎo)致偽彩色的出現(xiàn)。存在有著眼于在 使得插值所需時(shí)間的增加最小化同時(shí)防止偽彩色出現(xiàn)的各種擬用技術(shù)。 一種擬用技術(shù)在計(jì)算了缺失的色彩分量之后計(jì)算了相應(yīng)像素中的色差 分量(例如，G分量與R分量之間的差)，將具備最大色差分量的像素 和具備最小色差分量的像素作為噪音從包括目標(biāo)像素的預(yù)設(shè)數(shù)目像素 的像素陣列中除去，并重新計(jì)算目標(biāo)像素中的相應(yīng)色彩分量(見(jiàn)日本專 利公開(kāi)號(hào)2005-167974)。另 一種擬用技術(shù)將低通濾波器應(yīng)用于在相應(yīng) 像素中計(jì)算出的色差分量并在除去噪音之后從色差分量重新計(jì)算目標(biāo) 像素中的相應(yīng)色彩分量(見(jiàn)日本專利公開(kāi)號(hào)2005-260908 )。

發(fā)明內(nèi)容
隨著消費(fèi)者對(duì)成像器件更高畫(huà)質(zhì)的日益增加的需求，已極度需要研 發(fā)防止偽彩色出現(xiàn)的去馬賽克技術(shù)。構(gòu)成被成像器件捕獲的每個(gè)圖像的 像素?cái)?shù)目日益增加以滿足消費(fèi)者對(duì)更高畫(huà)質(zhì)的需求。也需要研發(fā)能實(shí)現(xiàn) 高速處理的去馬賽克技術(shù)。
為了同時(shí)滿足對(duì)現(xiàn)有技術(shù)的去馬賽克過(guò)程的這些矛盾的需要，將需 要提供能在有效防止偽彩色出現(xiàn)同時(shí)實(shí)現(xiàn)高速處理的去馬賽克技術(shù)。
為了實(shí)現(xiàn)上述的至少部分需求，本發(fā)明的一方面是針對(duì)圖像處理裝 置，其接收在每個(gè)像素中具有對(duì)應(yīng)于光的三原色的三種色彩分量R, G 和B之中的僅一種色彩分量設(shè)置的馬賽克圖像，并使得所接收的馬賽克圖像數(shù)據(jù)經(jīng)受 一 系列圖像處理來(lái)生成在每個(gè)像素中具有所有三種色彩
分量R, G和B設(shè)置的彩色圖像數(shù)據(jù)。通過(guò)在垂直方向上具有G分量的 像素和作為另一色彩分量的R分量的像素的交替布置的像素列、在垂直 方向上具有G分量的像素和作為另一色彩分量的B分量的像素的交替布 置的像素列、在水平方向上具有G分量的像素和作為另一色彩分量的R 分量的像素的交替布置的像素行和在水平方向上具有G分量的像素和 作為另一色彩分量的B分量的像素的交替布置的像素行的組合，表示了 馬賽克圖像數(shù)據(jù)。
圖像處理裝置包括兩方向的色差計(jì)算模塊、邊緣取向檢測(cè)模塊和缺 失色彩分量插值模塊。垂直方向的色差分量計(jì)算模塊被配置成通過(guò)使用 垂直方向上鄰近的可用分量來(lái)獲取在另一色彩分量的像素位置中的G 分量或獲取在G分量像素位置中的另一色彩分量，以便計(jì)算包括在馬賽 克圖像的每個(gè)像素列中的每個(gè)像素內(nèi)的G分量與另一色彩分量之間的 垂直方向色差分量。水平方向的色差分量計(jì)算模塊被配置成通過(guò)使用水 平方向上鄰近的色彩分量來(lái)獲取在另一色彩分量的像素位置中的G分 量或獲取在G分量像素位置中的另 一 色彩分量，以便計(jì)算包括在馬賽克 圖像的每個(gè)像素行中的每個(gè)像素內(nèi)的G分量與另一色彩分量之間的水 平方向色差分量。邊緣取向檢測(cè)模塊被配置成從馬賽克圖像選擇R分量 的像素和B分量的像素并在每個(gè)這樣的像素位置關(guān)于至少所選擇像素 中的每個(gè)而將垂直方向的色差分量的變動(dòng)與水平方向色差分量的變動(dòng) 相比較以致檢測(cè)出至少所選擇像素的邊緣取向。最后，缺失色彩分量插 值模塊被配置成參照檢測(cè)出的邊緣取向、并在馬賽克圖像的每個(gè)像素中 插值缺失的色彩分量，其中馬賽克圖像中每個(gè)像素內(nèi)有一個(gè)色彩分量設(shè) 置。
本發(fā)明的另一方面是對(duì)應(yīng)于上述配置的圖像處理裝置的圖像處理 方法。圖像處理方法接收在每個(gè)像素中具有對(duì)應(yīng)于光的三原色的三種色 彩分量R, G和B之中的僅一種色彩分量設(shè)置的馬賽克圖像數(shù)據(jù)，并使 得所接收的馬賽克圖像數(shù)據(jù)經(jīng)受 一 系列圖像處理來(lái)生成在每個(gè)像素中 具有所有三種色彩分量R, G和B設(shè)置的彩色圖像數(shù)據(jù)。
圖像處理方法接收作為馬賽克圖像數(shù)據(jù)的圖像數(shù)據(jù)，所述圖像數(shù)據(jù) 是通過(guò)在垂直方向上具有G分量的像素和作為另一色彩分量的R分量的 像素的交替布置的像素列、在垂直方向上具有G分量的像素和作為另一色彩分量的B分量的像素的交替布置的像素列、在水平方向上具有G分 量的像素和作為另一色彩分量的R分量的像素的交替布置的像素行和 在水平方向上具有G分量的像素和作為另一色彩分量的B分量的像素的 交替布置的像素行的組合而表示的。圖像處理方法隨后通過(guò)插值獲得在 馬賽克圖像數(shù)據(jù)的每個(gè)像素列中所包括的每個(gè)像素內(nèi)的G分量和另一 色彩分量，并計(jì)算在垂直方向上每個(gè)像素列中所包括的每個(gè)像素內(nèi)的G 分量與另一色彩分量之間的垂直方向色差分量。類似地，圖像處理方法 通過(guò)插值獲得在馬賽克圖像數(shù)據(jù)的每個(gè)像素行中所包括的每個(gè)像素內(nèi) 的G分量和另一色彩分量，并計(jì)算在水平方向上每個(gè)像素行中所包括的 每個(gè)像素內(nèi)的G分量與另一色彩分量之間的水平方向色差分量。圖像處 理方法隨后從馬賽克圖像數(shù)據(jù)選擇R分量的像素和B分量的像素，并在 每個(gè)這樣的像素位置關(guān)于至少所選擇像素中的每個(gè)而將垂直方向的色 差分量的變動(dòng)與水平方向色差分量的變動(dòng)相比較以檢測(cè)出至少所選擇 像素的邊緣取向。圖像處理方法參照檢測(cè)出的邊緣取向，并在馬賽克圖 像數(shù)據(jù)的每個(gè)像素中插值缺失的色彩分量，其中馬賽克圖像數(shù)據(jù)中每個(gè) 像素內(nèi)有一個(gè)色彩分量設(shè)置。
在依據(jù)本發(fā)明各方面的圖像處理裝置和對(duì)應(yīng)的圖像處理方法中，該 過(guò)程計(jì)算了在構(gòu)成所接收馬賽克圖像數(shù)據(jù)的每個(gè)像素列中的垂直方向 色差分量和在構(gòu)成馬賽克圖像數(shù)據(jù)的每個(gè)像素行中的水平方面色差分 量?jī)烧?。通過(guò)在垂直方向上具有G分量的像素和R分量的像素的交替布 置的像素列、在垂直方向上具有G分量的像素和B分量的像素的交替布 置的像素列、在水平方向上具有G分量的像素和R分量的像素的交替布 置的像素行和在水平方向上具有G分量的像素和B分量的像素的交替布 置的像素行的組合，表示了馬賽克圖像數(shù)據(jù)。要么獲得G分量與R分量 之間的色差分量或者獲得G分量與B分量之間的色差分量，作為在每個(gè) 像素列中的垂直方向色差分量。類似地要么獲得G分量與R分量之間的 色差分量或者獲得G分量與B分量之間的色差分量，作為在每個(gè)像素行 中的水平方向色差分量。該過(guò)程隨后從馬賽克圖像數(shù)據(jù)選擇R分量的像 素和B分量的像素，并關(guān)于至少所選擇像素中的每個(gè)而將垂直方向的色 差分量的變動(dòng)與水平方向色差分量的變動(dòng)相比較以檢測(cè)至少所選擇像 素的邊緣取向。如上所迷，垂直方向色差分量和水平方向色差分量中的 每個(gè)要么代表了 G分量與R分量之間的色差分量或者G分量與B分量之間的色差分量。在R分量的像素中，垂直方向色差分量和水平方向色 差分量?jī)烧呤荊分量與R分量之間的色差分量。垂直方向色差分量與水 平方向色差分量之間的比較因此能實(shí)現(xiàn)在R分量的這些像素中的每個(gè) 的邊緣取向的精確檢測(cè)。在B分量的像素中，垂直方向色差分量和水平 方向色差分量?jī)烧呤荊分量與B分量之間的色差分量。垂直方向色差分 量與水平方向色差分量之間的比較因此能實(shí)現(xiàn)在B分量的這些像素中 的每個(gè)的邊緣取向的精確檢測(cè)。該過(guò)程參照精確地檢測(cè)出的邊緣取向， 并在馬賽克圖像數(shù)椐的每個(gè)像素中適當(dāng)?shù)夭逯等笔У纳史至?，其中馬 賽克圖像數(shù)據(jù)中的每個(gè)像素內(nèi)有一個(gè)色彩分量設(shè)置。此布置因而能生成 適當(dāng)?shù)牟噬珗D像數(shù)據(jù)。
在根據(jù)本發(fā)明的一方面的圖像處理裝置中，可以按下列方式計(jì)算出 用于檢測(cè)每個(gè)像素中邊緣取向的水平方向色差分量的變動(dòng)和垂直方向 色差分量的變動(dòng)。根椐一個(gè)優(yōu)選應(yīng)用，圖像處理裝置首先選擇每個(gè)目標(biāo) 像素作為邊緣取向的檢測(cè)對(duì)象。從包括目標(biāo)像素的目標(biāo)像素列的垂直方 向色差分量和鄰近目標(biāo)像素列的相鄰像素列的垂直方向色差分量計(jì)算 目標(biāo)像素中的垂直方向色差分量的變動(dòng)。在一個(gè)示例中，可以從包括目 標(biāo)像素的目標(biāo)像素列以及兩個(gè)像素列(即鄰近目標(biāo)像素列的兩個(gè)相鄰像 素列)的垂直方向色差分量計(jì)算目標(biāo)像素中的垂直方向色差分量的變 動(dòng)。在另一個(gè)示例中，可以從較大數(shù)目的像素列(即，至少是包括目標(biāo) 像素的目標(biāo)像素列和在目標(biāo)像素列兩側(cè)上的兩個(gè)相鄰像素列)的垂直方 向色差分量計(jì)算目標(biāo)像素中垂直方向色差分量的變動(dòng)。類似地從包括目 標(biāo)像素的目標(biāo)像素行的水平方向色差分量和鄰近目標(biāo)像素行的相鄰像 素行的水平方向色差分量計(jì)算目標(biāo)像素中的水平方向色差分量的變動(dòng)。 在此情況下，可以從兩個(gè)像素行(即，包括目標(biāo)像素的目標(biāo)像素行和鄰 近目標(biāo)像素行的一個(gè)相鄰像素行)的水平方向色差分量，或從更大數(shù)目 的像素行的水平方向色差分量計(jì)算目標(biāo)像素中水平方向色差分量的變 動(dòng)。
與基于單一像素列的計(jì)算相比，基于多個(gè)像素列(包括至少包括 了作為邊緣取向的檢測(cè)對(duì)象的目標(biāo)像素的目標(biāo)像素列、和鄰近目標(biāo)像素 列的一個(gè)相鄰像素列)的計(jì)算以更高精確度確定了垂直方向的色差分量 的變動(dòng)。類似地與基于單一像素行的計(jì)算相比，基于多個(gè)像素行(包括 至少是包括了目標(biāo)像素的目標(biāo)像素行、和鄰近目標(biāo)像素行的一個(gè)相鄰像素行)的計(jì)算以更高精確度確定了水平方向的色差分量的變動(dòng)。在目標(biāo) 像素中，精確計(jì)算出的垂直方向色差分量的變動(dòng)和精確計(jì)算出的水平方 向色差分量的變動(dòng)之間的比較能實(shí)現(xiàn)在目標(biāo)像素中邊緣取向的適當(dāng)檢測(cè)。
在像素列中有兩種不同類型的垂直方向色差分量，即，G分量與R 分量之間的色差分量和G分量與B分量之間的色差分量。彼此相鄰的像 素列的垂直方向色差分量可能不具有同樣類型的垂直方向色差分量。在 此情況下，從不同類型的色差分量計(jì)算變動(dòng)似乎是無(wú)意義的。然而，已 知經(jīng)驗(yàn)是，甚至不同類型的色差分量在圖像中的相鄰位置內(nèi)具有類似趨 勢(shì)的變動(dòng)。從甚至不同類型的色差分量計(jì)算出的目標(biāo)像素中垂直方向色 差分量的變動(dòng)因此是有重大意義的。根椐多個(gè)相鄰像素列中的垂直方向 色差分量的計(jì)算因而以高精確度確定了目標(biāo)像素中垂直方向色差分量 的變動(dòng)。在像素行中也有兩種不同類型的水平方向色差分量，即，G分 量與R分量之間的色差分量和G分量與B分量之間的色差分量。從甚 至不同類型的色差分量計(jì)算的目標(biāo)像素中水平方向色差分量的變動(dòng)因 此是有重大意義的。根據(jù)多個(gè)相鄰像素行中的水平方向色差分量的計(jì)算 因而以高精確度確定了目標(biāo)像素中水平方向色差分量的變動(dòng)。在目標(biāo)像 素中，垂直方向色差分量的變動(dòng)和水平方向色差分量的變動(dòng)之間的比較 能實(shí)現(xiàn)在目標(biāo)像素中邊緣取向的適當(dāng)檢測(cè)。
根據(jù)本發(fā)明的上述方面的另 一優(yōu)選應(yīng)用，圖像處理裝置僅檢測(cè)馬賽 克圖像數(shù)據(jù)中所包括的R分量的像素和B分量的像素內(nèi)的邊緣取向。
馬賽克圖像數(shù)據(jù)中的R分量的像素和B分量的像素需要插值G分 量。與B分量和R分量相比較，G分量更接近人類視覺(jué)對(duì)亮度的變動(dòng)具 有更高的靈敏度的特定波長(zhǎng)。從而G分量對(duì)產(chǎn)生的畫(huà)質(zhì)具有更大影響。 對(duì)馬賽克圖像數(shù)據(jù)中R分量的像素和B分量的像素內(nèi)的邊緣取向的檢測(cè) 能實(shí)現(xiàn)參照所檢測(cè)邊緣取向在這些像素中插值G分量。此布置確保了即 便在沒(méi)有對(duì)所有像素檢測(cè)邊緣取向時(shí)的有效且適當(dāng)?shù)牟逯怠?br> 根據(jù)本發(fā)明的上述方面的再一個(gè)優(yōu)選應(yīng)用，當(dāng)像素的垂直方向色差 分量的變動(dòng)大于像素的水平方向色差分量的變動(dòng)時(shí)，圖像處理裝置將每 個(gè)像素中邊緣取向檢測(cè)為水平方向。當(dāng)像素的垂直方向色差分量的變動(dòng) 小于像素的水平方向色差分量的變動(dòng)時(shí)，圖像處理裝置將每個(gè)像素中邊 緣取向檢測(cè)為垂直方向。當(dāng)像素的垂直方向色差分量的變動(dòng)等于像素的水平方向色差分量的變動(dòng)時(shí)，圖像處理裝置將每個(gè)像素中邊緣取向檢測(cè) 為垂直方向或水平方向。在此情況下，像素中的邊緣取向可能被固定到 垂直方向或水平方向、或可能在垂直方向和水平方向之間被交替地或隨
才;u也改變。
邊緣取向要么是垂直方向或者是水平方向。這樣的設(shè)置顯著地簡(jiǎn)化
了缺失色彩分量的插值。在此應(yīng)用中，基于這樣的假設(shè)執(zhí)行插值，即 即使在實(shí)際上具有對(duì)角邊緣或甚至于沒(méi)有邊緣的像素中，存在著要么垂 直方向上的邊緣或者水平方向上的邊緣。然而，在沒(méi)有邊緣的像素中有 要么垂直方向上的邊緣或者水平方向上的邊緣存在的假設(shè)一般對(duì)產(chǎn)生 的畫(huà)質(zhì)沒(méi)有影響。另外，由于使用了稍后說(shuō)明的細(xì)化插值概念，在具有 對(duì)角邊緣的像素中使用垂直和水平邊緣取向的估計(jì)的插值一般不會(huì)大 幅度劣化產(chǎn)生的畫(huà)質(zhì)。
根據(jù)本發(fā)明的上迷方面的另一優(yōu)選應(yīng)用，圖像處理裝置用一對(duì)相鄰 像素中的色彩分量在作為插值對(duì)象的插值目標(biāo)像素中插值作為缺失的 色彩分量的G分量，所述的一對(duì)相鄰像素是在插值目標(biāo)像素上方和下方 的一對(duì)上部和下部相鄰^f象素、以及在插值目標(biāo)像素左側(cè)和右側(cè)的一對(duì)左 側(cè)和右側(cè)相鄰像素之間選擇的。
當(dāng)插值目標(biāo)像素中檢測(cè)到的邊緣取向是垂直方向時(shí)，用插值目標(biāo)像 素上方和下方的一對(duì)上部和下部相鄰像素中獲得的色彩分量來(lái)對(duì)插值 目標(biāo)像素中的G分量進(jìn)行插值。另一方面，當(dāng)插值目標(biāo)像素中檢測(cè)到的 邊緣取向是水平方向時(shí)，用插值目標(biāo)像素左側(cè)和右側(cè)的一對(duì)左側(cè)和右側(cè) 相鄰像素中獲得的色彩分量來(lái)對(duì)插值目標(biāo)像素中的G分量進(jìn)行插值。當(dāng) 插值目標(biāo)像素不具有邊緣時(shí)，用插值目標(biāo)像素上方和下方的一對(duì)上部和 下部相鄰像素中、或插值目標(biāo)像素左側(cè)和右側(cè)的一對(duì)左側(cè)和右側(cè)相鄰像 素中獲得的色彩分量來(lái)對(duì)插值目標(biāo)像素中的G分量進(jìn)行插值。此布置能 基于兩個(gè)相鄰像素的色彩分量實(shí)現(xiàn)G分量的高速插值。作為G分量插值 對(duì)象的插值目標(biāo)像素是馬賽克圖像數(shù)據(jù)中不具有G分量設(shè)置的非G像 素(R像素和B像素)。馬賽克圖像數(shù)據(jù)包括相對(duì)較大數(shù)目的這種非G 像素。G分量的高速插值顯著地加速了在馬賽克圖像數(shù)據(jù)中插值缺失的 色彩分量的整個(gè)處理過(guò)程。
在用于在插值目標(biāo)像素中插值G分量的上述應(yīng)用的一個(gè)優(yōu)選實(shí)施 例中，圖像處理裝置用插值目標(biāo)像素上方和下方的一對(duì)上部和下部相鄰像素中的垂直方向色差分量、或者插值目標(biāo)像素左側(cè)和右側(cè)的一對(duì)左側(cè) 和右側(cè)相鄰像素中的水平方向色差分量來(lái)在插值目標(biāo)像素中插值垂直 方向的色差分量或者水平方向的色差分量?；谠诓逯的繕?biāo)像素中插值 的垂直方向的色差分量或者水平方向的色差分量、以及馬賽克圖像數(shù)據(jù) 中的插值目標(biāo)像素的色彩分量的設(shè)置，圖像處理裝置隨后計(jì)算插值目標(biāo)
像素中的G分量。
對(duì)于插值對(duì)象為G分量的插值像素而言，存在著R分量或者B分 量。垂直方向上的色差分量和水平方向上的色差分量被給定為G分量和 現(xiàn)有分量之間的差值。上述配置的圖像處理裝置用插值目標(biāo)像素上方和 下方的上部和下部相鄰像素中的垂直方向色差分量或用插值目標(biāo)像素 左側(cè)和右側(cè)的左側(cè)和右側(cè)相鄰像素中的水平方向色差分量在插值目標(biāo) 像素中插值垂直方向的色差分量或者水平方向的色差分量。插值目標(biāo)像 素中的G分量是可以容易地從插值的垂直方向色差分量或水平方向色 差分量和插值目標(biāo)像素中設(shè)置的馬賽克圖像數(shù)據(jù)的色彩分量而計(jì)算得 到的。根據(jù)垂直方向或水平方向上插值的色差分量的計(jì)算確保了 G分量 的適當(dāng)計(jì)算，同時(shí)有效地防止了偽彩色出現(xiàn)。G分量與R分量之間差值 的顯著變動(dòng)、或者G分量與B分量之間差值的顯著變動(dòng)導(dǎo)致了可見(jiàn)的色 彩改變。相應(yīng)色彩分量R, G和B的插值可能導(dǎo)致在插值目標(biāo)像素中色 彩分量間的差值顯著不同于相鄰像素中色彩分量間對(duì)應(yīng)的差值。這可能 導(dǎo)致偽彩色的出現(xiàn)。然而，垂直方向上或水平方向上色差分量的插值、 以及根據(jù)插值的色差分量對(duì)G分量的計(jì)算，防止了在至少插值方向上色 彩分量之間差值的大變動(dòng)。這種布置有效地防止了偽彩色的出現(xiàn)。
在上述應(yīng)用的另 一優(yōu)選實(shí)施例中，圖像處理裝置在馬賽克數(shù)據(jù)中不 具備G分量設(shè)置的所有像素中插值G分量并隨后在該像素中插值其它 缺失的色彩分量。
如上所迷，基于在插值目標(biāo)像素上方和下方的相鄰像素或者插值目 標(biāo)像素左側(cè)和右側(cè)的相鄰像素中獲得的色彩分量，迅速地對(duì)每個(gè)插值目 標(biāo)像素中的G分量進(jìn)行插值。在馬賽克圖像數(shù)據(jù)中不具備G分量設(shè)置的 所有像素中高速插值G分量之后，能夠用插值的G分量和馬賽克圖像數(shù) 據(jù)中像素的色彩分量的設(shè)置來(lái)容易且快速地對(duì)其它缺失的色彩分量進(jìn) 行插值。
在本發(fā)明的上述方面的另 一優(yōu)選應(yīng)用中，在對(duì)缺失色彩分量進(jìn)行插值之前，圖像處理裝置檢測(cè)馬賽克圖像數(shù)據(jù)中所包括的至少R分量的像 素和B分量的像素內(nèi)的邊緣取向以產(chǎn)生邊緣取向圖。圖像處理裝置參照 儲(chǔ)存在邊緣取向圖中的邊緣取向以在馬賽克圖像數(shù)據(jù)的每個(gè)像素中插 值缺失的色彩分量。
在此配置的圖像處理裝置中，邊緣取向的檢測(cè)與相應(yīng)像素中缺失色 彩分量的插值分開(kāi)，且因而理想地簡(jiǎn)化了整個(gè)處理。通過(guò)簡(jiǎn)單參照邊緣 取向圖可以同時(shí)獲取多個(gè)像素的邊緣取向?；谙噜徬袼氐倪吘壢∠?， 每個(gè)像素中缺失的色彩分量被適當(dāng)插值。在檢測(cè)僅關(guān)于馬賽克圖像數(shù)據(jù) 中的R分量的像素和B分量的像素的邊緣取向的結(jié)構(gòu)中，存在著沒(méi)有檢 測(cè)邊緣取向的像素。即便在這樣一種情況下，基于根據(jù)所檢測(cè)到的相鄰 像素的邊緣取向而估計(jì)的像素的邊緣取向，可以對(duì)每個(gè)像素的缺失色彩 分量進(jìn)行插值。
在本發(fā)明的另一應(yīng)用中，計(jì)算機(jī)讀取儲(chǔ)存在計(jì)算機(jī)可讀介質(zhì)上的程 序用于實(shí)施上述圖像處理方法以實(shí)現(xiàn)相應(yīng)的功能。本發(fā)明的另一方面因 此是儲(chǔ)存了程序的計(jì)算機(jī)可讀介質(zhì)，所述程序?qū)е掠?jì)算機(jī)實(shí)施如下方 法接收在每個(gè)像素中具有對(duì)應(yīng)于光的三原色的三種色彩分量R, G和 B之中的僅一種色彩分量設(shè)置的馬賽克圖像數(shù)據(jù)，并使得所接收的馬賽 克圖像數(shù)據(jù)經(jīng)受一系列圖像處理來(lái)生成在每個(gè)像素中具有所有三種色 彩分量R, G和B設(shè)置的彩色圖像數(shù)據(jù)。
該程序?qū)е掠?jì)算機(jī)實(shí)現(xiàn)以下功能
接收作為馬賽克圖像數(shù)據(jù)的圖像數(shù)據(jù)，所述圖像數(shù)據(jù)是通過(guò)在垂直 方向上具有G分量的像素和作為另一色彩分量的R分量的像素的交替布 置的像素列、在垂直方向上具有G分量的像素和作為另一色彩分量的B 分量的像素的交替布置的像素列、在水平方向上具有G分量的像素和作 為另一色彩分量的R分量的像素的交替布置的像素行和在水平方向上 具有G分量的像素和作為另 一 色彩分量的B分量的像素的交替布置的像 素行的組合而表示的；
通過(guò)使用垂直方向上鄰近的可用分量而獲取在另一色彩分量的像 素位置中的G分量或獲取在G分量像素位置中的另一色彩分量，以便計(jì) 算包括在馬賽克圖像的每個(gè)像素列中的每個(gè)像素內(nèi)的G分量與另一色 彩分量之間的垂直方向色差分量；
通過(guò)使用水平方向上鄰近的可用分量而獲取在另一色彩分量的像素位置中的G分量或獲取在G分量像素位置中的另 一 色彩分量，以便計(jì) 算包括在馬賽克圖像的每個(gè)像素行中的每個(gè)像素內(nèi)的G分量與另一色 彩分量之間的水平方向色差分量；
從馬賽克圖像數(shù)據(jù)選擇R分量的像素和B分量的像素，并在每個(gè)這
樣的像素位置關(guān)于所選擇像素而將垂直方向的色差分量的變動(dòng)與水平
方向色差分量的變動(dòng)相比較以檢測(cè)出至少所選擇像素的邊緣取向;和
參照檢測(cè)出的邊緣取向，并在馬賽克圖像數(shù)據(jù)的每個(gè)像素中插值兩 個(gè)缺失的色彩分量，其中馬賽克圖像數(shù)椐中的每個(gè)像素內(nèi)有一個(gè)色彩分 量設(shè)置。
計(jì)算機(jī)讀取根據(jù)本發(fā)明這方面的程序以實(shí)現(xiàn)上述的相應(yīng)功能并適 當(dāng)插值馬賽克圖像數(shù)據(jù)的缺失色彩分量。此布置因而確保了在有效防止 偽彩色出現(xiàn)同時(shí)實(shí)現(xiàn)彩色圖像數(shù)椐的高速生成。


圖1示意性圖解了配備有根椐本發(fā)明的一個(gè)實(shí)施例的圖像處理裝置
的數(shù)碼相機(jī)的配置；
圖2是示出包括在圖1的圖像處理裝置中的圖像傳感器以及濾色器 陣列的結(jié)構(gòu)；
圖3是示出彩色圖像數(shù)據(jù)生成過(guò)程的流程圖，其是通過(guò)實(shí)施例的圖 像處理裝置執(zhí)行以從原始圖像數(shù)椐生成彩色圖像數(shù)據(jù)；
圖4概念性地示出將原始圖像數(shù)據(jù)轉(zhuǎn)換為色差分量的數(shù)據(jù)的過(guò)程； 圖5示出用于從原始圖像數(shù)據(jù)計(jì)算色差分量的公式； 圖6示出了應(yīng)用于去除色差分量中所包括的噪音的低通濾波器； 圖7是示出了通過(guò)實(shí)施例的圖像處理裝置在圖3的彩色圖像數(shù)據(jù)生 成過(guò)程中執(zhí)行的邊緣取向圖產(chǎn)生過(guò)程的細(xì)節(jié)；
圖8示出從垂直方向的色差分量CDv計(jì)算垂直方向上的變動(dòng)Vv; 圖9示出從水平方向的色差分量CDh計(jì)算水平方向上的變動(dòng)Vh; 圖10示出選擇用于檢測(cè)邊緣取向的目標(biāo)像素周圍的相鄰像素的可 能布置；
圖11示出可應(yīng)用于G像素的邊緣取向檢測(cè)的一種方法； 圖12示出可應(yīng)用于G^f象素的邊鄉(xiāng)彖取向4全測(cè)的另一種方法； 圖13示出可應(yīng)用于計(jì)算色差分量變動(dòng)的另一種方法；圖M示出可應(yīng)用于計(jì)算色差分量變動(dòng)的再一種方法；
圖15示出可應(yīng)用于計(jì)算色差分量的小變動(dòng)的另一種方法；
圖16是示出通過(guò)實(shí)施例的圖像處理裝置在圖3的彩色圖像數(shù)據(jù)生
成過(guò)程中執(zhí)行的G分量插值過(guò)程的細(xì)節(jié)的流程圖17示出計(jì)算非G像素中缺失的G分量的處理流程；
圖18是示出通過(guò)實(shí)施例的圖像處理裝置在圖3的彩色圖像數(shù)據(jù)生
成過(guò)程中執(zhí)行的非G像素插值過(guò)程的細(xì)節(jié)的流程圖19是示出通過(guò)實(shí)施例的圖像處理裝置在圖3的彩色圖像數(shù)據(jù)生
成過(guò)程中執(zhí)行的G像素插值過(guò)程的細(xì)節(jié)的流程圖20示出根據(jù)相鄰像素的邊緣取向?qū)插值目標(biāo)像素中的邊緣取
向的估計(jì)。
具體實(shí)施例方式
參考基于附圖以下列次序說(shuō)明的優(yōu)選實(shí)施例可以更全面地理解本 發(fā)明
A. 系統(tǒng)配置B. 彩色圖像數(shù)椐生成過(guò)程的概述
C. 邊緣取向圖產(chǎn)生過(guò)程
D. G分量插值過(guò)程
E. 非G像素插值過(guò)程
F. G像素插值過(guò)程 A.系統(tǒng)配置
圖1示意性圖解了配備有根據(jù)本發(fā)明的一個(gè)實(shí)施例的圖像處理裝置 30的數(shù)碼相機(jī)100的配置；如圖所示，數(shù)碼相機(jī)100包括具有一組多個(gè) 透鏡的光學(xué)系統(tǒng)10、將光學(xué)系統(tǒng)10所形成的對(duì)象的圖像轉(zhuǎn)換為電信號(hào) 的成像組件20、以及從成像組件20接收電信號(hào)并使得所接收的電信號(hào) 經(jīng)受預(yù)定的一系列圖像處理以生成彩色圖像數(shù)據(jù)的圖像處理裝置30。
成像組件20的圖像傳感器24具有用于將光強(qiáng)轉(zhuǎn)化為電信號(hào)的多個(gè) 精細(xì)成像元件的二維布置。濾色器陣列22設(shè)置在圖像傳感器24之前且 其具有R (紅)、G (綠)和B (藍(lán))的精細(xì)濾色器的馬賽克布置。構(gòu) 成濾色器陣列22的R， G和B濾色器布置將在下面詳細(xì)說(shuō)明。R濾色器， G濾色器和B濾色器被構(gòu)造為分別容許R色光的透射，G色光的透射，和B色光的透射。圖像傳感器24捕獲圖像數(shù)據(jù)，該圖像數(shù)據(jù)具有根據(jù) 濾色器陣列22中的R, G和B濾色器的馬賽克布置的響應(yīng)R光強(qiáng)的圖 像部分、響應(yīng)G光強(qiáng)的圖像部分和響應(yīng)B光強(qiáng)的圖像部分的馬賽克布置。
安裝到數(shù)碼相機(jī)100上的圖像處理裝置30從成像組件20接收馬賽 克布置的圖像數(shù)據(jù)并生成在相應(yīng)像素中具有R分量、G分量、和B分量 設(shè)置的彩色圖像數(shù)據(jù)。在實(shí)施例的圖像處理裝置30中，CPU、 ROM、 RAM和數(shù)據(jù)輸入/輸出接口 ( I/F )經(jīng)由總線互連以實(shí)現(xiàn)相互的數(shù)據(jù)傳輸。 CPU執(zhí)行一 系列處理以根椐儲(chǔ)存在ROM中的程序生成彩色圖像數(shù)據(jù)。 因而產(chǎn)生的彩色圖像數(shù)據(jù)可以經(jīng)由外部輸出終端40輸出到外部設(shè)備或 可以被輸出到外部記錄介質(zhì)50。
由圖像傳感器24捕獲的具有R， G和B分量的馬賽克布置的圖像 數(shù)據(jù)用作源數(shù)據(jù)，圖像處理裝置30參照源數(shù)椐生成在相應(yīng)像素中具備 R, G和B分量的設(shè)置的彩色圖像數(shù)據(jù)。圖像傳感器24所捕獲的馬賽克 布置的圖像數(shù)據(jù)因而也可以在此后被稱為"原始圖像數(shù)據(jù)"。
圖2是示出了濾色器陣列22和圖像傳感器24的結(jié)構(gòu)的概念性視圖。 如上所述，圖像傳感器24具有輸出的電信號(hào)對(duì)應(yīng)于光強(qiáng)的精細(xì)成像元 件的二維布置。在圖2所圖解的示例中，精細(xì)成像元件以格子圖案布置。 圖像傳感器24的格子圖案中的每個(gè)小矩形概念性地表示出一個(gè)成像元 件。
濾色器陣列22具有對(duì)應(yīng)于構(gòu)成圖像傳感器24的多個(gè)成像元件中的 每一個(gè)的位置而設(shè)置的R濾色器、G濾色器和B濾色器之一。在圖2中， 帶稀疏陰影線的矩形、帶密集陰影線的矩形和不帶陰影線的開(kāi)放矩形分 別表示R濾色器、B濾色器和G濾色器。在R， G和B濾色器的布置中， G濾色器首先被定位為相互成對(duì)角并形成棋盤圖案。即，G濾色器占據(jù) 了濾色器陣列22的一半面積。相同數(shù)目的R濾色器和B濾色器隨后被 均勻地布置在濾色器陣列22的剩余一半面積中。圖2中所示的此布置 產(chǎn)生的濾色器陣列22被稱為Bayer濾色器陣列。
如上所述，G濾色器、R濾色器和B濾色器被設(shè)計(jì)為分別容許僅G 色光的透射，僅R色光的透射和僅B色光的透射。圖像傳感器24因此 用如圖2所示定位于圖像傳感器24之前的Bayer濾色器陣列22的功能 捕獲馬賽克布置的圖像數(shù)據(jù)。馬賽克布置的圖像數(shù)據(jù)不可以用與普通圖 像數(shù)據(jù)相同的方式處理且不能直接表示圖像。圖像處理裝置30接收馬賽克布置的圖像數(shù)據(jù)(原始圖像數(shù)據(jù))并生成在相應(yīng)像素中具有R， G 和B分量設(shè)置的普通彩色圖像數(shù)據(jù)。 B.彩色圖像數(shù)據(jù)生成過(guò)程的概述
圖3是示出了彩色圖像數(shù)據(jù)生成過(guò)程的流程圖，其是通過(guò)實(shí)施例的 圖像處理裝置30來(lái)執(zhí)行以從原始圖像數(shù)據(jù)生成彩色圖像數(shù)據(jù)。在此實(shí) 施例的結(jié)構(gòu)中，圖像處理裝置30中所包括的CPU通過(guò)軟件配置執(zhí)行此 彩色圖像數(shù)據(jù)生成。然而，并非必需的，但是特定的硬件元件(例如信 號(hào)處理器)可以被用于相同目的。
在彩色圖像數(shù)據(jù)生成過(guò)程開(kāi)始時(shí)，如下詳細(xì)所述，CPU首先從圖像 傳感器24接收作為源數(shù)據(jù)的原始圖像數(shù)據(jù)(步驟S100)并將接收到的 原始圖像數(shù)椐轉(zhuǎn)換為色差分量的數(shù)椐(步驟S102)。
圖4概念性地示出了將原始圖像數(shù)椐轉(zhuǎn)換為色差分量的數(shù)椐的過(guò) 程。圖4的頂部示出了從圖像傳感器24讀取的原始圖像數(shù)據(jù)的概念性 視圖。用Bayer濾色器陣列獲得的原始圖像數(shù)據(jù)具有R， G和B分量的 馬賽克布置。在水平方向上，在原始圖像數(shù)據(jù)中僅有兩種類型的像素行 具有交替布置的G像素(帶G分量的像素)和R像素(帶有R分量的 像素)的像素行，和具有交替布置的G像素和B像素(帶有B分量的 像素)的像素行。在垂直方向上，類似地，在原始圖像數(shù)據(jù)中僅有兩種 類型的像素列具有交替布置的G像素和R像素的像素列和具有交替布 置的G像素和B像素的像素列。圖4的中間概念性地示出了在水平方向 上僅由交替的G像素與R像素的像素行和交替的G像素與B像素的像 素行組成的、且同時(shí)僅由交替的G像素與R像素的像素列和交替的G 像素和B像素的像素列組成的原始圖像數(shù)椐。
基于此觀察結(jié)果，此實(shí)施例的彩色圖像數(shù)據(jù)生成過(guò)程將R, G，和 B分量的原始圖像數(shù)據(jù)轉(zhuǎn)換為表示水平方向上像素行的色彩分量差(水 平方向上的色差分量)的數(shù)據(jù)和表示垂直方向上像素列的色彩分量差 (垂直方向上的色差分量)的數(shù)據(jù)。例如，原始圖像數(shù)據(jù)被轉(zhuǎn)換為關(guān)于 交替的G像素和R像素的像素行或像素列的G和R分量之間的色差分 量的數(shù)據(jù)。類似地，原始圖像數(shù)據(jù)被轉(zhuǎn)換為關(guān)于交替的G像素和B像素 的像素行或像素列的G和B分量之間的色差分量的數(shù)據(jù)。用于計(jì)算色差 分量的計(jì)算公式將在稍后詳細(xì)說(shuō)明。
圖4的底部概念性地示出了因而獲得的水平方向上和垂直方向上的色差分量。底部的左側(cè)視圖示出了通過(guò)處理垂直方向上的原始圖像數(shù)據(jù)
獲得的垂直方向上的色差分量CDv。每個(gè)帶陰影線的像素列是交替的G 像素和B像素的像素列。此像素列上的每個(gè)色差分量CDv因而代表了 G 分量和B分量之間的色差分量。每個(gè)剩下的不帶陰影線的像素列是交替 的G像素和R像素的像素列。此像素列上的每個(gè)色差分量CDv因而代 表了 G分量和R分量之間的色差分量。水平方向上的原始圖像數(shù)據(jù)是可 以類似地處理的。每個(gè)帶陰影線的像素行給出了 G像素和B像素之間的 色差分量CDh。每個(gè)剩下的不帶陰影線的像素行給出了 G像素和R像 素之間的色差分量CDh。
圖5示出了用于從原始圖像數(shù)據(jù)計(jì)算色差分量的公式。圖5 (a)示 出了用于計(jì)算垂直方向上色差分量CDv的計(jì)算公式，且圖5 (b)示出 了用于計(jì)算水平方向上色差分量CDh的計(jì)算公式。在這些計(jì)算公式中， "z"表示通過(guò)圖像傳感器24獲得的原始圖像數(shù)據(jù)的值，且z(r，s)示出了 由圖像中設(shè)置的原點(diǎn)位置起向下的第r個(gè)像素位置和由原點(diǎn)位置起向右 的第s個(gè)像素位置所限定的特定位置處的值(參見(jiàn)圖4的頂部)。
參考圖5(a),說(shuō)明了計(jì)算垂直方向上色差分量CDv的計(jì)算公式。 當(dāng)作為色差分量CDv的計(jì)算對(duì)象的目標(biāo)像素是具有G分量的像素(G 像素)時(shí)，采用了圖5 (a)的上部計(jì)算公式。該過(guò)程首先計(jì)算了目標(biāo)像 素上方和下方的上部和下部像素的值的均值(即，由點(diǎn)劃線圍繞的第二 項(xiàng))并從目標(biāo)像素的G分量(即，由虛線圍繞的第一項(xiàng))減去計(jì)算出的 均值以計(jì)算垂直方向上目標(biāo)像素的色差分量CDv。由于用于色差分量 CDv的計(jì)算的目標(biāo)像素是G像素，目標(biāo)像素的色調(diào)值z(mì)(r， s)自然代表G 分量。第二項(xiàng)中的元素z(r-l, s)示出了目標(biāo)像素上方的上部像素中的原 始圖像數(shù)據(jù)的色調(diào)值，而第二項(xiàng)中的元素z(r+l， s)示出了目標(biāo)像素下方 的下部像素中的原始圖像數(shù)據(jù)的色調(diào)值。如上所述參考圖4，目標(biāo)G像 素上方和下方的上部和下部像素可以是R像素或B像素，但總是同一色 彩分量的像素。由圖5 (a)中上部計(jì)算公式中的點(diǎn)劃線圍繞的第二項(xiàng)因 此代表了從上部像素和下部像素(即，要么是R像素要么是B像素)的 值計(jì)算出的R分量或者B分量。圖5 (a)中的上部計(jì)算公式的應(yīng)用決 定了垂直方向上的關(guān)于G分量像素(G像素)的色差分量CDv，而與作 為R像素或B像素的上部和下部像素?zé)o關(guān)。
應(yīng)注意到同一計(jì)算公式應(yīng)用于作為上部和下部像素的R像素和B像素，給出了兩種不同類型的色差分量CDv。當(dāng)上部和下部像素是R像素 時(shí)，產(chǎn)生的垂直方向上的色差分量CDv代表了 G分量與R分量之間的 色差分量。另一方面，當(dāng)上部和下部像素是B像素時(shí)，產(chǎn)生的垂直方向 上的色差分量CDv代表了 G分量與B分量之間的色差分量。
類似地可以關(guān)于不同于G像素的像素(即，R像素和B像素)計(jì)算 出垂直方向上的色差分量CDv。例如，當(dāng)作為色差分量CDv的計(jì)算對(duì) 象的目標(biāo)像素為R像素時(shí)，目標(biāo)像素上方和下方的上部和下部像素是如 上面參考圖4所述的G像素。據(jù)信，上部和下部像素值的均值指定了作 為色差分量CDv的計(jì)算對(duì)象的目標(biāo)像素中的G分量。從指定的G分量 減去目標(biāo)像素的色調(diào)值(在此情況下，為R分量)確定色差分量CDv。 設(shè)為目標(biāo)像素的每個(gè)B像素經(jīng)受了同樣的系列的處理。關(guān)于G像素以外 的像素，如圖5 (a)中的下部計(jì)算公式中所示，從右側(cè)上的虛線所圍繞 的第一項(xiàng)減去由點(diǎn)劃線圍繞的第二項(xiàng)，給出了垂直方向上的色差分量 CDv。
關(guān)于設(shè)置為除G像素以外的目標(biāo)像素的R像素和B像素兩者，可 應(yīng)用同一計(jì)算公式于垂直方向上色差分量的計(jì)算。然而，應(yīng)當(dāng)注意到作 為目標(biāo)像素處理的R像素和B像素給出了兩種不同類型的色差分量 CDv。當(dāng)目標(biāo)像素為R分量時(shí)，產(chǎn)生的色差分量CDv代表了 G分量和R 分量之間的色差分量。另一方面，當(dāng)目標(biāo)像素為B分量時(shí)，產(chǎn)生的色差 分量CDv代表了 G分量和B分量之間的色差分量。
實(shí)施例的彩色圖像數(shù)據(jù)生成過(guò)程應(yīng)用了完全相同的計(jì)算公式，用于 采用兩種不同類型的色差分量CDv的先進(jìn)的處理。同樣的計(jì)算公式的應(yīng) 用在理想情況下實(shí)現(xiàn)了使用兩種不同類型的色差分量CDv的先進(jìn)的處 理的高速度及簡(jiǎn)單化，這可以與常規(guī)的簡(jiǎn)單處理相比。然而，不像常規(guī) 的簡(jiǎn)單處理，實(shí)施例的此先進(jìn)的處理能實(shí)現(xiàn)充分去馬賽克且防止了偽彩 色的出現(xiàn)。
可以用與上述垂直方向上的色差分量CDv相同的方式計(jì)算水平方 向上的色差分量CDh。參考圖5(b)簡(jiǎn)要地說(shuō)明了色差分量CDh的計(jì) 算。如圖5(b)中的上部計(jì)算公式中所示，從右側(cè)虛線所圍繞的第一項(xiàng) 減去由點(diǎn)劃線圍繞的第二項(xiàng)，給出了水平方向上G像素的色差分量 CDh。在計(jì)算公式中，元素z(r, s)代表了作為色差分量計(jì)算對(duì)象的目標(biāo) 像素中的原始圖像數(shù)據(jù)的色調(diào)值(即，G分量)。元素z(r, s-l)示出了目標(biāo)像素左側(cè)上的左側(cè)像素中原始圖像數(shù)據(jù)的色調(diào)值，而元素z(r， s+l) 示出了目標(biāo)像素右側(cè)上的右側(cè)像素中原始圖像數(shù)據(jù)的色調(diào)值。目標(biāo)G像 素的左側(cè)和右側(cè)上的左側(cè)像素和右側(cè)像素可能是R像素或B像素，但總 是同一色彩分量的像素。
在水平方向上關(guān)于G像素以外的目標(biāo)像素(即，關(guān)于R目標(biāo)像素或 B目標(biāo)像素)對(duì)色差分量CDh的計(jì)算中，R或B目標(biāo)像素的左側(cè)和右側(cè) 上的左側(cè)像素和右側(cè)像素為G像素。如圖5 (b)中的下部計(jì)算公式中 所示，從虛線所圍繞的第一項(xiàng)(左側(cè)像素和右側(cè)像素的值的均值)減去 由點(diǎn)劃線圍繞的第二項(xiàng)(目標(biāo)像素的色調(diào)值)，給出了水平方向上的色 差分量CDh。
關(guān)于具有作為左側(cè)像素和右側(cè)像素的R像素或B像素的目標(biāo)G像 素以及關(guān)于設(shè)為G像素以外的目標(biāo)像素的R像素和B像素兩者，同一 計(jì)算公式可應(yīng)用于水平方向上色差分量CDh的計(jì)算。然而，計(jì)算給出了 兩種不同類型的色差分量CDh，即，G分量與R分量之間的色差分量和 G分量與B分量之間的色差分量。完全相同的計(jì)算公式的應(yīng)用在理想情 況下實(shí)現(xiàn)了在水平方向上使用兩種不同類型的色差分量CDh的先進(jìn)的 處理的高速度及簡(jiǎn)單化，這可以與常M^的簡(jiǎn)單處理相比。
正如從圖5 (a)與5 (b)之間的對(duì)比明白理解到的，用于計(jì)算垂 直方向上的色差分量CDv的計(jì)算公式明顯類似于用于計(jì)算水平方向上 的色差分量CDh的計(jì)算公式。即處理流程可以被標(biāo)準(zhǔn)化用于計(jì)算兩個(gè)不 同方向上的色差分量CDv和CDh二者。這進(jìn)一步增強(qiáng)了整個(gè)處理的簡(jiǎn) 單化和高速度。
在圖3的流程圖中的步驟S102處，圖像傳感器24捕獲的原始圖像 數(shù)據(jù)被轉(zhuǎn)換成垂直方向上的色差分量CDv和水平方向上的色差分量 CDh。優(yōu)選但非必要的是，應(yīng)用低通濾波器到垂直方向上的色差分量CDv 和水平方向上的色差分量CDh是為了從這些色差分量去除可能的噪音。 如稍后所述的，實(shí)施例的彩色圖像數(shù)據(jù)生成過(guò)程使用色差分量用于檢測(cè) 圖像中所包括的邊緣取向。低通濾波器的應(yīng)用一般是不合需要的，因?yàn)?低通濾波器常常會(huì)模糊邊緣和降低邊緣的檢測(cè)精確度。然而，此實(shí)施例 的步驟能實(shí)現(xiàn)以極高精確度檢測(cè)邊緣取向，如稍后所述。因而某些邊緣 模糊不顯著降低檢測(cè)精確度，但是噪音的去除能實(shí)現(xiàn)對(duì)邊緣取向的穩(wěn)定 檢測(cè)。圖6示出了應(yīng)用于去除色差分量中所包括的噪音的低通濾波器。圖 6 ( a)示出了待應(yīng)用于垂直方向上的色差分量CDv和待應(yīng)用于水平方向 上的色差分量CDh的低通濾波器。為了更好地理解，圖6(b)示出了 將低通濾波器應(yīng)用于水平方向上的色差分量CDh。作為低通濾波器的應(yīng) 用對(duì)象的目標(biāo)像素是用圖6(b)中帶陰影線的矩形而代表的。此實(shí)施例 的低通濾波器合計(jì)了目標(biāo)像素中的色差分量與目標(biāo)像素左側(cè)和右側(cè)上 的兩個(gè)左側(cè)像素和兩個(gè)右側(cè)像素中的色差分量。目標(biāo)像素的色差分量乘 以四個(gè)像素的權(quán)重，從而使得合計(jì)的色差分量對(duì)應(yīng)于八個(gè)像素。在此情 況下，總數(shù)簡(jiǎn)單地向較低位移位3位，給出了一個(gè)像素的色差分量，其 等于總數(shù)除以8。這樣的加權(quán)能實(shí)現(xiàn)使用低通濾波器的高速處理。
垂直方向上的色差分量CDv和水平方向上的色差分量CDh中的每 個(gè)均可以代表G分量與R分量之間的色差分量或者G分量與B分量之 間的色差分量，如前面解釋的。低通濾波器可應(yīng)用于垂直方向上的色差 分量CDv和水平方向上的色差分量CDh，而不考慮這樣不同類型的色 差分量。實(shí)施例的彩色圖像數(shù)椐生成過(guò)程因而實(shí)現(xiàn)了先進(jìn)的處理的極度 簡(jiǎn)單化和高速度。
回頭參考圖3的流程圖，在以上迷方式計(jì)算了垂直方向上的色差分 量CDv和水平方向上的色差分量CDh以后，實(shí)施例的彩色圖像數(shù)據(jù)生 成過(guò)程產(chǎn)生了具有這些關(guān)于色差分量的這些數(shù)據(jù)的邊緣取向圖(邊緣取 向圖產(chǎn)生過(guò)程)(步驟S104)。邊緣取向圖將圖像中所包括的每個(gè)邊緣 的取向圖示為要么垂直方向、要么水平方向。不必為所有像素設(shè)置邊緣 取向，但應(yīng)該至少為非G像素(即，R像素和B像素)設(shè)置邊緣取向。 實(shí)施例的彩色圖像數(shù)據(jù)生成過(guò)程基于垂直方向上的色差分量CDv和水 平方向上的色差分量CDh檢測(cè)邊緣取向，如稍后所述。這確保了邊緣取 向的精確且相對(duì)高速的檢測(cè)。邊緣取向圖產(chǎn)生過(guò)程的細(xì)節(jié)將在稍后加以 說(shuō)明。
在產(chǎn)生邊緣取向圖之后，CPU通過(guò)插值確定除G像素以外每個(gè)目標(biāo) 像素(即，要么R像素或B像素)中的G分量的色調(diào)值(G分量插值 過(guò)程)(步驟S106)。 G分量插值過(guò)程參照邊緣取向圖并用相鄰像素中 的G分量的值執(zhí)行插值以確定非G目標(biāo)像素中的G分量的適當(dāng)值。此G 分量插值過(guò)程的細(xì)節(jié)將在稍后加以說(shuō)明。
CPU隨后執(zhí)行除G像素以外的非G目標(biāo)像素中的剩余的色彩分量的插值(非G像素插值過(guò)程)(步驟S108 )。非G目標(biāo)像素(可以是 R像素或B像素)的G分量，已經(jīng)通過(guò)在前迷步驟S106處的插值確定。 步驟S108的處理因而為R目標(biāo)像素插值了 B分量，同時(shí)為B目標(biāo)像素 插值了 R分量。除G像素以外的像素因此已獲得了所有的色彩分量R， G和B。將在稍后說(shuō)明非G像素插值過(guò)程的細(xì)節(jié)(在關(guān)于除G像素以外 的每個(gè)非G目標(biāo)像素進(jìn)行了 G分量的插值之后的剩余色彩分量的插 值)。
當(dāng)除G像素外的像素中的插值完成時(shí)，CPU對(duì)原始圖像數(shù)據(jù)的關(guān)于 每個(gè)G目標(biāo)像素的缺失色彩分量(R分量和B分量)進(jìn)行插值(G像素 插值過(guò)程)(步驟SUO)。 G像素插值過(guò)程也參照邊緣取向圖并執(zhí)行插 值以確定G目標(biāo)像素中的缺失色彩分量的適當(dāng)值。此G像素插值過(guò)程的 細(xì)節(jié)將在稍后加以說(shuō)明。
當(dāng)除G像素以外的像素中的缺失色彩分量插值(步驟S106和S108) 以及G像素中的缺失色彩分量的插值(步驟S110)完成時(shí)，所有像素 已獲得了所有色彩分量R, G和B。 CPU隨后將獲得的RGB色彩分量作 為從原始圖像數(shù)椐生成的彩色圖像數(shù)據(jù)輸出(步驟SH2)并終止了圖3 的彩色圖像數(shù)椐生成過(guò)程。
如上所述，此實(shí)施例的彩色圖像數(shù)據(jù)生成過(guò)程基于垂直方向上的色 差分量CDv和水平方向上的色差分量CDh來(lái)檢測(cè)邊緣取向以產(chǎn)生邊緣 取向圖。更具體地，根據(jù)兩種不同類型(G分量與R分量之間的色差分 量和G分量與B分量之間的色差分量)的垂直方向色差分量CDv和水 平方向色差分量CDh檢測(cè)邊緣取向。這個(gè)特性能實(shí)現(xiàn)以高精確度產(chǎn)生邊 緣取向圖。這個(gè)非常精確的邊緣取向圖的應(yīng)用能實(shí)現(xiàn)對(duì)原始圖像數(shù)椐的 缺失色彩分量的適當(dāng)插值。邊緣取向圖產(chǎn)生過(guò)程和缺失色彩分量插值兩 者都相當(dāng)簡(jiǎn)單且可以高速執(zhí)行。實(shí)施例中的上述系列的處理因而能實(shí)現(xiàn) 從具有R, G和B色彩分量的馬賽克布置的原始圖像高速生成了適當(dāng)?shù)?彩色圖像數(shù)椐。下列說(shuō)明順序地考慮了邊緣取向圖產(chǎn)生過(guò)程、G分量插 值過(guò)程(在除G像素以外的像素內(nèi)的G分量的插值)、非G像素插值 過(guò)程(在除G像素以外的像素內(nèi)的剩余色彩分量的插值)、和G像素插 值過(guò)程(G像素內(nèi)的缺失色彩分量的插值)的細(xì)節(jié)。
C.邊緣取向圖產(chǎn)生過(guò)程
圖7是示出了通過(guò)實(shí)施例的圖像處理裝置30在圖3的彩色圖像數(shù)據(jù)生成過(guò)程中的步驟S104處執(zhí)行的邊緣取向圖產(chǎn)生過(guò)程的細(xì)節(jié)。
邊緣取向圖產(chǎn)生過(guò)程首先選擇了一個(gè)目標(biāo)像素作為邊緣取向檢測(cè) 的對(duì)象(步驟S200)并計(jì)算了垂直方向上的色差分量的變動(dòng)Vv (步驟 S202)。自然地從垂直方向上的色差分量CDv計(jì)算了垂直方向上的變 動(dòng)Vv。
圖8示出了從垂直方向的色差分量CDv計(jì)算垂直方向上的變動(dòng)Vv。 圖8 (a)示出了計(jì)算公式，且圖8 (b)概念性地示出了根據(jù)圖8(a) 的計(jì)算公式計(jì)算垂直方向上的變動(dòng)Vv。圖8 (b)中的帶陰影線矩形代 表了目標(biāo)像素的位置。垂直方向上的變動(dòng)Vv的計(jì)算過(guò)程首先計(jì)算目標(biāo) 像素中和目標(biāo)像素上方的上部像素中的色差分量CDv之間的差的平方。 類似地計(jì)算過(guò)程計(jì)算目標(biāo)像素中與目標(biāo)像素下方的下部像素中的色差 分量CDv之間的差的平方。圖8(b)中的帶陰影線目標(biāo)像素與下部像 素之間、以及帶陰影線目標(biāo)像素與上部像素之間所示的空箭頭代表了對(duì) 相應(yīng)像素的色差分量CDv之間的差的平方的計(jì)算。
在計(jì)算了目標(biāo)像素中與上部及下部像素中的色差分量CDv之間的
相應(yīng)差的平方之后，計(jì)算過(guò)程類似地計(jì)算目標(biāo)像素左側(cè)上的左側(cè)像素中 與該左側(cè)像素上方和下方的上部及下部像素中的色差分量CDv之間的 相應(yīng)差的平方、以及目標(biāo)像素右側(cè)上的右側(cè)像素中與該右側(cè)像素上方和 下方的上部及下部像素中的色差分量CDv之間的相應(yīng)差的平方。圖8(b) 示出了從垂直方向上排列的六對(duì)像素獲得的六個(gè)平方值。這六個(gè)平方的 總和被指定為垂直方向上關(guān)于目標(biāo)像素的變動(dòng)Vv。
回頭參考圖7的流程圖，在計(jì)算了垂直方向上的變動(dòng)Vv之后，邊 緣取向圖產(chǎn)生過(guò)程計(jì)算了水平方向上的色差分量的變動(dòng)Vh (步驟 S204)。除了使用水平方向上的色差分量CDh用于計(jì)算以外，以類似 于垂直方向上的變動(dòng)Vv的計(jì)算的方式而計(jì)算了水平方向上的變動(dòng)Vh。
圖9示出了從水平方向的色差分量CDh計(jì)算水平方向上的變動(dòng)Vh。 圖9 (a)示出了計(jì)算公式，且圖9 (b)概念性地示出了根據(jù)圖9 (a) 的計(jì)算公式計(jì)算水平方向上的變動(dòng)Vh。如圖9 (b)中的空箭頭所示， 計(jì)算過(guò)程接連地計(jì)算了目標(biāo)像素中與目標(biāo)像素左側(cè)和右側(cè)上的左側(cè)及
右側(cè)像素中的色差分量CDh之間的相應(yīng)差的平方、目標(biāo)像素上方的上部 像素中與該上部像素的左側(cè)和右側(cè)的左側(cè)及右側(cè)像素中的色差分量
CDh之間的相應(yīng)差的平方、以及目標(biāo)像素下方的下部像素中與該下部像素的左側(cè)和右側(cè)的左側(cè)及右側(cè)像素中的色差分量CDh之間的相應(yīng)差的 平方。這六個(gè)平方的總和被指定為水平方向上關(guān)于目標(biāo)像素的變動(dòng)Vh。
回頭再次參考圖7的流程圖，如上所計(jì)算的垂直方向上的變動(dòng)Vv 和水平方向上的變動(dòng)Vh關(guān)于目標(biāo)像素而相互比較(步驟S206)。當(dāng)水 平方向上的變動(dòng)Vh大于或等于垂直方向上的變動(dòng)Vv時(shí)(步驟S206: 是)，確定了邊緣穿過(guò)垂直方向上的目標(biāo)像素。代表了邊緣取向的值'd， 隨后被設(shè)為等于'1，(步驟S208)。相反，當(dāng)垂直方向上的變動(dòng)Vv 大于水平方向上的變動(dòng)Vh時(shí)(步驟S206:否)，確定了邊緣穿過(guò)水平 方向上的目標(biāo)像素。代表了邊緣取向的值'd，隨后被設(shè)為等于'3，(步 驟S210)。即其邊緣取向'd，設(shè)為'1，的像素具有垂直方向上的邊緣， 而其邊緣取向'd，設(shè)為'3，的像素具有水平方向上的邊緣。
在確定垂直方向上的變動(dòng)Vv(見(jiàn)圖8)過(guò)程中和在確定水平方向上 的變動(dòng)Vh(見(jiàn)圖9)過(guò)程中計(jì)算了色差分量之間的差的平方。這種計(jì)算 能實(shí)現(xiàn)對(duì)邊緣取向的檢測(cè)而不考慮色差分量之間差的符號(hào)。 一種可能的 修改因而可以計(jì)算色差分量之間的相應(yīng)差的絕對(duì)值，而非計(jì)算它們的平 方。關(guān)于相鄰像素的絕對(duì)值的總和給出了垂直方向上的變動(dòng)Vv或水平 方向上的變動(dòng)Vh。然而，與絕對(duì)值相比，此平方提高了色差分量之間 的差值并因而增加了邊緣取向的檢測(cè)精確度。應(yīng)理解到此發(fā)明不限于絕 對(duì)值差或平方差且可以使用其它任何差值或相似性度量代替以確定邊 緣取向。
需要對(duì)垂直方向上的變動(dòng)Vv與水平方向上的變動(dòng)Vh之間的對(duì)比 有一些留意。因此在圖7所示的邊緣取向圖產(chǎn)生過(guò)程中有某些變動(dòng)，如 下所述。
圖10示出了選擇用于檢測(cè)邊緣取向的目標(biāo)像素周圍的相鄰像素的 可能布置。所選擇的目標(biāo)像素周圍的相鄰像素滿足圖10 (a)到10 (d) 中所示的四個(gè)狀態(tài)之一。在圖10(a)的狀態(tài)下，目標(biāo)像素及其在垂直 方向上的上部和下部像素的目標(biāo)像素列給出了 G分量與R分量之間的相 應(yīng)兩個(gè)色差分量CDgr的平方，而在該目標(biāo)像素的左側(cè)和右側(cè)上的垂直 方向上的左側(cè)像素列及右側(cè)像素列給出了 G分量和B分量之間的相應(yīng)四 個(gè)色差分量CDgb的平方。因而將垂直方向上的變動(dòng)Vv作為色差分量 CD(jR的兩個(gè)平方與色差分量CDGB的四個(gè)平方的總和進(jìn)行計(jì)算。類似地 將水平方向上的變動(dòng)Vh作為色差分量CDGR的兩個(gè)平方與色差分量CDc)b的四個(gè)平方的總和進(jìn)行計(jì)算。垂直方向上的變動(dòng)Vv與水平方向上 的變動(dòng)Vh之間的簡(jiǎn)單對(duì)比因而能實(shí)現(xiàn)目標(biāo)像素中的邊緣取向的適當(dāng)檢
測(cè)
在圖10 (b)的狀態(tài)中，將垂直方向上的變動(dòng)Vv和水平方向上的 變動(dòng)Vh中的每個(gè)作為色差分量CDGB的兩個(gè)平方與色差分量CDGR的四 個(gè)平方的總和進(jìn)行計(jì)算。垂直方向上的變動(dòng)Vv與水平方向上的變動(dòng)Vh 之間的簡(jiǎn)單對(duì)比因而能實(shí)現(xiàn)目標(biāo)像素中的邊緣取向的適當(dāng)檢測(cè)。
然而，這在圖10 (c)的狀態(tài)中或在圖10 (d)的狀態(tài)中沒(méi)有得到 滿足。例如，在圖lO(c)的狀態(tài)中，將垂直方向上的變動(dòng)Vv作為色差 分量CDGB的兩個(gè)平方與色差分量CDGR的四個(gè)平方的總和進(jìn)行計(jì)算。然 而，將水平方向上的變動(dòng)Vh作為色差分量CDgr的丙個(gè)平方與色差分 量CDGB的四個(gè)平方的總和進(jìn)行計(jì)算。即垂直方向上的變動(dòng)Vv不能簡(jiǎn)單 地與水平方向上的變動(dòng)Vh相比較。在圖10 (d)的狀態(tài)中，垂直方向 上的變動(dòng)Vv也不能簡(jiǎn)單地與水平方向上的變動(dòng)Vh相比較。
針對(duì)此問(wèn)題的一種可能措施是僅對(duì)滿足圖10 (a)狀態(tài)或圖10 (b) 狀態(tài)的像素檢測(cè)邊緣取向。在此措施中，圖7的邊緣取向圖產(chǎn)生過(guò)程在 步驟S200處選擇了僅G像素以外的像素(即，R像素和B像素)中的 目標(biāo)像素。如前面參考圖2所述，G像素占據(jù)了 Bayer濾色器陣列的一 半面積。對(duì)僅R像素和B像素進(jìn)行的邊緣取向檢測(cè)，平分了待處理的像 素?cái)?shù)目并確保了邊緣取向圖的高速產(chǎn)生。在此情況下，G像素中邊緣取 向未知。然而，應(yīng)用適當(dāng)?shù)牟逯挡襟E可以防止G像素中未知邊緣取向?qū)?產(chǎn)生的畫(huà)質(zhì)的不利影響。
對(duì)G像素而言邊緣取向是不可才企測(cè)的，Y旦可以才艮據(jù)下列步驟檢測(cè) 到。與應(yīng)用到其它像素列或像素行的權(quán)重相比，圖11的步驟將雙權(quán)重 應(yīng)用于包括了目標(biāo)像素的目標(biāo)像素列或目標(biāo)像素行。圖U(a)示出了 用于確定垂直方向上變動(dòng)Vv的計(jì)算公式，且圖U (b)示出了用于確 定水平方向上變動(dòng)Vh的計(jì)算公式u根椐計(jì)算公式，關(guān)于所有像素(即 G像素、R像素和B像素)可以計(jì)算垂直方向上的變動(dòng)Vv和水平方向 上的變動(dòng)Vh。隨后可以通過(guò)垂直方向上的變動(dòng)Vv與水平方向上的變動(dòng) Vh之間的對(duì)比為所有這些像素確定邊緣取向。在圖11的計(jì)算公式中， 權(quán)重可以備選地為沒(méi)有目標(biāo)像素的像素列或像素行而被平分。
另一種計(jì)算方法可以基于兩個(gè)像素列的變動(dòng)和兩個(gè)像素行的變動(dòng)(即，包括目標(biāo)像素的目標(biāo)像素列和一個(gè)鄰近目標(biāo)像素列的相鄰像素 列、以及包括目標(biāo)像素的目標(biāo)像素行和一個(gè)鄰近目標(biāo)像素行的相鄰像素
行)檢測(cè)每個(gè)目標(biāo)像素中的邊緣取向。圖12 (a)示出了關(guān)于垂直方向 的包括目標(biāo)像素的目標(biāo)像素列和目標(biāo)像素列右側(cè)上垂直方向的右側(cè)像 素列，用于計(jì)算垂直方向上的變動(dòng)Vv的計(jì)算公式。圖12(b)根據(jù)圖 12(a)的計(jì)算公式概念性地示出了垂直方向上的變動(dòng)Vv的計(jì)算。如前 面參考圖4所述，交替布置的G像素和R像素的像素列和交替布置的G 像素和B像素的像素列在基于Bayer濾色器陣列的原始圖像數(shù)據(jù)的垂直 方向上交替出現(xiàn)。因此將根椐圖12 (a)計(jì)算公式的垂直方向上的變動(dòng) Vv給定為色差分量CDoB的兩個(gè)平方和色差分量CDoR的兩個(gè)平方的總 和。
類似地關(guān)于兩個(gè)像素行計(jì)算了水平方向上的變動(dòng)Vh。圖12(c)示 出了用于計(jì)算水平方向上的變動(dòng)Vh的計(jì)算公式，且圖12 (d)概念性 地示出了根據(jù)圖12 (c)的計(jì)算公式來(lái)計(jì)算在水平方向上的變動(dòng)Vh。如 前面參考圖4所述，交替布置的G像素和R像素的像素行和交替布置的 G像素和B像素的像素行在基于Bayer濾色器陣列的原始圖像數(shù)據(jù)的水 平方向上交替出現(xiàn)。像根據(jù)圖12 (a)的計(jì)算公式的垂直方向上的變動(dòng) Vv—樣，因此將根據(jù)圖12 (c)計(jì)算公式的水平方向上的變動(dòng)Vh給定
為色差分量CD(3B的兩個(gè)平方和色差分量CD(5R的兩個(gè)平方的總和。因而
可以通過(guò)垂直方向上的變動(dòng)Vv與水平方向上的變動(dòng)Vh之間的對(duì)比抬r 測(cè)邊緣取向。
回頭再參考圖7的流程圖，如上所述，實(shí)施例的邊緣取向圖產(chǎn)生過(guò) 程計(jì)算垂直方向上色差分量的變動(dòng)Vv和水平方向上色差分量的變動(dòng)Vh (步驟S202和S204 ),并基于垂直方向上的變動(dòng)Vv與水平方向上的 變動(dòng)Vh之間的對(duì)比而檢測(cè)目標(biāo)像素的邊緣取向(步驟S206到S210)。 在根據(jù)圖8和9中所示方法計(jì)算變動(dòng)Vv和Vh的情況下，作為邊緣取向 檢測(cè)對(duì)象的目標(biāo)像素可以在僅G像素以外的像素(即，R像素和B像素) 中選擇(步驟S200)。另一方面，在根據(jù)圖11和12中所示方法之一計(jì) 算變動(dòng)Vv和Vh的情況下，可以在所有像素中選擇目標(biāo)像素(步驟 S200)。然而，這不是限制性的。即便在根據(jù)圖11和12中所示方法之 一計(jì)算變動(dòng)Vv和Vh的情況下，可以在僅G像素以外的像素(即，R 像素和B像素)中選擇目標(biāo)像素。在對(duì)步驟S200處選擇的目標(biāo)像素中的邊緣取向的檢測(cè)之后，CPU確定是否已經(jīng)關(guān)于所有像素檢測(cè)了邊緣取 向(步驟S212)。當(dāng)有任何未處理像素時(shí)(步驟S212:否)，邊緣取 向圖產(chǎn)生過(guò)程返回步驟S200以在未處理像素中選擇另一目標(biāo)像素并執(zhí) 行隨后系列的處理。在關(guān)于所有像素的邊緣取向檢測(cè)完成時(shí)(步驟S212: 是)，圖7的邊緣取向圖產(chǎn)生過(guò)程終止。
實(shí)施例的邊緣取向圖產(chǎn)生過(guò)程能以極高精確度實(shí)現(xiàn)對(duì)包括在原始 圖像數(shù)椐中的邊緣取向的檢測(cè)。參考此極精確的邊緣取向圖而執(zhí)行對(duì)構(gòu) 成原始圖像數(shù)據(jù)的相應(yīng)像素中缺失的色彩分量的插值。這確保了適當(dāng)?shù)?插值而沒(méi)有偽彩色出現(xiàn)。下面根據(jù)實(shí)施例的邊緣取向圖產(chǎn)生過(guò)程說(shuō)明產(chǎn) 生極精確邊緣取向圖的原因。
如圖2和4所述，基于Bayer濾色器陣列的原始圖像數(shù)椐具有僅在 離散像素位置處的色彩分量R、 G或B的數(shù)據(jù)。G分量具有的數(shù)據(jù)的比 率為每2像素1個(gè)(G像素)，而R分量和B分量具有的數(shù)據(jù)的比率為 每4像素1個(gè)(R像素和B像素)。由于數(shù)據(jù)的這種離散出現(xiàn)，難于以 高精確度從關(guān)于色彩分量R、G和B中的每個(gè)的色調(diào)值變動(dòng)檢測(cè)出邊緣。
因此使用色差分量代替R、 G和B色彩分量。關(guān)于具有G分量和R 分量的交替布置的每個(gè)像素列或像素行，原始圖像數(shù)據(jù)被轉(zhuǎn)換為G分量 與R分量之間的色差分量的數(shù)據(jù)。關(guān)于具有G分量和B分量的交替布 置的每個(gè)像素列或像素行，原始圖像數(shù)據(jù)被轉(zhuǎn)換為G分量與B分量之間 的色差分量的數(shù)據(jù)。圖4的底部示出了原始圖像數(shù)據(jù)轉(zhuǎn)換為垂直方向上 的色差分量CDv和水平方向上的色差分量CDh。具有G分量與B分量 之間的色差分量的像素列和像素行被圖示為圖4中的帶陰影線矩形。
色差分量的變動(dòng)是可以在相鄰像素列或相鄰像素行之間比較的。例 如，在具有突然的亮度(lightness)改變的圖像區(qū)域中，G分量與R分 量之間的色差分量以及G分量與B分量之間的色差分量?jī)烧哂酗@著變 動(dòng)。類似地，在具有突然的亮度改變的圖像區(qū)域中，G分量與R分量之 間的色差分量和/或G分量與B分量之間的色差分量中也有顯著變動(dòng)。 甚至具有不同類型的色差分量的變動(dòng)因此是可比較的。邊緣是可以隨后 根據(jù)相鄰像素列或相鄰像素行的色差分量檢測(cè)到的。這個(gè)根據(jù)相鄰像素 列或相鄰像素行的色差分量的邊緣檢測(cè)技術(shù)能實(shí)現(xiàn)甚至小尺度邊緣的 誶奇確檢測(cè)。
實(shí)施例的邊緣取向圖產(chǎn)生過(guò)程基于上迷考慮以高精確度檢測(cè)邊緣取向并因此給出了極精確的邊緣取向圖。具體步驟將基于Bayer濾色器 陣列的原始圖像數(shù)據(jù)轉(zhuǎn)換為垂直方向上的色差分量CDv和水平方向上 的色差分量CDh。如圖4的底部中所示，獲得的色差分量的數(shù)據(jù)具有G 分量與R分量之間色差分量CDGR的像素列或像素行、以及G分量和B 分量之間色差分量CDgb的像素列或像素行的交替布置。隨后根據(jù)圖8 和9的計(jì)算公式或圖11和12的計(jì)算公式之一，計(jì)算色差分量的變動(dòng)。 從具有不同類型的相鄰像素列或相鄰像素行的色差分量獲得了計(jì)算的 變動(dòng)。甚至根據(jù)具有不同類型的色差分量計(jì)算出的變動(dòng)是可以比較而用 于如上所述的邊緣;險(xiǎn)測(cè)的。這樣的根椐相鄰像素列或相鄰像素行的色差 分量的邊緣檢測(cè)確保了甚至小尺度邊緣的極精確檢測(cè)。因而可以通過(guò)垂 直方向上的變動(dòng)Vv與水平方向上的變動(dòng)Vh之間的對(duì)比實(shí)現(xiàn)每個(gè)像素 中邊緣取向的精確4全測(cè)。
正如由此解釋明確理解到的，在實(shí)施例的邊緣取向圖產(chǎn)生過(guò)程中， 基于相鄰像素列或相鄰像素行的色差分量計(jì)算垂直方向上的變動(dòng)Vv和 水平方向上的變動(dòng)Vh是重要的。換句話說(shuō)，使用什么計(jì)算公式用于計(jì) 算垂直方向上的變動(dòng)Vv和水平方向上的變動(dòng)Vh是不那么重要的。因而 可以應(yīng)用各種計(jì)算公式取代圖8和9的計(jì)算公式或圖11和12的計(jì)算公 式。
一種修改的步驟可以計(jì)算每個(gè)像素列或每個(gè)像素行中的每?jī)蓚€(gè)像 素的色差分量之間的相應(yīng)差的平方，并對(duì)平方求和以確定色差分量的變 動(dòng)，如圖13所示。盡管圖13僅示出了水平方向上的變動(dòng)Vh的計(jì)算， 可以按類似方式計(jì)算垂直方向上的變動(dòng)Vv。另一種修改的步驟可以計(jì) 算相鄰像素以及每個(gè)像素列或每個(gè)像素行中的每?jī)蓚€(gè)像素的色差分量 之間的相應(yīng)差的平方，并對(duì)平方求和以確定色差分量的變動(dòng)，如圖14 所示。
再有另一種修改可以通過(guò)考慮更遠(yuǎn)處像素的色差分量之間的差來(lái) 確定色差分量的變動(dòng)。例如，圖15的修改的步驟通過(guò)考慮每個(gè)像素列 或每個(gè)像素行中每四個(gè)像素的色差分量之間的差、以及每個(gè)像素列或每
個(gè)像素行中每?jī)蓚€(gè)像素的色差分量之間的差來(lái)確定色差分量的變動(dòng)。盡 管圖14和15僅示出了水平方向上的變動(dòng)Vh的計(jì)算，可以按類似方式 計(jì)算垂直方向上的變動(dòng)Vv。 D.G分量插值過(guò)程如上面參考圖3的流程圖所述，在產(chǎn)生邊緣取向圖之后(步驟 S104),實(shí)施例的彩色圖像數(shù)據(jù)生成過(guò)程開(kāi)始G分量插值過(guò)程以在除G 像素外的像素(即，R像素和B像素)中插值G分量(步驟S106).
圖16是示出了在R像素和B像素中插值G分量的G分量插值過(guò)程 細(xì)節(jié)的流程圖。G分量插值過(guò)程首先參照產(chǎn)生的邊緣取向圖以將每個(gè)插 值目標(biāo)像素中的邊緣取向'd，指定為插值對(duì)象(步驟S300)。如上所 述，邊緣取向圖可以具有對(duì)于所有像素所檢測(cè)到的邊緣取向'd，或?qū)?于僅非G像素(即，R像素和B像素)所檢測(cè)到的邊緣取向'd'。在 非G像素中插值G分量的過(guò)程中，總是通過(guò)參照邊緣取向圖而指定邊緣 取向'd'。
G分量插值過(guò)程隨后確定指定的邊緣取向'd'是否等于'r (步 驟S302)。當(dāng)指定的邊緣取向'd，等于'1，時(shí)(步驟S302:是)，用 插值目標(biāo)像素上方和下方的上部及下部像素的色差分量對(duì)插值目標(biāo)像 素的色差分量進(jìn)行插值(步驟S304)。另一方面，當(dāng)指定的邊緣取向'd， 等于"'3，時(shí)(步驟S302:否)，用插值目標(biāo)像素左側(cè)和右側(cè)的左側(cè)及 右側(cè)像素的色差分量對(duì)插值目標(biāo)像素的色差分量進(jìn)行插值(步驟S306 )。 G分量插值過(guò)程隨后獲得插值目標(biāo)像素的原始圖像數(shù)據(jù)(步驟S308 )并 將原始圖像數(shù)據(jù)添加到插值目標(biāo)像素的插值的色差分量，以計(jì)算插值目 標(biāo)像素的G分量(步驟S310)。對(duì)這系列的處理加以更詳細(xì)說(shuō)明。
圖17示出了計(jì)算非G像素中缺失的G分量的處理流程。插值目標(biāo) 像素為非G像素，即，要么R像素或者B像素。當(dāng)插值目標(biāo)像素為R 像素時(shí)，相鄰像素被布置成如圖17(a)所示。另一方面，當(dāng)插值目標(biāo) 像素為B像素時(shí)，相鄰像素被布置成如圖17 (b)所示。此處假定作為 G分量插值對(duì)象的插值目標(biāo)像素為R像素且指定的邊緣取向'd，等于 T 。
在邊緣取向'd，等于'r時(shí)，水平方向上色差分量的變動(dòng)vh大 于垂直方向上色差分量的變動(dòng)Vv?？偠灾?，較小變動(dòng)狀態(tài)(更接近 穩(wěn)定狀態(tài))下的插值有望比較大變動(dòng)狀態(tài)下的插值具有更好的插值效 杲。因而使用垂直方向上的具有較小變動(dòng)的色差分量用于g分量的計(jì)
算。如從圖17(a)明確地知道的，在R插值目標(biāo)像素中，通過(guò)從G分 量減去R分量而獲得了垂直方向上的色差分量和水平方向上的色差分 量二者。即要么從垂直方向上的色差分量或者從水平方向上的色差分量可以計(jì)算出插值目標(biāo)像素的G分量。為了提高插值精確度，從具有較小
變動(dòng)的垂直方向上的色差分量計(jì)算插值目標(biāo)像素的G分量，正如已經(jīng)通 過(guò)插值目標(biāo)像素中的對(duì)應(yīng)邊緣取向標(biāo)記'd，的值'1，所標(biāo)示的。
垂直方向上的色差分量是從G分量減去R分量，且插值目標(biāo)像素中 獲得的原始圖像數(shù)據(jù)是R分量。將原始圖像數(shù)據(jù)添加到色差分量因而立 即確定了插值目標(biāo)像素中的G分量。用于計(jì)算G分量的色差分量可以是 根據(jù)圖5的計(jì)算公式計(jì)算的插值目標(biāo)像素中的色差分量。優(yōu)選地，用于 G分量計(jì)算的色差分量可以是在用圖6中的低通濾波器去除噪音之后的 色差分量。
可以從相鄰像素的色差分量計(jì)算出插值目標(biāo)像素的色差分量，而不 是直接讀取。這個(gè)經(jīng)修改的過(guò)程可以讀取垂直方向上插值目標(biāo)像素上方 和下方的上部和下部像素的色差分量，并從讀出的色差分量計(jì)算插值目 標(biāo)像素中的色差分量。圖16的G分量插值過(guò)程計(jì)算來(lái)自于步驟S304或 步驟S306的相鄰像素色差分量的插值目標(biāo)像素的色差分量。另一個(gè)經(jīng) 修改的過(guò)程可以讀取插值目標(biāo)像素的較大范圍的鄰區(qū)中的像素的色差 分量，以便從讀出的色差分量計(jì)算插值目標(biāo)像素中的色差分量。
在如上所述計(jì)算了所有插值目標(biāo)像素中的G分量之后，CPU終止圖 16的G分量插值過(guò)程，并回到圖3的彩色圖像數(shù)據(jù)生成過(guò)程。彩色圖 像數(shù)據(jù)生成過(guò)程隨后啟動(dòng)非G像素插值過(guò)程以在除G像素以外的像素 中插值剩余的色彩分量(步驟S108)。
E.非G像素插值過(guò)程
圖18是示出了非G像素插值過(guò)程的細(xì)節(jié)的流程圖。如前面所解說(shuō) 的，當(dāng)在非G像素中插值G分量之后，非G像素插值過(guò)程在每個(gè)非G 像素中插值剩余的色彩分量，即，R像素中的B分量或B像素中的R分 量。在處理細(xì)節(jié)之前，簡(jiǎn)要說(shuō)明了非G像素插值過(guò)程的基本概念。
非G像素插值過(guò)程在R像素中插值B分量，同時(shí)在B像素中插值 R分量。當(dāng)插值目標(biāo)像素為R像素時(shí)，鄰近插值目標(biāo)像素的四個(gè)對(duì)角布 置的像素都是B像素，如圖17(a)中所示。獲得了作為這四個(gè)相鄰像 素的原始圖像數(shù)據(jù)的B分量。另一方面，當(dāng)插值目標(biāo)像素為B像素時(shí)， 鄰近插值目標(biāo)像素的四個(gè)對(duì)角布置的像素都是R像素，如圖17 (b)中 所示。獲得了作為這四個(gè)相鄰像素的原始圖像數(shù)據(jù)的R分量。最簡(jiǎn)單的 過(guò)程用鄰近插值目標(biāo)像素的四個(gè)對(duì)角布置的像素的原始圖像數(shù)據(jù)執(zhí)行插值，以確定插值目標(biāo)像素中的剩余色彩分量的色調(diào)值。例如，可以獲
得插值目標(biāo)像素中的R分量作為在對(duì)角方向圍繞的像素中可用的四個(gè) 原始R分量的均值。類似地，可以獲得插值目標(biāo)像素中的B分量作為在 對(duì)角方向圍繞的像素中可用的四個(gè)原始B分量的均值。
用相鄰像素的原始圖像數(shù)據(jù)直接插值剩余的色彩分量，可能由于差 值對(duì)其它色彩分量的某些偏離而導(dǎo)致偽彩色的發(fā)生。在自然的彩色圖像 中，RGB數(shù)據(jù)在信道內(nèi)和信道間的感測(cè)中是顯著相關(guān)的。這意味著在局 部圖像區(qū)域中的像素常常具有類似的色差特性。因此優(yōu)選的是在插值目 標(biāo)像素中用相鄰像素的色差分量插值色差分量，并基于插值的色差分量 確定在插值目標(biāo)像素中的剩余色彩分量的色調(diào)值。因而，取代了用鄰近 插值目標(biāo)像素的四個(gè)對(duì)角布置的像素的原始圖像數(shù)據(jù)的直接插值，另一 可用步驟從四個(gè)相鄰像素的色差分量計(jì)算插值目標(biāo)像素的色差分量、并
基于所計(jì)算的插值目標(biāo)像素的色差分量而確定插值目標(biāo)像素中的剩余 色彩分量的色調(diào)值。例如，插值對(duì)象是用于圖17 (a)狀態(tài)中的R插值 目標(biāo)像素的B分量。優(yōu)選的步驟在鄰近R插值目標(biāo)像素的四個(gè)對(duì)角布置 的B像素中獲得G分量和B分量之間的色差分量，并使用這四個(gè)色差 分量來(lái)計(jì)算R插值目標(biāo)像素中的對(duì)應(yīng)色差分量。例如，可以將插值目標(biāo) 位置中的色差分量計(jì)算為可用色差分量的均值。該過(guò)程隨后從計(jì)算的色 差分量和在R插值目標(biāo)像素中插值的G分量計(jì)算剩余色彩分量的色調(diào) 值。
鄰近R插值目標(biāo)像素的對(duì)角布置的像素都是B像素。根椐圖5的計(jì) 算公式關(guān)于這些相鄰像素而計(jì)算的垂直方向上的色差分量CDv和水平 方向上的色差分量CDh二者是G分量與B分量之間的色差分量。可以 從總共八個(gè)色差分量計(jì)算出插值目標(biāo)像素的對(duì)應(yīng)色差分量。 一種典型的 過(guò)程可以將在鄰近插值目標(biāo)像素的四個(gè)對(duì)角布置的像素中的每個(gè)內(nèi)的 垂直方向上色差分量CDv和水平方向上色差分量CDh的均值作為像素 中的代表性的色差分量而進(jìn)行計(jì)算，并從四個(gè)相鄰像素的代表性色差分 量確定插值目標(biāo)像素的對(duì)應(yīng)色差分量。另 一典型過(guò)程可以檢測(cè)插值目標(biāo) 像素中的邊緣取向，并僅從滿足所檢測(cè)的邊緣取向的相鄰像素的色差分 量(根據(jù)圖5的計(jì)算公式獲得)計(jì)算插值目標(biāo)像素的色差分量。這個(gè)方 法通過(guò)考慮關(guān)于相鄰像素的垂直方向上的色差分量CDv和水平方向上 的色差分量CDh而確定插值目標(biāo)像素的色差分量，該方法需要相當(dāng)復(fù)雜的一系列處理。另一方面，基于鄰近插值目標(biāo)像素的四個(gè)對(duì)角布置的像
素中的G分量和B分量的計(jì)算，能高速確定插值目標(biāo)像素中的色差分量 CDGB。
基于此基本概念，圖18的流程圖中所示實(shí)施例的非G像素插值過(guò) 程在其G分量的插值之后在每個(gè)非G像素中插值剩余的色彩分量，參考 圖18的流程圖解釋了非G像素插值過(guò)程的具體步驟。
該非G像素插值過(guò)程首先獲得鄰近插值目標(biāo)像素的四個(gè)對(duì)角布置 的像素的原始圖像數(shù)據(jù)和G分量(步驟S350 )。當(dāng)插值目標(biāo)像素為R 像素時(shí)，四個(gè)對(duì)角布置的相鄰像素都是B像素，如圖17(a)中所示。 此處獲得的這些相鄰像素的原始圖像數(shù)據(jù)因此考慮了 B分量。另一方 面，當(dāng)插值目標(biāo)像素為B像素時(shí)，四個(gè)對(duì)角布置的相鄰像素都是R像素， 如圖17 (b)所示。此處獲得的這些相鄰像素的原始圖像數(shù)據(jù)因此考慮 了 R分量。
非G像素插值過(guò)程隨后通過(guò)從原始圖像數(shù)據(jù)減去G分量計(jì)算這四 個(gè)相鄰像素的色差分量，并計(jì)算作為插值目標(biāo)像素的色差分量的四個(gè)色 差分量的均值(步驟S352 )。在此處的應(yīng)用中，色差分量一般代表了從 G分量減去R分量或B分量，如圖5中所示。然而，步驟S352的計(jì)算 通過(guò)從原始圖像數(shù)據(jù)(R分量或B分量)減去G分量而改變了色差分量 的符號(hào)。這樣就免于改變稍后計(jì)算中的符號(hào)。
在計(jì)算插值目標(biāo)像素中的色差分量之后，非G像素插值過(guò)程獲得了 插值目標(biāo)像素的G分量(步驟S354 )。插值目標(biāo)像素為非G分量，從 而插值目標(biāo)像素的原始圖像數(shù)據(jù)不考慮G分量。然而，已經(jīng)通過(guò)在此非 G像素插值過(guò)程之前執(zhí)行的圖16的G分量插值過(guò)程，確定了插值目標(biāo) 像素的G分量。
步驟S352處計(jì)算的插值目標(biāo)像素的色差分量以及步驟S354處獲得 的G分量的和，確定插值目標(biāo)像素中的剩余色彩分量(步驟S356)。
在如上所述計(jì)算了所有非G插值目標(biāo)像素中的剩余色彩分量之后， CPU終止圖18的非G像素插值過(guò)程，并回到圖3的彩色圖像數(shù)據(jù)生成 過(guò)程。彩色圖像數(shù)據(jù)生成過(guò)程隨后啟動(dòng)G像素插值過(guò)程以在G像素中插 值缺失的色彩分量(步驟SU0)。
F.G像素插值過(guò)程
圖19是示出了 G像素插值過(guò)程的細(xì)節(jié)的流程圖。G像素插值過(guò)程首先指定了作為插值對(duì)象的每個(gè)插值目標(biāo)像素中的邊緣取向'd'(步 驟S400)。通過(guò)圖7的邊緣取向圖產(chǎn)生過(guò)程，已經(jīng)預(yù)先檢測(cè)到了邊緣取 向并將其設(shè)置在邊緣產(chǎn)生圖中。如前所述，可以對(duì)所有像素或備選地僅 對(duì)非G像素檢測(cè)邊緣取向。當(dāng)已經(jīng)對(duì)所有像素檢測(cè)邊緣取向時(shí)，步驟 S400的處理通過(guò)參照邊緣取向圖立即指定插值目標(biāo)像素的邊緣取向。另 一方面，當(dāng)僅對(duì)非G像素檢測(cè)邊緣取向時(shí)，步驟S400的處理從檢測(cè)到 的相鄰像素的邊緣取向估計(jì)插值目標(biāo)像素的邊緣取向。
圖20示出了根據(jù)相鄰像素的邊緣取向?qū)Σ逯的繕?biāo)像素中的邊緣取 向的估計(jì)。G像素插值過(guò)程在G像素中插值缺失的(即，R和B)色彩 分量。圍繞插值目標(biāo)像素的原始數(shù)據(jù)的初始像素滿足要么圖20 (a)的 布置或者圖20 (b)的布置。在圖20 (a)和20 (b)中，帶陰影線的矩 形代表了插值目標(biāo)像素。假設(shè)已經(jīng)僅對(duì)非G像素檢測(cè)了邊緣取向，則執(zhí) 行此估計(jì)。因此已經(jīng)在插值目標(biāo)像素的上方、下方、左側(cè)和右側(cè)的四個(gè) 相鄰像素中設(shè)置了邊緣取向。
圖20 (c)和20 (d)示出了插值目標(biāo)像素的四個(gè)相鄰像素中的邊 緣取向'd，的布置。在圖20(c)中所示的四個(gè)相鄰像素的邊緣取向'd， 的布置中，具有設(shè)為'1，的邊緣取向'd，的相鄰像素的數(shù)目大于具有 設(shè)為'3，的邊緣取向'd，的相鄰像素的數(shù)目。因此足以估計(jì)作為'1， 的插值目標(biāo)像素的邊緣取向'd，。另一方面，在圖20(d)中所示的四 個(gè)相鄰像素的邊緣取向'd，的布置中，具有設(shè)為'3'的邊緣取向'd' 的相鄰像素的數(shù)目大于具有設(shè)為'1，的邊緣取向'd，的相鄰像素的數(shù) 目。因此足以估計(jì)作為'3，的插值目標(biāo)像素的邊緣取向'd'。
這樣，估計(jì)過(guò)程計(jì)數(shù)了具有設(shè)為'1，的邊緣取向'd'的相鄰像素 的數(shù)目和具有設(shè)為'3，的邊緣取向'd，的相鄰像素的數(shù)目，并將較大 計(jì)數(shù)值的邊緣取向'd，指定為插值目標(biāo)像素的邊緣取向'd，。代替計(jì) 數(shù)相鄰像素的相應(yīng)數(shù)目，另一估計(jì)過(guò)程可能計(jì)算插值目標(biāo)像素上方、下 方、左側(cè)和右側(cè)上的四個(gè)相鄰像素中設(shè)置的邊緣取向'd，的總數(shù)。當(dāng) 存在著相同數(shù)目的具有設(shè)為'1，的邊緣取向'd，的相鄰像素和具有設(shè) 為'3'的邊緣取向'd，的相鄰像素時(shí)，邊緣取向'd'的總數(shù)等于'8'。 當(dāng)邊緣取向'd，的總數(shù)小于'8，時(shí)，較大數(shù)目的相鄰像素有望具有設(shè) 為'l，的邊緣取向'd'。因而將插值目標(biāo)像素的邊緣取向'd'指定 為'1，。另一方面，當(dāng)邊緣取向'd'的總數(shù)大于'8，時(shí)，較大數(shù)目的相鄰像素有望具有設(shè)為'3，的邊緣取向'd，。因而將插值目標(biāo)像素
的邊緣取向'd，指定為'3，。當(dāng)邊緣取向'd，的總數(shù)等于'8'時(shí)(當(dāng)
存在著相同數(shù)目的具有設(shè)為'r的邊緣取向'd'的相鄰像素和具有設(shè)
為'3'的邊緣取向'd'的相鄰像素時(shí))，插值目標(biāo)像素的邊緣取向'd' 可以:故指定為要么T或'3，。
如上所迷，當(dāng)已經(jīng)為所有像素設(shè)置了邊緣取向'd，時(shí)，圖19的G 像素插值過(guò)程只是在步驟S400從邊緣取向圖讀取插值目標(biāo)像素的邊緣 取向'd，。另一方面，當(dāng)已經(jīng)只對(duì)非G像素設(shè)置了邊緣取向'd，時(shí)， G像素插值過(guò)程在步驟S400從邊緣取向圖讀取了鄰近插值目標(biāo)像素的 相鄰像素的邊緣取向并估計(jì)插值目標(biāo)像素的邊緣取向'd'。
在指定了插值目標(biāo)像素中的邊緣取向'd，之后，G像素插值過(guò)程 確定所指定的邊緣取向'd，是否等于'l'(步驟S402)。當(dāng)指定的邊 緣取向'd，等于'1，時(shí)(步驟S402:是)，確定了邊緣在垂直方向上 穿過(guò)插值目標(biāo)像素。G像素插值過(guò)程因此獲得了在插值目標(biāo)像素上方和 下方的上部和下部相鄰像素的R分量、G分量和B分量(步驟S404 )。 如圖20 (a)和20 (b)的布置中所示，插值目標(biāo)像素上方和下方的上 部及下部相鄰像素總是非G像素。已經(jīng)通過(guò)圖16的G分量插值過(guò)程和 圖18的非G像素插值過(guò)程計(jì)算了非G像素的缺失的色彩分量。這些上 部及下部相鄰像素的R、 G和B分量因而是可以立即得到的。
另一方面，當(dāng)指定的邊緣取向'd，不等于'1，時(shí)(步驟S402:否)， 確定了邊緣在水平方向上穿過(guò)插值目標(biāo)像素。G像素插值過(guò)程因此獲得 了在插值目標(biāo)像素左側(cè)和右側(cè)的左側(cè)及右側(cè)相鄰像素的R分量、G分量 和B分量(步驟S406)。因?yàn)椴逯的繕?biāo)像素的左側(cè)和右側(cè)上的左側(cè)及 右側(cè)相鄰像素總是非G像素，這些左側(cè)及右側(cè)相鄰像素的R、 G和B分 量是可以立即得到的。
G像素插值過(guò)程隨后計(jì)算作為R、 G和B分量的采集對(duì)象的相鄰像 素中的色差分量(步驟S408)。當(dāng)插值目標(biāo)像素的邊緣取向'd，等于 '1，時(shí)(步驟S402:是)，G像素插值過(guò)程計(jì)算在上部及下部相鄰像 素中的色差分量。另一方面，當(dāng)插值目標(biāo)像素的邊緣取向'd，不等于 T時(shí)(步驟S402:否)，G像素插值過(guò)程計(jì)算在左側(cè)及右側(cè)相鄰像 素中的色差分量。正如在圖18的非G像素插值過(guò)程中一樣，在步驟S408 處通過(guò)從R分量減去G分量并通過(guò)從B分量減去G分量，獲得了符號(hào)變化的色差分量。這就免于在稍后對(duì)插值目標(biāo)像素中的R分量和B分量 的計(jì)算中改變符號(hào)。
在計(jì)算了在上部及下部相鄰像素、或在左側(cè)及右側(cè)相鄰像素中的色 差分量(步驟S408 )之后，G像素插值過(guò)程用計(jì)算出的相鄰像素的色差 分量來(lái)執(zhí)行插值以計(jì)算插值目標(biāo)像素的色差分量(步驟S410)。如上所 迷，在上部及下部相鄰像素中、和在左側(cè)及右側(cè)相鄰^f象素中計(jì)算出的色 差分量是符號(hào)改變的色差分量(即，通過(guò)從R分量減去G分量得到的色 差分量、和通過(guò)從B分量減去G分量得到的色差分量)。插值的色差分 量因而是符號(hào)改變的色差分量。
G像素插值過(guò)程隨后獲得了插值目標(biāo)像素的G分量(步驟S412)。 由于插值目標(biāo)像素是G像素，則原始圖像數(shù)據(jù)直接考慮G分量。G分量 插值過(guò)程隨后從插值的色差分量和獲得的插值目標(biāo)像素的G分量計(jì)算 插值目標(biāo)像素中的R分量和B分量(步驟S414)。由于插值色差分量 是符號(hào)改變(即，從紅色分量減去的綠色分量，和從藍(lán)色分量減去的綠 色分量)的色差分量，將G分量簡(jiǎn)單添加到插值色差分量確定了插值目 標(biāo)像素的R分量和B分量。
在如上所述計(jì)算了所有G像素中的缺失色彩分量(R分量和B分量) 之后，CPU終止圖19的G像素插值過(guò)程，并回到圖3的彩色圖像數(shù)據(jù) 生成過(guò)程。
當(dāng)G像素插值過(guò)程完成時(shí)(步驟SUO)，已經(jīng)結(jié)束了所有像素的 去馬賽克過(guò)程(即，缺失色彩分量的插值)。CPU隨后將相應(yīng)像素的R、 G和B分量作為從原始圖像數(shù)據(jù)生成的彩色圖像數(shù)據(jù)輸出(步驟S112) 并終止了圖3的彩色圖像數(shù)據(jù)生成過(guò)程。
實(shí)施例的數(shù)碼相機(jī)100執(zhí)行原始圖像數(shù)據(jù)的去馬賽克以根據(jù)下面詳 細(xì)說(shuō)明的一系列處理生成彩色圖像數(shù)椐。在去馬賽克過(guò)程之前，彩色圖 像數(shù)據(jù)生成過(guò)程產(chǎn)生了邊緣取向圖。通過(guò)考慮垂直方向上色差分量CDv 的變動(dòng)和水平方向上色差分量CDh的變動(dòng)，可以從兩種不同類型的色差 分量(即，G分量與R分量之間的色差分量和G分量與B分量之間的 色差分量)檢測(cè)相應(yīng)像素的邊緣取向。這確保了對(duì)即便小尺度邊緣的極 精確檢測(cè)，并因此能產(chǎn)生精確的邊緣取向圖。隨后的去馬賽克過(guò)程參照 此精確的邊緣取向圖以在相應(yīng)像素中適當(dāng)?shù)夭逯等笔У纳史至俊?br> 邊緣取向圖產(chǎn)生過(guò)程和缺失色彩分量插值過(guò)程兩者都相當(dāng)筒單且可以高速執(zhí)行。實(shí)施例中的系列處理因而能實(shí)現(xiàn)從具有R， G和B色彩 分量的馬賽克布置的原始圖像數(shù)椐高速生成了適當(dāng)?shù)牟噬珗D像數(shù)據(jù)。
將領(lǐng)會(huì)到，本發(fā)明可以在實(shí)施例中作為儲(chǔ)存在計(jì)算機(jī)可讀介質(zhì)上的 指令的程序而實(shí)施，即，當(dāng)由計(jì)算機(jī)執(zhí)行時(shí)，實(shí)行本發(fā)明方法。計(jì)算機(jī) 可讀介質(zhì)的示例包括，但不限于諸如硬盤、軟盤、和磁帶這樣的磁介 質(zhì)；諸如CD-ROM和全息器件這樣的光學(xué)介質(zhì)；》茲-光介質(zhì);和專門配 置成儲(chǔ)存、或儲(chǔ)存并執(zhí)行程序代碼的硬件器件，諸如專用集成電路 (ASIC)、可編程邏輯器件(PLD)、閃存器件、和ROM及RAM器 件。
實(shí)施例的數(shù)碼相機(jī)100根據(jù)上述步驟從原始圖像數(shù)據(jù)生成了彩色圖 像數(shù)據(jù)。本發(fā)明不限于上述的此實(shí)施例及其修改中的任意方案，但可以 在各種應(yīng)用和方面中實(shí)現(xiàn)，而不離開(kāi)本發(fā)明的主要特性的范疇或宗旨。
權(quán)利要求
1. 一種圖像處理裝置，其接收在每個(gè)像素中具有對(duì)應(yīng)于光的三原色的三種色彩分量R、G和B之中的僅一種色彩分量設(shè)置的馬賽克圖像數(shù)據(jù)，并使所接收的馬賽克圖像數(shù)據(jù)經(jīng)受一系列圖像處理來(lái)生成在每個(gè)像素中具有所有三種色彩分量R、G和B設(shè)置的彩色圖像數(shù)據(jù)，通過(guò)在垂直方向上具有G分量的像素和作為另一色彩分量的R分量的像素的交替布置的像素列、在垂直方向上具有G分量的像素和作為另一色彩分量的B分量的像素的交替布置的像素列、在水平方向上具有G分量的像素和作為另一色彩分量的R分量的像素的交替布置的像素行和在水平方向上具有G分量的像素和作為另一色彩分量的B分量的像素的交替布置的像素行的組合，來(lái)表示馬賽克圖像數(shù)據(jù)，該圖像處理裝置包括垂直方向的色差分量計(jì)算模塊，其被配置成通過(guò)使用垂直方向上鄰近的可用分量來(lái)獲取在另一色彩分量的像素位置中的G分量或獲取在G分量像素位置中的另一色彩分量，以便計(jì)算包括在馬賽克圖像的每個(gè)像素列中的每個(gè)像素內(nèi)的G分量與另一色彩分量之間的垂直方向色差分量；水平方向的色差分量計(jì)算模塊，其被配置成通過(guò)使用水平方向上鄰近的色彩分量來(lái)獲取在另一色彩分量的像素位置中的G分量或獲取在G分量像素位置中的另一色彩分量，以便計(jì)算包括在馬賽克圖像的每個(gè)像素行中的每個(gè)像素內(nèi)的G分量與另一色彩分量之間的水平方向色差分量；邊緣取向檢測(cè)模塊，其被配置成從馬賽克圖像數(shù)據(jù)選擇R分量的像素和B分量的像素并在每個(gè)這樣的像素位置關(guān)于至少所選擇像素中的每個(gè)而將垂直方向的色差分量的變動(dòng)與水平方向色差分量的變動(dòng)相比較以便檢測(cè)至少所選擇像素的邊緣取向；和缺失色彩分量插值模塊，其被配置成參照檢測(cè)的邊緣取向、并在馬賽克圖像數(shù)據(jù)的每個(gè)像素中插值缺失的色彩分量，其中馬賽克圖像數(shù)據(jù)中的每個(gè)像素內(nèi)有一個(gè)色彩分量設(shè)置。
2. 根據(jù)權(quán)利要求1所述的圖像處理裝置，其中邊緣取向檢測(cè)模塊具有'-垂直方向變動(dòng)計(jì)算模塊，其被配置成從包括目標(biāo)像素的目標(biāo)像素列 的垂直方向色差分量和鄰近目標(biāo)像素列的相鄰像素列的垂直方向色差 分量，計(jì)算作為邊緣取向檢測(cè)對(duì)象的每個(gè)目標(biāo)像素中的垂直方向色差分量的變動(dòng)；和水平方向變動(dòng)計(jì)算模塊，其被配置成從包括目標(biāo)像素的目標(biāo)像素行 的水平方向色差分量和鄰近目標(biāo)像素行的相鄰像素行的水平方向色差 分量，計(jì)算作為邊緣取向檢測(cè)對(duì)象的每個(gè)目標(biāo)像素中的水平方向色差分 量變的動(dòng)。
3. 根據(jù)權(quán)利要求1所迷的圖像處理裝置，其中邊緣取向檢測(cè)模塊僅 檢測(cè)包括在馬賽克圖像數(shù)據(jù)中的B分量的像素及R分量的像素中的邊緣 取向。
4. 根據(jù)權(quán)利要求1所述的圖像處理裝置，其中當(dāng)像素的垂直方向色 差分量的變動(dòng)大于像素的水平方向色差分量的變動(dòng)時(shí)，邊緣取向檢測(cè)模 塊將每個(gè)像素中邊緣取向作為水平方向進(jìn)行檢測(cè)，當(dāng)像素的垂直方向色差分量的變動(dòng)小于像素的水平方向色差分量 的變動(dòng)時(shí)，邊緣取向檢測(cè)模塊將每個(gè)像素中邊緣取向作為垂直方向進(jìn)行 檢測(cè)，以及當(dāng)像素的垂直方向色差分量的變動(dòng)等于像素的水平方向色差分量 的變動(dòng)時(shí)，邊緣取向檢測(cè)模塊將每個(gè)像素中邊緣取向作為垂直方向或水 平方向進(jìn)4于;險(xiǎn)測(cè)。
5. 根據(jù)權(quán)利要求1所述的圖像處理裝置，其中缺失色彩分量插值模 塊用 一對(duì)相鄰像素中的色彩分量在作為插值對(duì)象的插值目標(biāo)像素中插 值作為缺失的色彩分量的G分量，所述的一對(duì)相鄰像素是在插值目標(biāo)像 素上方和下方的一對(duì)上部和下部相鄰〗象素、以及在插值目標(biāo)像素左側(cè)和 右側(cè)的 一對(duì)左側(cè)和右側(cè)相鄰像素之間選擇的。
6. 根據(jù)權(quán)利要求5所迷的圖像處理裝置，其中缺失色彩分量插值模 塊具有 色差分量插值模塊，其被配置成用插值目標(biāo)像素上方和下方的一對(duì) 上部和下部相鄰像素中的垂直方向色差分量、或者用在插值目標(biāo)像素左側(cè)和右側(cè)的一對(duì)左側(cè)和右側(cè)相鄰像素中的水平方向色差分量，在插值目 標(biāo)像素中插值垂直方向色差分量或者水平方向色差分量；和G分量計(jì)算模塊，其被配置成基于在插值目標(biāo)像素中插值的垂直方向的色差分量或者水平方向的色差分量、以及馬賽克圖像數(shù)據(jù)中的插值目標(biāo)像素的色彩分量的設(shè)置，來(lái)計(jì)算插值目標(biāo)像素中的G分量。
7. 根據(jù)權(quán)利要求5所述的圖像處理裝置，其中缺失色彩分量插值模 塊在不具備馬賽克數(shù)據(jù)中的G分量設(shè)置的所有像素中插值G分量，并隨 后在具有馬賽克圖像數(shù)據(jù)中的像素的色彩分量的設(shè)置以及插值的G分 量的像素中插值R分量和B分量。
8. 根據(jù)權(quán)利要求1所述的圖像處理裝置，其中邊緣取向檢測(cè)模塊檢 測(cè)包括在馬賽克圖像數(shù)據(jù)中的至少B分量的像素及R分量的像素中的邊 緣取向以產(chǎn)生邊緣取向圖，和缺失色彩分量插值模塊參照儲(chǔ)存在邊緣取向圖中的邊緣取向以在 馬賽克圖像數(shù)椐的每個(gè)像素中插值缺失的色彩分量。
9. 一種圖像處理方法，其接收在每個(gè)像素中具有對(duì)應(yīng)于光的三原色 的三種色彩分量R、 G和B之中的僅一種色彩分量設(shè)置的馬賽克圖像數(shù) 據(jù)，并使所接收的馬賽克圖像數(shù)據(jù)經(jīng)受 一 系列圖像處理來(lái)生成在每個(gè)像 素中具有所有三種色彩分量R、 G和B設(shè)置的彩色圖像數(shù)據(jù)，該圖像處理方法包括接收作為馬賽克圖像數(shù)據(jù)的圖像數(shù)據(jù)，所迷圖像數(shù)據(jù)是通過(guò)在垂直 方向上具有G分量的像素和作為另 一色彩分量的R分量的像素的交替布 置的像素列、在垂直方向上具有G分量的像素和作為另一色彩分量的B 分量的像素的交替布置的像素列、在水平方向上具有G分量的像素和作 為另一色彩分量的R分量的像素的交替布置的像素行和在水平方向上 具有G分量的像素和作為另一色彩分量的B分量的像素的交替布置的像 素行的組合而表示的；獲得在馬賽克圖像數(shù)據(jù)的每個(gè)像素列中所包括的每個(gè)像素內(nèi)的G 分量和另一色彩分量，并計(jì)算在垂直方向上每個(gè)像素列中所包括的每個(gè) 像素內(nèi)的G分量與另 一色彩分量之間的垂直方向色差分量；獲得在馬賽克圖像數(shù)據(jù)的每個(gè)像素行中所包括的每個(gè)像素內(nèi)的G分量和另一色彩分量，并計(jì)算在水平方向上每個(gè)像素行中所包括的每個(gè) 像素內(nèi)的G分量與另 一色彩分量之間的水平方向色差分量；從馬賽克圖像數(shù)據(jù)選擇R分量的像素和B分量的像素，并在每個(gè)這 樣的像素位置關(guān)于至少所選擇像素中的每個(gè)而將垂直方向的色差分量 的變動(dòng)與水平方向色差分量的變動(dòng)相比較以檢測(cè)至少所選擇像素的邊緣取向；和參照檢測(cè)的邊緣取向，并在馬賽克圖像數(shù)據(jù)的每個(gè)像素中插值缺失 的色彩分量，其中馬賽克圖像數(shù)據(jù)中的每個(gè)像素內(nèi)有 一 個(gè)色彩分量設(shè) 置。
10. —種具有程序的計(jì)算機(jī)可讀介質(zhì)，所述程序?qū)е掠?jì)算機(jī)實(shí)施一 種方法來(lái)接收在每個(gè)像素中具有對(duì)應(yīng)于光的三原色的三種色彩分量R、 G和B之中的僅一種色彩分量設(shè)置的馬賽克圖像數(shù)據(jù)，并使所接收的馬 賽克圖像數(shù)據(jù)經(jīng)受一 系列圖像處理來(lái)生成在每個(gè)像素中具有所有三種 色彩分量R， G和B設(shè)置的彩色圖像數(shù)據(jù)，該程序?qū)е掠?jì)算機(jī)實(shí)現(xiàn)以下功能接收作為馬賽克圖像數(shù)據(jù)的圖像數(shù)據(jù)，所迷圖像數(shù)據(jù)是通過(guò)在垂直 方向上具有G分量的像素和作為另一色彩分量的R分量的像素的交替布 置的像素列、在垂直方向上具有G分量的像素和作為另一色彩分量的B 分量的像素的交替布置的像素列、在水平方向上具有G分量的像素和作 為另一色彩分量的R分量的像素的交替布置的像素行和在水平方向上 具有G分量的像素和作為另一色彩分量的B分量的像素的交替布置的像 素行的組合而表示的；獲得在馬賽克圖像數(shù)據(jù)的每個(gè)像素列中所包括的每個(gè)像素內(nèi)的G 分量和另一色彩分量，并計(jì)算在垂直方向上每個(gè)像素列中所包括的每個(gè) 像素內(nèi)的G分量與另一色彩分量之間的垂直方向色差分量；獲得在馬賽克圖像數(shù)據(jù)的每個(gè)像素行中所包括的每個(gè)像素內(nèi)的G 分量和另一色彩分量，并計(jì)算在水平方向上每個(gè)像素行中所包括的每個(gè) 像素內(nèi)的G分量與另 一色彩分量之間的水平方向色差分量；從馬賽克圖像數(shù)據(jù)選擇R分量的像素和B分量的像素，并在每個(gè)這 樣的像素位置關(guān)于至少所選擇像素中的每個(gè)而將垂直方向的色差分量 的變動(dòng)與水平方向色差分量的變動(dòng)相比較以檢測(cè)至少所選擇像素的邊 纟象取向；和參照檢測(cè)的邊緣取向，并在馬賽克圖像數(shù)據(jù)的每個(gè)像素中插值缺失 的色彩分量，其中馬賽克圖像數(shù)據(jù)中的每個(gè)像素內(nèi)有一個(gè)色彩分量設(shè)置。
全文摘要
本發(fā)明涉及圖像處理裝置，圖像處理方法和用于實(shí)現(xiàn)圖像處理的程序。接收馬賽克圖像數(shù)據(jù)，垂直方向上關(guān)于該數(shù)據(jù)中每個(gè)像素列計(jì)算垂直方向色差分量、水平方向上關(guān)于該數(shù)據(jù)中每個(gè)像素行計(jì)算水平方向色差分量。通過(guò)垂直方向上G和R分量像素的交替布置以及G和B分量像素的交替布置的像素列、水平方向上G和R分量像素的交替布置以及G和B分量像素的交替布置的像素行的組合，表示該數(shù)據(jù)。從該數(shù)據(jù)選擇R和B分量像素，關(guān)于至少所選像素中每個(gè)將垂直與水平方向色差分量的變動(dòng)比較以檢測(cè)至少所選像素的邊緣取向。參照檢測(cè)的邊緣取向，在具備該數(shù)據(jù)的每個(gè)像素內(nèi)的一個(gè)色彩分量設(shè)置的該數(shù)據(jù)的每個(gè)像素中插值缺失的色彩分量。
文檔編號(hào)H04N9/64GK101547370SQ20091012794
公開(kāi)日2009年9月30日 申請(qǐng)日期2009年3月27日 優(yōu)先權(quán)日2008年3月28日
發(fā)明者R·盧卡克 申請(qǐng)人:精工愛(ài)普生株式會(huì)社