處理鑲嵌圖像的方法
【專(zhuān)利摘要】本發(fā)明提供一種處理鑲嵌圖像的方法。首先，沿著一第一方向上取樣該鑲嵌圖像，產(chǎn)生一第一中間圖像。接著，沿著該第一方向調(diào)整該第一中間圖像的尺寸，產(chǎn)生一第二中間圖像。然后，沿著一第二方向上取樣該第二中間圖像，產(chǎn)生一第三中間圖像。之后，沿著該第二方向調(diào)整該第三中間圖像的尺寸，產(chǎn)生一已調(diào)整尺寸并部分去鑲嵌的圖像。本發(fā)明可確保好的圖像品質(zhì)。
【專(zhuān)利說(shuō)明】處理鑲嵌圖像的方法 【【技術(shù)領(lǐng)域】】
[0001] 本發(fā)明關(guān)于圖像處理，尤其關(guān)于一種處理鑲嵌圖像（mosaicked image)的方法。 【【背景技術(shù)】】
[0002] 現(xiàn)在，數(shù)碼相機(jī)幾乎無(wú)處不在。不僅有單機(jī)（Stand-along)數(shù)碼相機(jī)，也有嵌入各 種類(lèi)型的電子設(shè)備(例如智能機(jī)及平板電腦）內(nèi)的數(shù)碼相機(jī)。甚至，數(shù)碼攝像機(jī)也可被當(dāng)做 是數(shù)碼相機(jī)。
[0003] 通常來(lái)說(shuō)，數(shù)碼相機(jī)至少具有一個(gè)色彩感測(cè)器（color sensor)及疊加在該色 彩感測(cè)器上的一個(gè)色彩濾波矩陣（color filter array, CFA)。舉幾個(gè)例子，色彩感測(cè) 器可以是電荷稱(chēng)合裝置（charge coupled device, CO))傳感器或互補(bǔ)金屬氧化物半 導(dǎo)體（complementary metal oxide semiconductor，CMOS)傳感器；色彩濾波矩陣可 以是拜耳（Bayer)色彩濾波矩陣，RGBC(Red, Green, Blue, Clean)色彩濾波矩陣，或者 CYYM (Cyan, Yellow, Yellow, Magenta)色彩濾波矩陣。
[0004] 數(shù)碼相機(jī)產(chǎn)生的原始圖像（raw image)為鑲嵌圖像，具有不同顏色的像素，這些像 素在像素的每一水平線條及像素的每一垂直線條上交替。要想做到有效，經(jīng)常需要處理鑲 嵌圖像。一些圖像處理方法會(huì)以更復(fù)雜的計(jì)算為代價(jià)來(lái)確保更好的圖像品質(zhì)。另一些圖像 處理方法可具有較簡(jiǎn)單的計(jì)算但會(huì)導(dǎo)致較差的圖像品質(zhì)。 【
【發(fā)明內(nèi)容】
】
[0005] 有鑒于此，本發(fā)明提供一種處理鑲嵌圖像的方法。
[0006] 本發(fā)明實(shí)施例提供一種處理鑲嵌圖像的方法。首先，沿著一第一方向上取樣該鑲 嵌圖像，產(chǎn)生一第一中間圖像。接著，沿著該第一方向調(diào)整該第一中間圖像的尺寸，產(chǎn)生一 第二中間圖像。然后，沿著一第二方向上取樣該第二中間圖像，產(chǎn)生一第三中間圖像。之后， 沿著該第二方向調(diào)整該第三中間圖像的尺寸，產(chǎn)生一已調(diào)整尺寸并部分去鑲嵌的圖像。
[0007] 本發(fā)明另一實(shí)施例提供一種處理鑲嵌圖像的方法。首先沿著一第一方向上取樣該 鑲嵌圖像，產(chǎn)生一第一中間圖像。接著，沿著該第一方向調(diào)整該第一中間圖像的尺寸，產(chǎn)生 一第二中間圖像。然后，沿著一第二方向上取樣該第二中間圖像，產(chǎn)生一第三中間圖像。之 后，沿著該第二方向調(diào)整該第三中間圖像的尺寸，產(chǎn)生一已調(diào)整尺寸并部分去鑲嵌的圖像。 接著，處理該已調(diào)整尺寸并部分去鑲嵌的圖像，產(chǎn)生一去鑲嵌并處理過(guò)的圖像。
[0008] 上述處理鑲嵌圖像的方法可確保好的圖像品質(zhì)。 【【專(zhuān)利附圖】

【附圖說(shuō)明】】
[0009] 圖1為依據(jù)本發(fā)明實(shí)施例的處理鑲嵌圖像的圖像處理方法的示意圖；
[0010] 圖2及圖3為進(jìn)一步說(shuō)明圖1所示方法的兩個(gè)示意圖。 【【具體實(shí)施方式】】 toon] 圖1為依據(jù)本發(fā)明實(shí)施例的處理鑲嵌圖像的圖像處理方法的示意圖。該圖像處理 方法包含鑲嵌圖像調(diào)整尺寸（resize)方法100,其范例如圖2及圖3中描述，以及圖像信號(hào) 處理（image signal processing, ISP)方法900,其僅在圖1中描述。
[0012] 為簡(jiǎn)潔起見(jiàn)，圖1，2, 3描述的每一示范性圖像被拆分為不同顏色的平面（plane)。 舉例來(lái)說(shuō)，如果使用拜耳色彩濾波矩陣來(lái)產(chǎn)生鑲嵌圖像，則顏色平面可包含紅（R)平面、藍(lán) (B)平面以及綠（G)平面。在另一范例中，可使用其他類(lèi)型的色彩濾波矩陣(例如，RGBC色 彩濾波矩陣或CYYM色彩濾波矩陣）來(lái)產(chǎn)生該鑲嵌圖像。
[0013] 在圖中，包圍字母"X"的矩形代表對(duì)應(yīng)顏色平面中丟失的像素；包圍字母 或"G"的矩形代表對(duì)應(yīng)顏色平面中的紅、藍(lán)或綠像素。如果顏色平面不具有任何丟失的像 素，則其被稱(chēng)為完整取樣（full-sampled)的顏色平面。另一方面，如果顏色平面有某些像 素丟失，則其被稱(chēng)為子取樣（sub-sampled)顏色平面。使用圖1描述的鑲嵌圖像和已調(diào)整 尺寸并部分去鑲嵌的（demosaicked)圖像為例，前者具有子取樣R平面、子取樣B平面以及 子取樣G平面，后者具有子取樣R平面、子取樣B平面以及完整取樣G平面。
[0014] 圖1描述的圖像處理方法使電子設(shè)備能夠?qū)㈣偳秷D像轉(zhuǎn)換成去鑲嵌并處理過(guò)的 圖像。鑲嵌圖像具有Μ行N列像素，其中Μ及N為兩個(gè)正整數(shù)。換句話說(shuō)，鑲嵌圖像的分辨 率為ΜΧΝ。去鑲嵌并處理過(guò)的圖像的分辨率為Μ〃ΧΝ〃，其中Μ"為小于或等于Μ的正整數(shù)， Ν"為小于或等于Ν的正整數(shù)。
[0015] 圖1、圖2及圖3描述的鑲嵌圖像調(diào)整尺寸的方法100使電子設(shè)備能夠首先將鑲嵌 圖像轉(zhuǎn)換成已調(diào)整尺寸并部分去鑲嵌的圖像。已調(diào)整尺寸并部分去鑲嵌的圖像的分辨率為 Μ'ΧΝ'，其中Μ'為小于或等于Μ的正整數(shù)，Ν'為小于或等于Ν的正整數(shù)。舉例來(lái)說(shuō)，Μ'及 Ν'可分別等于Μ〃及Ν"。
[0016] 修飾語(yǔ)"部分去鑲嵌的"表示已調(diào)整尺寸并部分去鑲嵌的圖像可具有至少一個(gè)完 整取樣的顏色平面。換句話說(shuō)，已調(diào)整尺寸并部分去鑲嵌的圖像可具有至少一個(gè)無(wú)丟失像 素的顏色平面。在鑲嵌圖像調(diào)整尺寸方法100之后，圖1描述的圖像信號(hào)處理方法900使 電子設(shè)備能夠?qū)⒃撘颜{(diào)整尺寸并部分去鑲嵌的圖像轉(zhuǎn)換成去鑲嵌并處理過(guò)的圖像。舉幾 個(gè)例子，圖像信號(hào)處理方法900可包含去鑲嵌、圖像灰度校正（gamma correction)、色彩校 正、噪聲消減以及邊緣增強(qiáng)（edge enhancement)等等。
[0017] 請(qǐng)參考圖2及圖3。在鑲嵌圖像調(diào)整尺寸方法100中，電子設(shè)備首先沿著第一方 向上執(zhí)行上取樣（up-sample)及調(diào)整尺寸，接著沿著第二方向上執(zhí)行上取樣及調(diào)整尺寸。 雖然在所述范例中第一方向及第二方向分別為水平方向及垂直方法，但是在其他范例中該 第一方向及第二方向可以分別為垂直方向及水平方向。請(qǐng)注意，如果第一方向及第二方向 分別為水平方向及垂直方法，則沿著第一方向的線條及沿著第二方向的線條會(huì)分別是行和 列。另一方面，如果第一方向及第二方向分別為垂直方向及水平方向，則沿著第一方向的線 條及沿著第二方向的線條會(huì)分別是列和行。
[0018] 請(qǐng)參考圖2。在鑲嵌圖像調(diào)整尺寸方法的步驟120,電子設(shè)備沿著第一方向上取樣 鑲嵌圖像以產(chǎn)生第一中間圖像，其分辨率可仍為MXN。換句話說(shuō)，在步驟120,電子設(shè)備在 每一顏色平面沿著第一方向上取樣線條。在被上取樣后，原始子取樣線條會(huì)變成完整取樣 的線條或變成具有較少丟失像素的子取樣線條，原始未取樣的線條可保持未取樣（即保持 原封不動(dòng))，以及原始完整取樣的線條可保持完整取樣（即保持原封不動(dòng))。如此處使用的， 如果交替了丟失像素(每一個(gè)在圖中表示為符號(hào)'X'）及現(xiàn)有像素(每一個(gè)在圖中表示為符 號(hào)' R'、' G'或' B'），則線條為子取樣；如果沒(méi)有丟失像素，則線條為完整取樣；如果僅有丟 失像素，則線條為未取樣。舉例來(lái)說(shuō)，子取樣線條的交替期間可為η像素，其中η為大于1 的整數(shù)，且每一交替期間可具有1個(gè)現(xiàn)有像素及（η-1)個(gè)丟失像素。換句話說(shuō)，子取樣線條 的1/η像素可為現(xiàn)有像素，而其余（η-1)/η像素可為丟失像素。
[0019] 使用圖1及圖2的鑲嵌圖像為例，在其R平面，奇水平線條為子取樣以及偶水平線 條為未取樣。在步驟120,電子設(shè)備通過(guò)例如水平插值，將子取樣奇水平線條轉(zhuǎn)換成完整取 樣線條。在此期間，R平面的偶水平線條保持未取樣。類(lèi)似地，在鑲嵌圖像的Β平面，偶水 平線條為子取樣以及奇水平線條為未取樣。在步驟120,電子設(shè)備通過(guò)例如水平插值，將子 取樣偶水平線條轉(zhuǎn)換成完全取樣線條。在此期間，Β平面的奇水平線條保持未取樣。在鑲 嵌圖像的G平面，所有水平線條為子取樣。在步驟120,電子設(shè)備通過(guò)例如水平插值，將所有 水平線條轉(zhuǎn)換成完整取樣線條。因?yàn)榈谝恢虚g圖像中產(chǎn)生的G平面只有完整取樣線條，所 以G平面已成為完整取樣顏色平面。
[0020] 接著，在鑲嵌圖像調(diào)整尺寸方法的步驟140,電子設(shè)備沿著第一方向調(diào)整第一中間 圖像的尺寸，以產(chǎn)生第二中間圖像，其分辨率可為Μ' ΧΝ。換句話說(shuō)，在步驟140,電子設(shè)備 將沿著第一方向Μ像素的線條轉(zhuǎn)換成沿著第一方向Μ'像素的線條。第二中間圖像的G平 面為完整取樣，其中的每一線條為完整取樣。
[0021] 第二中間圖像的R平面為子取樣顏色平面。舉例來(lái)說(shuō)，其中的奇水平線條及奇垂 直線條為子取樣，而其中的偶水平線條及偶垂直線條為未取樣。作為另一個(gè)范例，其中的奇 水平線條及偶垂直線條為子取樣，而其中的偶水平線條及奇垂直線條為未取樣。當(dāng)然，丟失 像素及現(xiàn)有像素在子取樣R平面中可用不同于上述兩個(gè)例子的方式來(lái)設(shè)置。類(lèi)似地，第二 中間圖像的Β平面為子取樣顏色平面。舉例來(lái)說(shuō)，其中的偶水平線條及偶垂直線條為子取 樣，而其中的奇水平線條及奇垂直線條為未取樣。作為另一個(gè)范例，其中的偶水平線條及奇 垂直線條為子取樣，而其中的奇水平線條及偶垂直線條為未取樣。當(dāng)然，丟失像素及現(xiàn)有像 素在子取樣Β平面中可用不同于上述兩個(gè)例子的方式來(lái)設(shè)置。
[0022] 請(qǐng)參考圖3。在鑲嵌圖像調(diào)整尺寸方法的步驟160,電子設(shè)備沿著第二方向上取樣 第二中間圖像，以產(chǎn)生第三中間圖像，其分辨率可仍為Μ' ΧΝ。換句話說(shuō)，在步驟160,電子 設(shè)備在每一顏色平面沿著第二方向上取樣線條。
[0023] 舉例來(lái)說(shuō)，假設(shè)在第二中間圖像的R平面中，奇垂直線條為子取樣及偶垂直線條 為未取樣。在步驟160,電子設(shè)備通過(guò)例如垂直插值，將子取樣奇垂直線條轉(zhuǎn)換成完整取樣 線條。在此期間，R平面中的偶垂直線條保持未取樣。類(lèi)似地，假設(shè)在第二中間圖像的Β平 面中，偶垂直線條為子取樣及奇垂直線條為未取樣。在步驟160,電子設(shè)備通過(guò)例如垂直插 值，將子取樣偶垂直線條轉(zhuǎn)換成完整取樣線條。在此期間，Β平面中的奇垂直線條保持未取 樣。在第二中間圖像的G平面中，所有垂直線條已經(jīng)為完整取樣。因此，電子設(shè)備可任G平 面保持在步驟160中。換句話說(shuō)，G平面可在步驟160之后保持原封不動(dòng)。
[0024] 接著，在鑲嵌圖像調(diào)整尺寸方法的步驟180,電子設(shè)備沿著第二方向調(diào)整第三中間 圖像的尺寸，以產(chǎn)生已調(diào)整尺寸并部分去鑲嵌的圖像，其分辨率可為Μ' ΧΝ'。換句話說(shuō)，在 步驟180,電子設(shè)備將沿著第二方向的Ν像素線條轉(zhuǎn)換成沿著第二方向的Ν'像素線條。已 調(diào)整尺寸并部分去鑲嵌圖像的G平面為完整取樣，其中的每一線條(無(wú)論是水平或垂直）為 完整取樣。
[0025] 已調(diào)整尺寸并部分去鑲嵌圖像的R平面為子取樣顏色平面。舉例來(lái)說(shuō)，其中的奇 水平線條及奇垂直線條為子取樣，而其中的偶水平線條及偶垂直線條為未取樣。作為另一 個(gè)范例，其中的偶水平線條及奇垂直線條為子取樣，而其中的奇水平線條及偶垂直線條為 未取樣。當(dāng)然，丟失像素及現(xiàn)有像素在子取樣R平面中可用不同于上述兩個(gè)例子的方式來(lái) 設(shè)置。類(lèi)似地，已調(diào)整尺寸并部分去鑲嵌圖像的B平面為子取樣顏色平面。舉例來(lái)說(shuō)，其中 的偶水平線條及偶垂直線條為子取樣，而其中的奇水平線條及奇垂直線條為未取樣。作為 另一個(gè)范例，其中的奇水平線條及偶垂直線條為子取樣，而其中的偶水平線條及奇垂直線 條為未取樣。當(dāng)然，丟失像素及現(xiàn)有像素在子取樣B平面中可用不同于上述兩個(gè)例子的方 式來(lái)設(shè)置。
[0026] 上述圖像處理方法具有數(shù)個(gè)優(yōu)勢(shì)，其中一些淺談如下。首先，因?yàn)橐颜{(diào)整尺寸并部 分去鑲嵌圖像(而不是鑲嵌圖像，其分辨率會(huì)比已調(diào)整尺寸并部分去鑲嵌圖像的分辨率高 得多）在步驟900被處理，所以步驟900具有相對(duì)較低的計(jì)算需求。另外，因?yàn)樵阼偳秷D像 調(diào)整尺寸方法中，僅在水平上取樣之后執(zhí)行水平調(diào)整尺寸，僅在垂直上取樣之后執(zhí)行垂直 調(diào)整尺寸，所以已調(diào)整尺寸并部分去鑲嵌圖像會(huì)具有相對(duì)較好的品質(zhì)。正因?yàn)槿绱?，去鑲?并處理過(guò)的圖像也會(huì)保持相對(duì)較好的品質(zhì)。舉例來(lái)說(shuō)，去鑲嵌并處理過(guò)的圖像會(huì)具有較少 失真（art if act),例如混淆現(xiàn)象（aliasing)及假彩色（false color)。
[0027] 總而言之，上述圖像處理方法不僅可降低計(jì)算需求，也可確保好的圖像品質(zhì)。
[0028] 雖然本發(fā)明已以具體實(shí)施例揭露如上，然其僅為了易于說(shuō)明本發(fā)明的技術(shù)內(nèi)容， 而并非將本發(fā)明狹義地限定于該實(shí)施例，任何本領(lǐng)域技術(shù)人員，在不脫離本發(fā)明的精神和 范圍內(nèi)，當(dāng)可作些許的更動(dòng)與潤(rùn)飾，因此本發(fā)明的保護(hù)范圍當(dāng)視本發(fā)明的權(quán)利要求所界定 者為準(zhǔn)。
【權(quán)利要求】
1. 一種處理鑲嵌圖像的方法，包含： 沿著第一方向上取樣該鑲嵌圖像，產(chǎn)生第一中間圖像； 沿著該第一方向調(diào)整該第一中間圖像的尺寸，產(chǎn)生第二中間圖像； 沿著第二方向上取樣該第二中間圖像，產(chǎn)生第三中間圖像；以及 沿著該第二方向調(diào)整該第三中間圖像的尺寸，產(chǎn)生已調(diào)整尺寸并部分去鑲嵌的圖像。
2. 如權(quán)利要求1所述的處理鑲嵌圖像的方法，其特征在于，該第二中間圖像包含至少 一個(gè)完整取樣顏色平面及至少一個(gè)子取樣顏色平面。
3. 如權(quán)利要求1所述的處理鑲嵌圖像的方法，其特征在于，產(chǎn)生該第一中間圖像的該 步驟包含： 在該鑲嵌圖像的每一顏色平面中，通過(guò)沿著該第一方向的插值，沿著該第一方向上取 樣每一子取樣線條。
4. 如權(quán)利要求1所述的處理鑲嵌圖像的方法，其特征在于，產(chǎn)生該第三中間圖像的該 步驟包含： 在該第二中間圖像的每一顏色平面中，通過(guò)沿著該第二方向的插值，沿著該第二方向 上取樣每一子取樣線條。
5. 如權(quán)利要求1所述的處理鑲嵌圖像的方法，其特征在于，在該鑲嵌圖像的第一顏色 平面中，沿著該第一方向的奇線條為子取樣；在該鑲嵌圖像的第二顏色平面中，沿著該第一 方向的偶線條為子取樣；以及在該鑲嵌圖像的第三顏色平面中，沿著該第一方向的所有線 條為子取樣；以及產(chǎn)生該第一中間圖像的該步驟包含： 將該第一顏色平面中沿著該第一方向的該奇線條轉(zhuǎn)換成完整取樣線條； 將該第二顏色平面中沿著該第一方向的該偶線條轉(zhuǎn)換成完整取樣線條；以及 將該第三顏色平面中沿著該第一方向的該所有線條轉(zhuǎn)換成完整取樣線條。
6. 如權(quán)利要求1所述的處理鑲嵌圖像的方法，其特征在于，在該第二中間圖像的第一 顏色平面中，沿著該第二方向的奇線條為子取樣；在該第二中間圖像的第二顏色平面中，沿 著該第二方向的偶線條為子取樣；以及在該第二中間圖像的第三顏色平面中，沿著該第二 方向的所有線條為完整取樣；以及產(chǎn)生該第三中間圖像的該步驟包含： 將該第一顏色平面中沿著該第二方向的該奇線條轉(zhuǎn)換成完整取樣線條；以及 將該第二顏色平面中沿著該第二方向的該偶線條轉(zhuǎn)換成完整取樣線條。
7. 如權(quán)利要求1所述的處理鑲嵌圖像的方法，其特征在于，該鑲嵌圖像的分辨率與該 第一中間圖像的分辨率相同。
8. 如權(quán)利要求1所述的處理鑲嵌圖像的方法，其特征在于，該第二中間圖像的分辨率 與該第三中間圖像的分辨率相同。
9. 如權(quán)利要求1所述的處理鑲嵌圖像的方法，其特征在于，該已調(diào)整尺寸并部分去鑲 嵌的圖像的分辨率小于該鑲嵌圖像的分辨率。
10. 如權(quán)利要求1所述的處理鑲嵌圖像的方法，其特征在于，該處理鑲嵌圖像的方法還 包含：處理該已調(diào)整尺寸并部分去鑲嵌的圖像，產(chǎn)生去鑲嵌并處理過(guò)的圖像。
11. 如權(quán)利要求10所述的處理鑲嵌圖像的方法，其特征在于，產(chǎn)生該去鑲嵌并處理過(guò) 的圖像的該步驟包含： 執(zhí)行去鑲嵌、圖像灰度校正、色彩校正、噪聲消減以及邊緣增強(qiáng)。
【文檔編號(hào)】H04N9/04GK104125443SQ201310319313
【公開(kāi)日】2014年10月29日 申請(qǐng)日期:2013年7月18日 優(yōu)先權(quán)日:2013年4月25日
【發(fā)明者】魏鳴圻 申請(qǐng)人:聯(lián)發(fā)科技股份有限公司