相機(jī)噪聲模型產(chǎn)生及使用方法以及使用該方法的裝置的制造方法【
技術(shù)領(lǐng)域：
】[0001]本發(fā)明涉及一種圖像處理技術(shù)，特別是一種相機(jī)噪聲模型產(chǎn)生及使用方法以及使用該方法的裝置。【
背景技術(shù)：
】[0002]圖像噪聲指圖像中亮度及色度信息的隨機(jī)變異，通常是一種電子噪聲，可能產(chǎn)生自傳感器以及掃描器（scanner)或數(shù)字相機(jī)的電路。圖像噪聲可能源于底片顆粒（filmgrain)以及光檢測器（photondetector)中無法避免的散粒噪聲（shotnoise)。圖像噪聲是捕捉圖像時(shí)不想要的副產(chǎn)品，增加了偽多余信息。因此，需要一種相機(jī)噪聲模型產(chǎn)生及使用方法以及使用該方法的裝置，用以減少圖像噪聲?！?br/>發(fā)明內(nèi)容】[0003]本發(fā)明的實(shí)施例提出一種由處理單元執(zhí)行的相機(jī)噪聲模型產(chǎn)生及使用方法。通過相機(jī)模塊控制器控制相機(jī)模塊取得第一幀，以及依據(jù)第一幀的內(nèi)容在線產(chǎn)生相機(jī)噪聲模型，其中，相機(jī)噪聲模型為像素值與標(biāo)準(zhǔn)差之間的關(guān)系。通過相機(jī)模塊控制器控制相機(jī)模塊取得第二幀，以及使用相機(jī)噪聲模型調(diào)整第二幀的內(nèi)容并且存儲調(diào)整后第二幀至幀緩存器。[0004]本發(fā)明的實(shí)施例提出一種相機(jī)噪聲模型產(chǎn)生及使用裝置，至少包含幀緩存器及處理單元。處理單元耦接于幀緩存器，通過相機(jī)模塊控制器控制相機(jī)模塊取得第一幀；依據(jù)第一幀的內(nèi)容在線產(chǎn)生相機(jī)噪聲模型，其中，上述相機(jī)噪聲模型為像素值與標(biāo)準(zhǔn)差之間的關(guān)系；通過相機(jī)模塊控制器控制相機(jī)模塊取得第二幀；以及使用相機(jī)噪聲模型調(diào)整第二幀的內(nèi)容并且存儲調(diào)整后第二幀至幀緩存器。[0005]本發(fā)明的前述相機(jī)噪聲模型產(chǎn)生及使用方法配合相機(jī)模塊實(shí)時(shí)處理，與離線方式產(chǎn)生的預(yù)先校準(zhǔn)過相機(jī)噪聲模型相比，本發(fā)明充分考慮了相機(jī)模塊的工作環(huán)境的影響。此外，本發(fā)明用第一幀的數(shù)據(jù)在線產(chǎn)生實(shí)時(shí)的相機(jī)噪聲模型用于第二幀數(shù)據(jù)的去噪處理，實(shí)現(xiàn)流水線形式的作業(yè)?！靖綀D說明】[0006]圖1是依據(jù)本發(fā)明實(shí)施例的運(yùn)算裝置的系統(tǒng)架構(gòu)圖。[0007]圖2是依據(jù)本發(fā)明實(shí)施例由處理單元執(zhí)行的相機(jī)噪聲模型產(chǎn)生方法的方法流程圖。[0008]圖3是依據(jù)本發(fā)明實(shí)施例的R-、Gr-、Gb-及B-塊的取得示意圖。[0009]圖4A是依據(jù)本發(fā)明實(shí)施例的第一模式示意圖。[0010]圖4B是依據(jù)本發(fā)明實(shí)施例的第二模式示意圖。[0011]圖4C是依據(jù)本發(fā)明實(shí)施例的第三模式示意圖。[0012]圖5是依據(jù)本發(fā)明實(shí)施例的相機(jī)噪聲模型示意圖。[0013]圖6是依據(jù)本發(fā)明實(shí)施例的相機(jī)去噪裝置的系統(tǒng)方塊圖。[0014]圖7是依據(jù)本發(fā)明實(shí)施例的由處理單元載入及執(zhí)行時(shí)域去噪模塊的相關(guān)指令的時(shí)域去噪方法流程圖。[0015]圖8是依據(jù)本發(fā)明實(shí)施例的由處理單元載入及執(zhí)行空域去噪模塊的相關(guān)指令的時(shí)域去噪方法流程圖。[0016]【符號說明】[0017]110處理單元；130幀緩存器；[0018]140非易失性存儲器；150易失性存儲器；[0019]170相機(jī)模塊控制器；190相機(jī)模塊；[0020]S211~S293方法步驟；310貝爾格式圖像；[0021]330R-塊；350Gr-塊；[0022]370Gb-塊；390B-塊；[0023]610噪聲估計(jì)模塊；630時(shí)域去噪模塊；[0024]650空域去噪模塊；S711~S753方法步驟；[0025]S811~S853方法步驟?！揪唧w實(shí)施方式】[0026]以下說明為完成發(fā)明的優(yōu)選實(shí)現(xiàn)方式，其目的在于描述本發(fā)明的基本精神，但并不用以限定本發(fā)明。實(shí)際的【
發(fā)明內(nèi)容】必須參考之后的權(quán)利要求范圍。[0027]必須了解的是，使用于本說明書中的"包含"、"包括"等詞，用以表示存在特定的技術(shù)特征、數(shù)值、方法步驟、作業(yè)處理、元件和/或組件，但并不排除可加上更多的技術(shù)特征、數(shù)值、方法步驟、作業(yè)處理、元件、組件，或以上的任意組合。[0028]在權(quán)利要求中使用如"第一"、"第二"、"第三"等詞用來修飾權(quán)利要求中的元件，并非用來表示之間具有優(yōu)先權(quán)順序，先行關(guān)系，或者是一個(gè)元件先于另一個(gè)元件，或者是執(zhí)行方法步驟時(shí)的時(shí)間先后順序，僅用來區(qū)別具有相同名字的元件。[0029]圖1是依據(jù)本發(fā)明實(shí)施例的運(yùn)算裝置的系統(tǒng)架構(gòu)圖。此系統(tǒng)架構(gòu)可實(shí)施于桌上型計(jì)算機(jī)、筆記型計(jì)算機(jī)、平板計(jì)算機(jī)、手機(jī)、數(shù)字相機(jī)、數(shù)字?jǐn)z像機(jī)等，至少包含處理單元110。處理單元110可使用多種方式實(shí)施，例如以專用硬件電路或通用硬件（例如，單一處理器、具并行處理能力的多處理器、圖形處理器或其他具運(yùn)算能力的處理器），并且在執(zhí)行固件或軟件時(shí)，提供之后所描述的功能。處理單元110可整合于圖像信號處理器（ISP，ImageSignalProcessor)中，并且可通過相機(jī)模塊控制器170控制相機(jī)模塊190用以捕捉多個(gè)幀。相機(jī)模塊190可包含圖像傳感器，例如，互補(bǔ)式金屬氧化物半導(dǎo)體（complementarymetal-oxide-semiconductor，CMOS)、電荷親合元件（charge-coupleddevice，CCD)等傳感器，用以感測由紅、綠、藍(lán)光強(qiáng)度所形成的圖像，以及包含讀取電子電路，用以從圖像傳感器搜集感測到的數(shù)據(jù)。相機(jī)噪聲模型不只受到圖像傳感器工藝的影響，也會受到一些環(huán)境因素影響，例如溫度、濕度甚至所拍攝對象本身等。離線方式產(chǎn)生的預(yù)先校準(zhǔn)過相機(jī)噪聲模型并無法消除由環(huán)境因素產(chǎn)生的噪聲。所以，處理單元110可依據(jù)捕捉到的一個(gè)幀產(chǎn)生相機(jī)噪聲模型，并且使用相機(jī)噪聲模型修正之后捕捉到的幀，并將修正后結(jié)果存儲在幀緩存器(framebuffer)130。易失性存儲器150,例如動態(tài)隨機(jī)存取存儲器（DRAM，DynamicRandomAccessMemory)，用以存儲執(zhí)行過程中需要的數(shù)據(jù)，例如，變量、數(shù)據(jù)表（datatables)等。本發(fā)明的相機(jī)噪聲模型產(chǎn)生及使用方法由處理單元110執(zhí)行：首先通過相機(jī)模塊控制器170控制相機(jī)模塊190取得一個(gè)幀（frame)。依據(jù)該幀的內(nèi)容在線產(chǎn)生一相機(jī)噪聲模型，其中，相機(jī)噪聲模型為像素值與標(biāo)準(zhǔn)差之間的關(guān)系，這里的"像素值"是指一個(gè)像素在各色彩通道（如R-、Gr-、Gb-及B-通道）下亮度值或強(qiáng)度值。再通過相機(jī)模塊控制器170控制相機(jī)模塊190取得下一幀，并使用上一幀實(shí)時(shí)計(jì)算得來的相機(jī)噪聲模型調(diào)整下一幀的內(nèi)容并且將其存儲至幀緩存器130。即是說，本發(fā)明是用上一幀的數(shù)據(jù)在線產(chǎn)生實(shí)時(shí)的相機(jī)噪聲模型用于下一幀數(shù)據(jù)的去噪處理，實(shí)現(xiàn)流水線形式的作業(yè)。與離線方式產(chǎn)生的預(yù)先校準(zhǔn)過相機(jī)噪聲模型相比，本發(fā)明充分考慮了圖像傳感器所處的實(shí)時(shí)環(huán)境因素。在一實(shí)施例中，相機(jī)模塊190取得的幀均包含多個(gè)塊（block)，處理單元110在目前幀中全局地搜尋平坦塊(flatblock)，每一平坦塊對應(yīng)于一個(gè)像素值區(qū)間，且平坦塊為對應(yīng)該像素值區(qū)間的所有塊中，像素值的標(biāo)準(zhǔn)差和海森值（Hessianvalue)趨向于最小的塊，至于如何搜集平坦塊，后面會詳述。之后，再以搜尋出的多個(gè)平坦塊擬合出該相機(jī)噪聲模型。在此須注意的是，下述實(shí)施例中是基于貝爾格式（Bayerblockbased)的塊進(jìn)行處理，在各個(gè)色彩通道（如R-、Gr-、Gb-及B-通道）分別建立前述相機(jī)噪聲模型。但本發(fā)明并不限于此，本領(lǐng)域技術(shù)人員還可以基于其他格式和單位的數(shù)據(jù)進(jìn)行處理。[0030]圖2是依據(jù)本發(fā)明實(shí)施例由處理單元執(zhí)行的相機(jī)噪聲模型產(chǎn)生及使用方法流程圖。此流程開始于提供R-、Gr-、Gb-及B-通道對照表（步驟S211)。每一個(gè)通道對照表包含多筆記錄，每一筆記錄存儲相應(yīng)于一段像素值區(qū)間的代表值、標(biāo)準(zhǔn)差及海森值。以12位表示的R-通道來說，每個(gè)像素的R-值可為0~4095中的任一值。假設(shè)每段像素值區(qū)間包含32個(gè)像素值，則R-通道對照表包含128筆記錄，第一筆記錄關(guān)聯(lián)于R-值0~31，第二筆記錄關(guān)聯(lián)于R-值32~63,依此類推。R-、Gr-、Gb-及B-通道對照表中所存儲的標(biāo)準(zhǔn)差及海森值，可視為當(dāng)前處理過的塊中落入該段像素值區(qū)間的標(biāo)準(zhǔn)差及海森值趨向于最小的塊的標(biāo)準(zhǔn)差當(dāng)前第1頁1 2