專利名稱：圖像處理裝置、圖像處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置、圖像處理方法和程序。具體地，本發(fā)明涉及執(zhí)行用于降低圖像中的噪聲和提高圖像分辨率的過程的圖像處理裝置、圖像處理方法和程序。
背景技術(shù)：
在要執(zhí)行圖像處理，諸如圖像降噪(NR)過程或由低分辨率圖像生成高分辨率圖像的分辨率提高過程(例如稱為超分辨率(SR)過程)的情況下，執(zhí)行例如使用包含同一對(duì)象的多個(gè)連續(xù)捕捉的圖像的處理。公開圖像處理技術(shù)(諸如使用多個(gè)圖像進(jìn)行的降噪)的相關(guān)技術(shù)的示例包括日本未審查專利申請公開2009-194700號(hào)以及日本未審查專利申請公開 2009-290827 號(hào)。在要執(zhí)行降噪過程或分辨率提高過程的情況下，通過使用許多圖像來實(shí)現(xiàn)有效的降噪和分辨率提高。因此，對(duì)于生成高質(zhì)量圖像的裝置，存儲(chǔ)許多圖像的存儲(chǔ)器變得有必要。然而，如果圖像處理裝置設(shè)置有許多圖像存儲(chǔ)存儲(chǔ)器，則硬件變得龐大，并且成本提高。因此，產(chǎn)生了這樣的問題對(duì)于那些對(duì)尺寸的減小和低成本有較大需求的圖像捕捉設(shè)備，難以設(shè)置這樣多的存儲(chǔ)器。另外，在要在圖像捕捉設(shè)備中執(zhí)行上述降噪和分辨率提高的情況下，下列不同圖像可以成為要作為處理目標(biāo)圖像進(jìn)行處理的目標(biāo)(a)由圖像捕捉元件生成的RAW(原始)圖像，由作為每個(gè)像素的信號(hào)的對(duì)應(yīng)于顏色濾波器的僅特定顏色(例如RGB中的任何一個(gè))的各像素的信號(hào)形成的所謂馬賽克圖像，(b)全色圖像，其中通過針對(duì)馬賽克圖像的顏色插值過程，在全部像素中設(shè)置RGB 等的顏色信號(hào)。然而，由于這些圖像信號(hào)的結(jié)構(gòu)不同，在相關(guān)技術(shù)中，根據(jù)將圖像信號(hào)(a)和(b) 中哪一個(gè)作為處理目標(biāo)，通過使用各自的專用電路來執(zhí)行處理。也就是說，沒有相關(guān)技術(shù)公開特定的結(jié)構(gòu)，其中通過應(yīng)用一個(gè)共同的電路來對(duì)這兩種不同的信號(hào)執(zhí)行處理。關(guān)于如何使得用于對(duì)這兩種不同圖像信號(hào)執(zhí)行降噪和分辨率提高的電路的尺寸減小以便降低成本已經(jīng)成為一個(gè)挑戰(zhàn)。

發(fā)明內(nèi)容
希望提供一種圖像處理裝置、圖像處理方法和程序，其使得能夠采用簡化的硬件配置來實(shí)現(xiàn)通過使用多個(gè)圖像的疊加過程進(jìn)行的降噪或分辨率提高過程。還希望提供一種圖像處理裝置、圖像處理方法和程序，使得能夠通過使用共同的電路實(shí)現(xiàn)降噪或分辨率提高過程，該共同電路能夠處理本發(fā)明實(shí)施例中的RAW圖像和全色圖像兩者。根據(jù)本發(fā)明的一個(gè)實(shí)施例，提供一種圖像處理裝置，包括疊加處理單元，配置為執(zhí)行針對(duì)多個(gè)連續(xù)捕捉的圖像的混合過程，其中該疊加處理單元被配置為選擇性地輸入作為處理目標(biāo)圖像的RAW圖像或全色圖像的亮度信號(hào)信息并執(zhí)行疊加過程，以及執(zhí)行用于相繼更新存儲(chǔ)在用于存儲(chǔ)兩個(gè)圖像幀的存儲(chǔ)器中的數(shù)據(jù)的過程，從而使得能夠進(jìn)行任意希望數(shù)量的圖像的疊加。在根據(jù)本發(fā)明的圖像處理裝置的一個(gè)實(shí)施例中，疊加處理單元可以執(zhí)行在存儲(chǔ)器的部分中重寫和存儲(chǔ)疊加過程后的圖像，以及把存儲(chǔ)在存儲(chǔ)器中的疊加圖像用于下一個(gè)和后續(xù)的疊加過程。在根據(jù)本發(fā)明的圖像處理裝置的一個(gè)實(shí)施例中，疊加處理單元可以在存儲(chǔ)器中存儲(chǔ)對(duì)應(yīng)于RAW圖像的每個(gè)像素的像素值數(shù)據(jù)，并且在RAW圖像是處理目標(biāo)的情況下可以基于對(duì)應(yīng)于該RAW圖像的每個(gè)像素的像素值數(shù)據(jù)執(zhí)行疊加過程，而在全色圖像是處理目標(biāo)的情況下可以在存儲(chǔ)器中存儲(chǔ)對(duì)應(yīng)于每個(gè)像素的亮度信號(hào)值數(shù)據(jù)，并基于對(duì)應(yīng)于該全色圖像的每個(gè)像素的亮度值數(shù)據(jù)執(zhí)行疊加過程。在根據(jù)本發(fā)明的圖像處理裝置的一個(gè)實(shí)施例中，疊加處理單元可以包括全局運(yùn)動(dòng)向量計(jì)算單元，配置為計(jì)算多個(gè)連續(xù)捕捉的圖像的全局運(yùn)動(dòng)向量；定位處理單元，配置為生成運(yùn)動(dòng)補(bǔ)償圖像，其中根據(jù)全局運(yùn)動(dòng)向量將參考圖像的對(duì)象位置定位在關(guān)鍵圖像的位置處；運(yùn)動(dòng)對(duì)象檢測單元，配置為基于作為定位處理單元的定位結(jié)果獲得的運(yùn)動(dòng)補(bǔ)償圖像和關(guān)鍵圖像的相應(yīng)像素之間的像素差來獲得運(yùn)動(dòng)對(duì)象信息；以及混合處理單元，配置為基于混合比來混合關(guān)鍵圖像和運(yùn)動(dòng)補(bǔ)償圖像從而生成疊加圖像，該混合比基于運(yùn)動(dòng)對(duì)象信息。在根據(jù)本發(fā)明的圖像處理裝置的一個(gè)實(shí)施例中，運(yùn)動(dòng)對(duì)象檢測單元可以基于作為定位處理單元的定位的結(jié)果獲得的運(yùn)動(dòng)補(bǔ)償圖像與關(guān)鍵圖像的相應(yīng)像素之間的像素差，計(jì)算指示運(yùn)動(dòng)對(duì)象信息的α值以作為像素單元處的運(yùn)動(dòng)對(duì)象信息，并且混合處理單元可以根據(jù)該α值的值，關(guān)于有高概率是運(yùn)動(dòng)對(duì)象的像素降低運(yùn)動(dòng)補(bǔ)償圖像的混合比，并且可以執(zhí)行混合過程，在該混合過程中，關(guān)于有低概率是運(yùn)動(dòng)對(duì)象的像素，將運(yùn)動(dòng)補(bǔ)償圖像的混合比設(shè)置為較高。在根據(jù)本發(fā)明的圖像處理裝置的一個(gè)實(shí)施例中，疊加處理單元可以包括分辨率提高處理單元，該分辨率提高處理單元被配置為針對(duì)處理目標(biāo)圖像執(zhí)行分辨率提高過程，并且混合處理單元可以執(zhí)行已在分辨率提高處理單元中提高了分辨率的各圖像的疊加。在根據(jù)本發(fā)明的圖像處理裝置的一個(gè)實(shí)施例中，圖像處理裝置還可以包括全局運(yùn)動(dòng)向量記錄單元，其被配置為存儲(chǔ)圖像的全局運(yùn)動(dòng)向量，該全局運(yùn)動(dòng)向量由全局運(yùn)動(dòng)向量計(jì)算單元基于RAW圖像計(jì)算，并且疊加處理單元可以通過使用存儲(chǔ)在全局運(yùn)動(dòng)向量記錄單元中的全局運(yùn)動(dòng)向量，使用作為處理目標(biāo)的全色圖像執(zhí)行疊加過程。在根據(jù)本發(fā)明的圖像處理裝置的一個(gè)實(shí)施例中，當(dāng)混合處理單元通過使用(N+1) 個(gè)作為處理目標(biāo)的靜止圖像執(zhí)行N個(gè)疊加過程時(shí)，混合處理單元可以通過使用第(N-I)個(gè)疊加圖像mltH，和第(N+1)個(gè)未疊加圖像frmN+1，根據(jù)以下等式[數(shù)學(xué)式1]
權(quán)利要求
1.一種圖像處理裝置，包括疊加處理單元，其被配置為執(zhí)行針對(duì)多個(gè)連續(xù)捕捉的圖像的混合過程， 其中，所述疊加處理單元被配置為選擇性地輸入作為處理目標(biāo)圖像的RAW圖像或全色圖像的亮度信號(hào)信息，并執(zhí)行疊加過程，以及執(zhí)行用于相繼更新存儲(chǔ)在存儲(chǔ)器中的數(shù)據(jù)的過程，所述存儲(chǔ)器用于存儲(chǔ)兩個(gè)圖像幀， 以使得能夠進(jìn)行任意希望數(shù)量的圖像的疊加。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述疊加處理單元執(zhí)行在所述存儲(chǔ)器的部分中重寫和存儲(chǔ)所述疊加過程后的圖像，以及把存儲(chǔ)在所述存儲(chǔ)器中的疊加圖像用于下一個(gè)及后續(xù)的疊加過程的過程。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，在RAW圖像是處理目標(biāo)的情況下，所述疊加處理單元在所述存儲(chǔ)器中存儲(chǔ)與所述RAW圖像的像素的每個(gè)相對(duì)應(yīng)的像素值數(shù)據(jù)，并基于與所述RAW圖像的像素的每個(gè)相對(duì)應(yīng)的所述像素值數(shù)據(jù)執(zhí)行疊加過程，并且在全色圖像是處理目標(biāo)的情況下，所述疊加處理單元在所述存儲(chǔ)器中存儲(chǔ)與像素中的每個(gè)相對(duì)應(yīng)的亮度信號(hào)值數(shù)據(jù)，并基于與所述全色圖像的像素的每個(gè)相對(duì)應(yīng)的亮度值數(shù)據(jù)執(zhí)行疊加過程。
4.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述疊加處理單元包括全局運(yùn)動(dòng)向量計(jì)算單元，其被配置為計(jì)算多個(gè)連續(xù)捕捉的圖像的全局運(yùn)動(dòng)向量； 定位處理單元，其被配置為生成運(yùn)動(dòng)補(bǔ)償圖像，在所述運(yùn)動(dòng)補(bǔ)償圖像中，根據(jù)所述全局運(yùn)動(dòng)向量將參考圖像的對(duì)象位置定位到關(guān)鍵圖像的位置處；運(yùn)動(dòng)對(duì)象檢測單元，其被配置為基于作為所述定位處理單元的定位的結(jié)果獲得的所述運(yùn)動(dòng)補(bǔ)償圖像與所述關(guān)鍵圖像的相應(yīng)像素之間的像素差來獲得運(yùn)動(dòng)對(duì)象信息；以及混合處理單元，其被配置為基于根據(jù)所述運(yùn)動(dòng)對(duì)象信息的混合比來混合所述關(guān)鍵圖像和所述運(yùn)動(dòng)補(bǔ)償圖像，從而生成疊加圖像。
5.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中，所述運(yùn)動(dòng)對(duì)象檢測單元基于作為所述定位處理單元的所述定位的結(jié)果獲得的所述運(yùn)動(dòng)補(bǔ)償圖像與所述關(guān)鍵圖像的相應(yīng)像素之間的像素差，計(jì)算指示運(yùn)動(dòng)對(duì)象信息的α 值以作為像素單元處的運(yùn)動(dòng)對(duì)象信息，并且其中，所述混合處理單元根據(jù)所述α值的值，關(guān)于有高概率是運(yùn)動(dòng)對(duì)象的像素降低所述運(yùn)動(dòng)補(bǔ)償圖像的混合比，并且執(zhí)行混合過程，在所述混合過程中，關(guān)于有低概率是運(yùn)動(dòng)對(duì)象的像素，將所述運(yùn)動(dòng)補(bǔ)償圖像的混合比設(shè)置為較高。
6.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中，所述疊加處理單元包括分辨率提高處理單元，所述分辨率提高處理單元針對(duì)處理目標(biāo)圖像執(zhí)行分辨率提高過程，并且其中，所述混合處理單元執(zhí)行已在所述分辨率提高處理單元中提高了分辨率的各圖像的疊加。
7.根據(jù)權(quán)利要求4所述的圖像處理裝置，還包括全局運(yùn)動(dòng)向量記錄單元，其被配置為存儲(chǔ)圖像的全局運(yùn)動(dòng)向量，所述全局運(yùn)動(dòng)向量由所述全局運(yùn)動(dòng)向量計(jì)算單元基于RAW圖像計(jì)算，其中，所述疊加處理單元通過使用存儲(chǔ)在所述全局運(yùn)動(dòng)向量記錄單元中的所述全局運(yùn)動(dòng)向量，使用作為處理目標(biāo)的全色圖像執(zhí)行疊加過程。
8.根據(jù)權(quán)利要求5所述的圖像處理裝置，其中，當(dāng)所述混合處理單元通過使用(N+l)1 作為處理目標(biāo)的靜止圖像執(zhí)行N個(gè)疊加過程時(shí)，所述混合處理單元通過使用第(N-I)個(gè)疊加圖像Hilt1^dP 第(N+1)個(gè)未疊加圖像frmN+1 根據(jù)以下等式 [數(shù)學(xué)式5] 當(dāng)N為2或更大時(shí)，而當(dāng)N為1時(shí)，執(zhí)行第N個(gè)疊加過程，其中α表示運(yùn)動(dòng)對(duì)象信息，其取0到1的值，所述運(yùn)動(dòng)對(duì)象信息在運(yùn)動(dòng)區(qū)域內(nèi)為接近于0的值，而在靜止區(qū)域內(nèi)為接近于1的值。
9.根據(jù)權(quán)利要求5所述的圖像處理裝置，其中，當(dāng)所述混合處理單元通過使用(Ν+1)個(gè)作為處理目標(biāo)的運(yùn)動(dòng)圖像執(zhí)行N個(gè)疊加過程時(shí)，所述混合處理單元通過使用第(N-I)個(gè)疊加圖像Hilt1^dP 第(Ν+1)個(gè)未疊加圖像frmN+1根據(jù)以下等式 [數(shù)學(xué)式6] 當(dāng)N為2或更大時(shí)，而當(dāng)N為1時(shí)，執(zhí)行第N個(gè)疊加過程，其中α表示運(yùn)動(dòng)對(duì)象信息，其取0到1的值，所述運(yùn)動(dòng)對(duì)象信息在運(yùn)動(dòng)區(qū)域內(nèi)為接近于0的值，而在靜止區(qū)域內(nèi)為接近于1的值。
10.一種在圖像處理裝置中執(zhí)行的圖像處理方法，包括通過使用疊加處理單元執(zhí)行針對(duì)多個(gè)連續(xù)捕捉的圖像的混合過程， 其中，選擇性地輸入作為處理目標(biāo)圖像的RAW圖像或全色圖像的亮度信號(hào)信息以執(zhí)行疊加過程，并且相繼更新存儲(chǔ)在存儲(chǔ)器中的數(shù)據(jù)，所述存儲(chǔ)器存儲(chǔ)兩個(gè)圖像幀，以使得能夠進(jìn)行任意希望數(shù)量的圖像的疊加。
11.一種用于使得圖像處理裝置執(zhí)行圖像處理的程序，所述圖像處理包括 使得疊加處理單元執(zhí)行針對(duì)多個(gè)連續(xù)捕捉的圖像的混合過程，其中，選擇性地輸入作為處理目標(biāo)圖像的RAW圖像或全色圖像的亮度信號(hào)信息以執(zhí)行疊加過程，并且相繼更新存儲(chǔ)在存儲(chǔ)器中的數(shù)據(jù)，所述存儲(chǔ)器存儲(chǔ)兩個(gè)圖像幀，以使得能夠進(jìn)行任意希望數(shù)量的圖像的疊加。
全文摘要
提供一種圖像處理裝置、圖像處理方法和程序。該圖像處理裝置包括疊加處理單元，其執(zhí)行針對(duì)多個(gè)連續(xù)捕捉的圖像的混合過程，其中該疊加處理單元被配置為選擇性地輸入作為處理目標(biāo)圖像的RAW圖像或全色圖像的亮度信號(hào)信息并執(zhí)行疊加過程，以及執(zhí)行用于相繼更新存儲(chǔ)在用于存儲(chǔ)兩個(gè)圖像幀的存儲(chǔ)器中的數(shù)據(jù)的過程，從而使得能夠進(jìn)行任意希望數(shù)量的圖像的疊加。
文檔編號(hào)H04N5/232GK102291531SQ20111016324
公開日2011年12月21日 申請日期2011年6月10日 優(yōu)先權(quán)日2010年6月17日
發(fā)明者名云武文, 增野智經(jīng), 栗田哲平, 竹內(nèi)悟, 近藤雄飛, 高橋宏彰 申請人:索尼公司