專利名稱：信號處理方法和設備、計算機程序產(chǎn)品、計算系統(tǒng)和攝影機的制作方法
技術領域：
本發(fā)明涉及信號處理方法，其中，提供圖像傳感器的傳感器信號作為輸入，并且該輸入在一個濾波器中被重構，以建立一個用于進一步處理的輸出，其中，所述濾波器包含至少一個從由亮度重構濾波器、紅-綠-藍顏色重構濾波器和輪廓重構濾波器組成的組中選擇的重構濾波器，其中，該輸入包含多個像素，并且一個像素提供被賦予紅色、綠色或藍色中至少之一的一個顏色值。本發(fā)明也涉及一種特別適合于執(zhí)行所述方法的信號處理設備，包含一個用于提供傳感器信號作為輸入的圖像傳感器和一個用于重構該輸入以建立用于進一步處理的輸出的濾波器，其中，所述濾波器包含至少一個從由亮度重構濾波器、紅-綠-藍顏色重構濾波器和輪廓重構濾波器組成的組中選擇的重構濾波器，其中，該輸入包含多個像素，并且一個像素提供被賦予紅色、綠色或藍色中至少之一的一個顏色值。本發(fā)明進一步涉及適于信號處理的計算機程序產(chǎn)品、計算系統(tǒng)和攝影機。
基于例如對視頻和靜止圖像的數(shù)字信號圖像傳感的數(shù)字攝影機可有利地配備一個包含一個紅-綠-藍(RGB)拜爾(Bayer)顏色濾波器陣列的圖像傳感器。在這樣一個RGB拜爾顏色濾波器陣列中，每個像素檢測一個預先確定的圖案(pattern)中的紅、綠或藍原色(primarycolor)。這個圖案是由交錯的綠/紅列和綠/藍列構成的。這樣一個傳感器與對于每個原色使用一個單獨的圖像傳感器的攝影機相比，可能具有有限的分辨率。然而，一個帶有三個圖像傳感器的攝影機具有三倍于單一的RGB拜爾傳感器的對分辨率有貢獻的像素。由于應用的成本和大小要求，使用三個傳感器對多數(shù)應用來說是不利的。另一方面，當使用一個單一的圖像傳感器檢測一個單一的陣列內的(有利地是RGB拜爾顏色濾波器陣列中的)所有紅、綠、藍三原色時，有必要重構某些顏色的缺失的(missing)像素，以處理一個一致的完整畫面。由于RGB拜爾結構，分別對應于綠、紅和藍色的不同的奈奎斯特域(Nyquist-domains)導致依賴顏色的分辨率并且可能導致混疊的(aliasing)圖案。不過，RGB拜爾結構是表現(xiàn)最佳的信號顏色陣列之一。
可以提供幾種插值(interpolation)方案來提高信號質量。WO99/39504中相當概括地描述了一種常規(guī)的插值方法，其中，在不存在給定顏色的信號的位置處插值一個中間顏色信號，并生成一個給定顏色的平均。
另一個信號處理方法使用一個如在WO99/04555中和在尚未公布的申請?zhí)枮镋P 01 200 422.2的歐洲專利申請中描述的更有利的插值方案。然而，這樣的方法仍然遭受例如自由亮度信號的混疊或進一步的信號失真(distortion)。這樣的信號失真尤其導致虛假顏色(falsecolors)在圖像中的錯誤生成。
在WO 99/04555中已經(jīng)描述了一種用于RGB拜爾圖像傳感器的綠色重構方法，該方法只涉及綠顏色的重構。紅色和藍色依然被以傳統(tǒng)方式重構。僅僅是缺失的綠色像素被重構。對缺失的綠色像素的重構，是通過一個分類(sorting)三個特定變量的中值(median)濾波器執(zhí)行的其中兩個變量得自綠色，第三個變量得自紅色或藍色。這個方法的一個缺點是，對于高度飽和的彩色邊緣來說，引入了看起來像郵票邊沿的假象(artifacts)。在WO 99/04555中公開的算法將被稱作smartgreen1算法。Smartgreen1算法所根據(jù)的概念是，在靠近白色場景的部分，分辨率損失在高頻下被最好地觀察到，在靠近彩色部分則不太好觀察。記住這一點，紅色和藍色像素的貢獻被用來幫助確定缺失的綠色像素的重構值。Smartgreen1重構的目的，是最大化綠色的分辨率。為此，以下述方式應用中值濾波器算法自然地，由一個紅色(R)或藍色(B)像素占據(jù)的位置，是一個缺失的綠色像素的位置。在smartgreen1重構算法中，一個3x3像素陣列的中心值(也稱中值(median value))被應用于缺失的綠色像素的重構。因此，用于綠色的簡單的中值濾波器僅僅代替?zhèn)鹘y(tǒng)的綠色重構插值概念，而傳統(tǒng)的紅色和藍色重構方法被保持為簡單的插值。亮度濾波、顏色濾波和輪廓(contour)濾波也被限于對綠色的濾波。虛假顏色檢測僅僅根據(jù)傳統(tǒng)的綠色重構插值概念，同樣，傳統(tǒng)的紅色和藍色重構被保持為簡單的插值。
這樣的smartgreen1重構方法借助一個紅色和/或藍色像素的信息改善水平方向和垂直方向上的綠色的分辨率。這個傳統(tǒng)的方法依賴于插值顏色樣本，所述顏色樣本要依賴于相同顏色的相鄰的顏色樣本和僅僅來自相同位置的不同顏色的樣本被插值。因此，重構的信號遭受紅色和/或藍色的混疊。垂直和水平的彩色邊緣在相應的方向上遭受像郵票的邊沿一樣的綠色強度調制。
在EP 01200422.2中概述的進一步的改進(這里稱作smartgreen2重構算法)能顯著改善分辨率，但是不能除去所提到的信號失真和信號混疊的缺點。特別地，在邊緣和高頻率下，仍然可見一些信號失真，諸如與鄰近像素交替的顏色。假象的黑點和白點也被錯誤地生成。
顏色和輪廓重構濾波器的并行處理原理上從WO99/04554中獲知。然而，這個傳統(tǒng)的概念具有與以上概述的相同的缺點。
這是本發(fā)明的切入點，本發(fā)明的目的是規(guī)定一種信號處理方法和設備，用于信號處理的計算機程序產(chǎn)品、計算系統(tǒng)和適于進行信號處理以改善信號質量的攝影機。特別地，應當針對信號失真和混疊而改善信號，但是該信號仍然提供足夠的分辨率。
關于所述方法，其目的是通過在介紹部分提及的方法實現(xiàn)的，其中，按照本發(fā)明，該方法進一步包含以下步驟-把亮度重構濾波器應用于一個預定陣列大小的、包含多個像素的像素陣列，其中，所述多個像素中的至少一個是由一個被賦予紅色的紅色像素構成的，所述多個像素中的至少一個是由一個被賦予藍色的藍色像素構成的，所述多個像素中的至少一個是由一個被賦予綠色的綠色像素構成的；以及-用一個綠色參數(shù)加權紅色和/或藍色像素；以及-把陣列的像素總合成一個輸出像素；以及-把輸出像素在陣列中居中；以及-與顏色重構濾波器并行地應用輪廓重構濾波器。
關于所述設備，其目的是通過在介紹部分提及的設備實現(xiàn)的，其中，按照本發(fā)明，提出-重構濾波器適于被應用于一個具有預定陣列大小的、包含多個像素的像素陣列，其中，所述多個像素中的至少一個是由一個被賦予紅色的紅色像素構成的，所述多個像素中的至少一個是由一個被賦予藍色的藍色像素構成的，所述多個像素中的至少一個是由一個被賦予綠色的綠色像素構成的，該設備進一步包含-用一個綠色參數(shù)加權紅色和/或藍色像素的裝置；
-用于把陣列的像素總合成一個輸出像素的裝置，和/或用于把輸出像素在陣列中居中的裝置；以及-用于輪廓和顏色重構的并行處理的裝置。
術語像素在這里特別是指信號中的一個顏色樣本值。
本發(fā)明來自為圖像重構提供一種靈活設計的概念的構思。主要構思是提供基于白補償?shù)牧炼戎貥嫷闹貥嫺拍睢Ｔ摌嬎蓟旧鲜峭ㄟ^顏色重構和輪廓重構的并行處理實現(xiàn)的。用一個綠色參數(shù)加權紅色和/或藍色像素，是另外一個主要的改進，而現(xiàn)有技術的概念僅僅依賴于缺失的綠色像素的重構。所提出的重構濾波器被設計成要被應用于一個預定陣列大小的像素陣列。因此以有利的方式對這個陣列進行濾波。傳統(tǒng)的方法依賴于根據(jù)相鄰樣本或相同位置的樣本的簡單插值，而所提出的概念提供特別適配的考慮了陣列的所有像素的重構濾波器。
對拜爾圖像傳感器的并行輪廓處理，允許使用來自圖像傳感器的綠色信號，以用于與RGB顏色重構并行地生成一個二維的輪廓信號。有利的是不像串行輪廓處理那樣需要額外的行延遲。在詳細說明的第二章中將概述其它的優(yōu)點。
在另一個配置中，有利地應用一個輪廓重構濾波器，特別是與亮度重構濾波器并行地應用，并且它們的重構信號被添加。有利地把輪廓重構濾波器應用于5x5的陣列大小，特別是4x4或6x6的陣列大小。通過所提出的方法，紅色、綠色和藍色重構濾波器的傳輸被有利地以這樣的方式匹配，即在更高的對角線頻率下將發(fā)生更少的或者不發(fā)生綠色干涉，而在使用傳統(tǒng)濾波器的情況下則發(fā)生所述綠色干涉。所述濾波器沒有看起來像郵票邊沿的假象并沒有彩色和亮度邊緣。此外，通過與濾波器權重組合的所謂的亮度白補償，所有生成的亮度信號都沒有混疊和失真。
所提出的方法提供應用若干可以作為攝影機的光傳輸?shù)暮瘮?shù)而被選擇的無混疊的輪廓濾波器的可能性。特別地，輪廓重構濾波器被應用于的陣列大小超過顏色重構濾波器被應用于的陣列的大小。有利地把輪廓重構濾波器應用于4x4或6x6的陣列大小。
在另一個優(yōu)選配置中，重構濾波器是一個亮度重構濾波器，并且陣列的像素一起被相加在一個作為輸出像素的白像素中。最優(yōu)選的是根據(jù)圖像傳感器的傳感器矩陣選擇所述綠色參數(shù)或多個綠色參數(shù)。此外，可以根據(jù)一個向圖像傳感器提供圖像信號的光學系統(tǒng)的光傳輸選擇所述綠色參數(shù)或多個綠色參數(shù)。由此，用可以作為攝影機的光傳輸?shù)暮瘮?shù)而被選擇的濾波器權重與傳感器陣列的重量相組合地有益地重構RGB顏色信號。最優(yōu)選的是提供兩個綠色參數(shù)。
如上所述的包含一個或多個優(yōu)選配置的亮度重構的基本概念，在下文中被稱作RGB拜爾圖像傳感器的″白補償?shù)牧炼戎貥嫛?，或簡稱″RGB重構″。綠色參數(shù)也被稱作″smartgreen參數(shù)″。如所提出的方法及其進一步開發(fā)的配置所定義的那樣還與紅色和/或藍色像素一起使用smartgreen參數(shù)，將被稱作″smartgreen3″重構方法。確定綠色參數(shù)的具體方式也在WO 99/04555和EP 01200422.2中描述，并且也可在smartgreen3內被應用和使用。
所提出的方法對濾波器和濾波器大小的特定種類的安排導致無混疊的信號，特別是也導致無綠-綠差異(green-green differences)的信號。在詳細說明的第2和第3章中將結合優(yōu)選實施例并參照附圖對細節(jié)作進一步概述。
即使在沒有光學低通濾波器的攝影機的情況下，在樣本頻率的各倍數(shù)下，所提出的白補償?shù)母拍钜灿幸娴貙е乱粋€無混疊的亮度信號。此外，這個白補償?shù)牧炼刃盘枦]有信號失真。所提出的基本方法和設備適于提供一個寬而靈活的擴展。有可能提供例如可根據(jù)光學系統(tǒng)的光傳輸和/或圖像傳感器的傳感器矩陣選擇和調整的若干不同的重構濾波器。所提出的方法和設備能夠保持對光學低通濾波器的相當?shù)莫毩⑿?。這是特別有益的，因為潛在客戶的攝影機設計可能不同。所提出的方法和設備能夠如下文所概述的那樣以各種方式簡單地實現(xiàn)可調整的虛假顏色濾波器。
在從屬方法權利要求中描述了所述方法的繼續(xù)開發(fā)的配置。所提出的設備可以利用用于執(zhí)行該方法的對應裝置得到改善。
特別地，優(yōu)選地將第一濾波器之后的第二濾波器的中央輸出像素定位成與輸出像素同相，特別是將該中央輸出像素居中在與輸出像素相同的陣列中央位置。其大部分內容將在下面進一步描述。
具體來說，將一個亮度重構濾波器應用于一個具有2x2或4x4或6x6或優(yōu)選的話更大的陣列大小的陣列的像素。在一個特定的優(yōu)選配置中，將亮度重構濾波器應用于2x2或4x4的陣列大小。濾波器的大小可以作為光傳輸?shù)囊粋€函數(shù)而被選擇。相應濾波器的權重也可以不同地選擇。
此外，可以通過分別向4x4或6x6的陣列大小應用一個低通濾波器而有益地生成一個低通亮度信號。在一個有益的配置中，將4x4或6x6低通濾波器分別與2x2或4x4亮度重構濾波器組合，以建立一個單一的濾波器。所生成的信號都沒有遭受由傳感器引起的綠色不均勻性假象。亮度重構濾波器的進一步細節(jié)可從詳細說明以及內部文件號為ID606638-I的專利申請中取得，該專利申請與本申請同日提交，在此引用作為參考。
然而，取決于光傳輸(optical transfer)和矩陣，按照奈奎斯特法則，重構的RGB信號仍然可遭受剩余量的彩色混疊。為了再減少剩余的混疊量，除了亮度重構濾波器外還可應用顏色重構濾波器。因此，特別地，顏色重構濾波器包含一個用來消除輸入中的虛假顏色的虛假顏色濾波器。
如本發(fā)明所提出的以及如上文已經(jīng)概述的那樣，與顏色重構濾波器并行地應用輪廓重構濾波器。
優(yōu)選地，把虛假顏色濾波器應用于一個最小可能的綠色像素陣列。特別地，虛假顏色濾波器包含其中用綠色參數(shù)加權該最小可能的綠色像素陣列中的紅色和藍色像素的步驟和由一個中值濾波器連同該陣列中的一個或多個綠色像素的平均一起合計所加權的紅色和藍色像素的步驟?？赏ㄟ^應用一個平均濾波器取得該陣列中的一個或多個綠色像素的平均。特別地，可取得垂直方向上的綠色像素的平均和水平方向上的綠色像素的平均。將被中值濾波的像素與最小可能的綠色像素陣列的被低頻濾波的像素做比較，由此消除輸入中的虛假顏色。
這種方案有利地考慮到可調整的虛假顏色濾波器，特別地，顏色重構濾波器和/或虛假顏色濾波器被應用于一個優(yōu)選陣列大小為3x3的最小的綠色像素陣列。如果需要的話，這樣的預先確定的小陣列甚至還可以是5x5大小或者更大的。這樣的調整獨立于光學低通濾波器。然而這樣的陣列應當包含至少四個像素，即兩個綠色像素、一個紅色像素和一個藍色像素。
優(yōu)選地，被應用的顏色重構濾波器有3x3或5x5的陣列大小。特別地，在重傳感器矩陣的情況下，優(yōu)選5x5的陣列大小。
另外，綠色以及紅色和藍色的顏色重構(即RGB-重構)完全獨立于3x3綠色虛假顏色陣列。RGB重構濾波器的大小可以是3x3或5x5的。所提出的方法的一個特別的優(yōu)點是，虛假顏色函數(shù)(functions)獨立于顏色重構函數(shù)。
特別地，可以在顏色重構濾波器中(只在虛假顏色濾波器內)使用所述綠色參數(shù)或多個綠色參數(shù)。
此外，可以把一個顏色重構濾波器應用于3x3的陣列大小，或者，特別是在重傳感器矩陣的情況下，應用于一個5x5的陣列大小。可以選擇對應濾波器函數(shù)的系數(shù)作為光傳輸和矩陣的函數(shù)。這特別在內部文件號為ID606638-I的專利申請的詳細說明的第4章中作了概述，該申請與本申請同日提交，在此引用作為參考。這樣的方法最大化對于一般場景來說似乎是最重要的引人注目的部分的接近白色的顏色的分辨率。特別是在最小化信號失真量的同時提供足夠的分辨率。
定義3x3和5x5 RGB顏色重構濾波器的濾波器系數(shù)的規(guī)則，特別在內部文件號為ID505538-II的專利申請中關于一個優(yōu)選實施例作了概述。該申請與本申請同日提交，在此引用作為參考。
在另一個優(yōu)選的配置中，應用一個后置濾波器(post-filter)，以便在其輸出中維持相對于先前已經(jīng)應用了的一個重構濾波器的輸出的一個相位。有利地在虛假顏色濾波器之后應用該后置濾波器，即把該后置濾波器應用于在RGB重構濾波器后面的虛假顏色濾波器的輸出。重構濾波器也可以是亮度濾波器。特別地，通過在虛假顏色濾波器之后有利地應用2x2陣列大小的后置濾波器固定了所述相位，借此最小可能的綠色像素陣列的中央輸出像素(center-output-pixel)被定位成與一個白色像素同相。白色像素本身被相對于已經(jīng)對其應用了亮度重構濾波器的同一陣列居中。特別地，信號根據(jù)3x3或5x5陣列大小被RGB重構，并將由于該2x2的后置濾波器而得到與經(jīng)白補償?shù)牧炼刃盘栂嗤南辔?。在這個配置中，虛假顏色濾波器不影響相位是個特別的優(yōu)點。后置濾波器有利地也消除圖像傳感器的綠色不均勻性。虛假顏色濾波器的一個優(yōu)選實施例以及后置濾波的特定方式，可從上面提到內部文件號為ID606638-II的專利申請中取得。
另外，作為一種選擇，在詳細說明的第5章中概述的被稱作smartgreen4重構方法的另一個優(yōu)選實施例中，為了3x3或5x5 RGB顏色重構濾波器的使用，可以省略后置濾波器。這允許簡單和高效的處理，因此對于低成本應用來說是有益的。
另外有利地實現(xiàn)一個具有與總的RGB傳輸盡可能相等的傳輸特性的低通亮度信號。優(yōu)選地用一個2x2后置濾波器實現(xiàn)4x4或6x6低通亮度濾波器分別與3x3或5x5綠色重構濾波器的匹配。
在另一個優(yōu)選配置中，根據(jù)向圖像傳感器提供圖像信號的光學系統(tǒng)的光傳輸應用一個高頻亮度濾波器。由此，可以把一個高頻無混疊的亮度分量加到低頻重構的顏色信號，以屏蔽彩色假象。對應的優(yōu)選實施例在詳細說明中參照附圖2作說明。
所提出的方法被適配成使得攝影機的光傳輸不限制適當?shù)臑V波器的應用。換言之，可以有益地應用任意的光學低通濾波器，這僅僅取決于客戶的應用。甚至根本不應用光學低通濾波器也是可以接受的。特別地，這是通過應用所提出的虛假顏色濾波器而實現(xiàn)的，該虛假顏色濾波器特別是可根據(jù)攝影機的光傳輸或根據(jù)傳感器矩陣調整的。特別地，虛假顏色濾波器能在像素頻率的一半下作為攝影機的光傳輸?shù)囊粋€函數(shù)被調整。
此外，提供各種亮度重構濾波器用于應用。特別地，如果沒有光學低通濾波或者有輕微的光學低通濾波，則把亮度重構濾波器應用于一個2x2的陣列大小，另外，在更重的低通濾波后，把相應的亮度重構濾波器應用于一個增加了的4x4或6x6的陣列大小。
此外，提供各種顏色重構濾波器用于應用。特別地，如果應用2x2亮度重構濾波器，則應用一個3x3顏色重構濾波器，或者，如果應用4x4亮度重構濾波器，則應用一個5x5顏色重構濾波器。
此外，提供各種輪廓重構濾波器用于應用。特別地，如果應用3x3顏色重構濾波器，則應用一個4x4輪廓重構濾波器，另外，如果應用5x5顏色重構濾波器，則應用一個6x6輪廓重構濾波器。有益地，所提出的方法允許應用重構濾波器，這些重構濾波器是可作為光學系統(tǒng)(例如攝影機或傳感器矩陣)的光傳輸?shù)暮瘮?shù)調整的。因此，根據(jù)所選擇的顏色重構濾波器，輸出幾乎沒有或根本沒有假象。進一步的優(yōu)點是，減少了由傳感器引起的綠色不均勻性。具有綠綠差異的通常是5x5綠色重構濾波器。特別是借助與2x2后置濾波器組合的3x3綠色重構濾波器，這樣的綠色不均勻性被去除或減少。
所提出方法的一個優(yōu)選的衍生方法特別有意思，是專用于低成本應用的。它已經(jīng)在上文作為smartgreen4被提及，該方法組合應用一個3x3顏色重構濾波器和一個5x5輪廓重構濾波器。特別是隨后增加一個經(jīng)顏色重構的和一個經(jīng)輪廓重構的信號，用于進一步處理。Smartgreen4有益地提供低的功率消耗和最少的硬件。進一步的細節(jié)在詳細說明的第5章中作概述。
作為一個特別優(yōu)選的有益配置，如上文所提出的smartgreen白補償?shù)牧炼戎貥嫹桨福梢耘c一個獨有的5x5無混疊且無失真的輪廓重構濾波器相組合?？梢耘c顏色重構濾波器并行地執(zhí)行輪廓重構濾波器。這樣的組合與現(xiàn)有技術的濾波器方案相比大大減少假象。這樣的重構方案最有利地是以6x6濾波器陣列的使用為基礎。它也可以合并幾個基于具有與上述獨有的5x5無混疊輪廓重構濾波器相同的性能的陣列的無混疊且無失真的并行輪廓信號。
在上述的整個處理鏈(即RGB重構)中，特別包含-用于相位匹配的后置濾波器的實現(xiàn)；-亮度信號處理；-顏色重構信號處理，特別包含一個虛假彩色濾波器以及特別是一個進一步的后置濾波器的實現(xiàn)；以及與之并行的-輪廓信號處理，信號失真量被限制于極低的水平。
這對最終的JPEG轉換(JPEG-conversion)也成立。在一個優(yōu)選的配置中，也可以進行按列或按行的處理，以按照所提出的方法執(zhí)行smartgreen3重構算法。這樣的處理有益地減少內部存儲器的存儲量以及向外部存儲器或從外部存儲器的數(shù)據(jù)交換量。這將支持處理效率和速度。即使所有數(shù)據(jù)傳輸被旋轉90°，這樣的措施也成立。
所提出的方法有益地被在上文所提出的設備上執(zhí)行，特別是在計算系統(tǒng)和/或半導體器件上執(zhí)行。這樣的系統(tǒng)可有益地包含一個位于圖像傳感器和處理芯片之間的中間存儲器接口。由此有利地不再限制要被濾波的像素陣列的行長度和行數(shù)，向外部存儲器或從外部存儲器的數(shù)據(jù)交換量當然也不應太多地延遲處理時間。因此實時處理仍然是可能的。所述計算系統(tǒng)可以是任何種類的處理器單元或系統(tǒng)或計算機。
優(yōu)選地在沒有任何使用中間接口的存儲器的情況下也可以進行實時處理。
然而，在這種情況中，出于成本的原因，可以限制可用的行延遲的總數(shù)量，特別地限制到兩個。這可導致只有三個垂直抽頭(taps)可用于RGB重構以及用于輪廓信號的實現(xiàn)。
本發(fā)明進一步導致一個可存儲在一個可由計算系統(tǒng)讀取的介質上的計算機程序產(chǎn)品，其包含一個軟件代碼段，當所述程序產(chǎn)品在計算系統(tǒng)上、特別是在攝影機的計算系統(tǒng)上被執(zhí)行時，該軟件代碼段使計算系統(tǒng)執(zhí)行所提出的方法。
現(xiàn)在將參照


本發(fā)明。詳細說明將例示和說明被認為是本發(fā)明的優(yōu)選實施例的內容。當然應當明白，在不偏離本發(fā)明的精神的情況下可以在形式上或細節(jié)上作出各種修改和改變。因此不應把本發(fā)明限制于這里所展示和說明的精確形式和細節(jié)，也不應將其限制于少于如本文這里所公開的和此后所要求保護的本發(fā)明的整體的任何局部。另外，在說明書和附圖以及權利要求書中所描述的公開本發(fā)明的特征，無論單獨地還是組合地考慮，對本發(fā)明來說都是本質性的。
伴隨附圖的詳細說明提供以下章節(jié)1.白補償?shù)牧炼戎貥嫹椒ǖ奶幚砹鞒?.經(jīng)白補償?shù)牧炼刃盘?.RGB顏色重構4.并行的無混疊的濾波5.Smartgreen46.結論附圖表示本發(fā)明的各優(yōu)選實施例，列舉如下圖1RGB重構和輪廓重構在基于存儲器的體系結構中的位置；圖2smartgreen3重構的基本框圖(關于用smartgreen參數(shù)與紅色和藍色相乘的方框的特定信息可從WO 99/04555中獲得。)；圖3經(jīng)白補償?shù)牧炼认袼豗n的實現(xiàn)；圖4幾個白補償?shù)牧炼戎貥嫗V波器；(圖3和4表示一個優(yōu)選實施例的有益地沒有綠-綠差異的經(jīng)白補償?shù)牧炼刃盘枴＞G-綠差異可以通過恢復拜爾圖像的綠色均勻性而被去除，這允許在保持拉普拉斯(即smartgreen)RGB重構方法且沒有可見的分辨率損失的情況下消除傳感器的綠色信號中的綠-綠差異。綠-綠差異也可以通過防止RGB拜爾圖像傳感器的并行輪廓信號中的綠色不均勻性而去除，這可以通過開發(fā)一種用來消除由圖像傳感器引起的綠-綠差異的二維并行輪廓濾波器而進行。)圖5三個4x4輪廓濾波器；圖6三個6x6輪廓濾波器；圖7通過使用一個輪廓濾波器對圖2的smartgreen3框圖的進一步簡化；圖8圖5的三個4x4輪廓濾波器的傳輸特性；圖9圖6的三個6x6輪廓濾波器的傳輸特性；(圖5至9表示一個能夠提供無混疊的并行輪廓信號的優(yōu)選實施例。這或者可以通過對拜爾圖像傳感器的并行顏色和輪廓處理實現(xiàn)，該處理允許使用來自圖像傳感器中的綠色信號以用于與RGB顏色重構并行地生成二維的輪廓信號。其優(yōu)點是不需要額外的行延遲，而在串行輪廓處理的情況中則需要額外的行延遲。基于一個獨有的5x5并行輪廓濾波器的對RGB拜爾圖像傳感器的無混疊的輪廓處理無需光學低通濾波器，并且在第一RGB樣本頻率下有一個零通過量。它的信號失真幾乎是零，導致一個沒有可見的假象的輪廓信號。迄今已知的輪廓濾波器也放大傳感器的奈奎斯特域以外的反折的(back folded)和不希望有的頻率。這將導致失真并因此導致多余的混疊分量在畫面中更好的能見度。這個獨有的5x5濾波器防止那些混疊的假象，此外還消除在圖像傳感器的綠色通道中產(chǎn)生的綠-綠差異。)圖10當存在中央綠色時的3x3綠色重構；圖11當不存在中央綠色時的3x3綠色重構傳輸；圖10和11表示一個優(yōu)選實施例；圖12smartgreen4重構的基本框圖reconstruction；圖13表示與5x5無混疊輪廓重構組合的3x3 RGB重構的smartgreen4的細節(jié)；圖14左上利用5x5無混疊輪廓濾波器的3x3 RGB重構，右上只有一個無混疊輪廓濾波器，左下利用5x3輪廓濾波器的3x3 RGB重構，右下只有一個5x5輪廓濾波器；圖12至14表示一個優(yōu)選實施例，即利用如圖10中所示的smartgreen3的3x3和5x5濾波器權重的smartgreen4方法，其中不需要2x2后置濾波器。
1.白補償?shù)牧炼戎貥嫹椒ǖ奶幚砹鞒淘趫D1中，表示了一個帶有中央總線和外部存儲器接口的集成電路的總體體系結構的一部分。通過中央總線向外部存儲器提供一個傳感器信號。為了RGB顏色重構和并行輪廓重構的實現(xiàn)，通過中央總線從外部存儲器檢索傳感器數(shù)據(jù)以用于重構。在重構之后，數(shù)據(jù)被直接發(fā)送到處理塊或發(fā)送回外部存儲器。
處理塊或多或少含有一些如矩陣、白平衡(white balance)、拐點調整(knee)和伽馬(gamma)之類的標準化的攝影機功能。向所述處理直接發(fā)送重構的數(shù)據(jù)是一個重要的問題，因為為了獲得對靜止畫面或對視頻數(shù)據(jù)的快速的執(zhí)行時間，應當限制向存儲器或從存儲器的耗時的數(shù)據(jù)交換量。
在圖2中，表示了所提出的方法的一個優(yōu)選實施例的更詳細的框圖，以下稱該方法為″smartgreen3″信號重構。通過中央總線，傳感器數(shù)據(jù)被以小包(packets)的形式從外部存儲器發(fā)送到重構塊中的小內部存儲器陣列。從圖2中的這個[1Sx64Hx6V]陣列(例如含有1個信號(16位)和64水平x6垂直像素(768字節(jié)))，原始傳感器數(shù)據(jù)能被隨機地檢索以供重構。特別地，一行傳感器數(shù)據(jù)能按(64-2*ho)的倍數(shù)的像素被處理，其中，ho是濾波器陣列的水平偏移量(horizontaloffset)。對于一個nxm重構陣列(其中″n″是水平的像素、″m″是垂直的像素)，偏移量是ho＝n div 2，″div″的意思是在朝零的方向上取整到最接近的整數(shù)。因此，成立以下關系n＝3則ho＝1，n＝4或n＝5則ho＝2，n＝6則ho＝3。第一個能被重構的像素位于位置1+ho，最后一個位于位置N-ho，其中N是一個傳感器行中的像素的總數(shù)。重構一個完整的傳感器行需要把N/(64-2*ho)個包發(fā)送到重構塊。在圖2的下部，RGB顏色信號被用原始傳感器數(shù)據(jù)重構。通過對濾波器權重的選擇，(低)頻率傳輸取決于攝影機的光傳輸。是否使用虛假顏色消除器和2x2后置濾波器也取決于光傳輸。在圖2的上部，將R和B像素與smartgreen參數(shù)相乘。Smartgreen參數(shù)例如可按照在WO 99/04555或EP 01 200 422.2中公開的方法檢索。利用這個特定的信號，三個無混疊的亮度信號被重構輪廓信號、經(jīng)白補償?shù)牧炼刃盘朰n和低頻亮度信號Ylf。后一個具有與重構的RGB信號大致相同的傳輸特性。通過從經(jīng)白補償?shù)牧炼刃盘朰n中減去低頻亮度信號Ylf，生成一個高頻亮度分量(Yn-Ylf)。認識這樣的事實是重要的，即在此優(yōu)選實施例，為了防止高頻下的不想要的虛假顏色，如果可能的話，不應當比在處理塊中的矩陣和白平衡功能之后更早地將(Yn-Ylf)信號加到每個顏色信號。對輪廓信號來說這也完全一樣。防止所提及的不想要的虛假顏色，是重構塊的總輸出由四個或分別地三個信號組成的原因。除了盡可能最快的執(zhí)行時間之外，這是為什么優(yōu)選地直接向處理塊發(fā)送所有信號的第二個原因。第三個原因可能是這讓兩倍的[4Sx64Hx1V]內部存儲器成為多余，其中一個在重構塊中用于向外部存儲器發(fā)送四個信號，一個在處理塊中用于再次檢索所述信號。[4Sx64Hx1V]內部存儲器代表對一個垂直行的(64-2*ho)個水平像素的四個(16位)信號的存儲，其在湊整到64個像素時含有總共640個字節(jié)。
如果例如對于通過CPU利用特定的軟件進行的耗時的重構和/或處理需要設計的最大靈活性，則應當應用兩個[4Sx64Hx1V]內部存儲器，一個用于重構，一個用于處理。
在圖2的上部，實現(xiàn)無混疊的輪廓，緊接著是過沖(overshoot)控制處理器，其防止在較低頻率下的過沖和下沖(undershoot)。使用二維分步瞬時信號(step transient signal)的二維清晰度改善，是通過一個適于控制過沖的二維檢測信號的實現(xiàn)而達成的。這個所謂的分步瞬時信號能被用于若干過沖(和下沖)控制方法，并導致非常吸引人的清晰度改善，而沒有夸大的、看起來不自然的過沖。允許把輪廓信號和(Yn-Ylf)信號相加到一個單一的信號，并向內部[4Sx64Hx1V]存儲器發(fā)送。
可以對以下章節(jié)概括如下。
在第2章中，描述用2x2和4x4濾波器陣列實現(xiàn)無混疊和零失真的亮度信號Yn。在內部文件號為ID606638-I的專利申請的詳細說明的第2章中特別公開了亮度重構濾波器的細節(jié)，該申請與本申請同日提交，在此引用作為參考。在該申請的第3章中也解釋了利用一個4x4和一個6x6低通濾波器陣列的低頻亮度信號。進一步說明利用或不利用虛假顏色消除器的低頻RGB重構的實現(xiàn)。在內部文件號為ID606638-II的專利申請的詳細說明的第3章中特別公開了顏色重構濾波器的細節(jié)，該申請與本申請同日提交，在此引用作為參考。以下在第2章中描述一個5x5無混疊輪廓濾波器的實現(xiàn)，在第4章中描述4x4和6x6無混疊輪廓信號。
本申請中所提出的概念和本文所描述的濾波器也可作為光傳輸和傳感器矩陣的一個函數(shù)而被靈活地適配。這在上述的內部文件號為ID606638-I的專利申請的詳細說明的第4章中也做了詳細說明。
2.經(jīng)白補償?shù)牧炼刃盘柦?jīng)白補償?shù)牧炼仁腔趕martgreen參數(shù)的計算。在WO 99/04555和EP 01 200 422.2中給出了例子。SmartGcntrlR和SmartGcntrlB參數(shù)被分別稱作wbr和wbb。圖3顯示，紅色和藍色像素被乘以smartgreen參數(shù)。然后，四個像素被相加在一起，得到一個經(jīng)白補償?shù)牧炼认袼豗n。考慮作為第一個像素的R像素，Yn像素的中央被向右和向下移位半個像素。結果是，必須被重構的所有其它信號(即紅-綠-藍和輪廓)都應當獲得與這個Yn信號相同的中央位置。
經(jīng)白補償?shù)牧炼刃盘朰n的優(yōu)點與5x5無混疊輪廓信號的完全相同。RGB拜爾圖像傳感器的一個無混疊的輪廓信號是基于一個獨有的5x5并行輪廓濾波器，其在不需要光學低通濾波器的情況下在第一RGB樣本頻率下有一個零通過量。它的信號失真幾乎是零，導致一個沒有可見的假象的輪廓信號。迄今已知的輪廓濾波器也放大傳感器的奈奎斯特域以外的反折的和不希望有的頻率。這將導致失真并因此導致多余的混疊分量在畫面中更好的能見度。這個獨有的5x5輪廓濾波器防止那些混疊的假象，此外還消除在圖像傳感器的綠色通道中引起的綠-綠差異。具體優(yōu)點是1.在不需要OLPF(光學低通濾波器)的情況下，Yn信號在第一RGB樣本頻率下有一個零通過量，因此它在這些點將不引起混疊。在樣本頻率的第二和更高的倍數(shù)下通過量低，但是透鏡的低通和傳感器的調制傳輸函數(shù)(MTF)在這里也將是有效的。
2.信號失真幾乎是零，導致一個沒有可見的假象的亮度信號Yn。
以下將解釋為什么2x2白補償?shù)牧炼葹V波器特別有益。
1.在圖像傳感器的順序RGB拜爾顏色信號中的調制顏色信息的消除和由圖像傳感器引起的綠色不均勻性的消除，需要2x2統(tǒng)一(unity)。防止RGB拜爾圖像傳感器的并行輪廓信號中的綠色不均勻性，是通過一個開發(fā)用來消除由由圖像傳感器引起的綠-綠差異的二維并行輪廓濾波器的方法實現(xiàn)的。對拜爾圖像傳感器的并行輪廓處理，允許使用來自圖像傳感器的綠色信號以用于與RGB顏色重構并行地生成二維輪廓信號。
其優(yōu)點是不像在串行輪廓處理中那樣需要額外的行延遲。應當注意的是，無論使用了什么OLPF類型，它既不影響大的飽和顏色區(qū)域中的這個顏色調制，又不影響綠色不均勻性。
2.為了消除矩陣和/或環(huán)境色溫的影響，需要乘以smartgreen參數(shù)，其中，矩陣的系數(shù)的總和不等于統(tǒng)一。
這是為什么計算smartgreen參數(shù)的兩個原因。如果這些參數(shù)不統(tǒng)一，顏色傳感器將不起黑白傳感器的作用。
經(jīng)2x2白補償?shù)牧炼刃盘朰n的微小缺點可能是當應用光學低通濾波器(OLPF)時分辨率將降低。然而，這可通過應用4x4濾波器重構Yn而得到補償。根據(jù)OLPF的低通傳輸?shù)牧?，可選擇具有更重權重的Yn濾波器。在圖6的左手端，表示了已經(jīng)描述過的2x2 Yn濾波器。在中間和右手端，表示了兩個4x4 Yn濾波器。右邊的那個是“最重的”濾波器。除了用于補償OLPF的傳輸損失，它們也能被應用于補償透鏡的傳輸損失。
4x4 Yn濾波器恢復綠色不均勻性，也消除彩色區(qū)域中的調制。綠色不均勻性恢復，可以通過防止RGB拜爾圖像傳感器的并行輪廓信號中的綠色不均勻性而實現(xiàn)，這可以通過開發(fā)一種用來消除由圖像傳感器引起的綠-綠差異的二維并行輪廓濾波器而進行。對拜爾圖像傳感器的并行輪廓處理，允許使用來自圖像傳感器的綠色信號以用于與RGB顏色重構并行地生成一個二維的輪廓信號。其優(yōu)點是不需要額外的行延遲，而在串行輪廓處理中這是需要的。作為規(guī)則可以說相鄰對角線濾波器系數(shù)的相減應導致零貢獻。這將平均相鄰綠色像素的綠-綠差異，并因此消除綠-綠差異。
3.RGB顏色重構在這個優(yōu)選實施例中描述的重構方法應當適用于帶有任意的光學低通濾波器(OLPF)的或者根本不帶OLPF的攝影機。選擇一個適當?shù)腛LPF，不是一個簡單的事情。在多數(shù)情況中，這是在清晰度的損失與接受一定量的混疊或優(yōu)選地沒有混疊之間的一個折衷。相關的參數(shù)是
1.透鏡的光傳輸；2.確定光敏感的參數(shù)的包括一個可能的像素微透鏡的傳感器的調制傳輸函數(shù)(MTF)；3.由傳感器的顏色陣列確定的傳感器矩陣。矩陣的重量可能引起額外的混疊量，并且該混疊量可能影響OLPF傳輸?shù)囊?guī)定；4.一個給定的重構算法，它當然也導致一定的傳輸特性，導致需要通過OLPF或多或少地減少混疊。
如果在攝影機中這四個參數(shù)中的一個已經(jīng)被修改，則應當考慮對OLPF的適配。這里產(chǎn)生的一個問題是，OLPF一般是在不考慮所提及的全部四個參數(shù)的情況下規(guī)定的。因此在此優(yōu)選實施例中，試圖根據(jù)現(xiàn)有的或優(yōu)選的攝影機設計(即光學元件(pt.1)和傳感器(pt.2和3))預期一個提供某種靈活性的重構方法(pt.4)。重構濾波器的傳輸可通過選擇某些濾波器權重而被改變，但是最重要的是應用一個虛假顏色消除器的可能性。
在第5章中解釋一個特別優(yōu)選的RGB顏色重構濾波器使用一個3x3陣列。5x5陣列也可被用于RGB顏色重構濾波器，如在內部文件號為ID606638-II的專利申請的詳細說明的第3.6章中所述的那樣，該申請與本申請同日提交，在此引用作為參考。二者都可以與虛假顏色消除器一起被應用(或者不用虛假顏色消除器)。
4.并行的無混疊的輪廓濾波與上述的獨有的5x5無混疊輪廓濾波器類似，4x4和6x6無混疊輪廓濾波器在獨立于光學低通傳輸?shù)那闆r下在第一RGB樣本頻率下有一個零通過量。至于(Yn-Ylf)信號，信號失真也幾乎是零。這意味著無混疊輪廓信號沒有可見的假象，因為沒有圖像傳感器奈奎斯特域之外的不想要的頻率的反折。直到現(xiàn)在，只有一個獨有的5x5無混疊輪廓濾波器存在，然而，可能有許多4x4和6x6無混疊輪廓濾波器，它們也都消除綠色不均勻性。圖5中表示了三個4x4輪廓濾波器，圖6中表示了三個6x6輪廓濾波器。從左至右，各4x4輪廓濾波器對于高頻有遞增的通過量。圖8中從上而下分別表示圖4的4x4濾波器的三個傳輸特性。圖9中從頂部開始表示圖6的左邊的6x6濾波器的傳輸特性，并分別表示圖6的6x6濾波器的三個傳輸特性。圖6的中間的輪廓濾波器與左邊的和右邊的相比，在更高頻率具有較小的放大。這從圖9中清楚可見。
通過不考慮圖6中6x6濾波器的頂行和底行，獲得分別具有68、52和84的西格瑪輪廓(sigmaContour)的濾波器。提到這一點的理由是，因為它提供分別具有4行或6行的smartgreen3方法的可能性。圖5的第一4x4濾波器特意具有與第一(Yn-Ylf)濾波器完全相同的權重，就像圖6的第一6x6濾波器與另一個(Yn-Ylf)濾波器相同一樣。同樣，有組合(Yn-Ylf)和輪廓濾波器的濾波器權重的可能性，導致smartgreen3方法設計的進一步簡化。如果這樣做了，則可以如圖7中所示的那樣，對全部獲得的輪廓信號或其一部分進行核化(coring)或局部降噪(LNR)或過沖控制處理(OCP)。虛線部分例示在沒有LNR和OCP的情況下，可以把一部分輪廓信號作為(Yn-Ylf)信號應用。從性能的觀點來看，不反對這樣做。仍然有可能為演示的目的切斷(如果已開啟的話)輪廓信號，以控制其參數(shù)。這個可能性對各種應用有相同的優(yōu)點。圖7的框圖的唯一的缺點是，檢驗另一個輪廓濾波器對(Yn-Ylf)信號也有后果。因此，如果給予方便的調整和具有某種靈活性以優(yōu)先權，則在替代方案中優(yōu)選地不組合(Yn-Ylf)濾波器與輪廓濾波器。
正如已經(jīng)陳述過的那樣，(Yn-Ylf)濾波器的選擇不是太關鍵。因此，描述如何把它的濾波器的權重與輪廓濾波器的權重組合以獲得單一的濾波器是沒有意義的。
輪廓濾波器類型的選擇和輪廓的量的調整，取決于通過評價若干畫面的個人愛好。唯一可以給予的指示是，在選擇了3x3顏色重構時應用4x4輪廓濾波器以及在選擇了5x5顏色重構時應用6x6輪廓濾波器，是合乎邏輯的。此外，在增加輪廓的同時，應當特別注意有色邊緣的去飽和。
以下解釋作為過沖控制處理(OCP)和局部降噪(LNR)的兩個復雜的輪廓處理特征。OCP的總體程序可以使用一個例如在TV應用中可得到的連續(xù)的亮度信號。在這樣一個程序中，使用二維分步瞬時信號的二維清晰度改善是通過一個適于控制過沖的二維檢測信號的實現(xiàn)而達到的。這個所謂的分步瞬時信號能被用于若干過沖(和下沖)控制方法，導致非常吸引人的清晰度改善，而沒有夸大的、看起來不自然的過沖。在多路復用的RG/RB傳感器中，應當特別注意smartgreen3處理的最重要的目標，即防止可見的假象。關于LNR，可以應用一個用于一個非常特定的二維輪廓濾波器的方法。通過這樣一個方法，用于數(shù)字電子攝影機的帶有局部降噪的輪廓是通過實現(xiàn)一個能借助二維標準差函數(shù)減少噪聲以及清晰度的量的非常特定的二維輪廓濾波器而達成的。如與smartgreen3一起應用以及上述的防止可見的假象的任意輪廓濾波器也是可能的。
在本章中將描述一個被稱作smartg reen4的smartgreen3衍生方法。它由一個3x3顏色重構組成，不使用(Yn-Ylf)信號，并且優(yōu)選地應與兩個可能的輪廓濾波器(一個5x5的或一個5x3的)一起應用。它特別適合低成本應用。
5.Smartgreen4通過一方面的如在詳細說明的第3.1章所述的3x3RGB重構與另一方面的如上所述的5x5無混疊輪廓濾波器的組合，提供一個比smartgreen1/2方法更好的、具有非常可接受的結果的、非常快速的處理方法。
所提及的獨有的5x5并行輪廓濾波器無需光學低通濾波器就在第一RGB樣本頻率下有一個零通過量。它的信號失真幾乎是零，導致一個沒有可見的假象的輪廓信號。迄今已知的輪廓濾波器也放大傳感器的奈奎斯特域以外的反折的和不希望有的頻率。這將導致失真并因此導致多余的混疊分量在畫面中更好的能見度。這個獨有的5x5濾波器防止那些混疊的假象，此外還消除在圖像傳感器的綠色通道中引起的綠-綠差異。
RGB顏色重構濾波器的傳輸特性在圖10和11中被顯示，并具有比傳統(tǒng)濾波器更好的、用于3x3綠色重構濾波器的匹配特性。在左上角，顯示了濾波器權重。
盡管2x2后置濾波器將消除綠-綠差異，這個綠色重構濾波器將也已經(jīng)做到這一點。可以應用一個用于開發(fā)消除由圖像傳感器引起的綠-綠差異的二維并行輪廓濾波器的方法。
作為一個規(guī)則，“相鄰對角線濾波器系數(shù)的相減應導致一個零貢獻。這將平均綠色像素的綠-綠差異，并因此消除綠-綠差異”。在第2章中的對經(jīng)白補償?shù)牧炼刃盘柕恼f明中也已解釋了這個規(guī)則的使用。
更好匹配的綠色濾波器的優(yōu)點是
-在更高的對角線頻率下，它們引起更少的呈綠色的干涉；-將發(fā)生更少的虛假顏色消除器假象；-信號在邊緣沒有假象。
要注意的是，與smartgreen1/2重構方法的一個差別是，smartgreen4像smartgreen3一樣不把smartgreen信號當作顏色信號應用。smartgreen信號僅被用于如圖13中所示的虛假顏色檢測器。圖像下部的假象的缺乏，主要是由綠色傳輸特性引起的。這里所描述的濾波器比傳統(tǒng)的重構方法中的濾波器更好地匹配。這是一個特別有益的差異，其在彩色和黑白邊緣提供令人驚訝地完美的重構。這使圖10和11的綠色濾波器組合非常獨特，以下將解釋如何在smartgreen4重構內應用3x3重構濾波器。
該方法被稱作smartgreen4，它提供各重構方法和各消除綠-綠差異的方法二者的上面提及的所有優(yōu)點。因為它快，所以它能被應用于視頻信號重構，或者視應用而定，它也可被應用于靜止圖像。在smartgreen3芯片設計中實現(xiàn)這個獨有組合的可能性是一個有意思的選項。對于要求低功率和最少硬件的專用的應用(例如CMOS傳感器)，這個組合似乎也是一個非常有益的實施例。對于專門的大量低成本CMOS應用來說，同樣可以應用固定的行延遲，以避免外部存儲器。在圖12中表示了這樣一個應用的基本框圖，其中有一個[1Sx行x4V]的內部存儲器，即四個專用行延遲。在圖13中表示了一個更詳細的重構圖。
虛假顏色檢測器與smartgreen1信號一起作用，并分別適用于綠色的存在和綠色的不存在。在綠色的不存在的情況中，只應當用一個5x5陣列來應用檢測器。因此，在這里已經(jīng)對于只為中央行使用smartgreen1信號的最簡單的形式而選擇了它。四個行延遲被提供到5x5無混疊輪廓重構濾波器。實際的傳感器信號含有行1的數(shù)據(jù)。沒有應用過局部降噪或過沖控制，然而這當然是可能的。只有簡單的核化電路(coring circuit)減少噪聲。
在圖14的左上方，顯示了上述處理的結果。對于人工波帶片的所有四個象限來說，已經(jīng)應用了相同的光學低通濾波器以及Philips FT19傳感器的矩陣在右上方顯示的是波帶片的5x5無混疊輪廓信號(具有0.7的增益)。如可以看到的那樣，它完全沒有干涉。
在右下方顯示的是通過與一個非常特定的5x3并行輪廓濾波器組合使用圖10和11的濾波器的3x3 RGB重構，它有利地消除由圖像傳感器引起的綠-綠差異。為了進一步降低價格，這樣一個濾波器也非常有意思，因為于是只需要兩個行延遲，而非四個。如可以看到的那樣，性能不太好。清晰度由于垂直方向上的損失而變得不對稱并且有更多的干涉。此外在左下角外部，在RGB樣本頻率周圍發(fā)生更多的呈綠色的混疊。在右下方只顯示了能容易地與上方的5x5無混疊輪廓相比較的5x3輪廓信號(增益1.0)。在矩陣和白平衡處理之后最優(yōu)選地已經(jīng)把輪廓信號加到RGB信號。
為了左手端的處理過的結果，已經(jīng)應用了上述的虛假顏色消除器。
圖14中所示的兩個應用(頂部的具有5x5無混疊的輪廓的應用和底部的具有特定的5x3輪廓的應用)應當被判斷為是smartgreen4處理方法。
6.結論以下的特定優(yōu)點是通過與smartgreen1和smartgreen2相比用smartgreen3重構方法達成的·這是一個靈活的設計。視傳感器矩陣的重量而定，能在兩個顏色重構濾波器之間作出一個選擇。結果，(低通)亮度濾波器能被定義為特定于應用的。可以按攝影機的光傳輸?shù)囊粋€函數(shù)選擇和調整幾個高頻亮度濾波器。
·如果需要虛假顏色消除器，則視所選擇的顏色重構而定，它幾乎沒有或者根本沒有可見的假象(黑白點)。理由是與smartgreen1和smartgreen2相比使用了更強的經(jīng)低通濾波的顏色重構。
·根本沒有由smartgreen重構引起的假象，其簡單的原因是，smartgreen概念只被用于虛假顏色檢測，而不被用作顏色信號。為了補償分辨率的損失，生成一個高頻亮度信號。
·視所選擇的顏色重構而定，反折的彩色混疊的帶寬比smartgreen1和smartgreen2的要小。
·紅色、綠色和藍色重構濾波器的傳輸被以這樣的方式匹配，即在更高的對角線頻率下將發(fā)生較少的或者不發(fā)生呈綠色的干涉，而對于smartgreen1和smartgreen2濾波器來說則會發(fā)生。
·顏色重構濾波器在顏色和亮度邊緣上沒有看起來像郵票邊沿一樣的假象。
·通過與濾波器權重組合的所謂亮度白補償，所有生成的亮度信號都沒有混疊和失真。
·Smartgreen3提供若干個能作為攝影機的光傳輸?shù)暮瘮?shù)而被選擇的無混疊輪廓濾波器。
·這里所提出的smartgreen3設計的所有濾波器消除由傳感器引起的綠色不均勻性。5x5綠色重構濾波器最后借助2x2后置濾波器消除該綠色不均勻性。
總之，由于其靈活性、沒有信號失真以及由于其虛假顏色消除器，smartgreen3很適合對數(shù)字靜止圖像的重構和處理，以及對具有拜爾顏色濾波器陣列的傳感器的毗鄰視頻像素的重構和處理。
Smartgreen3的一個有趣的衍生方法是smartgreen4。由于提供低功率消耗和最少的硬件，smartgreen4適合專用的靜止和視頻應用。
權利要求
1.一種信號處理方法，其中，提供圖像傳感器的傳感器信號作為輸入，并且該輸入在一個濾波器中被重構，以建立一個用于進一步處理的輸出，其中，所述濾波器包含至少一個從由亮度重構濾波器、紅-綠-藍顏色重構濾波器和輪廓重構濾波器組成的組中選擇的重構濾波器，其中，-該輸入包含多個像素，一個像素提供被賦予紅色、綠色或藍色中至少之一的一個顏色值，其特征在于-把亮度重構濾波器應用于一個具有預定陣列大小的、包含多個像素的像素陣列，其中，所述多個像素中的至少一個是由一個被賦予紅色的紅色像素構成的，所述多個像素中的至少一個是由一個被賦予藍色的藍色像素構成的，所述多個像素中的至少一個是由一個被賦予綠色的綠色像素構成的；-用一個綠色參數(shù)加權紅色-和/或藍色-像素；以及-把陣列的像素總合成一個輸出像素；以及-把輸出像素在陣列中居中；以及-與顏色重構濾波器并行地應用輪廓重構濾波器。
2.如權利要求1中所要求的方法，其特征在于，把第一濾波器之后的第二濾波器的中央輸出像素定位成與輸出像素同相位，特別是把中央輸出像素居中在陣列中與所述輸出像素相同的中央位置。
3.如前述權利要求的任何一項中所要求的方法，其特征在于，把所述亮度重構濾波器應用于一個2×2或4×4或6×6的陣列大小。
4.如權利要求4中所要求的方法，其特征在于，把低通濾波器應用于一個4×4或6×6的陣列大小。
5.如權利要求4或5中所要求的方法，其特征在于，把所述亮度重構濾波器與低通濾波器組合成單一的濾波器。
6.如前述權利要求的任何一項中所要求的方法，其特征在于，把所述顏色重構濾波器應用于3×3或5×5的陣列大小，特別是在重傳感器矩陣的情況下必須應用于5×5的陣列大小。
7.如權利要求14中所要求的方法，其特征在于，在一個虛假顏色濾波器之后應用一個2×2陣列大小的后置濾波器，以把一個預定的小綠色像素陣列的中央輸出像素定位成與一個白色像素同相位，該白像素被相對于已經(jīng)對其應用過所述亮度重構濾波器的相同陣列居中。
8.如前述權利要求的任何一項中所要求的方法，其特征在于，與亮度重構濾波器并行地應用輪廓重構濾波器以及然后把它們的重構的信號相加。
9.如前述權利要求的任何一項中所要求的方法，其特征在于，把所述輪廓重構濾波器應用于一個陣列大小，該陣列大小超過顏色重構濾波器被應用于的陣列的大小。
10.如前述權利要求的任何一項中所要求的方法，其特征在于，把所述輪廓重構濾波器應用于一個5×5的陣列大小，特別是應用于一個4×4或6×6的陣列大小。
11.如前述權利要求的任何一項中所要求的方法，其特征在于，提供各種亮度重構濾波器以用于應用，特別地，如果沒有光學低通濾波或者有輕微的光學低通濾波，就把亮度重構濾波器應用于一個2×2的陣列大小，以及/或者，在更重的光學低通濾波后，把相應的亮度重構濾波器應用于一個增加了的4×4或6×6的陣列大小。
12.如前述權利要求的任何一項中所要求的方法，其特征在于，提供各種顏色重構濾波器以用于應用，特別地，如果應用4×4亮度重構濾波器，則應用一個3×3顏色重構濾波器，以及/或者，如果應用6×6亮度重構濾波器，則應用一個5×5顏色重構濾波器。
13.如前述權利要求的任何一項中所要求的方法，其特征在于，提供各種輪廓重構濾波器以用于應用，特別地，如果應用3×3顏色重構濾波器，則應用一個4×4輪廓重構濾波器，以及/或者，如果應用5×5顏色重構濾波器，則應用一個6×6輪廓重構濾波器。
14.如前述權利要求的任何一項中所要求的方法，其特征在于，與一個5×5輪廓重構濾波器組合地應用一個3×3顏色重構濾波器，特別是隨后把一個顏色重構的信號和一個輪廓重構的信號相加，用于進一步的處理。
15.一種信號處理設備，特別適于執(zhí)行如權利要求1至16中所要求的方法，包含一個用于提供傳感器信號作為輸入的圖像傳感器和一個用于重構該輸入以建立用于進一步處理的輸出的濾波器，其中，所述濾波器包含至少一個從由亮度重構濾波器、紅-綠-藍顏色重構濾波器和輪廓重構濾波器組成的組中選擇的重構濾波器，其中，-該輸入包含多個像素，一個像素提供一個被賦予紅色、綠色或藍色中至少之一的顏色值，其特征在于-所述重構濾波器適于被應用于一個具有預定陣列大小的、包含多個像素的像素陣列，其中，所述多個像素中的至少一個是由一個被賦予紅色的紅色像素構成的，所述多個像素中的至少一個是由一個被賦予藍色的藍色像素構成的，所述多個像素中的至少一個是由一個被賦予綠色的綠色像素構成的；該設備進一步包含-用一個綠色參數(shù)加權紅色和/或藍色像素的裝置；-用于把該陣列的像素總合成一個輸出像素的裝置；和-用于把該輸出像素在該陣列中居中的裝置；和-用于輪廓重構濾波器和顏色重構濾波器的并行處理的裝置。
16.一個可存儲在一個可由計算系統(tǒng)、特別是攝影機的計算系統(tǒng)讀取的介質上的計算機程序產(chǎn)品，該程序產(chǎn)品包含一個軟件代碼段，當該程序產(chǎn)品在計算系統(tǒng)、特別是攝影機的計算系統(tǒng)上被執(zhí)行時，所述軟件代碼段使所述計算系統(tǒng)執(zhí)行如權利要求1至16的任何一項中所要求的方法。
17.一種計算系統(tǒng)和/或半導體器件，特別是攝影機的計算系統(tǒng)，用于在其上執(zhí)行和/或存儲如權利要求18中所要求的計算機程序產(chǎn)品。
18.一種包含一個光學系統(tǒng)、一個圖像傳感器和一個如權利要求16中所要求的設備或一個如權利要求19中所要求的計算系統(tǒng)的攝影機。
全文摘要
提出一種基于白補償?shù)牧炼戎貥嫴⑹褂帽环Q作smartgreen參數(shù)的濾波器權重的重構方法。即使在樣本頻率的倍數(shù)下以及在攝影機沒有光學低通濾波器的情況下也能實現(xiàn)無混疊的亮度信號。此外，這個經(jīng)白補償?shù)牧炼刃盘栠€沒有信號失真。所提出的方法允許增加或者組合一個適當?shù)牡屯V波器，并且特別適于實現(xiàn)各種無混疊的顏色和輪廓濾波器。利用可作為傳感器矩陣的重量以及攝影機的光傳輸?shù)暮瘮?shù)而被選擇的濾波器權重而重構RGB顏色信號。提出與顏色重構濾波器并行地應用一個輪廓重構濾波器。
文檔編號H04N9/07GK1666230SQ03815919
公開日2005年9月7日 申請日期2003年6月24日 優(yōu)先權日2002年7月4日
發(fā)明者C·A·M·賈斯佩斯 申請人:皇家飛利浦電子股份有限公司