專利名稱：圖像處理裝置、圖像處理方法以及圖像處理程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置、圖像處理方法以及圖像處理程序。
背景技術(shù)：
近來用于運(yùn)動(dòng)圖像的壓縮編碼方法中，通過將在相鄰幀之間的時(shí)間方向上減少冗余的處理以及在單幀空間方向上減少冗余的處理相組合，實(shí)現(xiàn)了高比率壓縮。
上述兩個(gè)方法中的減少空間方向冗余的下面的處理中，將圖像分成了具有適當(dāng)尺寸的像素塊(例如，寬度上四個(gè)像素并且高度上四個(gè)像素)，并且在很多情況下通過使每個(gè)塊都經(jīng)過DCT(離散余弦變換)處理來減少這些塊的冗余分量。但是，在每個(gè)塊單元的編碼系統(tǒng)中，被稱為塊噪音的失真發(fā)生在接近于相鄰塊邊界的像素中，并且其是導(dǎo)致圖像質(zhì)量劣化的主要原因。
因此，在近來的壓縮編碼系統(tǒng)中，增加了一個(gè)被稱為去塊過濾處理的過程，該過程通過進(jìn)行校正使塊邊界附近的不連續(xù)像素變得平滑，以此來抑制塊噪音。去塊過濾處理相對來說比較簡單，但是用于去塊過濾處理的處理量是非常大的，并且其在一些情況中占到了解碼過程總處理量的50％。因此，在JP.A2004-180248(KOKAI)或類似文獻(xiàn)中，提出了用于減少去塊過濾器的處理量和提高其運(yùn)算速度的技術(shù)，其中該技術(shù)是通過確定是否需要編碼失真消除處理，以及僅僅在需要上述消除處理的時(shí)候操作去塊過濾器來實(shí)現(xiàn)的。
在另一方面，近來的GPU(圖像處理單元)處理有了顯著的發(fā)展，并且GPU同時(shí)具有高可編程性以及并行算術(shù)運(yùn)算的能力。因此，趨向于不僅將GPU安裝于計(jì)算機(jī)例如個(gè)人計(jì)算機(jī)上，并且也將其安裝在家用電器、移動(dòng)設(shè)備或游戲機(jī)上。此外，通過使用GPU的高可編程性，嘗試將GPU應(yīng)用于除了圖像之外的通用應(yīng)用中，并且試圖將其擴(kuò)展到運(yùn)動(dòng)圖像的編碼和解碼領(lǐng)域。
但是，在JP.A 2004-180248(KOKAI)等文獻(xiàn)所描述的發(fā)明中，沒有考慮通用并行矢量處理器例如GPU作為能夠?qū)崿F(xiàn)去塊過濾器的平臺(tái)。因此，盡管完全發(fā)揮通用并行矢量處理器例如GPU的能力，去塊過濾器不能在以高速度運(yùn)行。

發(fā)明內(nèi)容
根據(jù)本發(fā)明一個(gè)方面的圖像處理裝置，包括重疊單元(overlapping unit)，被配置成將在水平方向上和垂直方向中至少一個(gè)方向上排列的多個(gè)標(biāo)量格式圖像重疊，并將它們轉(zhuǎn)換成矢量格式圖像數(shù)據(jù)；以及圖像處理單元，被配置成對該矢量圖像數(shù)據(jù)執(zhí)行去塊過濾處理。本發(fā)明不限于裝置，并可通過方法和計(jì)算機(jī)可讀程序來實(shí)現(xiàn)。


圖1是顯示根據(jù)第一個(gè)實(shí)施例的圖像處理裝置的示意配置的結(jié)構(gòu)圖；圖2是顯示了在一幀圖像是由Y，Cb和Cr三種顏色分量配置的情況下，運(yùn)動(dòng)圖像(moving picture)的結(jié)構(gòu)示例的圖；圖3A和3B是顯示在第一個(gè)實(shí)施例中存儲(chǔ)在輸入標(biāo)量圖像存儲(chǔ)器單元3中的標(biāo)量圖像數(shù)據(jù)例子的圖；圖4A到4C是顯示在第一個(gè)實(shí)施例中存儲(chǔ)在水平矢量圖像存儲(chǔ)器單元5中的矢量圖像數(shù)據(jù)例子的圖；圖5是顯示第一個(gè)實(shí)施例中關(guān)于水平方向上像素塊邊界的去塊過濾器的參考像素的圖；圖6A和6B是顯示通過傳統(tǒng)標(biāo)量運(yùn)算的去塊過濾處理的圖；圖7A和7B是顯示在第一個(gè)實(shí)施例中通過矢量運(yùn)算的去塊過濾處理的圖；圖8A到8C是顯示在第一個(gè)實(shí)施例中關(guān)于水平方向上像素塊邊界的去塊過濾器的處理相關(guān)性的圖；圖9是顯示在第一個(gè)實(shí)施例中存儲(chǔ)在垂直矢量圖像存儲(chǔ)器單元8中矢量圖像數(shù)據(jù)的例子的圖；圖10A和10B是顯示在第一個(gè)實(shí)施例中存儲(chǔ)在垂直矢量圖像存儲(chǔ)器單元8中矢量圖像數(shù)據(jù)的例子的圖；圖11是顯示第一個(gè)實(shí)施例中關(guān)于垂直方向上像素塊邊界的去塊過濾器的參考像素的圖；圖12A到12C是顯示在第一個(gè)實(shí)施例中關(guān)于垂直方向上像素塊邊界的去塊過濾器的處理相關(guān)性的圖；圖13是顯示根據(jù)第二個(gè)實(shí)施例的圖像處理裝置的示意配置的結(jié)構(gòu)圖；圖14是顯示在第二個(gè)實(shí)施例中由水平像素陣列排序單元13排序的矢量圖像數(shù)據(jù)的圖；圖15A和15B是顯示在第二個(gè)實(shí)施例中由水平像素陣列排序單元13排序的矢量圖像數(shù)據(jù)的圖；圖16是顯示在第二個(gè)實(shí)施例中由垂直像素陣列排序單元14排序的矢量圖像數(shù)據(jù)；圖17A和17B顯示了在第二個(gè)實(shí)施例中由垂直像素陣列排序單元14排序的矢量圖像數(shù)據(jù)的圖；圖18是顯示在第三個(gè)實(shí)施例中、存儲(chǔ)在輸入標(biāo)量圖像存儲(chǔ)器單元3中的標(biāo)量圖像數(shù)據(jù)的例子的圖；圖19是顯示第三個(gè)實(shí)施例中關(guān)于水平方向上像素塊邊界的去塊過濾器的參考像素的圖；圖20是顯示第三個(gè)實(shí)施例中關(guān)于垂直方向上像素塊邊界的去塊過濾器的參考像素的圖；圖21是顯示在第三個(gè)實(shí)施例中存儲(chǔ)在水平矢量圖像存儲(chǔ)器單元5中的矢量圖像數(shù)據(jù)的例子的圖；圖22是顯示在第三個(gè)實(shí)施例中存儲(chǔ)在水平矢量圖像存儲(chǔ)器單元5中的矢量圖像數(shù)據(jù)的例子的圖；圖23A和23B是顯示在第三個(gè)實(shí)施例中通過矢量運(yùn)算的去塊過濾處理的圖；圖24是顯示在第三個(gè)實(shí)施例中存儲(chǔ)在垂直矢量圖像存儲(chǔ)器單元8中矢量圖像數(shù)據(jù)的例子的圖；圖25是顯示在第三個(gè)實(shí)施例中存儲(chǔ)在垂直矢量圖像存儲(chǔ)器單元8中矢量圖像數(shù)據(jù)的例子的圖；圖26是顯示在第四個(gè)實(shí)施例中存儲(chǔ)在水平矢量圖像存儲(chǔ)器單元5中的矢量圖像數(shù)據(jù)的例子的圖；圖27是顯示在第四個(gè)實(shí)施例中存儲(chǔ)在水平矢量圖像存儲(chǔ)器單元5中的矢量圖像數(shù)據(jù)的例子的圖；
圖28是顯示在第四個(gè)實(shí)施例中存儲(chǔ)在水平矢量圖像存儲(chǔ)器單元5中的矢量圖像數(shù)據(jù)的例子的圖；圖29A和29B是顯示在第四個(gè)實(shí)施例中通過矢量運(yùn)算進(jìn)行去塊過濾處理的圖；圖30是顯示在第四個(gè)實(shí)施例中存儲(chǔ)在垂直矢量圖像存儲(chǔ)器單元8中矢量圖像數(shù)據(jù)的例子的圖；圖31A和31B是顯示在第四個(gè)實(shí)施例中存儲(chǔ)在垂直矢量圖像存儲(chǔ)器單元8中矢量圖像數(shù)據(jù)的例子的圖；圖32是顯示第五個(gè)實(shí)施例中關(guān)于水平方向上像素塊邊界的去塊過濾器的參考像素的圖；圖33是顯示第五個(gè)實(shí)施例中關(guān)于垂直方向上像素塊邊界的去塊過濾器的參考像素的圖；圖34A和34B是顯示在第五個(gè)實(shí)施例中存儲(chǔ)在水平矢量圖像存儲(chǔ)器單元5中的矢量圖像數(shù)據(jù)的例子的圖；圖35A和35B是顯示在第五個(gè)實(shí)施例中存儲(chǔ)在垂直矢量圖像存儲(chǔ)器單元8中矢量圖像數(shù)據(jù)的例子的圖；圖36A和36B是顯示在第六個(gè)實(shí)施例中存儲(chǔ)在水平矢量圖像存儲(chǔ)器單元5中的矢量圖像數(shù)據(jù)的例子的圖；圖37是顯示在第六個(gè)實(shí)施例中水平像素陣列排序單元13的再分配處理的例子的圖；圖38A和38B是顯示在第六個(gè)實(shí)施例中存儲(chǔ)在垂直矢量圖像存儲(chǔ)器單元8中矢量圖像數(shù)據(jù)的例子的圖；圖39是顯示在第六個(gè)實(shí)施例中垂直像素陣列排序單元14的再分配處理的例子的圖；圖40是顯示在第七個(gè)實(shí)施例中水平像素陣列排序單元13的再分配處理的例子的圖；以及圖41是顯示在第六個(gè)實(shí)施例中垂直像素陣列排序單元14的再分配處理的例子的圖。
具體實(shí)施例方式
在下文中將參考相應(yīng)的附圖來對實(shí)施例進(jìn)行說明。
本發(fā)明的要點(diǎn)如下。
(1)基于例如像素塊尺寸，像素格式和去塊過濾器的參考像素的條件，將位于鄰近塊邊界的多個(gè)標(biāo)量格式像素重疊，并且將其轉(zhuǎn)換成矢量格式像素。
(2)基于并行矢量處理器的存儲(chǔ)器訪問方法和去塊過濾器處理相關(guān)性對矢量格式像素進(jìn)行排序(sort)。
(第一實(shí)施例)如圖1所示，根據(jù)第一實(shí)施例的圖像處理裝置包括中央處理單元1，主存儲(chǔ)器單元2，輸入標(biāo)量圖像存儲(chǔ)器單元3，水平標(biāo)量像素重疊單元4，水平矢量圖像存儲(chǔ)器單元5，水平矢量圖像處理單元6，垂直矢量像素重疊單元7，垂直矢量圖像存儲(chǔ)器單元8，垂直矢量圖像處理單元9，垂直矢量圖像展開(development)單元10，輸出標(biāo)量圖像存儲(chǔ)器單元11以及呈現(xiàn)單元12。除了塊之間的連接關(guān)系之外，圖1也顯示了數(shù)據(jù)流。在下面解釋各個(gè)塊的功能。
中央處理單元1控制各個(gè)塊的操作以及塊之間的數(shù)據(jù)傳輸。
主存儲(chǔ)器單元2中保存有用于控制各個(gè)塊、運(yùn)動(dòng)數(shù)據(jù)等的操作的程序。
輸入標(biāo)量圖像存儲(chǔ)器單元3存儲(chǔ)標(biāo)量格式的輸入圖像數(shù)據(jù)。
水平標(biāo)量像素重疊單元4將保存在輸入標(biāo)量圖像存儲(chǔ)器單元3中的標(biāo)量格式的圖像數(shù)據(jù)讀出，對在水平方向上排列的多個(gè)標(biāo)量格式的像素重疊，并且將重疊后的數(shù)據(jù)轉(zhuǎn)換成矢量格式的圖像數(shù)據(jù)。
水平矢量圖像存儲(chǔ)器單元5存儲(chǔ)從水平標(biāo)量像素重疊單元4中輸出的矢量格式的圖像數(shù)據(jù)。
水平矢量圖像處理單元6將保存在水平矢量圖像存儲(chǔ)器單元5中的矢量格式的圖像數(shù)據(jù)進(jìn)行去塊過濾處理。
垂直標(biāo)量像素重疊單元7將保存在水平矢量圖像存儲(chǔ)器單元5中的矢量格式的圖像數(shù)據(jù)讀出，對在垂直方向上排列的多個(gè)矢量格式像素的元素重疊，并且將重疊后的數(shù)據(jù)轉(zhuǎn)換成不同的矢量格式的圖像數(shù)據(jù)。
垂直矢量圖像存儲(chǔ)器單元8存儲(chǔ)從垂直標(biāo)量像素重疊單元7中輸出的矢量格式的圖像數(shù)據(jù)。
垂直矢量圖像處理單元9將保存在垂直矢量圖像存儲(chǔ)器單元8中的矢量格式的圖像數(shù)據(jù)進(jìn)行去塊過濾處理。
垂直矢量圖像展開單元10讀出保存在垂直矢量圖像存儲(chǔ)器單元8中的矢量格式的圖像數(shù)據(jù)，在垂直方向展開各個(gè)矢量格式的像素元素，并且將展開后的數(shù)據(jù)轉(zhuǎn)換成標(biāo)量格式的圖像數(shù)據(jù)。
輸出標(biāo)量圖像存儲(chǔ)器單元11存儲(chǔ)從垂直矢量圖像展開單元10中輸出的標(biāo)量格式的圖像數(shù)據(jù)。
呈現(xiàn)單元12具有顯示器例如液晶顯示器，并對保存在輸出標(biāo)量圖像存儲(chǔ)器單元11中的圖像數(shù)據(jù)進(jìn)行呈現(xiàn)。
對于上述的結(jié)構(gòu)，主存儲(chǔ)器單元2，輸入標(biāo)量圖像存儲(chǔ)器單元3，水平矢量圖像存儲(chǔ)器單元5，垂直矢量圖像存儲(chǔ)器單元8和輸出標(biāo)量圖像存儲(chǔ)器單元11中的各個(gè)存儲(chǔ)器單元可由不同的結(jié)構(gòu)來表示，但是可將它們共同配置在單個(gè)存儲(chǔ)器上或分別配置在多個(gè)不同的存儲(chǔ)器上。
將在下面解釋圖1中所示的圖像處理裝置的數(shù)據(jù)流和各個(gè)塊的詳細(xì)操作過程。
如上所述，中央處理單元1控制各個(gè)塊的操作和塊間的數(shù)據(jù)傳輸。
主存儲(chǔ)器單元2存儲(chǔ)程序，該程序用于控制各個(gè)塊、運(yùn)動(dòng)圖像的數(shù)據(jù)和從輸出標(biāo)量圖像存儲(chǔ)器單元11傳輸?shù)膱D像數(shù)據(jù)的操作，并經(jīng)受去塊過濾處理。
如圖2所示，通過對運(yùn)動(dòng)圖像一幀中的各個(gè)顏色分量中的圖像數(shù)據(jù)進(jìn)行排列，來獲取運(yùn)動(dòng)圖像數(shù)據(jù)。在第一實(shí)施例中，在假定上述運(yùn)動(dòng)圖像數(shù)據(jù)是先前存儲(chǔ)在主存儲(chǔ)器單元2的情況下，進(jìn)行下述的說明。
輸入標(biāo)量圖像存儲(chǔ)器單元3僅僅存儲(chǔ)保存在主存儲(chǔ)器單元2的運(yùn)動(dòng)圖像數(shù)據(jù)中的當(dāng)前幀的特定顏色分量的圖像數(shù)據(jù)。
圖3A顯示輸入標(biāo)量圖像存儲(chǔ)器單元3中的像素陣列，以及圖3B顯示存儲(chǔ)器上像素的排列次序的例子。在每個(gè)實(shí)施例中，例如，假定將8比特標(biāo)量值分配給各個(gè)像素并且將該各個(gè)像素以光柵次序在特定顏色分量的圖像數(shù)據(jù)中進(jìn)行排列(參考圖3B)。為了便于說明，下面將說明在給出圖3A和3B的圖像數(shù)據(jù)時(shí)，所執(zhí)行的各個(gè)塊的操作，但是本發(fā)明不限于在圖3A和3B中所示的圖像數(shù)據(jù)，并且其可用于具有不同比特?cái)?shù)目的不同尺寸的圖像數(shù)據(jù)像素。
水平標(biāo)量像素重疊單元4將保存在如圖3A所示的輸入標(biāo)量圖像存儲(chǔ)器單元3中的圖像數(shù)據(jù)讀出，將在水平方向上連續(xù)排列的多個(gè)標(biāo)量格式的像素重疊，并且將重疊后的像素轉(zhuǎn)換成一個(gè)像素矢量以便每個(gè)像素都對應(yīng)于矢量的元素。這樣，就獲得了圖4A中所示的矢量格式的圖像數(shù)據(jù)。在將標(biāo)量格式像素轉(zhuǎn)換成矢量格式像素的操作中，基于像素塊的寬度、轉(zhuǎn)換前的標(biāo)量格式像素的格式、轉(zhuǎn)換后矢量格式像素的格式、關(guān)于水平方向上像素塊邊界的去塊過濾器的參考像素的條件，選擇適當(dāng)?shù)霓D(zhuǎn)換方法。
在每個(gè)實(shí)施例中，像素塊的寬度如圖3A中所示為四個(gè)像素，并且由圖3B中所示的8位整數(shù)格式來表示轉(zhuǎn)換前的標(biāo)量格式的像素。
水平標(biāo)量像素重疊單元4對四個(gè)標(biāo)量格式像素重疊以將它們轉(zhuǎn)換成一個(gè)矢量格式像素，所述四個(gè)標(biāo)量格式像素排列在圖3A中所示的像素塊的水平方向上，該矢量格式像素具有如圖4A到4C所示的四個(gè)元素。詳細(xì)的操作將在下面進(jìn)行說明。
例如，將圖3A中虛線包圍的四個(gè)標(biāo)量格式的像素00，10，20，30轉(zhuǎn)換成由圖4A中虛線包圍的矢量格式像素(00，10，20，30)。
如圖4A所示，像素塊的尺寸具有一個(gè)像素的寬度，以及具有轉(zhuǎn)換后的矢量格式圖像數(shù)據(jù)中四個(gè)像素的寬度和深度(矢量像素的元素?cái)?shù)目)的四個(gè)像素，并在水平方向排列的各個(gè)像素之間，設(shè)置在水平方向上的像素塊的邊界。圖4B是顯示平面形式中每個(gè)元素的矢量格式像素的圖。
如圖4C中所示，轉(zhuǎn)換后的矢量格式像素具有四個(gè)元素并且每個(gè)元素由8位整數(shù)格式來表示。
從標(biāo)量格式轉(zhuǎn)換到矢量格式之后，水平標(biāo)量像素重疊單元4輸出所獲得的矢量格式圖像數(shù)據(jù)給水平矢量圖像存儲(chǔ)器單元5。
水平矢量圖像存儲(chǔ)器單元5存儲(chǔ)從水平標(biāo)量像素重疊單元4中輸出的矢量格式圖像數(shù)據(jù)(圖4A到4C)。
水平矢量圖像處理單元6將保存在水平矢量圖像存儲(chǔ)器單元5中的矢量格式圖像數(shù)據(jù)水平方向上的像素塊邊界(圖4A到4C)進(jìn)行去塊過濾處理。
通常，對于多個(gè)像素來說，去塊過濾器的操作是通過獲得位于像素塊邊界附近的多個(gè)像素附近的像素加權(quán)平均值來執(zhí)行的。根據(jù)多種情況中的不同條件，可自適應(yīng)地確定像素和用于加權(quán)平均值的權(quán)重。
在實(shí)施例中，為了便于說明，假定加權(quán)平均值的操作如下。如圖5所示，使用在水平方向上排列的像素塊邊界右邊和左邊的八個(gè)像素(p3到p0以及q0到q3)，作為關(guān)于邊界的去塊過濾器(filter)的參考像素。
p3′＝filter(p3)p2′＝filter(p3，p2，p1，p0，q0)p1′＝filter(p2，p1，p0，q0)p0′＝filter(p2，p1，p0，q0，q1)q0′＝filter(p1，p0，q0，q1，q2)q1′＝filter(p0，q0，q1，q2)q2′＝filter(p0，q0，q1，q2，q3)q3′＝filter(q3)在這種情況下，p3到p0，q0到q3，p3′到p0′以及q0′到q3′表示圖5的標(biāo)量格式的像素值。此外，filter ()為一個(gè)函數(shù)，其用于在給定自變量的情況下計(jì)算標(biāo)量格式像素值的加權(quán)平均值。由于對用于加權(quán)平均值的權(quán)值設(shè)定不是與本發(fā)明直接相關(guān)的，因此將省略對其的說明。
為了通過使用矢量處理器例如GPU來計(jì)算加權(quán)平均值，有必要為所有的如圖6A中所示的八個(gè)標(biāo)量格式像素獨(dú)立地執(zhí)行算術(shù)操作。由此，如圖6B所示，處理器中的并行運(yùn)算單元確定所輸入的八個(gè)標(biāo)量格式像素中的一個(gè)，并且必須根據(jù)所確定的結(jié)果來處理復(fù)雜的條件轉(zhuǎn)移以便切換加權(quán)平均值的計(jì)算。在圖6A和6B中，具有陰影的像素表示通過使用具有陰影像素來執(zhí)行過濾處理以得到陰影像素之值。例如，圖6A表明像素p3′是通過使用像素p3執(zhí)行過濾處理來得到的，并且圖6B表明像素p2′是通過使用像素p3，p2，p1，p0，q0執(zhí)行過濾處理來得到的。由于其也可以應(yīng)用于其它情況，因此將省略對其的說明。
但是，根據(jù)實(shí)施例的圖像處理裝置，由于通過前段水平標(biāo)量重疊單元4將標(biāo)量格式像素轉(zhuǎn)換成矢量格式像素，所以僅僅需要如圖7A中所示為兩個(gè)矢量格式像素執(zhí)行算術(shù)運(yùn)算。由此，如同圖7B所示，處理器中的并行運(yùn)算單元僅僅需要確定兩個(gè)矢量格式像素中的一個(gè)并且可以減少條件轉(zhuǎn)移的數(shù)量。
因此，可以有效地執(zhí)行關(guān)于水平方向上的像素塊邊界的去塊過濾器的算術(shù)運(yùn)算。
在圖7B中，分別由p，q，p′和q′來表示矢量格式像素(p3，p2，p1，p0)，(q0，q1，q2，q3)，(p3′，p2′，p1′，p0′)以及(q0′，q1′，q2′，q3′)。此外，filter ()為一個(gè)函數(shù)，其用于在給定自變量的情況下計(jì)算關(guān)于矢量格式像素的加權(quán)平均值。
當(dāng)執(zhí)行去塊過濾器的算術(shù)運(yùn)算時(shí)，需要注意算術(shù)運(yùn)算的處理相關(guān)性。例如，如圖8B中所示，列1的像素塊和列2的像素塊之間邊界的過濾結(jié)果取決于列1的像素值，但是列1的像素值取塊于列1和位于其左側(cè)相鄰列0之間的邊界的過濾結(jié)果。由此，如果在過濾圖8B的列1和列2之間的邊界之前，對圖8A的列0和列1之間的邊界的過濾處理沒有完成的話，將不會(huì)獲得正確的結(jié)果。同樣，如果對圖8C的列2和列3之間的邊界進(jìn)行過濾之前，對于圖8B的列1和列2之間的邊界進(jìn)行的過濾處理沒有完成的話，將不會(huì)獲得正確的結(jié)果。
因此，為了正確地執(zhí)行去塊過濾器的操作，首先，對于圖8A中著色像素塊來執(zhí)行列0和列1之間的邊界過濾處理，并且在上述過濾處理結(jié)束之后，對于圖8B中著色像素塊來執(zhí)行列1和列2之間的邊界過濾處理。接著，在所有上述過濾處理結(jié)束之后，對于圖8C中著色像素塊來執(zhí)行列2和列3之間的邊界過濾處理。
當(dāng)位于水平方向上的鄰近像素塊邊界的所有像素的加權(quán)平均值的計(jì)算完成之后，水平矢量圖像處理單元6將經(jīng)過去塊過濾處理的矢量格式的圖像數(shù)據(jù)輸出到水平矢量圖像存儲(chǔ)器單元5中。
垂直標(biāo)量像素重疊單元7將保存在水平矢量圖像存儲(chǔ)器單元5中的矢量格式圖像數(shù)據(jù)(圖4A到4C)讀出，并且將在垂直方向上排列的多個(gè)矢量格式像素的元素重疊，以將它們轉(zhuǎn)換成不同的矢量格式圖像數(shù)據(jù)(圖9到10B)，其將在隨后進(jìn)行詳細(xì)的描述。在轉(zhuǎn)換成不同矢量格式的操作中，根據(jù)像素塊的高度、轉(zhuǎn)換前矢量格式像素的格式，轉(zhuǎn)換后矢量格式像素的格式、關(guān)于垂直方向上像素塊邊界的去塊過濾器的參考像素的條件等，來選擇適當(dāng)?shù)霓D(zhuǎn)換方法。
在實(shí)施例中，如圖3A中所示，像素塊的高度為4個(gè)像素。此外，如圖4C中所示，將轉(zhuǎn)換前的矢量格式像素配置成四個(gè)元素，并且每個(gè)元素由8位的整數(shù)格式來表示。
在這種情況下，垂直標(biāo)量像素重疊單元7將與排列在圖4A中像素塊的垂直方向上四個(gè)矢量格式像素對應(yīng)的矢量元素重疊，并將它們轉(zhuǎn)換成不同的矢量格式像素，如圖9到10B所示。具體操作如下。
例如，在圖4A中四個(gè)矢量格式像素(c0，d0，e0，f0)，(c1，d1，e1，f1)，(c2，d2，e2，f2)和(c3，d3，e3，f3)中的四個(gè)元素f0，f1，f2，f3被轉(zhuǎn)換成一個(gè)由圖9中虛線包圍的矢量格式像素(f0，f1，f2，f3)。同樣的，也轉(zhuǎn)換其它的元素。例如，將第一元素轉(zhuǎn)換成像素(c0，c1，c2，c3)，將第二元素轉(zhuǎn)換成像素(d0，d1，d2，d3)以及將第三元素轉(zhuǎn)換成像素(e0，e1 e2，e3)。
如圖9中所示，在轉(zhuǎn)換后的矢量格式圖像數(shù)據(jù)中，像素塊的尺寸在寬度上具有四個(gè)像素，以及一個(gè)像素的高度和四個(gè)像度的深度(矢量像素元素的數(shù)目)，并在垂直方向上排列的各個(gè)像素之間設(shè)定垂直方向上的像素塊邊界。圖10A顯示了平面格式中每個(gè)元素的矢量格式的像素。
如圖10B中所示，轉(zhuǎn)換后的矢量格式像素配置有四個(gè)元素，并且每個(gè)元素由8位整數(shù)格式來表示。
如果轉(zhuǎn)換成不同矢量格式的操作完成了，垂直標(biāo)量像素重疊單元7將重疊后的矢量格式圖像數(shù)據(jù)輸出到垂直矢量圖像存儲(chǔ)器單元8。
垂直矢量圖像存儲(chǔ)器單元8保存了從垂直標(biāo)量像素重疊單元7中輸出的矢量格式圖像數(shù)據(jù)(圖9到10B)。
垂直矢量圖像處理單元9使存儲(chǔ)在垂直矢量圖像存儲(chǔ)器單元8中的矢量格式圖像數(shù)據(jù)(圖9到10B)在垂直方向上的像素塊邊界經(jīng)受去塊過濾處理。在這種情況下，如圖11中所示，使用排列在像素塊垂直方向邊界的上側(cè)和下側(cè)的八個(gè)像素(p3到p0以及q0到q3)，作為關(guān)于邊界的去塊過濾器的參考像素。具體處理內(nèi)容將在下面進(jìn)行說明。
對于垂直方向上像素塊邊界的去塊過濾器的處理內(nèi)容，對應(yīng)于通過將水平矢量圖像處理單元6的處理內(nèi)容中的像素p3到p0，q0到q3，p3′到p1′以及q0′到q3′作為如圖11中所示的垂直方向上排列的像素值所獲得的值。
因此，根據(jù)實(shí)施例的圖像處理裝置，因?yàn)橥ㄟ^垂直標(biāo)量像素重疊單元7將圖像數(shù)據(jù)的像素轉(zhuǎn)換成如圖9到10B中所示的矢量格式像素，所以可通過為兩個(gè)矢量格式像素執(zhí)行算術(shù)運(yùn)算來計(jì)算加權(quán)平均值。此外，僅僅需要處理器中的并行運(yùn)算單元確定兩個(gè)矢量格式像素中的一個(gè)并且可將條件轉(zhuǎn)移的數(shù)目限制為2。
因此，可有效地執(zhí)行關(guān)于垂直方向上像素塊邊界的去塊過濾器的操作。
在圖12A到12C中顯示了關(guān)于垂直方向上的像素塊邊界的去塊過濾器操作的處理相關(guān)性。關(guān)于水平方向上像素塊邊界的去塊過濾器操作的處理相關(guān)性相似，為了正確地執(zhí)行算術(shù)運(yùn)算，首先，對于上述像素使圖12A中行0和行1像素之間的邊界進(jìn)行過濾處理。在完成上述過濾處理之后，對于上述像素對圖12B中行1和行2像素之間的邊界進(jìn)行過濾。接著，在完成上述過濾處理之后，對于上述像素對圖12C中行2和行3像素之間的邊界進(jìn)行過濾處理。
接著，如果位于垂直方向上的像素塊邊界附近的所有像素的加權(quán)平均值的計(jì)算完成，垂直矢量圖像處理單元9將經(jīng)過去塊過濾處理的矢量格式圖像數(shù)據(jù)輸出到垂直矢量圖像存儲(chǔ)器單元8中。
垂直矢量圖像展開單元10將保存在垂直矢量圖像存儲(chǔ)器單元8中的矢量格式圖像數(shù)據(jù)(圖9到10B)讀出，并且在垂直方向上將矢量格式像素的元素展開，以將圖像數(shù)據(jù)轉(zhuǎn)換成標(biāo)量格式圖像數(shù)據(jù)(圖3A和3B)。在這種情況下，在從矢量格式轉(zhuǎn)換到標(biāo)量格式的轉(zhuǎn)換操作中，根據(jù)像素塊的高度、轉(zhuǎn)換前矢量格式像素的格式和轉(zhuǎn)換后矢量格式像素的格式的條件等，選擇適當(dāng)?shù)霓D(zhuǎn)換方法。
在實(shí)施例中，如圖3A所示，像素塊的高度為4個(gè)像素。此外，如在圖10B中所示，轉(zhuǎn)換前的標(biāo)量格式像素由8位整數(shù)格式來表示。同樣，如圖3B所示，轉(zhuǎn)換后的標(biāo)量格式像素由8位的整數(shù)格式來表示。
在這種情況下，垂直矢量圖像展開單元10通過將圖9中所示的矢量格式像素的元素在垂直方向上展開，來使矢量格式像素轉(zhuǎn)換成如圖3A中所示的標(biāo)量格式像素。
例如，將圖9中由虛線包圍的一個(gè)矢量格式像素(f0，f1，f2，f3)轉(zhuǎn)換成圖3A中由虛線包圍的四個(gè)標(biāo)量格式像素f0，f1，f2，f3。
接著，在從矢量格式到標(biāo)量格式的轉(zhuǎn)換完成之后，垂直矢量圖像展開單元10將展開后的標(biāo)量格式圖像數(shù)據(jù)輸出到輸出標(biāo)量圖像存儲(chǔ)器單元11中。
輸出標(biāo)量圖像存儲(chǔ)器單元11中存儲(chǔ)了從垂直矢量圖像展開單元10中輸出的標(biāo)量格式圖像數(shù)據(jù)。
呈現(xiàn)單元12將保存在輸出標(biāo)量圖像存儲(chǔ)器單元11中的圖像數(shù)據(jù)呈現(xiàn)給用戶。
如上所示，根據(jù)該實(shí)施例的圖像處理裝置，將鄰近像素塊邊界的多個(gè)像素重疊，并將其轉(zhuǎn)換成矢量格式。因此，通過完全發(fā)揮通用并行矢量處理器例如GPU的算術(shù)運(yùn)算能力，能夠提高去塊過濾器的運(yùn)算速度。
(第二實(shí)施例)如圖13中所示，第二實(shí)施例不同于第一實(shí)施例，在于水平像素陣列排序單元13和垂直矢量像素陣列排序單元14被另外提供在根據(jù)第一實(shí)施例的圖像處理裝置中。因此，與圖1相同的部分由相同的附圖標(biāo)記來表示，并且將略去對相同部分的重復(fù)說明。
如圖8A到8C中所示，在第一實(shí)施例中的水平矢量圖像處理單元6，通過使用去塊過濾器(圖8A)，使列0像素塊和列1像素塊的像素進(jìn)行并行處理(圖8B)，并且接著在前一個(gè)過程完畢之后使列1和列2的像素進(jìn)行并行處理。接著，在整個(gè)處理完成之后，使列2和列3的像素進(jìn)行并行處理(圖8C)。
因此，水平矢量圖像處理單元6使用像素塊兩個(gè)列的區(qū)域，作為在每個(gè)并行處理中的處理單元。因此，例如，將輸入標(biāo)量圖像(圖3A和3B)的分辨率設(shè)定為1920像素寬和1080像素高的情況下，并行處理的單元被設(shè)定為具有兩個(gè)像素寬和1080像素高的非常狹窄的區(qū)域。
在并行處理器例如GPU中，當(dāng)非常狹窄的像素區(qū)域經(jīng)受并行處理的時(shí)候，降低了并行運(yùn)算單元的運(yùn)算速率和高速緩存的命中率，并且在許多情況下原始算術(shù)運(yùn)算能力不能得到充分利用。
因此，在該實(shí)施例的圖像處理裝置中，通過使用水平像素陣列排序單元13讀出從水平標(biāo)量像素重疊單元4輸出的矢量格式圖像數(shù)據(jù)(圖4A到4C)，并且將排列在垂直方向上的一個(gè)列上的矢量格式像素串排序到多個(gè)列上(參考圖14)。
例如，將排列在圖4B中由虛線包圍的左端部分上沿垂直方向的一個(gè)列上的矢量格式像素串(00，10，20，30)到(0f，1f，2f，3f)排序?yàn)榕帕性趫D15A中由虛線包圍的左端部分上沿垂直方向的兩個(gè)列上的矢量格式像素串。圖15B是顯示在替換平面格式中每個(gè)元素之后，矢量格式像素的圖。
因此，因?yàn)椴⑿刑幚韱卧獜囊粋€(gè)狹窄的形狀改變成近似地等于正方形的形狀，并且增強(qiáng)了并行運(yùn)算單元的運(yùn)算速率和高速緩存的命中率，所以可以有效地在后段(stage)水平矢量圖像處理單元6中執(zhí)行關(guān)于水平方向上像素塊邊界的去塊過濾器的操作。
另一方面，如圖12A到12C中所示，第一實(shí)施例中的垂直矢量圖像處理單元9使行0的像素塊和行1的像素塊的像素進(jìn)行并行處理(圖12A)，并且在上面的處理完成之后，使行1和行2的像素進(jìn)行并行處理(圖12B)。接著，在上面處理完成之后，使行2和行3的像素進(jìn)行并行處理(圖12C)。
因此，垂直矢量格式圖像處理單元9使用像素塊中兩個(gè)行的區(qū)域，作為每次并行處理中的處理單元。因此，例如當(dāng)輸入標(biāo)量圖像(圖3A和3B)的分辨率設(shè)定為1920像素寬和1080像素高的情況下，并行處理的單元變成具有1920像素寬和兩個(gè)像素高的非常狹窄的區(qū)域。
因此，在依據(jù)該實(shí)施例的圖像處理裝置中，由垂直像素陣列排序單元14來執(zhí)行讀取從垂直標(biāo)量像素重疊單元7中輸出的矢量格式圖像數(shù)據(jù)(圖9到10B)的處理，以及將排列在水平方向上一個(gè)行中的矢量格式像素串排序成為多個(gè)行的處理(參考圖16)。
例如，將排列在圖10A上端部分水平方向上一個(gè)行上的矢量格式像素串(00，01，02，03)到(f0，f1，f2，f3)排序?yàn)榕帕性趫D17A中上端部分水平方向上排列的兩個(gè)行的矢量格式像素串。圖17B是顯示在替換平面格式中每個(gè)元素之后，矢量格式像素的圖。
因此，因?yàn)椴⑿刑幚韱卧獜囊粋€(gè)狹窄的形狀改變成近似地等于正方形的形狀，并且增強(qiáng)了并行運(yùn)算單元的運(yùn)算速率和高速緩存的命中率，所以在后段垂直矢量圖像處理單元9中可以有效地執(zhí)行關(guān)于垂直方向上像素塊邊界的去塊過濾器的處理。
如上所述，根據(jù)第二實(shí)施例的圖像處理裝置，可以增強(qiáng)并行矢量處理器例如GPU的運(yùn)算速率和高速緩存的命中率，并且可以基于去塊過濾器與并行矢量處理器存儲(chǔ)器訪問系統(tǒng)的處理相關(guān)性，通過將矢量格式像素進(jìn)行排序來提高去塊過濾器的運(yùn)算速度。
(第三實(shí)施例)根據(jù)第三實(shí)施例的圖像處理裝置，其結(jié)構(gòu)與第一或第二實(shí)施例中的圖像處理裝置結(jié)構(gòu)相同，因此，省略了其的附圖和重復(fù)的說明。在第三實(shí)施例中，如圖18所示，說明下述情況將存儲(chǔ)在標(biāo)理圖像存儲(chǔ)器單元3中的標(biāo)量格式圖像數(shù)據(jù)像素塊的尺寸設(shè)定為兩個(gè)像素寬和兩個(gè)像素高。
在這種情況下，如圖19所示，將排列在水平方向上的像素塊之間的邊界的右側(cè)和左側(cè)的四個(gè)像素(p1，p0，q0，q1)作為關(guān)于邊界的去塊過濾器的參考像素來使用。同樣地，如圖20所示，將排列在垂直方向上的像素塊之間的邊界上側(cè)和下側(cè)的四個(gè)像素作為關(guān)于該邊界的的去塊過濾器的參考像素來使用。
假定該像素的格式化處理與第一和第二實(shí)施例中的相同。
水平標(biāo)量像素重疊單元4與第一和第二實(shí)施例中的水平標(biāo)量像素重疊單元4是不相同的。其將排列在圖18中垂直方向上的像素塊之間的邊界右側(cè)和左側(cè)上的四個(gè)標(biāo)量格式像素重疊，并且將它們轉(zhuǎn)換成如圖21和22中所示的矢量格式像素。具體操作如下。
例如，將圖18中虛線包圍的四個(gè)標(biāo)量格式像素00，10，20，30轉(zhuǎn)換成由圖21中的虛線包圍的一個(gè)矢量格式像素(00，10，20，30)。將圖18中的虛線包圍的四個(gè)標(biāo)量格式像素20，30，40，50轉(zhuǎn)換成由圖21中的虛線包圍的-個(gè)矢量格式像素(20，30，40，50)。圖22是顯示平面格式中每個(gè)元素在轉(zhuǎn)換之后獲得的矢量格式像素。
通過上面的轉(zhuǎn)換操作，如圖23A中所示，通過僅僅對一個(gè)矢量格式像素執(zhí)行算術(shù)運(yùn)算可以完成在水平矢量圖像處理單元6中關(guān)于水平方向上的像素塊的去塊過濾器的算術(shù)運(yùn)算。此外，如圖23B中所示，不需要處理器中的并行運(yùn)算單元處理?xiàng)l件轉(zhuǎn)移。
因此，可以有效地執(zhí)行在水平矢量圖像處理單元6中的關(guān)于水平方向上的像素塊邊界的去塊過濾器的算術(shù)運(yùn)算。
在圖23B中，矢量格式像素(p1，p0，q0，q1)和(p1′，p0′，q0′，q1′)分別由Pq和pq′來表示。此外，filter ()為一個(gè)函數(shù)，其用于在給定自變量的情況下，對于矢量格式像素值計(jì)算加權(quán)平均值。
與上面的情況相似，并且與第一個(gè)和第二個(gè)實(shí)施例的情況不同，在垂直標(biāo)量像素重疊單元7中，對排列在圖22中垂直方向上的像素塊之間的邊界上側(cè)和下側(cè)的四個(gè)標(biāo)量格式像素重疊，并且將其轉(zhuǎn)換成如圖24和25中所示的不同的矢量格式像素。
例如，將由圖22中的虛線包圍的四個(gè)標(biāo)量格式像素e0，e1，e2，e3轉(zhuǎn)換成由圖24中的虛線包圍的一個(gè)矢量格式像素(e0，e1，e2，e3)。同樣地，將由圖22中的虛線包圍的四個(gè)標(biāo)量格式像素f0，f1，f2，f3轉(zhuǎn)換成由圖24中的虛線包圍的一個(gè)矢量格式像素(f0，f1，f2，f3)。圖25是顯示平面格式中每個(gè)元素的矢量格式像素的圖。
通過上面的轉(zhuǎn)換操作，可以獲得如同在水平方向的情況中相同效果的改進(jìn)，并且可以有效地執(zhí)行在垂直矢量圖像處理單元9中的關(guān)于垂直方向上像素塊邊界的去塊過濾器的算術(shù)運(yùn)算。
如上所示，根據(jù)該實(shí)施例的圖像處理裝置，可以完全利用通用并行矢量處理器例如GPU的算術(shù)運(yùn)算能力，并且能夠基于像素塊尺寸通過對鄰近像素塊邊界的多個(gè)像素重疊以及將它們轉(zhuǎn)換成矢量格式，來提高去塊過濾器的運(yùn)算速度。
(第四實(shí)施例)根據(jù)第四實(shí)施例的圖像處理裝置，其結(jié)構(gòu)與第一或第二實(shí)施例中圖像處理裝置的結(jié)構(gòu)相同，由此，省略了其的附圖和重復(fù)的說明。在該實(shí)施例中，說明下述情況存儲(chǔ)在水平矢量圖像存儲(chǔ)器單元5和垂直矢量圖像存儲(chǔ)器單元8中的四個(gè)矢量格式像素的元素由16位的整數(shù)格式來表示。
假定像素塊的尺寸，去塊過濾器的參考像素以及標(biāo)量格式像素的格式都與第一和第二實(shí)施例中的相同。
與第一到第三實(shí)施例不同，水平標(biāo)量像素重疊單元4將圖3A中在水平方向上排列的像素塊之間的邊界右側(cè)和左側(cè)上的八個(gè)標(biāo)量格式像素重疊，并且將它們轉(zhuǎn)換成如圖26和27中所示的矢量格式像素。
例如，將圖3A中由虛線包圍的八個(gè)標(biāo)量格式像素80，90，a0，b0，c0，d0，e0，f0轉(zhuǎn)換成圖26中由虛線包圍的一個(gè)矢量格式像素(80/90，a0/b0，c0/d0，e0/f0)。在這種情況下，80/90表示一個(gè)16位的值，其具有分配給上面八位的像素80的值以及分配給下面八位的像素90的值。圖28是顯示存儲(chǔ)器上像素排列次序的例子的圖。
通過上面的轉(zhuǎn)換操作，如圖29A中所示，可以通過僅僅對一個(gè)矢量格式像素執(zhí)行算術(shù)運(yùn)算來完成水平矢量圖像處理單元6中關(guān)于水平方向上的像素塊的去塊過濾器的算術(shù)運(yùn)算。此外，如圖29B中所示，不需要處理器的并行運(yùn)算單元處理?xiàng)l件轉(zhuǎn)移。
因此，可以有效地執(zhí)行在水平矢量圖像處理單元6中關(guān)于水平方向上像素塊邊界的去塊過濾器的算術(shù)運(yùn)算。
在圖29B中，矢量格式像素(p3/p2，p1/p0，q0/q1，q2/q3)和(p3′/p2′，p1′/p0′，q0′/q1′，q2′/q3′)分別由Pq和pq′來表示。此外，filter ()為一個(gè)函數(shù)，其用于在給定自變量的情況下，對于矢量格式像素值計(jì)算加權(quán)平均值。
與第一到第三實(shí)施例不同，垂直標(biāo)量像素重疊單元7將圖27中排列在像素塊之間垂直方向上的邊界上側(cè)和下側(cè)的八個(gè)標(biāo)量格式像素重疊以像上面的情況一樣將它們轉(zhuǎn)換成如同在圖30和31B中顯示的不同的矢量格式像素。
例如，將圖27中由虛線包圍的八個(gè)標(biāo)量格式像素上面的八個(gè)比特轉(zhuǎn)換成圖30中由虛線包圍的一個(gè)矢量格式像素(00/01，02/03，04/05，06/07)。
通過上面的轉(zhuǎn)換操作，可以獲得如同在水平方向的情況中相同效果的改進(jìn)并且可以有效地執(zhí)行垂直矢量圖像處理單元9中關(guān)于垂直方向上像素塊邊界的數(shù)據(jù)去塊過濾器的算術(shù)運(yùn)算。
如上所示，根據(jù)該實(shí)施例的圖像處理裝置，可以完全利用通用并行矢量處理器例如GPU的算術(shù)運(yùn)算能力，并且能夠基于矢量格式像素格式上通過對鄰近像素塊邊界的多個(gè)像素重疊并將它們轉(zhuǎn)換成矢量格式，來提高去塊過濾器的運(yùn)算速度。
(第五實(shí)施例)根據(jù)第五實(shí)施例的圖像處理裝置，其結(jié)構(gòu)與第一或第二實(shí)施例中圖像處理裝置的結(jié)構(gòu)是相同的，由此，省略了其的附圖和重復(fù)的說明。在該實(shí)施例中，說明下述情況對如圖32中所示的將在水平方向上排列的像素塊之間的邊界右側(cè)和左側(cè)的四個(gè)像素(p1，p0，q0，q1)作為關(guān)于該邊界的的去塊過濾器的參考像素來使用。同樣地，如圖33中所示，說明下述情況將排列在垂直方向上的像素塊之間的邊界上側(cè)和下側(cè)的四個(gè)像素作為關(guān)于該邊界的去塊過濾器的參考像素來使用。
假定像素塊的尺寸和像素的格式都與第一和第二實(shí)旋例中的相同。
與第一到第四實(shí)施例不同，水平標(biāo)量像素重疊單元4將圖3A中在水平方向上排列的像素塊之間的邊界右側(cè)和左側(cè)的四個(gè)標(biāo)量格式像素重疊，并且將它們轉(zhuǎn)換成如圖34A和34B中顯示的矢量格式像素。
例如，將圖3A中由虛線包圍的四個(gè)標(biāo)量格式像素20，30，40，50轉(zhuǎn)換成圖34A中由虛線包圍的一個(gè)矢量格式像素(20，30，40，50)。
通過上面的轉(zhuǎn)換操作，通過僅僅為如圖29A中所示的一個(gè)矢量格式像素執(zhí)行算術(shù)運(yùn)算可以完成水平矢量圖像處理單元6中關(guān)于水平方向上的像素塊的去塊過濾器的算術(shù)運(yùn)算。此外，如圖29B中所示，不需要處理器中的并行運(yùn)算單元處理?xiàng)l件轉(zhuǎn)移。
因此，可以有效地執(zhí)行在水平矢量圖像處理單元6中關(guān)于水平方向上像素塊邊界的去塊過濾器的算術(shù)運(yùn)算。
與第一到第四實(shí)施例不同，垂直標(biāo)量像素重疊單元7將圖34B中排列在垂直方向上的像素塊之間的邊界上側(cè)和下側(cè)的四個(gè)標(biāo)量格式像素重疊，并且如同上面的情況一樣，將它們轉(zhuǎn)換成如圖35A和35B中所示的矢量格式像素。
例如，將圖34A中由虛線包圍的四個(gè)標(biāo)量格式像素22，23，24，25轉(zhuǎn)換成圖35A中由虛線包圍的一個(gè)矢量格式像素(22，23，24，25)。
通過上面的轉(zhuǎn)換操作，可以獲得如同在水平方向的情況中相同效果的改進(jìn)，并且可以有效地執(zhí)行在垂直矢量圖像處理單元9中關(guān)于垂直方向上像素塊邊界的去塊過濾器的算術(shù)運(yùn)算。
如上所示，根據(jù)該實(shí)施例的圖像處理裝置，可以完全利用通用并行矢量處理器例如GPU的算術(shù)運(yùn)算能力，并且能夠基于去塊過濾器的參考像素通過對鄰近像素塊邊界的多個(gè)像素重疊，并將它們轉(zhuǎn)換成矢量格式，來提高去塊過濾器的運(yùn)算速度。
(第六實(shí)施例)根據(jù)第六實(shí)施例的圖像處理裝置，其結(jié)構(gòu)與第二個(gè)實(shí)施例中圖像處理裝置的結(jié)構(gòu)相同，并且，省略了其的附圖和重復(fù)的說明。在該實(shí)施例中，由水平像素陣列排序單元13和垂直像素陣列排序單元14執(zhí)行的像素替換方法與第二實(shí)施例中的不同。
在第二實(shí)施例中，水平像素陣列排序單元13讀取從水平標(biāo)量像素重疊單元4輸出的矢量格式圖像數(shù)據(jù)(圖4A到4C)，并且將排列在垂直方向上的一個(gè)列上的標(biāo)量格式像素陣列排序成多個(gè)列。
與此相反，在該實(shí)施例中，水平像素陣列排序單元13執(zhí)行將列在垂直方向上的一個(gè)列的標(biāo)量格式像素陣列排序成多個(gè)列，并且接著對該多個(gè)列進(jìn)行再分配的處理。
例如，將排列在圖4B中由虛線包圍的左端部分垂直方向上的一個(gè)列的矢量格式像素串(00，10，20，30)到(0f，1f，2f，3f)排序?yàn)榕帕性谒牧?四行)上的矢量格式像素串，并且接著將其分配到圖36A和36B中8行8列的像素區(qū)域的左上部分。
此外，將排列在圖4B中從左端部分開始的第二列上的矢量格式像素串(40，50，60，70)到(4f，5f，6f，7f)排序?yàn)榕帕性谒牧?四行)上的矢量格式像素串，并且接著將其分配到圖36A和36B中8行8列的像素區(qū)域的右上部分。
將排列在圖4B中從左端部分開始的第三列上的矢量格式像素串(80，90，a0，b0)到(8f，9f，af，bf)排序?yàn)榕帕性谒膫€(gè)列(四個(gè)行)上的矢量格式像素串并且接著將其分配到圖36A和36B中8行8列的像素區(qū)域的左下部分。
此外，將排列在圖4B中右端部的矢量格式像素串(c0，d0，e0，f0到(cf，df，ef，ff)排序?yàn)榕帕性谒膫€(gè)列(四個(gè)行)上的矢量格式像素串，并且接著將其分配到圖36A和36B中8行8列的像素區(qū)域的右下部分。
圖37顯示了本實(shí)施例中再分配方法的一個(gè)例子。根據(jù)圖37，水平像素陣列排序單元13將排列在垂直方向的一列上的矢量格式像素串排序?yàn)槎鄠€(gè)列，并且接著在水平方向上順序地分配該多個(gè)列。執(zhí)行過適當(dāng)次數(shù)的分配處理之后，該處理回到起始點(diǎn)，接著進(jìn)入下一行，并且執(zhí)行相同次數(shù)以將他們順序地在水平方向上進(jìn)行分配。
根據(jù)并行矢量處理器的存儲(chǔ)訪問方法和高速緩存的結(jié)構(gòu)，可以確定轉(zhuǎn)變位置。
通過執(zhí)行上面的再分配處理，增強(qiáng)了并行運(yùn)算單元的運(yùn)算速率和高速緩存的命中率，由此，可以有效地執(zhí)行在后段水平矢量圖像處理單元6中關(guān)于水平方向上的像素塊邊界的去塊過濾器的運(yùn)算。
該實(shí)施例的垂直像素陣列排序單元14執(zhí)行將在水平方向上排列的一行的矢量格式像素串排序?yàn)槎鄠€(gè)行，并且接著對該多個(gè)行進(jìn)行再分配的處理。該再分配處理是該實(shí)施例垂直像素陣列排序單元14的特點(diǎn)。
例如，將圖10A中排列在由虛線包圍的上端的水平方向上的一行的矢量格式像素串(00，01，02，03)到(f0，f1，f2，f3)排序?yàn)榕帕性谒男?四列)上的矢量格式像素串，并且接著將其分配到圖38A和38B中8行8列的像素區(qū)域的左上部分。
將排列在圖10A中從頂端開始第二行上的矢量格式像素串(04，05，06，07)到(f4，f5，f6，f7)排序?yàn)榕帕性谒男?四列)上的矢量格式像素串，并且接著將其分配到圖38A和38B中8行8列的像素區(qū)域的右上部分。
此外，將排列在圖10A中從頂端開始第三行上的矢量格式像素串(08，09，0a，0b)到(f8，f9，fa，fb)排序?yàn)榕帕性谒男?四列)上的矢量格式像素串，并且接著將其分配到圖38A和38B中8行8列的像素區(qū)域的左下部分。
此外，將排列在圖10A中底端部分的矢量格式像素串(0c，0d，0e，0f)到(fc，fd，fe，ff)排序?yàn)榕帕性谒男?四列)上的矢量格式像素串，并且接著將其分配到圖38A和38B中8行8列的像素區(qū)域的右下部分。
圖39顯示了該實(shí)施例中再分配方法的一個(gè)例子，根據(jù)圖39，垂直像素陣列排序單元14將在水平方向上排列的一行上的矢量格式像素串排序?yàn)槎鄠€(gè)行，并且接著在水平方向上順序地將該多個(gè)列進(jìn)行分配。執(zhí)行過適當(dāng)次數(shù)的分配處理之后，該處理回到起始點(diǎn)，接著轉(zhuǎn)到下一行，并且通過相同次數(shù)的執(zhí)行以將他們順序地在水平方向上進(jìn)行分配。
根據(jù)并行矢量處理器的存儲(chǔ)訪問系統(tǒng)和高速緩存的結(jié)構(gòu)來確定轉(zhuǎn)變位置。
通過執(zhí)行上面的再分配處理，增強(qiáng)了并行運(yùn)算單元的運(yùn)算速度和高速緩存的命中率，由此，可以有效地執(zhí)行后段垂直矢量圖像處理單元9中關(guān)于垂直方向上像素塊邊界的去塊過濾器的運(yùn)算。
如上所述，根據(jù)該實(shí)施例的圖像處理裝置，可以增強(qiáng)并行矢量處理單元例如GPU的運(yùn)算速度和高速緩存的命中率，并且可以基于去塊過濾器的處理相關(guān)性以及并行矢量處理單元存儲(chǔ)器訪問系統(tǒng)，通過將矢量格式像素進(jìn)行排序，來提高去塊過濾器的運(yùn)算速度。
(第七實(shí)施例)根據(jù)第七實(shí)施例的圖像處理裝置，其結(jié)構(gòu)與第二實(shí)施例中圖像處理裝置的結(jié)構(gòu)相同，由此，省略了其的附圖和重復(fù)的說明。在該實(shí)施例中，由水平像素陣列排序單元13和垂直像素陣列排序單元14執(zhí)行的像素替換方法與第二實(shí)施例中的不同。
在第六實(shí)施例中，水平像素陣列排序單元13將排列在垂直方向上的一列的矢量格式像素串排序?yàn)槎鄠€(gè)列，并且接著在水平方向上順序地對該多個(gè)列進(jìn)行分配。
與比相反，如圖40中所示，水平像素陣列排序單元13將排列在垂直方向上的一列的矢量格式像素串排序?yàn)槎鄠€(gè)列，并且接著在垂直方向上順序地對該多個(gè)列進(jìn)行分配。執(zhí)行過適當(dāng)次數(shù)的分配處理之后，該處理回到起始點(diǎn)，接著轉(zhuǎn)到下一行，并且通過執(zhí)行相同次數(shù)以將他們順序地在垂直方向上進(jìn)行分配。
根據(jù)并行矢量處理器的存儲(chǔ)訪問系統(tǒng)和高速緩存的結(jié)構(gòu)來確定轉(zhuǎn)變位置。
通過執(zhí)行上面的再分配處理，增強(qiáng)了并行運(yùn)算單元的運(yùn)算速度和高速緩存的命中率，并且，可以有效地執(zhí)行后段水平矢量圖像處理單元6中關(guān)于水平方向上像素塊邊界的去塊過濾器的運(yùn)算。
第六實(shí)施例的垂直像素陣列排序單元14將在水平方向上排列的一行的矢量格式像素串排序?yàn)槎鄠€(gè)行，并且接著順序地對在水平方向上的該多個(gè)行進(jìn)行分配。
與此相反，如圖41中所示，垂直像素陣列排序單元14將在水平方向上排列的一行的矢量格式像素串排序?yàn)槎鄠€(gè)行，并且接著順序地對該多個(gè)行在垂直方向上進(jìn)行分配。執(zhí)行過適當(dāng)次數(shù)的分配處理之后，該處理回到起始點(diǎn)，接著轉(zhuǎn)到下一行，并且通過相同次數(shù)的執(zhí)行以將他們順序地在垂直方向上進(jìn)行分配。
根據(jù)并行矢量處理器的存儲(chǔ)訪問系統(tǒng)和高速緩存的結(jié)構(gòu)來確定轉(zhuǎn)變位置。
通過執(zhí)行上面的再分配處理，增強(qiáng)了并行運(yùn)算單元的運(yùn)算速率和高速緩存的命中率，由此，可以有效地執(zhí)行后段垂直矢量圖像處理單元9中關(guān)于垂直方向上像素塊邊界的去塊過濾器的運(yùn)算。
如上所述，根據(jù)該實(shí)施例的圖像處理裝置，可以增強(qiáng)并行矢量處理單元例如GPU的運(yùn)算速率和高速緩存的命中率，并且可以基于去塊過濾器的處理相關(guān)性與并行矢量處理單元存儲(chǔ)器訪問系統(tǒng)，將矢量格式像素進(jìn)行排序，來提高去塊過濾器的運(yùn)算速度。
在上面的實(shí)施例中，對標(biāo)量像素重疊處理的順序?yàn)橄仁撬较袼亟又谴怪毕袼兀强梢允紫葓?zhí)行該垂直像素的重疊處理，同對使其經(jīng)受去塊過濾器處理，并且接著執(zhí)行水平像素的重疊處理。
此外，在上面的實(shí)施例中，將水平像素和垂直像素兩者的標(biāo)量像素重疊，并轉(zhuǎn)換成矢量格式，但是可僅僅對上面兩個(gè)像素類型中的一個(gè)執(zhí)行重疊處理。在這種情況下，例如，在第一實(shí)施例中，可首先執(zhí)行由水平矢量圖像處理的去塊過濾器處理，并且接著對水平矢量像素展開。
根據(jù)本發(fā)明，可以完全利用通用并行矢量處理器例如GPU的能力，并且提高去塊過濾器的運(yùn)算速度。
本領(lǐng)域技術(shù)人員可以容易地想到其它的優(yōu)點(diǎn)和改進(jìn)。由此，本發(fā)明具有更寬的范圍，并且不會(huì)局限于在此處描述的特定的詳細(xì)情況，示例性裝置，以及示出的圖例。因此，在不脫離由下附權(quán)利要求及其等同所定義的概括發(fā)明原理的精神或范圍的基礎(chǔ)上，可對本發(fā)明進(jìn)行各種修改。
權(quán)利要求
1.一種圖像處理裝置，其特征在于包括重疊單元(4，7)，被配置成將排列在水平方向和垂直方向中至少一個(gè)方向上的多個(gè)標(biāo)量格式圖像重疊，并且將它們轉(zhuǎn)換成矢量格式圖像數(shù)據(jù)；以及圖像處理單元(6，9)，被配置成對該矢量圖像數(shù)據(jù)執(zhí)行去塊過濾器處理。
2.根據(jù)權(quán)利要求1所述的裝置，其特征在于，進(jìn)一步包括展開單元，被配置成在水平方向和垂直方向中至少一個(gè)方向上、將對其執(zhí)行了去塊過濾器處理的矢量格式圖像數(shù)據(jù)中的像素的每個(gè)元素展開，并且將矢量格式圖像數(shù)據(jù)轉(zhuǎn)換成標(biāo)量格式圖像數(shù)據(jù)。
3.根據(jù)權(quán)利要求1所述的裝置，其特征在于，進(jìn)一步包括排序單元，被配置成對矢量格式像素串進(jìn)行排序以創(chuàng)建多個(gè)列，其中該矢量格式像素串被包括在重疊單元輸出的矢量格式圖像數(shù)據(jù)中，并且被排列在垂直方向上的一個(gè)列上。
4.根據(jù)權(quán)利要求1所述的裝置，其特征在于還包括第一存儲(chǔ)器，被配置成保存包括程序的數(shù)據(jù)以及運(yùn)動(dòng)圖像，該程序控制每個(gè)單元的操作；第二存儲(chǔ)器，被配置成存儲(chǔ)多個(gè)標(biāo)量格式圖像；第三存儲(chǔ)器，被配置成存儲(chǔ)矢量格式圖像數(shù)據(jù)；以及第四存儲(chǔ)器，被配置成存儲(chǔ)通過展開矢量格式圖像數(shù)據(jù)所獲得的標(biāo)量格式圖像數(shù)據(jù)，其中對該矢量格式圖像數(shù)據(jù)執(zhí)行了去塊過濾器處理。
5.根據(jù)權(quán)利要求1所述的裝置，其特征在于還包括呈現(xiàn)單元，被配置成呈現(xiàn)通過展開矢量格式圖像數(shù)據(jù)所獲得的標(biāo)量格式圖像數(shù)據(jù)，其中對該矢量格式圖像數(shù)據(jù)執(zhí)行了去塊過濾器處理。
6.根據(jù)權(quán)利要求1所述的裝置，其特征在于重疊單元將標(biāo)量格式圖像轉(zhuǎn)換成矢量格式圖像數(shù)據(jù)，使得對在包括預(yù)定數(shù)目像素的像素塊中在水平方向或垂直方向上連續(xù)排列的像素被轉(zhuǎn)換為一個(gè)矢量的元素。
7.根據(jù)權(quán)利要求1所述的裝置，其特征在于圖像處理單元從位于矢量格式圖像數(shù)據(jù)的端部上的矢量格式像素，順序地執(zhí)行去塊過濾器的處理。
8.根據(jù)權(quán)利要求1所述的裝置，其特征在于重疊單元將標(biāo)量格式圖像轉(zhuǎn)換成矢量格式圖像數(shù)據(jù)，使得在包括預(yù)定數(shù)目像素的像素塊以及與此相鄰像素塊中在水平方向或垂直方向上連續(xù)排列的像素被轉(zhuǎn)換為一個(gè)矢量的元素。
9.一種圖像處理裝置，其特征在于包括第一重疊單元，被配置成將在水平方向上排列的多個(gè)標(biāo)量格式圖像重疊，并且將它們轉(zhuǎn)換成第一矢量格式圖像數(shù)據(jù)；第一圖像處理單元，被配置成對第一矢量圖像數(shù)據(jù)執(zhí)行去塊過濾器處理；第二重疊單元，被配置成對在水平方向上排列的多個(gè)標(biāo)量格式圖像的每個(gè)元素重疊以將它們轉(zhuǎn)換成第一矢量格式圖像數(shù)據(jù)；第二圖像處理單元，被配置成對第二矢量圖像數(shù)據(jù)執(zhí)行去塊過濾器處理。
10.根據(jù)權(quán)利要求9所述的裝置，其特征在于還包括展開單元，被配置成在垂直方向上將第二矢量格式圖像數(shù)據(jù)中的像素的每個(gè)元素展開，其中第二圖像處理單元對該第二矢量格式圖像數(shù)據(jù)執(zhí)行了去塊過濾器處理，并且將第二矢量格式圖像數(shù)據(jù)轉(zhuǎn)換成標(biāo)量格式圖像數(shù)據(jù)，。
11.根據(jù)權(quán)利要求9所述的裝置，其特征在于還包括第一存儲(chǔ)器，被配置成保存包括程序的數(shù)據(jù)以及運(yùn)動(dòng)圖像，該程序控制每個(gè)單元的操作；第二存儲(chǔ)器，被配置成存儲(chǔ)多個(gè)標(biāo)量格式圖像；第三存儲(chǔ)器，被配置成存儲(chǔ)第一和第二矢量格式圖像數(shù)據(jù)；以及第四存儲(chǔ)器，被配置成存儲(chǔ)通過展開矢量格式圖像數(shù)據(jù)所獲得的標(biāo)量格式圖像數(shù)據(jù)，其中對該矢量格式圖像數(shù)據(jù)執(zhí)行了去塊過濾器處理。
12.根據(jù)權(quán)利要求9所述的裝置，其特征在于還包括呈現(xiàn)單元，被配置成使其呈現(xiàn)通過展開矢量格式圖像數(shù)據(jù)所獲得的標(biāo)量格式圖像數(shù)據(jù)，其中對該矢量格式圖像數(shù)據(jù)執(zhí)行了去塊過濾器處理。
13.根據(jù)權(quán)利要求9所述的裝置，其特征在于重疊單元將標(biāo)量格式圖像轉(zhuǎn)換成矢量格式圖像數(shù)據(jù)，使得對在包括預(yù)定數(shù)目像素的像素塊中在水平方向或垂直方向上連續(xù)排列的像素被轉(zhuǎn)換為一個(gè)矢量的元素。
14.根據(jù)權(quán)利要求9所述的裝置，其特征在于圖像處理單元從位于矢量格式圖像數(shù)據(jù)的端部上的矢量格式像素，順序地執(zhí)行去塊過濾器處理。
15.根據(jù)權(quán)利要求9所述的裝置，其特征在于還包括第一排序單元，被配置成對矢量格式像素串進(jìn)行排序以創(chuàng)建多個(gè)列，其中該矢量格式像素串被包括在第一重疊單元輸出的矢量格式圖像數(shù)據(jù)中，并且被排列在垂直方向上的一個(gè)列上；以及第二排序單元，被配置成對矢量格式像素串進(jìn)行排序以創(chuàng)建多個(gè)列，該矢量格式像素串被包括在第二重疊單元輸出的矢量格式圖像數(shù)據(jù)中，并且被排列在水平方向上的一個(gè)行上。
16.一種圖像處理方法，其特征在于包括將在水平方向上和垂直方向中至少一個(gè)方向上排列的多個(gè)標(biāo)量格式像素重疊并且將它們轉(zhuǎn)換成矢量格式圖像數(shù)據(jù)；以及對該矢量圖像數(shù)據(jù)執(zhí)行去塊過濾器處理。
17.一種用于對圖像數(shù)據(jù)執(zhí)行去塊過濾器處理的計(jì)算機(jī)可讀程序，其特征在于包括用于將在水平方向上和垂直方向中至少一個(gè)方向上排列的多個(gè)標(biāo)量格式像素重疊并且將它們轉(zhuǎn)換成矢量格式圖像數(shù)據(jù)的代碼單元；以及用于對該矢量圖像數(shù)據(jù)執(zhí)行去塊過濾器處理的代碼單元。
全文摘要
一種圖像處理裝置，其具有重疊單元(4，7)和圖像處理單元。該重疊單元將在水平方向上和垂直方向中至少一個(gè)方向上排列的多個(gè)標(biāo)量格式圖像重疊，并且將它們轉(zhuǎn)換成矢量格式圖像數(shù)據(jù)。該圖像處理單元(6，9)對該矢量圖像數(shù)據(jù)執(zhí)行去塊過濾器處理。
文檔編號H04N7/26GK101087425SQ20071012825
公開日2007年12月12日 申請日期2007年3月23日 優(yōu)先權(quán)日2006年3月31日
發(fā)明者爰島快行 申請人:株式會(huì)社東芝