專利名稱：自適應(yīng)視頻信號運(yùn)算處理裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于例如數(shù)值計算、圖像處理、圖形處理等的計算機(jī)系統(tǒng)中的中央處理器，特別是，涉及適于例如象圖像壓縮編碼和解碼(CODEC)那樣的視頻信號處理的數(shù)字信號處理器(DSP)等自適應(yīng)視頻信號運(yùn)算處理裝置。
背景技術(shù)：
近年來，以CCITT H.261建議和MPEG等的圖像壓縮編碼/擴(kuò)張解碼標(biāo)準(zhǔn)為基礎(chǔ)，提出了多種用于圖像壓縮編碼和解碼中的數(shù)字信號處理器(DSP)的方案。
本發(fā)明在這些DSP中涉及這樣的DSP，即，正如山內(nèi)(Yamauchi)等人在文獻(xiàn)“高度并行單片視頻DSP(Architecture and Implemen-tation of a Highly Parallel Single-Chip Video DSP)”(IEEE TRANSACTIONS ON CIRCU ITS AND SYSTEMS FOR VIDEOTECHNOLOGY，VOL.2，NO.2，JUNE 1992，pp.207-220)里所建議的那樣、具有多個由算術(shù)及邏輯運(yùn)算器、乘法器和累加器組成的運(yùn)算單元，這些運(yùn)算單元使用借助于單一指令流對多個數(shù)據(jù)進(jìn)行并行處理的SIMD(“單指令流-多重數(shù)據(jù)流”)控制方式。


圖1示出該文獻(xiàn)所描述的構(gòu)成。這種DSP運(yùn)算單元可以把運(yùn)算器以流水線方式連接起來，進(jìn)行運(yùn)算的流水線處理。
首先，簡單說明運(yùn)算流水線的原理。
圖2示出運(yùn)算流水線的構(gòu)成例子。該運(yùn)算流水線把兩個輸入X、Y在算術(shù)及邏輯運(yùn)算器(ALU)A1中相加以后，把相加結(jié)果與來自系數(shù)存儲器A3的系數(shù)在乘法器A2中相乘，進(jìn)而，把相乘結(jié)果在累加器A4中累加。把對多個數(shù)據(jù)連續(xù)進(jìn)行這種運(yùn)算鏈的處理，稱為“運(yùn)算流水線處理”。
圖3示出圖2運(yùn)算流水線中處理的時序圖。為簡單起見，假定運(yùn)算流水線的各運(yùn)算器A1、A2和A4在一個時鐘周期內(nèi)完成運(yùn)算。
圖3中的處理單位意味著是在兩個輸入端子上輸入的數(shù)據(jù)組(X，Y)。
如圖3所示那樣，例如，試看第i個處理單位，在第(k-1)個時鐘周期內(nèi)，ALU(A1)進(jìn)行加法處理；在第k個時鐘周期內(nèi)，乘法器A2進(jìn)行乘法處理；在第(k+1)個時鐘周期內(nèi)，累加器A4進(jìn)行累加處理。
另外，試看第k個時鐘周期，完成了加法處理和乘法處理的第(t-1)個處理單位，在累加器A4中累加；完成了加法的第i個處理單位在乘法器A2中進(jìn)行乘法運(yùn)算；第(i+1)個處理單位在加法器A1中進(jìn)行加法運(yùn)算。
通過對多個處理單位反復(fù)進(jìn)行這樣的操作，能夠?qū)崿F(xiàn)運(yùn)算的流水線處理。
其次，說明先有技術(shù)。
在這里，考慮4組運(yùn)算單元的借助于單一指令流對多個數(shù)據(jù)進(jìn)行并行處理、在上述文獻(xiàn)中所建議的“單指令流-多重數(shù)據(jù)流(SIMD)”控制方式的DSP。
作為前提，假定各運(yùn)算單元由進(jìn)行加法、減法和邏輯運(yùn)算的算術(shù)及邏輯運(yùn)算器(ALU)、乘法器、累加器等三種運(yùn)算器組成。還有，為了簡單起見，假定，各運(yùn)算器在一個時鐘周期內(nèi)完成運(yùn)算。因此，這種DSP在一個時鐘周期內(nèi)最多可實現(xiàn)12個運(yùn)算(例如，4個加法、4個乘法和4個累加)。進(jìn)而假定，這種DSP在芯片內(nèi)或芯片外具有用于存儲向運(yùn)算器提供的數(shù)據(jù)、以及來自運(yùn)算器的數(shù)據(jù)的數(shù)據(jù)存儲器。
首先，描述在上述前提下，實現(xiàn)自由度最大的運(yùn)算流水線的構(gòu)成。
如圖4A～圖4D所示，把數(shù)據(jù)存儲器看作流水線寄存器，借助于軟件進(jìn)行運(yùn)算流水線處理(稱為軟件流水線操作)，借此，能夠?qū)崿F(xiàn)自由度最大的運(yùn)算流水線。這時，各個運(yùn)算器只通過數(shù)據(jù)存儲器耦合起來。另外，圖4A～圖4D分別示出四組并行設(shè)置的運(yùn)算處理單元的動作狀態(tài)。因此，數(shù)據(jù)存儲器必須在每一個時鐘周期內(nèi)，對全部運(yùn)算器的輸入提供任意數(shù)據(jù)，同時，把來自全部運(yùn)算器輸出的數(shù)據(jù)存儲到任意地址中。
數(shù)據(jù)存儲器的端口數(shù)，正如從圖4A～圖4D判定的那樣，用于至運(yùn)算器輸入的必須有16個端口，用于來自運(yùn)算器輸出的必須有12個端口。因此，必須是總計28個端口的多端口存儲器。結(jié)合當(dāng)前的半導(dǎo)體電路技術(shù)來看，這是不現(xiàn)實的，實際上，難以實現(xiàn)。
因此，可以考慮采用把數(shù)據(jù)存儲器分成幾組、減少每一組端口數(shù)的方法。但是，例如，在上述例子中，即使把數(shù)據(jù)存儲器分割成4個組。還必須采用每一組為7個端口的多端口存儲器。
另外，可以采用根據(jù)應(yīng)用程序把運(yùn)算流水線的自由度限定于某一程度、以求減少數(shù)據(jù)存儲器端口數(shù)的方法。例如，正如上述文獻(xiàn)中所建議那樣備有4組由ALU、乘法器和累加器組成的運(yùn)算流水線，只把運(yùn)算流水線的輸入、輸出連接到數(shù)據(jù)存儲器上。在這種情況下，數(shù)據(jù)存儲器所需的端口中，用于至運(yùn)算流水線輸入的變成為8個端口，用于來自運(yùn)算流水線輸出的變成為4個端口。
可是，在上述先有技術(shù)DSP運(yùn)算流水線的構(gòu)成中，存在著運(yùn)算流水線自由度的制約。例如，就乘法運(yùn)算以后進(jìn)行邏輯運(yùn)算而言，不能進(jìn)行流水線運(yùn)算。在這種情況下，首先，利用乘法器對全部數(shù)據(jù)進(jìn)行乘法流水線處理，其次，利用ALU對乘法運(yùn)算后的全部數(shù)據(jù)進(jìn)行邏輯運(yùn)算的流水線處理。因此，因為在進(jìn)行乘法運(yùn)算時不能使用ALU、在進(jìn)行邏輯運(yùn)算時不能使用乘法器，所以，運(yùn)算器的使用效率低，使性能低下。另外，因為是把運(yùn)算流水線處理分成兩次進(jìn)行的，所以，建立運(yùn)算流水線時的初始化設(shè)定必須設(shè)定兩次。
又，在上述先有技術(shù)的DSP中，因為必須把完成第一次運(yùn)算流水線處理時的中間結(jié)果存儲起來，所以，使數(shù)據(jù)存儲器的容量增大。
在圖像編碼和解碼的要素處理中，正如上述例子那樣，除了在乘法運(yùn)算以后進(jìn)行邏輯運(yùn)算以外，還必須連續(xù)進(jìn)行乘法運(yùn)算和把幾個乘法運(yùn)算的結(jié)果相加等。就每個這樣的運(yùn)算而言，會產(chǎn)生與上述問題相同的問題。
另外，在上述先有技術(shù)的DSP運(yùn)算流水線構(gòu)成中，根據(jù)本申請人的、在專利申請書特愿平4年338183號“二維8×8離散余弦變換電路和二維8×8離散余弦反變換電路”中所建議那樣的高速運(yùn)算算法中，不能實現(xiàn)混合運(yùn)算(加法和減法)和乘加法運(yùn)算的運(yùn)算流水線構(gòu)成。
上述率先的專利申請書在進(jìn)行二維8×8離散余弦變換和二維8×8離散余弦反變換時，是應(yīng)用矩陣分析進(jìn)行運(yùn)算處理的，其細(xì)節(jié)將在后面參考圖9和圖10加以描述。
如上所述，不能構(gòu)成運(yùn)算流水線的理由是因為受到數(shù)據(jù)存儲器端口數(shù)的制約，還由于進(jìn)行混合運(yùn)算(在先有技術(shù)例子中，使用兩個運(yùn)算單元)時，乘加法運(yùn)算不能并行進(jìn)行運(yùn)算。由此，混合運(yùn)算和乘加法運(yùn)算是依次進(jìn)行的，所以，與上述專利申請書中所建議那樣理想運(yùn)算流水線的構(gòu)成相比較，性能顯著低下。
發(fā)明的公開本發(fā)明的目的在于，提供一種能夠在圖像編碼和解碼的要素處理中把乘法運(yùn)算以后進(jìn)行的邏輯運(yùn)算、連續(xù)進(jìn)行乘法的運(yùn)算、和把幾個乘法運(yùn)算結(jié)果相加的各種運(yùn)算自適應(yīng)地在一個裝置中實現(xiàn)的自適應(yīng)視頻信號運(yùn)算處理裝置。
本發(fā)明的第二目的在于，通過以“單指令流-多重數(shù)據(jù)流(SIMD)”控制方式為基礎(chǔ)、使用一組運(yùn)算流水線的一次流水線處理 能夠?qū)崿F(xiàn)上述本發(fā)明的自適應(yīng)視頻信號運(yùn)算處理裝置。即，本發(fā)明的第二目的在于，提供一種能夠并行地實現(xiàn)使用不同運(yùn)算器運(yùn)算的、不降低運(yùn)算器使用效率的自適應(yīng)視頻信號運(yùn)算處理裝置。
本發(fā)明的第三目的在于，提供一種建立運(yùn)算流水線時的初始化設(shè)定一次即可的自適應(yīng)視頻信號運(yùn)算處理裝置。
本發(fā)明的第四目的在于，提供一種不須存儲中間結(jié)果、數(shù)據(jù)存儲器容量也不須加大的自適應(yīng)視頻信號運(yùn)算處理裝置。
為了解決上述課題、達(dá)到上述目的，本發(fā)明的基本設(shè)想是設(shè)置結(jié)構(gòu)可變的運(yùn)算流水線，即，在進(jìn)行視頻信號處理的數(shù)據(jù)信號處理器(DSP)，就是說，在自適應(yīng)視頻信號運(yùn)算處理裝置中，具有多個由算術(shù)及邏輯運(yùn)算器(ALU)、乘法器、累加器組成的運(yùn)算單元，借助于適當(dāng)切換這些運(yùn)算單元內(nèi)的運(yùn)算器連接形態(tài)和運(yùn)算單元間的連接形態(tài)，實現(xiàn)自適應(yīng)于下列圖像編碼和解碼處理中各種運(yùn)算即各種要素處理的運(yùn)算流水線，例如(1)離散余弦變換(DCT)和離散余弦反變換(IDCT)；(2)量化和反量化；(3)運(yùn)動矢量檢出；(4)運(yùn)動補(bǔ)償(假想像素的生成和預(yù)測像素的生成)；(5)濾波(內(nèi)積運(yùn)算)；(6)圖像相加和圖像差分。
因此，如果根據(jù)本發(fā)明，可以提供進(jìn)行所需視頻信號處理的自適應(yīng)視頻信號運(yùn)算處理裝置。
這種裝置就m×n大小的像塊數(shù)據(jù)而言，是自適應(yīng)地進(jìn)行離散余弦變換/離散余弦反變換、量化/反量化、運(yùn)動矢量檢出、運(yùn)動補(bǔ)償內(nèi)積運(yùn)算、圖像數(shù)據(jù)相加和圖像數(shù)據(jù)差分處理等圖像壓縮編碼/擴(kuò)張解碼處理的運(yùn)算處理裝置。
這種裝置具有分別具有進(jìn)行加法、減法、各種邏輯運(yùn)算、大小比較、差分絕對值運(yùn)算、混合加法和減法處理的擴(kuò)展算術(shù)及邏輯運(yùn)算器，設(shè)置在該擴(kuò)展算術(shù)及邏輯運(yùn)算器之后的第一內(nèi)部流水線存儲器，設(shè)置在該第一內(nèi)部流水線存儲器之后的乘法器，向該乘法器提供系數(shù)的系數(shù)存儲器，設(shè)置在該乘法器之后的第二內(nèi)部流水線存儲器，設(shè)置在該第二內(nèi)部流水線存儲器之后的累加運(yùn)算器和設(shè)置在該累加運(yùn)算器之后的第三內(nèi)部流水線存儲器的多個并行設(shè)置的運(yùn)算單元；
在這些多個并行設(shè)置的運(yùn)算單元中，把相鄰運(yùn)算單元連接起來那樣配置的互連流水線存儲器；以及把輸入數(shù)據(jù)有選擇地加到前述多個運(yùn)算單元上的數(shù)據(jù)選擇器；這種裝置通過前述互連流水線存儲器把相鄰的運(yùn)算單元耦合起來，并且，選擇前述運(yùn)算單元內(nèi)的內(nèi)部流水線存儲器，構(gòu)成給定的數(shù)據(jù)流通路徑。
如果根據(jù)上述構(gòu)成，具有多個由算術(shù)及邏輯運(yùn)算器(ALU)、乘法器、累加器組成的運(yùn)算單元，借助于適當(dāng)切換這些運(yùn)算單元內(nèi)的運(yùn)算器連接形態(tài)和運(yùn)算單元間的連接形態(tài)，能夠?qū)D像編碼和解碼的各要素處理并行地進(jìn)行流水線處理。
下面，更具體地描述關(guān)于各種運(yùn)算處理的動作。
(1)在用于離散余弦變換處理和離散余弦反變換處理的情況下，在前述多個運(yùn)算單元的第一級運(yùn)算單元上，設(shè)置用于離散余弦變換處理的數(shù)據(jù)輸入端子，在前述多個運(yùn)算單元的末級運(yùn)算單元上，設(shè)置用于離散余弦反變換處理的數(shù)據(jù)輸出端子。
(2)當(dāng)把m×n圖像數(shù)據(jù)作為一個像塊，多次進(jìn)行混合運(yùn)算和流水線存儲處理以進(jìn)行離散余弦變換處理時，把前述用于離散余弦變換處理的數(shù)據(jù)輸入到除了前述末級運(yùn)算單元以外的多個運(yùn)算單元內(nèi)的擴(kuò)展算術(shù)及邏輯運(yùn)算器上，把該擴(kuò)展算術(shù)及邏輯運(yùn)算器的處理結(jié)果輸出到相鄰的前述互連流水線存儲器上，把末級互連流水線存儲器的數(shù)據(jù)輸入到全部運(yùn)算單元內(nèi)的乘法器上，在前述累加器中對這種相乘結(jié)果進(jìn)行累加。
(3)當(dāng)把m×n圖像數(shù)據(jù)作為一個像塊，多次進(jìn)行流水線存儲處理和混合運(yùn)算以進(jìn)行離散余弦反變換處理時，
(a)把前述用于離散余弦反變換的數(shù)據(jù)輸入到全部運(yùn)算單元內(nèi)的乘法器上，在前述累加器中對這種相乘結(jié)果進(jìn)行累加；(b)把累加器的輸出輸入到除了前述第一級運(yùn)算單元以外多個運(yùn)算單元內(nèi)的擴(kuò)展算術(shù)及邏輯運(yùn)算器上，把該擴(kuò)展算術(shù)及邏輯運(yùn)算器的處理結(jié)果輸出到相鄰的互連流水線存儲器上。
(4)在進(jìn)行量化處理時，把相鄰運(yùn)算單元內(nèi)第一運(yùn)算單元中乘法器的輸出端子連接到第二運(yùn)算單元中乘法器的輸入端子上，把該第二乘法器的相乘結(jié)果輸入到其后的累加器上，把量化對象數(shù)據(jù)輸入到前述第一乘法器上。
(5)在進(jìn)行反量化處理時，把相鄰運(yùn)算單元內(nèi)第一運(yùn)算單元中乘法器的輸出端子連接到第二運(yùn)算單元中乘法器的輸入端子上，把該第二乘法器的相乘結(jié)果輸入到其后的累加器上，把反量化對象的數(shù)據(jù)和常數(shù)輸入到第一運(yùn)算單元上，把第一運(yùn)算單元的運(yùn)算結(jié)果輸入到第一乘法器上。
(6)在進(jìn)行運(yùn)動矢量檢出處理時，把全部運(yùn)算單元內(nèi)的擴(kuò)展算術(shù)及邏輯運(yùn)算器連接到累加器上，把運(yùn)動矢量檢出對象的兩個數(shù)據(jù)輸入到前述擴(kuò)展算術(shù)及邏輯運(yùn)算器上。
(7)在運(yùn)動補(bǔ)償中的假想像素生成處理時，把全部運(yùn)算單元內(nèi)的擴(kuò)展算術(shù)及邏輯運(yùn)算器連接到累加器上，把運(yùn)動補(bǔ)償中假想像素生成對象的兩個數(shù)據(jù)輸入到前述擴(kuò)展算術(shù)及邏輯運(yùn)算器上。
(8)在運(yùn)動補(bǔ)償中的預(yù)測像素生成處理時，把相鄰運(yùn)算單元中一方的乘法器的輸出加到另一方的擴(kuò)展算術(shù)及邏輯運(yùn)算器中一個輸入端子上，把另一方的乘法器的輸出加到該另一方的擴(kuò)展算術(shù)及邏輯運(yùn)算器中另一個輸入端子上，在另一方累加器中對該另一方擴(kuò)展算術(shù)及邏輯運(yùn)算器的運(yùn)算結(jié)果進(jìn)行累加。
(9)在進(jìn)行內(nèi)積運(yùn)算處理時，把內(nèi)積對象的數(shù)據(jù)輸入到全部運(yùn)算單元內(nèi)的乘法器上，在對應(yīng)的累加器中對該相乘結(jié)果進(jìn)行累加。
(10)在進(jìn)行圖像數(shù)據(jù)相加處理或者進(jìn)行圖像數(shù)據(jù)相減處理時，把處理對象的數(shù)據(jù)輸入到全部運(yùn)算單元內(nèi)的擴(kuò)展算術(shù)及邏輯運(yùn)算器上，輸出該處理結(jié)果。
在前述運(yùn)算單元內(nèi)，前述擴(kuò)展算術(shù)及邏輯運(yùn)算器、前述乘法器和前述累加器適合進(jìn)行流水線處理操作。
前述自適應(yīng)視頻信號運(yùn)算處理器又適合在用單一指令流進(jìn)行多重數(shù)據(jù)流處理的“單指令流-多重數(shù)據(jù)流(SIMD)”控制方式下動作。
前述擴(kuò)展算術(shù)及邏輯運(yùn)算器又特定地具有把第一輸入數(shù)據(jù)的極性倒相的正負(fù)倒相器；設(shè)置在該正負(fù)倒相器之后有選擇地輸出前述第一輸入數(shù)據(jù)或前述極性已倒相的第一數(shù)據(jù)的第一數(shù)據(jù)選擇器；把該第一數(shù)據(jù)選擇器選擇后輸出的數(shù)據(jù)和第二輸入數(shù)據(jù)相加的加法器；從前述第一輸入數(shù)據(jù)中減掉前述第二輸入數(shù)據(jù)的減法器；對前述第一輸入數(shù)據(jù)和前述第二輸入數(shù)據(jù)進(jìn)行或、與、異或、非等邏輯處理的邏輯運(yùn)算器；輸入前述加法器和前述減法器的輸出、進(jìn)行正負(fù)判定的正負(fù)判定器；輸入前述加法器、前述減法器和前述正負(fù)判定器的輸出、并有選擇地輸出的第二數(shù)據(jù)選擇器連接到該第二數(shù)據(jù)選擇器上的第一輸出端子；以及連接到前述減法器上的第二輸出端子，把上述電路加以組合，進(jìn)行加法、減法、各種邏輯運(yùn)算、大小比較以及差分絕對值運(yùn)算中的任一種運(yùn)算。
附圖的簡單說明上述目的和特征、以及其它目的和特征，根據(jù)與附圖有關(guān)的描述將會變得更清楚，這里，圖1為“單指令流-多重數(shù)據(jù)流(SIMD)”控制方式的處理器構(gòu)成圖；圖2為示出運(yùn)算流水線例子的圖；圖3為示出圖2運(yùn)算流水線處理中時序圖的圖；圖4為示出最大自由度的運(yùn)算流水線構(gòu)成的圖，圖4A～圖4D為分別示出4系統(tǒng)運(yùn)算單元動作形態(tài)的圖；圖5為示出根據(jù)本發(fā)明實施例中運(yùn)算單元耦合形態(tài)的自適應(yīng)視頻信號運(yùn)算處理裝置的構(gòu)成圖；圖6為示出根據(jù)本發(fā)明實施例中運(yùn)算單元0和2構(gòu)成的圖；圖7為示出根據(jù)本發(fā)明實施例中運(yùn)算單元1和3構(gòu)成的圖；圖8為示出根據(jù)本發(fā)明實施例中擴(kuò)展邏輯運(yùn)算器(EALU)構(gòu)成的圖；圖9為8×8離散余弦變換(DCT)運(yùn)算流水線的構(gòu)成圖；圖10為8×8離散余弦反變換(IDCT)運(yùn)算流水線的構(gòu)成圖；圖11為示出當(dāng)進(jìn)行根據(jù)本發(fā)明實施例中DCT處理時，自適應(yīng)視頻信號運(yùn)算處理裝置的運(yùn)算流水線構(gòu)成的圖，圖11A～圖11D為分別示出4系統(tǒng)運(yùn)算單元動作形態(tài)的圖；圖12為示出當(dāng)進(jìn)行根據(jù)本發(fā)明實施例中IDCT處理時，自適應(yīng)視頻信號運(yùn)算處理裝置的運(yùn)算流水線構(gòu)成的圖，圖12A～圖12D為分別示出4系統(tǒng)運(yùn)算單元動作形態(tài)的圖；圖13為示出當(dāng)進(jìn)行根據(jù)本發(fā)明實施例中量化處理時，自適應(yīng)視頻信號運(yùn)算處理裝置的運(yùn)算流水線構(gòu)成的圖，圖13A～圖13D為分別示出4系統(tǒng)運(yùn)算單元動作形態(tài)的圖；圖14為示出當(dāng)進(jìn)行根據(jù)本發(fā)明實施例中反量化處理時，自適應(yīng)視頻信號運(yùn)算處理裝置的運(yùn)算流水線構(gòu)成的圖，圖14A～圖14D為分別示出4系統(tǒng)運(yùn)算單元動作形態(tài)的圖；圖15為示出當(dāng)進(jìn)行根據(jù)本發(fā)明實施例中運(yùn)動矢量檢出處理時，自適應(yīng)視頻信號運(yùn)算處理裝置的運(yùn)算流水線構(gòu)成的圖，圖15A～圖15D為分別示出4系統(tǒng)運(yùn)算單元動作形態(tài)的圖；圖16為示出圖像編碼和解碼運(yùn)動補(bǔ)償中假想像素生成規(guī)則的圖；圖17為示出當(dāng)進(jìn)行根據(jù)本發(fā)明實施例的運(yùn)動補(bǔ)償中假想像素生成處理時，運(yùn)算流水線構(gòu)成的圖，圖17A～圖17D為分別示出4系統(tǒng)運(yùn)算單元動作形態(tài)的圖；圖18為示出當(dāng)進(jìn)行根據(jù)本發(fā)明實施例的運(yùn)動補(bǔ)償中預(yù)測像素生成處理時，運(yùn)算流水線構(gòu)成的圖，圖18A～圖18D為分別示出4系統(tǒng)運(yùn)算單元動作形態(tài)的圖；圖19為示出當(dāng)進(jìn)行根據(jù)本發(fā)明實施例中濾波處理時，運(yùn)算流水線構(gòu)成的圖，圖19A～圖19D為分別示出4系統(tǒng)運(yùn)算單元動作形態(tài)的圖；圖20為示出當(dāng)進(jìn)行根據(jù)本發(fā)明實施例的圖像相加和圖像差分處理時，自適應(yīng)視頻信號運(yùn)算處理裝置的運(yùn)算流水線構(gòu)成的圖，圖20A～圖20D為分別示出4系統(tǒng)運(yùn)算單元動作形態(tài)的圖；
實施發(fā)明的最佳方式下面，參考附圖，詳述關(guān)于本發(fā)明實施例的自適應(yīng)視頻信號運(yùn)算處理裝置。
本發(fā)明實施例中，與先有技術(shù)同樣地，也考慮4組運(yùn)算單元借助于單一指令流并行動作、在上述文獻(xiàn)中所建議的“單指令流-多重數(shù)據(jù)流(SIMD)”控制方式的DSP。
作為本實施例的前提，假定各運(yùn)算單元由進(jìn)行加法、減法和邏輯運(yùn)算的ALU、乘法器、累加器等三種運(yùn)算器組成。還有，為了簡單起見，假定，各運(yùn)算器在一個時鐘周期內(nèi)完成運(yùn)算。因此，這種DSP在一個時鐘周期內(nèi)最多可實現(xiàn)12個運(yùn)算。進(jìn)而假定，這種DSP在芯片內(nèi)或芯片外具有用于存儲向運(yùn)算器提供的數(shù)據(jù)、以及來自運(yùn)算器的數(shù)據(jù)的數(shù)據(jù)存儲器。
下面，先描述運(yùn)算單元的構(gòu)成，之后，說明圖像編碼解碼要素處理中運(yùn)算單元的動作。
還有，這里例示的圖像編碼解碼的要素處理主要是MPEG上所用的要素處理。
(1)運(yùn)算單元的構(gòu)成圖5示出4組運(yùn)算單元1～4之間的耦合形態(tài)。圖5中，未示出數(shù)據(jù)存儲器。
實際上，數(shù)據(jù)輸入端子(Xin0～Xin3)11～14、數(shù)據(jù)輸入端子(Yin0～Yin3)21～24以及數(shù)據(jù)輸出端子(Out1～Out3)31～34通過某些相互耦合網(wǎng)連接到數(shù)據(jù)存儲器(圖中，未示出)上。
在這里，為了簡單起見，假定數(shù)據(jù)存儲器能夠在每一個時鐘周期內(nèi)把數(shù)據(jù)提供到上述8個數(shù)據(jù)輸入端子11～14和21～24上，同時，能夠在每一個時鐘周期內(nèi)把來自上述4個數(shù)據(jù)輸出端子31～34的數(shù)據(jù)寫入。即，假定運(yùn)算單元1～4和數(shù)據(jù)存儲器(圖中，未示出)借助于具備有上述數(shù)據(jù)傳送能力的相互耦合網(wǎng)耦合起來。
把運(yùn)算單元1～4之間耦合起來的存儲器(以下，稱為互連流水線存儲器)0(5)、存儲器1(6)、存儲器2(7)和并-串變換器9、串-并變換器10和數(shù)據(jù)選擇器8、41～44在實現(xiàn)后述離散余弦變換(DCT)/離散余弦反變換(IDCT)的高速運(yùn)算算法中的大量運(yùn)算流水線構(gòu)成時，是必要的。
再有，就圖5所示DCT輸入端子51和IDCT輸出端子52而言，通過相互耦合網(wǎng)(圖中，未示出)連接到數(shù)據(jù)存儲器(圖中，未示出)上，也能夠在每一個時鐘周期內(nèi)輸入、輸出數(shù)據(jù)。
圖6和圖7示出運(yùn)算單元的內(nèi)部構(gòu)成。
圖6為運(yùn)算單元0(1)和運(yùn)算單元2(3)的內(nèi)部構(gòu)成圖，圖7為運(yùn)算單元1(2)和運(yùn)算單元3(4)的內(nèi)部構(gòu)成圖。
如圖6和圖7所示那樣，在運(yùn)算單元內(nèi)部進(jìn)行加法、減法、邏輯運(yùn)算和后述混合運(yùn)算等運(yùn)算的擴(kuò)展算術(shù)及邏輯運(yùn)算器(EALU)61、系數(shù)存儲器63、乘法器62、進(jìn)行累加和移位運(yùn)算的帶移位功能的累加器64、進(jìn)而，輸入端子(Xink)1k(k表示第k個)、(Yink)2k和輸出端子(Oulk)3k通過數(shù)據(jù)選擇器71～75相互耦合起來。為了簡單起見，假定這些運(yùn)算器全都能夠在一個時鐘周期內(nèi)完成運(yùn)算。因此，存在著設(shè)置在運(yùn)算器61、62、64之后的內(nèi)部流水線存儲器(圖示中，省略)。
借助于采用運(yùn)算器61、62、64與內(nèi)部流水線存儲器這樣的耦合形態(tài)，根據(jù)數(shù)據(jù)選擇器71～75的設(shè)定，通過內(nèi)部流水線存儲器能夠改變運(yùn)算器61、62、64間的數(shù)據(jù)總線。因此，這種運(yùn)算單元能夠采用1～3級結(jié)構(gòu)可變的運(yùn)算流水線的構(gòu)成。
圖6所示運(yùn)算單元與圖7所示運(yùn)算單元的不同在于，圖7所示運(yùn)算單元的構(gòu)成是把第三輸入數(shù)據(jù)加到數(shù)據(jù)選擇器71和73上。
圖8示出擴(kuò)展算術(shù)及邏輯運(yùn)算器(EALU)61的構(gòu)成。
EALU61具有正負(fù)倒相器301、數(shù)據(jù)選擇器306、加法器302、減法器303、邏輯運(yùn)算器304、正負(fù)判定器305和數(shù)據(jù)選擇器307。該EALU61除一般ALU基本功能，即，加法、減法、邏輯運(yùn)算(非、或、與、異或等)以外，作為擴(kuò)展功能還備有大小比較運(yùn)算min(X，Y)、max(X，Y)、差分絕對值運(yùn)算|X-Y|和混合運(yùn)算(就兩個輸入而言，同時進(jìn)行加法和減法運(yùn)算)。
這些基本功能和擴(kuò)展功能通過適當(dāng)組合上述各種運(yùn)算器301、302、303、304和305，就可以實現(xiàn)。
下面，描述EALU61怎樣用各種運(yùn)算器來實現(xiàn)上述基本功能和擴(kuò)展功能。
加法加到輸入端子311和312上的兩個輸入數(shù)據(jù)X和Y的相加用加法器302實現(xiàn)。就輸入數(shù)據(jù)X而言，預(yù)先設(shè)定數(shù)據(jù)選擇器306使未通過正負(fù)倒相器301的數(shù)據(jù)X加到加法器302上。這樣，從加法器302輸出相加的結(jié)果(X+Y)。數(shù)據(jù)選擇器307把加法器302的相加輸出作為EALU61的輸出從A測輸出端子313輸出。
減法加到輸入端子311和312上兩個輸入數(shù)據(jù)的(X-Y)運(yùn)算用減法器303實現(xiàn)。從減法器303輸出相減的結(jié)果(X-Y)。該相減結(jié)果從B側(cè)輸出端子314輸出。
邏輯運(yùn)算加到輸入端子311和312上的兩個輸入數(shù)據(jù)(X，Y)的邏輯運(yùn)算用邏輯運(yùn)算器304實現(xiàn)。邏輯運(yùn)算器304進(jìn)行非、或、與、異或等邏輯運(yùn)算，把該運(yùn)算結(jié)果作為EALU61的結(jié)果通過數(shù)據(jù)選擇器307從A側(cè)輸出端子313輸出。
大小比較運(yùn)算min(X，Y)和max(X，Y)加到輸入端子311和312上的兩個輸入數(shù)據(jù)(X，Y)的大小比較用正負(fù)倒相器301、加法器302、減法器303和正負(fù)判定器305來進(jìn)行。正負(fù)倒相器301把輸入數(shù)據(jù)X倒相，已倒相的(-X)通過數(shù)據(jù)選擇器306加到加法器302上。這樣，從加法器302輸出相減的結(jié)果(Y-X)。另一方面，在減法器303中進(jìn)行減法(X-Y)的運(yùn)算。把相加結(jié)果(Y-X)和相減結(jié)果(X-Y)加到正負(fù)判定器305上，進(jìn)行輸入數(shù)據(jù)X和Y大小的比較判定。正負(fù)判定器305根據(jù)下述判定標(biāo)準(zhǔn)進(jìn)行大小判定1.最小值min(X，Y)(Y-X)≥0時，最小值＝X(Y-X)＜0時，最小值＝Y(jié)2.最大值max(X，Y)(X-Y)≥0時，最大值＝Y(jié)(X-Y)＜0時，最大值＝X但是，不能同時輸出最小值和最大值。數(shù)據(jù)選擇器307把正負(fù)判定器305的輸出作為EALU61的輸出從A測輸出端子313輸出。差分絕對值運(yùn)算|X-Y|
加到輸入端子311和312上的兩個輸入數(shù)據(jù)(X，Y)的差分絕對值運(yùn)算用正負(fù)倒相器301、加法器302、減法器303和正負(fù)判定器305進(jìn)行。就輸入數(shù)據(jù)X而言，預(yù)先設(shè)定數(shù)據(jù)選擇器306、使通過正負(fù)極性倒相器301倒相后的-X經(jīng)數(shù)據(jù)選擇器306選擇后輸出到加法器302上。加法器302進(jìn)行加法運(yùn)算(Y-X)，減法器303進(jìn)行減法運(yùn)算(X-Y)。把這些運(yùn)算結(jié)果輸入到正負(fù)判定器305上。正負(fù)判定器305進(jìn)行下述差分絕對值運(yùn)算。
(Y-X)≥0時，差分絕對值＝Y(jié)-X(X-Y)＜0時，差分絕對值＝X-Y數(shù)據(jù)選擇器307把上述運(yùn)算后的差分絕對值從A側(cè)輸出端子313輸出。
混合運(yùn)算對加到輸入端子311和312上的兩個輸入數(shù)據(jù)(X，Y)的混合運(yùn)算用加法器302和減法器303實現(xiàn)。預(yù)先設(shè)定數(shù)據(jù)選擇器306，使輸入數(shù)據(jù)X不經(jīng)過正負(fù)倒相器301加到加法器302上。加法器302進(jìn)行(X+Y)的加法運(yùn)算，減法器303進(jìn)行(X-Y)的減法運(yùn)算。數(shù)據(jù)選擇器307把加法器302的輸出作為EALU61的輸出從A側(cè)輸出端子313輸出，與此同時，把減法器303的相減結(jié)果從B側(cè)端子314輸出。
只在這種混合運(yùn)算的情況下，EALU61才作為兩個輸入、兩個輸出的運(yùn)算器進(jìn)行動作。在上述以外的運(yùn)算中，EALU61是作為兩個輸入、一個輸出的運(yùn)算器進(jìn)行動作的。
下面，分別說明DCT/IDCT和量化等圖像編碼和解碼的各要素處理中運(yùn)算單元的動作。
離散余弦變換/離散余弦反變換(DCT/IDCT)
在離散余弦變換/離散余弦反變換(DCT/IDCT)的要素處理中，利用本發(fā)明實施例的運(yùn)算單元，按下述那樣來實現(xiàn)與本申請人以前申請的、在特愿平4年338183號說明書和附圖中所建議那樣的高速運(yùn)算算法相適應(yīng)的混合運(yùn)算(加法和減法)和乘加法運(yùn)算的大量運(yùn)算流水線的構(gòu)成。
圖9示出8×8DCT運(yùn)算流水線構(gòu)成的略圖，圖10示出8×8IDCT運(yùn)算流水線構(gòu)成的略圖。
這些運(yùn)算流水線的處理單位為8×8像塊(64個像素)，成為通過流水線存儲器131～133的4級運(yùn)算流水線的構(gòu)成。因此，與以通常的像素為單位、在每一個時鐘周期內(nèi)進(jìn)行流水線處理的流水線不同，因為是在每64個時鐘周期內(nèi)進(jìn)行流水線處理的，所以，可以認(rèn)為是大量的運(yùn)算流水線。
下面，通過8×8DCT的例子，簡單說明上述運(yùn)算流水線的高速運(yùn)算算法。
借助于前述專利申請書、特愿平4年338183號中所建議那樣的矩陣分析，8×8DCT可以借助于對8×8像塊(64個像素)進(jìn)行165次混合運(yùn)算(加法165次和減法165次)、進(jìn)而，進(jìn)行220次乘加法(乘法220次和累加220次)運(yùn)算來實現(xiàn)。因此，通過采用圖9所示那樣的4級運(yùn)算流水線的構(gòu)成。即按照3個混合運(yùn)算器101～103和4個乘加法運(yùn)算器111的電路構(gòu)成，就能夠在64個時鐘周期(理想情況為55個時鐘周期)內(nèi)進(jìn)行運(yùn)算流水線的處理，計算8×8DCT。
就8×8IDCT而言，只是交換了乘加法運(yùn)算與混合運(yùn)算的順序，運(yùn)算量和運(yùn)算流水線的級數(shù)都不變。
在上述申請中，因為使乘加法器的個數(shù)為3個，為了進(jìn)一步減少乘加法運(yùn)算的次數(shù)想了一些辦法，但是，在本發(fā)明實施例中，因為假定乘加法器的個數(shù)為4個，所以，不須下工夫減少乘加法運(yùn)算的次數(shù)了。
圖11A～圖11D示出在利用本發(fā)明實施例中的運(yùn)算單元實現(xiàn)上述8×8DCT運(yùn)算流水線構(gòu)成的情況下的運(yùn)算器與存儲器的耦合形態(tài)(數(shù)據(jù)總線)。圖11A～圖11D分別示出4個系統(tǒng)的運(yùn)算單元動作形態(tài)。
正如圖11A～圖11D和圖5所示那樣，把運(yùn)算單元0(1)、1(2)、2(3)內(nèi)的EALU61通過存儲器0(5)、1(6)、2(7)、即流水線存儲器5、6、7連接成流水線。進(jìn)而，把運(yùn)算單元2(3)中EALU61的輸出通過串-并變換器10、數(shù)據(jù)選擇器41～44連接到4個乘法器62上，把各個乘法器62的輸出與帶移位功能的累加器64連接成流水線。因為這時的EALU61進(jìn)行作為前述EALU擴(kuò)展功能的混合運(yùn)算，所以，變成為有兩個輸入、兩個輸出。
借助于采用這樣的運(yùn)算器與存儲器的耦合形態(tài)，實現(xiàn)圖9所示大量的運(yùn)算流水線構(gòu)成。
圖12A～圖12D示出在利用本發(fā)明實施例中的運(yùn)算單元實現(xiàn)上述8×8IDCT的運(yùn)算流水線構(gòu)成的情況下的運(yùn)算器與存儲器的耦合形態(tài)(數(shù)據(jù)總線)。圖12A～圖12D分別示出4個系統(tǒng)的運(yùn)算單元動作形態(tài)。
正如圖12A～圖12D和圖5所示那樣，把各運(yùn)算單元的4個乘法器62與各個帶移位功能的累加器64連接成流水線。進(jìn)而，把全部帶移位功能的累加器64的輸出通過并-串變換器9、數(shù)據(jù)選擇器3連接到存儲器0(5)上。另外，把運(yùn)算單元1(2)、2(3)、3(4)的EALU61通過存儲器0(5)、1(6)、2(7)即流水線存儲器5、6、7連接成流水線。因為這時的EALU61進(jìn)行作為前述EALU擴(kuò)展功能的混合運(yùn)算，所以，變成為有兩個輸入、兩個輸出。
借助于采用這樣的運(yùn)算器與存儲器的耦合形態(tài)，實現(xiàn)圖10所示大量的運(yùn)算流水線構(gòu)成。
量化和反量化處理(1)量化在圖像編碼和解碼的量化處理中，存在著像下列(1)式那樣連續(xù)進(jìn)行乘法運(yùn)算、進(jìn)而進(jìn)行移位運(yùn)算的運(yùn)算結(jié)構(gòu)。這是量化處理中最復(fù)雜的運(yùn)算結(jié)構(gòu)。Y=8·X·12·1QP---(1)]]>其中，X為量化前的像素值Y表示量化后的像素值W表示量化矩陣的系數(shù)QP表示量化的比例參數(shù)圖13A～圖13D示出在利用本發(fā)明實施例中的運(yùn)算單元實現(xiàn)上式運(yùn)算的情況下的運(yùn)算器的耦合形態(tài)(數(shù)據(jù)總線)。圖13A～圖13D分別示出4系統(tǒng)的運(yùn)算單元動作形態(tài)。
如圖13A～圖13D所示那樣、借助于把兩個乘法器62與帶移位功能的累加器64連接成流水線所實現(xiàn)的數(shù)據(jù)總線，上式運(yùn)算結(jié)構(gòu)可以不分割處理，利用一組運(yùn)算流水線就能夠處理。在這種量化處理的運(yùn)算結(jié)構(gòu)中，利用本發(fā)明實施例中運(yùn)算單元的構(gòu)成，如圖13A～圖13D所示那樣能夠?qū)崿F(xiàn)2組3級的運(yùn)算流水線。借助于采用這樣的運(yùn)算流水線構(gòu)成，能夠兩組并行地對像塊內(nèi)全部像素的量化進(jìn)行流水線處理。
(2)反量化在圖像編碼和解碼的反量化處理中，存在著像下列(2)式那樣在進(jìn)行了移位和相加以后連續(xù)進(jìn)行乘法運(yùn)算、進(jìn)而進(jìn)行移位運(yùn)算的運(yùn)算結(jié)構(gòu)。這是反量化處理中最復(fù)雜的運(yùn)算結(jié)構(gòu)。X=116·{(2·Y+K)·W·QP}----(2)]]>其中，X為量化前的像素值、Y為表示量化后的像素值K為表示反量化時必要的常數(shù)(K＝0，1，或-1)W為量化矩陣的系數(shù)QP表示量化的比例參數(shù)圖14A～圖14D示出在利用本發(fā)明一個實施例中的運(yùn)算單元實現(xiàn)上式運(yùn)算的情況下的運(yùn)算器的耦合形態(tài)(數(shù)據(jù)總線)。圖14A～圖14D分別示出4系統(tǒng)的運(yùn)算單元動作形態(tài)。
如圖14A～圖14D所示那樣，借助于把EALU61和兩個乘法器62與帶移位功能的累加器64連接成流水線所構(gòu)成的數(shù)據(jù)總線，上式運(yùn)算結(jié)構(gòu)可以不分割利用一組運(yùn)算流水線就能夠?qū)崿F(xiàn)。假定利用EALU61在一個時鐘周期內(nèi)就能夠?qū)崿F(xiàn)移位、與常數(shù)相加。在這種反量化處理的運(yùn)算結(jié)構(gòu)中，利用本發(fā)明實施例中運(yùn)算單元的構(gòu)成，如圖14A～圖14D所示那樣能夠?qū)崿F(xiàn)2組4級的運(yùn)算流水線。借助于采用這樣的運(yùn)算流水線構(gòu)成，能夠兩組并行地對像塊內(nèi)全部像素的反量化進(jìn)行流水線處理。
運(yùn)動矢量檢出在圖像編碼和解碼的運(yùn)動矢量檢出處理中，如下式那樣差分絕對值的求和運(yùn)算只須運(yùn)動矢量候補(bǔ)個數(shù)那樣多(在搜索算法中采用塊矩陣的全搜索的情況)。
∑|X-Y| (3)其中，X表示作為運(yùn)動矢量搜索基準(zhǔn)的像塊(稱為參考塊)的像素值Y表示作為運(yùn)動矢量搜索對象的像塊(稱為候補(bǔ)塊)的像素值圖15A～圖15D示出在利用本發(fā)明一個實施例中的運(yùn)算單元實現(xiàn)上式運(yùn)算的情況下的運(yùn)算器的耦合形態(tài)(數(shù)據(jù)總線)。圖15A～圖15D分別示出4系統(tǒng)的運(yùn)算單元動作形態(tài)。
如圖15A～圖15D所示那樣，借助于把EALU61與帶移位功能的累加器64連接成流水線所構(gòu)成的數(shù)據(jù)總線，上式差分絕對值的求和運(yùn)算可以不分割，利用一組運(yùn)算流水線就能夠?qū)崿F(xiàn)。還有，在差分絕對值運(yùn)算中，利用了前述EALU61的擴(kuò)展功能、即差分絕對值運(yùn)算功能。在這種運(yùn)算矢量檢出處理的差分絕對值求和運(yùn)算中，利用本發(fā)明實施例中運(yùn)算單元的構(gòu)成，如圖15A～圖15D所示那樣能夠?qū)崿F(xiàn)4組2級的運(yùn)算流水線。
借助于采用這樣的運(yùn)算流水線構(gòu)成，能夠4組并行地對全部候補(bǔ)像塊的運(yùn)算矢量檢出進(jìn)行流水線處理。
運(yùn)動補(bǔ)償(假想像素的生成和預(yù)測像素的生成)圖像編碼和解碼中的運(yùn)動補(bǔ)償處理可以根據(jù)運(yùn)動矢量的數(shù)值和像塊的方式分成為各種處理情況。參考其中進(jìn)行最復(fù)雜運(yùn)算的情況。
這時，可以把運(yùn)動補(bǔ)償處理分成為假想像素的生成和預(yù)測像素的生成的兩種處理。
下面，說明在本發(fā)明實施例運(yùn)算單元中怎樣實現(xiàn)分別適應(yīng)上述兩種處理的運(yùn)算流水線的構(gòu)成。
(1)假想像素的生成假想像素生成的處理是隨著1/2像素精度的運(yùn)動矢量在像素間進(jìn)行內(nèi)插從而生成假想像素的處理。
圖16示出假想像素生成的規(guī)則。正如從圖16的圖解中可以弄清的那樣，最復(fù)雜的假想像素生成的處理是從互相靠近的四個像素中生成一個假想像素的情況。a=14(X+Y+Z+W)---(4)]]>其中，a表示假想像素X，Y，Z，W表示互相靠近的四個像素圖17A～圖17D示出在利用本發(fā)明實施例中的運(yùn)算單元實現(xiàn)上式運(yùn)算的情況下的運(yùn)算器的耦合形態(tài)(數(shù)據(jù)總線)。圖17A～圖17D分別示出4系統(tǒng)的運(yùn)算單元動作形態(tài)。
如圖17A～圖17D所示那樣，借助于把EALU61與帶移位功能的累加器64連接成流水線所構(gòu)成的數(shù)據(jù)總線，上式的運(yùn)算結(jié)構(gòu)可以不分割利用一組運(yùn)算流水線就能夠處理。
在這種假想像素的生成處理中，利用本發(fā)明一個實施例中運(yùn)算單元的構(gòu)成，如圖17A～圖17D所示那樣能夠?qū)崿F(xiàn)4組2級的運(yùn)算流水線。
借助于采用這樣的運(yùn)算流水線構(gòu)成，能夠4組并行地對像塊內(nèi)全部像素的假想像素生成進(jìn)行流水線處理。
(2)預(yù)測像素的生成預(yù)測像素生成的處理根據(jù)運(yùn)動補(bǔ)償預(yù)測是單向(前向或后向)、還是雙向的方式而不同。
在運(yùn)動補(bǔ)償預(yù)測為單向的情況下，只須根據(jù)運(yùn)動矢量從幀存儲器取數(shù)，如果獲得了該像塊即可。
可是，在運(yùn)動補(bǔ)償預(yù)測為雙向的情況下，則要根據(jù)前向和后向兩種運(yùn)動矢量，從兩個幀存儲器分別獲得像塊，進(jìn)而，把這些像素按照時間的距離加以平均，獲得預(yù)測值。a=116{A·X+(16-A)·X}---(5)]]>其中，a表示雙向運(yùn)動補(bǔ)償預(yù)測值X，Y分別表示前向和后向運(yùn)動補(bǔ)償?shù)念A(yù)測值A(chǔ)為按照兩個像塊的時間的距離確定的參量。
圖18A～圖18D示出在利用本發(fā)明一個實施例中的運(yùn)算單元實現(xiàn)上式運(yùn)算的情況下的運(yùn)算器的耦合形態(tài)(數(shù)據(jù)總線)。圖18A～圖18D分別示出4系統(tǒng)的運(yùn)算單元動作形態(tài)。
如圖18A～圖18D所示那樣地，借助于把兩個乘法器62的輸出作為EALU61的輸入、進(jìn)而與帶移位功能的累加器64連接成流水線所構(gòu)成的數(shù)據(jù)總線，上式的運(yùn)算結(jié)構(gòu)可以不分割，利用一組運(yùn)算流水線就能夠?qū)崿F(xiàn)。
在這種預(yù)測像素的生成處理中，利用本發(fā)明實施例中運(yùn)算單元的構(gòu)成，如圖18A～圖18D所示那樣能夠?qū)崿F(xiàn)2組3級的運(yùn)算流水線。
借助于采用這樣的運(yùn)算流水線構(gòu)成，能夠2組并行地對像塊內(nèi)全部像素的預(yù)測像素生成進(jìn)行流水線處理。
濾波(內(nèi)積運(yùn)算)不限于圖像編碼和解碼，濾波處理是圖像處理中基本的要素處理。在這里，考慮對像塊內(nèi)的全部像素進(jìn)行一維濾波處理的情況。
在濾波處理中，下式那樣的內(nèi)積運(yùn)算是必要的。
∑C·X (6)其中，C表示濾波系數(shù)X表示像塊內(nèi)的像素圖19A～圖19D示出在利用本發(fā)明實施例的運(yùn)算單元實現(xiàn)上式運(yùn)算的情況下的運(yùn)算器的耦合形態(tài)(數(shù)據(jù)總線)。圖19A～圖19D分別示出4系統(tǒng)的運(yùn)算單元動作形態(tài)。
如圖19A～圖19D所示那樣，借助于把乘法器62與帶移位功能的累加器64連接成流水線所構(gòu)成的數(shù)據(jù)總線，上式的內(nèi)積運(yùn)算可以不分割、利用一組運(yùn)算流水線就能夠?qū)崿F(xiàn)。在這種濾波處理中，利用本發(fā)明實施例中運(yùn)算單元的構(gòu)成，如圖19A～圖19D所示那樣能夠?qū)崿F(xiàn)4組2級的運(yùn)算流水線。
借助于采用這樣的運(yùn)算流水線構(gòu)成，能夠4組并行地對像塊內(nèi)全部像素的濾波處理進(jìn)行流水線處理。
圖像相加和圖像差分不限于圖像壓縮編碼解碼，圖像相加和圖像差分也是圖像處理中基本的要素處理。
在這里，考慮在像塊之間計算圖像相加或圖像差分的情況。
圖20A～圖20D示出在利用本發(fā)明一個實施例中的運(yùn)算單元實現(xiàn)圖像相加或圖像差分的情況下的運(yùn)算器的耦合形態(tài)(數(shù)據(jù)總線)。圖20A～圖20D分別示出4系統(tǒng)的運(yùn)算單元動作形態(tài)。
利用本發(fā)明實施例中運(yùn)算單元的構(gòu)成，如圖20A～圖20D所示那樣能夠?qū)崿F(xiàn)4組利用EALU61的1級運(yùn)算流水線。借助于采用這樣的運(yùn)算流水線構(gòu)成，能夠4組并行地對像塊內(nèi)全部像素的圖像相加或圖像差分進(jìn)行流水線處理。
以上實施例所描述的雖然是關(guān)于以視頻信號為代表的自適應(yīng)處理，但是，在本發(fā)明自適應(yīng)視頻信號運(yùn)算處理裝置中，并不限于上述的信號處理例子，也能夠適用于其它信號與上述同樣的處理。
如果根據(jù)本發(fā)明，在圖像編碼和解碼的要素處理中，就能夠把在乘法運(yùn)算以后進(jìn)行的邏輯運(yùn)算、連續(xù)進(jìn)行乘法的運(yùn)算和將幾個乘法運(yùn)算結(jié)果相加的各種運(yùn)算自適應(yīng)地在一個自適應(yīng)視頻信號運(yùn)算處理裝置中實現(xiàn)。
還有，利用以“單指令流-多重數(shù)據(jù)流(SIMD)”控制方式為基礎(chǔ)的、使用一組運(yùn)算流水線的一次流水線處理，就能夠?qū)崿F(xiàn)本發(fā)明自適應(yīng)視頻信號運(yùn)算處理裝置。
因此，與先有技術(shù)的構(gòu)成相比較，因為本發(fā)明自適應(yīng)視頻信號運(yùn)算處理裝置能夠并行地實現(xiàn)使用不同運(yùn)算器的運(yùn)算，所以，不降低運(yùn)算器的使用效率。
本發(fā)明自適應(yīng)視頻信號運(yùn)算處理裝置建立運(yùn)算流水線時的初始化設(shè)定一次即可。進(jìn)而，因為本發(fā)明自適應(yīng)視頻信號運(yùn)算處理裝置不須存儲中間結(jié)果，所以，數(shù)據(jù)存儲器的容量不增大。
因為本發(fā)明自適應(yīng)視頻信號運(yùn)算處理裝置能夠?qū)崿F(xiàn)把3個混合運(yùn)算器和乘加法器通過流水線存儲器連接成大量運(yùn)算流水線的構(gòu)成，所以，可以實現(xiàn)按照前述特愿平4年第338183號申請書(平成4年11月25日申請)中所建議那樣電路構(gòu)成的、DCT高速運(yùn)算算法中混合運(yùn)算和乘加法運(yùn)算流水線的構(gòu)成。這樣，本發(fā)明自適應(yīng)視頻信號運(yùn)算處理裝置 在圖像編碼和解碼的DCT/IDCT的要素處理中，與先有技術(shù)的構(gòu)成相比，運(yùn)算器的使用效率已大幅度提高，性能也改善了。
產(chǎn)業(yè)上使用的可能性本發(fā)明自適應(yīng)視頻信號運(yùn)算處理裝置涉及用于例如數(shù)值計算、圖像處理、圖形處理等計算機(jī)系統(tǒng)中的中央處理裝置(處理器)，特別是，適用于對于圖像壓縮編碼和解碼(CODEC)那樣的視頻信號處理作為數(shù)字信號處理器來使用的裝置。
符號表A1-算術(shù)及邏輯運(yùn)算器(ALU)A2-乘法器A3-系數(shù)存儲器A4-累加器1～4-本發(fā)明實施例中的運(yùn)算單元5～7-互連流水線存儲器
8-數(shù)據(jù)選擇器9-并-串變換器10-串-并變換器11～14，21～24-運(yùn)算單元的輸入31～34-運(yùn)算單元的輸出端子41～44-數(shù)據(jù)選擇器51-用于8×8DCT的輸入端子52-用于8×8IDCT的輸出端子61-擴(kuò)展算術(shù)及邏輯運(yùn)算器(EALU)62-乘法器63-系數(shù)存儲器64-帶移位功能的累加器71～75-數(shù)據(jù)選擇器301-正負(fù)倒相器302-加法器303-減法器304-邏輯運(yùn)算器305-正負(fù)判定器306，307-數(shù)據(jù)選擇器311，312-EALU的輸入端子313，314-EALU的輸出端子101～103-混合運(yùn)算器111-乘加法器121-串-并變換器
122-并-串變換器131～133-流水線存儲器141-數(shù)據(jù)存儲器
權(quán)利要求
1.一種自適應(yīng)視頻信號運(yùn)算處理裝置，其特征在于，該裝置就m×n大小的像塊數(shù)據(jù)而言，是自適應(yīng)進(jìn)行離散余弦變換/離散余弦反變換、量化/反量化、運(yùn)動矢量檢出、運(yùn)動補(bǔ)償、內(nèi)積運(yùn)算、圖像數(shù)據(jù)相加和圖像數(shù)據(jù)差分處理等圖像壓縮編碼/擴(kuò)張解碼處理的運(yùn)算處理裝置；該裝置具有多個并行設(shè)置的運(yùn)算單元，所述運(yùn)算單元分別具有進(jìn)行加法、減法、各種邏輯運(yùn)算、大小比較、差分絕對值運(yùn)算、混合加法和減法處理的擴(kuò)展算術(shù)及邏輯運(yùn)算器，設(shè)置在該擴(kuò)展算術(shù)及邏輯運(yùn)算器之后的第一內(nèi)部流水線存儲器，設(shè)置在該第一內(nèi)部流水線存儲器之后的乘法器，向該乘法器提供系數(shù)的系數(shù)存儲器，設(shè)置在該乘法器之后的第二內(nèi)部流水線存儲器，設(shè)置在該第二內(nèi)部流水線存儲器之后的累加運(yùn)算器，以及設(shè)置在該累加運(yùn)算器之后的第三內(nèi)部流水線存儲器；在所述多個并行設(shè)置的運(yùn)算單元中，把相鄰運(yùn)算單元連接起來那樣配置的互連流水線存儲器；以及把輸入數(shù)據(jù)有選擇地加到上述多個運(yùn)算單元上的數(shù)據(jù)選擇器；該裝置通過上述互連流水線存儲器把相鄰的運(yùn)算單元耦合起來，并且，選擇上述運(yùn)算單元內(nèi)的內(nèi)部流水線存儲器，構(gòu)成給定的數(shù)據(jù)流通路徑；該裝置進(jìn)行上述離散余弦變換等所需的視頻信號處理。
2.根據(jù)權(quán)利要求1中所述的自適應(yīng)視頻信號運(yùn)算處理裝置，其特征在于，上述裝置在用單一指令流進(jìn)行多重數(shù)據(jù)流處理的、“單指令流-多重數(shù)據(jù)流(SIMD)”控制方式下動作。
3.根據(jù)權(quán)利要求1或2中所述的自適應(yīng)視頻信號運(yùn)算處理裝置，其特征在于，在上述運(yùn)算單元內(nèi)，上述擴(kuò)展算術(shù)及邏輯運(yùn)算器、上述乘法器和上述累加器進(jìn)行流水處理操作。
4.根據(jù)權(quán)利要求3中所述自適應(yīng)視頻信號運(yùn)算處理裝置，其特征在于，上述擴(kuò)展算術(shù)及邏輯運(yùn)算器具有把第一輸入數(shù)據(jù)的極性倒相的正負(fù)倒相器；設(shè)置在該正負(fù)倒相器之后、有選擇地輸出上述第一輸入數(shù)據(jù)或上述極性已倒相的第一數(shù)據(jù)的第一數(shù)據(jù)選擇器；把該第一數(shù)據(jù)選擇器選擇后輸出的數(shù)據(jù)和第二輸入數(shù)據(jù)相加的加法器；從上述第一輸入數(shù)據(jù)中減掉上述第二輸入數(shù)據(jù)的減法器；對上述第一輸入數(shù)據(jù)和上述第二輸入數(shù)據(jù)進(jìn)行或、與、異或、非等邏輯處理的邏輯運(yùn)算器；輸入上述加法器和上述減法器的輸出、進(jìn)行正負(fù)判定的正負(fù)判定器；輸入上述加法器、上述減法器和上述正負(fù)判定器的輸出、有選擇地輸出的第二數(shù)據(jù)選擇器；連接到該第二數(shù)據(jù)選擇器上的第一輸出端子；以及連接到上述減法器上的第二輸出端子；把上述電路適當(dāng)組合，進(jìn)行加法、減法、各種邏輯運(yùn)算、大小比較、差分絕對值運(yùn)算、混合加法和減法處理中的任何一種運(yùn)算。
5.根據(jù)權(quán)利要求4中所述的那種自適應(yīng)視頻信號運(yùn)算處理裝置，其特征在于，在上述多個運(yùn)算單元的第一級運(yùn)算單元上，設(shè)置輸入用于離散余弦變換處理的數(shù)據(jù)的端子；在上述多個運(yùn)算單元的末級運(yùn)算單元上，設(shè)置輸出用于離散余弦反變換處理的數(shù)據(jù)的端子。
6.根據(jù)權(quán)利要求5中所述的自適應(yīng)視頻信號運(yùn)算處理裝置，其特征在于，當(dāng)把m×n圖像數(shù)據(jù)作為一個像塊、多次進(jìn)行混合運(yùn)算和流水線存儲處理以進(jìn)行離散余弦變換處理時，按下述方式來確立路徑(a)把上述用于離散余弦變換處理的數(shù)據(jù)輸入到除了上述末級運(yùn)算單元以外的多個運(yùn)算單元內(nèi)的擴(kuò)展算術(shù)及邏輯運(yùn)算器上，把該擴(kuò)展算術(shù)及邏輯運(yùn)算器的處理結(jié)果輸出到上述相鄰的互連流水線存儲器上；(b)把末級的互連流水線存儲器的數(shù)據(jù)輸入到全部運(yùn)算單元內(nèi)的乘法器上，在上述累加器中對其相乘結(jié)果進(jìn)行累加。
7.根據(jù)權(quán)利要求5中所述的自適應(yīng)視頻信號運(yùn)算處理裝置，其特征在于，當(dāng)把m×n圖像數(shù)據(jù)作為一個像塊、多次進(jìn)行流水線存儲處理和混合運(yùn)算以進(jìn)行離散余弦反變換處理時，按下述方式來確定路徑(a)把上述用于離散余弦反變換的數(shù)據(jù)輸入到全部運(yùn)算單元內(nèi)的乘法器上，在上述累加器中對其相乘結(jié)果進(jìn)行累加；(b)把上述累加器的輸出輸入到除了上述第一級運(yùn)算單元以外多個運(yùn)算單元內(nèi)的擴(kuò)展算術(shù)及邏輯運(yùn)算器上，把該擴(kuò)展算術(shù)及邏輯運(yùn)算器的處理結(jié)果輸出到相鄰的互連流水線存儲器上。
8.根據(jù)權(quán)利要求1～4中任一項所述的自適應(yīng)視頻信號運(yùn)算處理裝置，其特征在于，在進(jìn)行量化處理時，按下述方式來確定路徑(a)把相鄰運(yùn)算單元內(nèi)的第一運(yùn)算單元中的乘法器的輸出端子連接到第二運(yùn)算單元中的乘法器的輸入端子上；(b)把該第二運(yùn)算單元中的乘法器的相乘結(jié)果輸入到其后的累加器上；(c)把量化對象的數(shù)據(jù)輸入到上述第一運(yùn)算單元中的乘法器上。
9.根據(jù)權(quán)利要求1～4中任一項所述的自適應(yīng)視頻信號運(yùn)算處理裝置，其特征在于，在進(jìn)行反量化處理時，按下述方式來確定路徑(a)把相鄰運(yùn)算單元內(nèi)的第一運(yùn)算單元中的乘法器的輸出端子連接到第二運(yùn)算單元中的乘法器的輸入端子上；(b)把該第二運(yùn)算單元中的乘法器的相乘結(jié)果輸入到其后的累加器上；(c)把反量化對象的數(shù)據(jù)和常數(shù)輸入到第一運(yùn)算單元上，把它的運(yùn)算結(jié)果輸入到第一運(yùn)算單元中的乘法器上。
10.根據(jù)權(quán)利要求1～4中任一項所述的自適應(yīng)視頻信號運(yùn)算處理裝置，其特征在于，在進(jìn)行運(yùn)動矢量檢出處理時，按下述方式來確定路徑(a)把全部運(yùn)算單元內(nèi)的擴(kuò)展算術(shù)及邏輯運(yùn)算器連接到累加器上；(b)把運(yùn)動矢量檢出對象的兩個數(shù)據(jù)輸入到上述擴(kuò)展算術(shù)及邏輯運(yùn)算器上。
11.根據(jù)權(quán)利要求1～4中任一項所述的自適應(yīng)視頻信號運(yùn)算處理裝置，其特征在于，在進(jìn)行運(yùn)動補(bǔ)償中的假想像素生成處理時，按下述方式來確定路徑(a)把全部算術(shù)單元內(nèi)的擴(kuò)展算術(shù)及邏輯運(yùn)算器連接到累加器上；(b)把運(yùn)動補(bǔ)償中假想像素生成對象的兩個數(shù)據(jù)輸入到上述擴(kuò)展算術(shù)及邏輯運(yùn)算器上。
12.根據(jù)權(quán)利要求1～4中任一項所述的自適應(yīng)視頻信號運(yùn)算處理裝置，其特征在于，在進(jìn)行運(yùn)動補(bǔ)償中的預(yù)測像素生成處理時，按下述方式來確定路徑(a)把相鄰運(yùn)算單元中的一方的乘法器的輸出加到另一方的擴(kuò)展算術(shù)及邏輯運(yùn)算器中的一個輸入端子上；(b)把另一方的乘法器的輸出加到該另一方的擴(kuò)展算術(shù)及邏輯運(yùn)算器中另一個輸入端子上；(c)在另一方的累加器中對該另一方的擴(kuò)展算術(shù)及邏輯運(yùn)算器的運(yùn)算結(jié)果進(jìn)行累加。
13.根據(jù)權(quán)利要求1～4中任一項所述的自適應(yīng)視頻信號運(yùn)算處理裝置，其特征在于，在進(jìn)行內(nèi)積運(yùn)算處理時，按下述方式來確定路徑(a)把內(nèi)積對象的數(shù)據(jù)輸入到全部運(yùn)算單元內(nèi)的乘法器上；(b)在對應(yīng)的累加器中對該相乘結(jié)果進(jìn)行累加。
14.根據(jù)權(quán)利要求1～4中任一項所述的自適應(yīng)視頻信號運(yùn)算處理裝置，其特征在于，在進(jìn)行圖像數(shù)據(jù)相加處理時，或者，在進(jìn)行圖像數(shù)據(jù)相減處理時，按下述方式來確定路徑，即把處理對象的數(shù)據(jù)輸入到全部運(yùn)算單元內(nèi)的擴(kuò)展算術(shù)及邏輯運(yùn)算器上，輸出該處理結(jié)果。
全文摘要
就m×n大小的像塊數(shù)據(jù)而言，自適應(yīng)地進(jìn)行離散余弦變換(DCT)/離散余弦反變換(IDCT)、內(nèi)積運(yùn)算、圖像數(shù)據(jù)相加和圖像數(shù)據(jù)差分處理等圖像壓縮編碼/擴(kuò)張解碼處理的運(yùn)算處理裝置，具有(a)多個并行設(shè)置的運(yùn)算單元1～4；(b)互連流水線存儲器5～7(C)數(shù)據(jù)選擇器41～44，通過互連流水線存儲器把相鄰的運(yùn)算單元耦合起來，選擇運(yùn)算單元內(nèi)的內(nèi)部流水線存儲器，構(gòu)成給定的數(shù)據(jù)流通路徑，進(jìn)行上述視頻信號處理。
文檔編號G06T1/20GK1108865SQ94190248
公開日1995年9月20日 申請日期1994年3月30日 優(yōu)先權(quán)日1993年3月31日
發(fā)明者巖田英次 申請人:索尼公司