專(zhuān)利名稱(chēng)：圖象處理方法、圖象處理裝置及數(shù)據(jù)存儲(chǔ)媒體的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖象處理方法、圖象處理裝置及數(shù)據(jù)存儲(chǔ)媒體，特別是涉及對(duì)由相當(dāng)于多個(gè)對(duì)象(即構(gòu)成一個(gè)圖象的多個(gè)構(gòu)成要素)的序列的對(duì)象圖象數(shù)據(jù)組成的視頻信號(hào)進(jìn)行編碼的編碼處理中的發(fā)生比特?cái)?shù)的控制。
為了高效存儲(chǔ)或者傳輸數(shù)字圖象信息，必須對(duì)數(shù)字圖象信息進(jìn)行壓縮編碼，在現(xiàn)狀下，作為用于對(duì)數(shù)字圖象信息進(jìn)行壓縮編碼的方法，除了以JPEG(Joint Photographic Coding Experts Group)和MPEG(Moving PictureExperts Group)所代表的離散余弦變換(DCTDiscrete Cosing Transform)之外，還具有子帶、小波編碼、分形(フラクタル)等波形編碼方法。
作為去除相鄰的幀等畫(huà)面間的冗余的圖象信息的方法，具有這樣的方法進(jìn)行使用運(yùn)動(dòng)補(bǔ)償?shù)漠?huà)面間預(yù)測(cè)，即，使用構(gòu)成現(xiàn)畫(huà)面的象素的象素值與構(gòu)成前畫(huà)面的象素的象素值的差分值來(lái)表示構(gòu)成現(xiàn)畫(huà)面的象素的象素值，對(duì)由該差分值組成的差分圖象信號(hào)進(jìn)行波形編碼。
因此，最近，考慮這樣的編碼方法對(duì)每個(gè)對(duì)象分別對(duì)與該對(duì)象相對(duì)應(yīng)的對(duì)象圖象數(shù)據(jù)進(jìn)行壓縮編碼并傳輸，以便于能夠在提高視頻信號(hào)的壓縮效率的同時(shí)，以構(gòu)成預(yù)定圖象的各個(gè)對(duì)象(構(gòu)成要素)為單位進(jìn)行視頻信號(hào)的重放。對(duì)于由該編碼方式所編碼的視頻信號(hào)，在重放側(cè)進(jìn)行與上述編碼方式相對(duì)應(yīng)的解碼處理。即，在該解碼處理中，對(duì)與各個(gè)對(duì)象相對(duì)應(yīng)的對(duì)象編碼數(shù)據(jù)進(jìn)行解碼，來(lái)合成與通過(guò)該解碼所得到的各對(duì)象相對(duì)應(yīng)的對(duì)象解碼數(shù)據(jù)，而生成重放數(shù)據(jù)。接著，根據(jù)該重放數(shù)據(jù)來(lái)顯示由各個(gè)對(duì)象組成的圖象。
如上述那樣，通過(guò)使用以對(duì)象單位進(jìn)行視頻信號(hào)的編碼的編碼方式，能夠在重放側(cè)自由組合各個(gè)對(duì)象來(lái)生成合成圖象，由此，能夠簡(jiǎn)單地對(duì)運(yùn)動(dòng)圖象進(jìn)行再次編輯。而且，通過(guò)通信路線的混合情況和重放裝置的性能或者收視者的愛(ài)好，能夠不必重放不太重要的對(duì)象，而顯示僅由重要度高的對(duì)象組成的運(yùn)動(dòng)圖象。
把這樣以對(duì)象單位進(jìn)行視頻信號(hào)的編碼的編碼方式稱(chēng)為對(duì)象編碼方式，作為MPEG4，國(guó)際上推進(jìn)了標(biāo)準(zhǔn)化工作。
如上述那樣，通過(guò)編碼處理來(lái)壓縮視頻信號(hào)而得到的編碼數(shù)據(jù)，每隔一定時(shí)間，將要被解碼處理的代碼量(被處理比特?cái)?shù))會(huì)變動(dòng)。因此，把這樣的編碼數(shù)據(jù)以一定比特率傳輸?shù)浇邮諅?cè)，為了在接收側(cè)良好地重放該編碼數(shù)據(jù)，就需要在接收側(cè)設(shè)置存儲(chǔ)編碼數(shù)據(jù)的緩沖器，來(lái)適宜每隔一定時(shí)間的被處理比特?cái)?shù)的變動(dòng)。在此情況下，上述緩沖器的尺寸，即能夠存儲(chǔ)在緩沖器中的數(shù)據(jù)的最大量是不同的，能夠由緩沖器吸收上述被處理比特?cái)?shù)的變動(dòng)的范圍不同。
按照標(biāo)準(zhǔn)規(guī)格決定上述緩沖器尺寸的最大值，在具有該最大尺寸的緩沖器的接收器中，以一定的比特率接收每一定時(shí)間的被處理比特?cái)?shù)發(fā)生變動(dòng)的編碼數(shù)據(jù)，能夠沒(méi)有問(wèn)題地重放該編碼數(shù)據(jù)。
此時(shí)，在編碼側(cè)，根據(jù)與接收側(cè)具有的緩沖器相對(duì)應(yīng)的尺寸等的功能的限制，把發(fā)送速率控制為一定的比特率，以使緩沖器不會(huì)溢出(不會(huì)上溢)或者不會(huì)成為空的(不會(huì)下溢)。
在對(duì)象編碼方式中，一個(gè)視頻信號(hào)由與多個(gè)構(gòu)成要素相對(duì)應(yīng)的對(duì)象圖象數(shù)據(jù)所構(gòu)成。作為這些構(gòu)成要素，是矩形形狀的圖象和具有任意形狀的圖象(對(duì)象)等，例如，在矩形形狀的圖象中，把其作為背景，能夠把作為任意形狀圖象的動(dòng)畫(huà)字符、人物、動(dòng)物像進(jìn)行組合。
而且，在現(xiàn)有的圖象傳輸系統(tǒng)中，接收側(cè)的圖象解碼裝置為與各個(gè)構(gòu)成要素相對(duì)應(yīng)而設(shè)有每隔上述那樣的單位時(shí)間適應(yīng)將要處理的比特?cái)?shù)的變動(dòng)的緩沖器的構(gòu)成。
即，在接收側(cè)，通過(guò)與該構(gòu)成要素相對(duì)應(yīng)的緩沖器和解碼器來(lái)對(duì)與一個(gè)構(gòu)成要素相對(duì)應(yīng)的對(duì)象編碼數(shù)據(jù)進(jìn)行解碼。而且，在發(fā)送側(cè)，在視頻信號(hào)的編碼處理過(guò)程中，進(jìn)行速率控制以使與各構(gòu)成要素相對(duì)應(yīng)的緩沖器不會(huì)上溢或者下溢，即，進(jìn)行作為編碼數(shù)據(jù)而發(fā)生的代碼量的控制。換句話說(shuō)，上述編碼處理時(shí)的速率控制在構(gòu)成要素間獨(dú)立進(jìn)行。


圖13是表示構(gòu)成現(xiàn)有的圖象傳輸系統(tǒng)的編碼裝置和解碼裝置的方框圖。其中，為了便于說(shuō)明，對(duì)處理三個(gè)構(gòu)成要素的情況進(jìn)行說(shuō)明，但構(gòu)成要素的數(shù)量并不僅限于此。
該圖象傳輸系統(tǒng)1000具有編碼裝置1000a，接受與第一、第二、第三對(duì)象(構(gòu)成要素)相對(duì)應(yīng)的圖象數(shù)據(jù)(對(duì)象圖象數(shù)據(jù))1304、1314、1324，對(duì)這些數(shù)據(jù)進(jìn)行壓縮編碼處理和復(fù)用處理，輸出復(fù)用比特流1308；解碼裝置1000b，接受復(fù)用比特流1308，對(duì)與上述各對(duì)象相對(duì)應(yīng)的壓縮數(shù)據(jù)(對(duì)象編碼數(shù)據(jù))進(jìn)行擴(kuò)展解碼處理和合成處理，生成與由各對(duì)象組成的圖象相對(duì)應(yīng)的重放數(shù)據(jù)。
上述編碼裝置1000a具有第一、第二、第三編碼器1302、1312、1322，對(duì)第一、第二、第三對(duì)象(構(gòu)成要素)相對(duì)應(yīng)的圖象數(shù)據(jù)1304、1314、1324進(jìn)行編碼，而輸出壓縮數(shù)據(jù)1305、1315、1325；復(fù)用器1307，對(duì)與各對(duì)象相對(duì)應(yīng)的壓縮數(shù)據(jù)1305、1315、1325進(jìn)行復(fù)用，而作為復(fù)用比特流1308輸出。并且，上述編碼裝置1000a還具有速率控制器1303、1313、1323，對(duì)應(yīng)于上述各個(gè)編碼器1304、1314、1324而設(shè)置，根據(jù)從各個(gè)編碼器所輸出的壓縮數(shù)據(jù)1305、1315、1325，來(lái)控制由上述各個(gè)編碼器發(fā)生的壓縮數(shù)據(jù)的每隔預(yù)定時(shí)間將進(jìn)行解碼處理的數(shù)據(jù)量(比特?cái)?shù))。
上述解碼裝置1000b具有分離器1318，作為輸入數(shù)據(jù)1317而接受上述復(fù)用比特流1308，從該輸入數(shù)據(jù)1317抽出與各對(duì)象相對(duì)應(yīng)的壓縮數(shù)據(jù)1330、1335、1340；第一、第二、第三緩沖器1331、1336、1341，對(duì)應(yīng)于各對(duì)象而設(shè)置，分別存儲(chǔ)壓縮數(shù)據(jù)1330、1335、1240。而且，上述解碼裝置1000b還具有第一、第二、第三解碼器1333、1338、1343，對(duì)應(yīng)于各對(duì)象而設(shè)置，讀出在上述各個(gè)緩沖器中所存儲(chǔ)的壓縮數(shù)據(jù)1332、1337、1342并進(jìn)行解碼處理；合成器1319，把從各個(gè)解碼器所輸出的解碼數(shù)據(jù)1334、1339、1344進(jìn)行合成，而輸出與預(yù)定圖象相對(duì)應(yīng)的重放數(shù)據(jù)1320。
在圖13中，1301、1311、1321分別是輸入第一、第二、第三圖象數(shù)據(jù)的編碼裝置1000a的輸入端子，1309是上述復(fù)用比特流1308所輸出的編碼裝置1000a的輸出端子。并且，1310是輸入上述復(fù)用比特流1308所輸入的解碼裝置1000b的輸入端子，1327是上述重放數(shù)據(jù)1320所輸出的解碼裝置1000b的輸出端子。
而且，在該圖象傳輸系統(tǒng)中，上述速率控制器1303、1313、1323為這樣的構(gòu)成對(duì)各個(gè)編碼器1302、1312、1322獨(dú)立地進(jìn)行速率控制，以使接收側(cè)的緩沖器1331、1336、1341不會(huì)上溢或者下溢。
下面對(duì)其動(dòng)作進(jìn)行說(shuō)明。
在上述圖象傳輸系統(tǒng)1000中，當(dāng)與各對(duì)象相對(duì)應(yīng)的圖象數(shù)據(jù)1304、1314、1324被輸入各個(gè)輸入端子1301、1311、1321時(shí)，例如，在第一編碼器1302中，對(duì)與第一對(duì)象相對(duì)應(yīng)的圖象數(shù)據(jù)1304的編碼處理根據(jù)來(lái)自對(duì)應(yīng)的速率控制器1303的控制信號(hào)1306來(lái)進(jìn)行。在第二、第三編碼器1313、1322中，同樣根據(jù)控制信號(hào)1316、1326來(lái)進(jìn)行圖象數(shù)據(jù)1314、1324的編碼處理。
這樣一來(lái)，由各個(gè)編碼器的編碼處理所得到的壓縮數(shù)據(jù)1305、1315、1325由復(fù)用器1307進(jìn)行復(fù)用，而從輸出端子1309作為復(fù)用比特流1308而輸出。
另一方面，在接收側(cè)的解碼裝置1000b中，當(dāng)復(fù)用比特流1308被輸入時(shí)，由分離器1318從該復(fù)用比特流1308分離與各對(duì)象相對(duì)應(yīng)的壓縮數(shù)據(jù)1330、1335、1240，分別輸入對(duì)應(yīng)的緩沖器1331、1336、1341。在該各個(gè)緩沖器所存儲(chǔ)的壓縮數(shù)據(jù)被讀出到對(duì)應(yīng)的解碼器1333、1338、1343中，分別進(jìn)行解碼處理，而生成解碼數(shù)據(jù)1334、1339、1344。這些解碼數(shù)據(jù)1334、1339、1344由合成器1319進(jìn)行合成，所合成的數(shù)據(jù)作為與預(yù)定圖象相對(duì)應(yīng)的重放數(shù)據(jù)1320而輸出。
當(dāng)這樣從編碼裝置向解碼裝置傳輸編碼數(shù)據(jù)時(shí)，在上述傳送側(cè)的編碼裝置中的速率控制器1303、1313、1323中，對(duì)與各對(duì)象相對(duì)應(yīng)的每個(gè)編碼器獨(dú)立地進(jìn)行編碼處理中的速率控制，以使接收側(cè)的緩沖器1331、1336、1341不會(huì)溢出或者下溢。
如上述那樣，現(xiàn)有的圖象傳輸系統(tǒng)1000，如圖13所示的那樣，各個(gè)解碼器1333、1338、1343為分別從獨(dú)立的緩沖器1331、1336、1341讀出壓縮數(shù)據(jù)來(lái)進(jìn)行解碼的構(gòu)成。而且，在上述各緩沖器中，緩沖器尺寸的最大值是固定的，在任何情況下，該最大值為相同的值。
在此情況下，在編碼側(cè)，把小于上述緩沖器尺寸的最大值的值設(shè)定為緩沖器尺寸的閾值，可以根據(jù)該閾值來(lái)進(jìn)行編碼處理，這樣的編碼方法是當(dāng)傳輸代碼量少的圖象編碼數(shù)據(jù)時(shí)使用的方法。
因此，在發(fā)送側(cè)，對(duì)于需要較多代碼量的構(gòu)成要素的圖象數(shù)據(jù)，當(dāng)一邊把大于緩沖器尺寸的最大值的值作為閾值進(jìn)行速率控制一邊進(jìn)行編碼處理時(shí)，不能由接收側(cè)的解碼器進(jìn)行正常的解碼處理。在此情況下，為了進(jìn)行接收側(cè)的正常的解碼處理，就需要以更高的壓縮率對(duì)需要較多的代碼量的構(gòu)成要素的圖象數(shù)據(jù)進(jìn)行編碼，當(dāng)進(jìn)行這樣高的壓縮率的編碼處理時(shí)，就存在所重放的圖象的畫(huà)質(zhì)變差的問(wèn)題。
圖14是通過(guò)曲線圖表示解碼器緩沖器占有量(由壓縮數(shù)據(jù)所產(chǎn)生的緩沖器容量的占有量)的遷移的模式圖。圖14(a)表示與第一構(gòu)成要素相對(duì)應(yīng)的解碼器的緩沖器占有量，圖14(b)、圖14(c)分別表示與第二和第三構(gòu)成要素相對(duì)應(yīng)的解碼器的緩沖器占有量。而且，在圖中，縱軸1401、1411、1421表示解碼器緩沖器占有量，橫軸1402、1412、1422表示壓縮數(shù)據(jù)的表示時(shí)間t。表示時(shí)間t0，t1，t2，t3，…表示例如第n，第(n+1)，第(n+2)，第(n+2)，…幀的表示時(shí)間。
上述圖14(a)中的曲線圖的傾斜部分1404的斜率是輸入緩沖器的第一對(duì)象相對(duì)應(yīng)的壓縮數(shù)據(jù)的每單位時(shí)間內(nèi)所輸入的代碼量(輸入比特率)，在圖14(a)中，該輸入比特率為一定的。在圖中，Dm1是能夠存儲(chǔ)在緩沖器中的壓縮數(shù)據(jù)的最大值，在任何情況下，緩沖器都不能超過(guò)該最大值而存儲(chǔ)壓縮數(shù)據(jù)。
上述曲線圖的橫軸和垂直的縱線部分1405的長(zhǎng)度表示與由時(shí)間t0所表示的幀相對(duì)應(yīng)的第一對(duì)象的壓縮數(shù)據(jù)的比特?cái)?shù)。即，以由上述曲線圖的傾斜部分1404的斜率所表示的輸入比特率，比特串被輸入緩沖器，在時(shí)間t0內(nèi)，在緩沖器內(nèi)所存儲(chǔ)的數(shù)據(jù)量到達(dá)與上述縱線部分1405的頂點(diǎn)相對(duì)應(yīng)的水平。此時(shí)，解碼器讀入用上述縱線部分1405的長(zhǎng)度所表示的比特?cái)?shù)的壓縮數(shù)據(jù)，對(duì)與時(shí)間t0的幀相對(duì)應(yīng)的壓縮數(shù)據(jù)進(jìn)行解碼。
上述圖14(b)、圖14(c)中的曲線圖的傾斜部分1414、1424的斜率是輸入緩沖器的第二、第三對(duì)象相對(duì)應(yīng)的壓縮數(shù)據(jù)的每單位時(shí)間內(nèi)所輸入的代碼量(輸入比特率)，在圖14(b)、圖14(c)中，該輸入比特率為一定的。圖中，Dm2，Dm3是能夠存儲(chǔ)在緩沖器1336、1341中的數(shù)據(jù)的最大值，在任何情況下，緩沖器都不能超過(guò)該最大值而存儲(chǔ)壓縮數(shù)據(jù)。
上述曲線圖的橫軸和垂直的縱線部分1415、1425的長(zhǎng)度表示與由時(shí)間t0所表示的幀相對(duì)應(yīng)的第二、第三對(duì)象的壓縮數(shù)據(jù)的比特?cái)?shù)。即，以由上述曲線圖的傾斜部分1414、1424的斜率所表示的輸入比特率，比特串被輸入緩沖器，在時(shí)間t0內(nèi)，在緩沖器內(nèi)所存儲(chǔ)的數(shù)據(jù)量到達(dá)與上述縱線部分1415、1425的頂點(diǎn)相對(duì)應(yīng)的水平。此時(shí)，解碼器讀入用上述縱線部分1415、1425的長(zhǎng)度所表示的比特?cái)?shù)的壓縮數(shù)據(jù)，對(duì)與時(shí)間t0的幀相對(duì)應(yīng)的壓縮數(shù)據(jù)進(jìn)行解碼。
其中，第一構(gòu)成要素(對(duì)象)為在編碼處理中所需要的代碼量較多的構(gòu)成要素，第二構(gòu)成要素(對(duì)象)為在編碼處理中所需要的代碼量較少的構(gòu)成要素。與第一構(gòu)成要素(圖14(a))相對(duì)應(yīng)的緩沖器幾乎被壓縮數(shù)據(jù)占有了數(shù)據(jù)存儲(chǔ)量的最大值，而第二構(gòu)成要素(圖14(b))相對(duì)應(yīng)的緩沖器在數(shù)據(jù)存儲(chǔ)量上還有相當(dāng)富裕。
在此情況下，在現(xiàn)有的圖象傳輸系統(tǒng)中，不能把數(shù)據(jù)存儲(chǔ)量較少的緩沖器的數(shù)據(jù)存儲(chǔ)區(qū)域分配給與第一構(gòu)成要素相對(duì)應(yīng)的壓縮數(shù)據(jù)。因此，就需要以比第二構(gòu)成要素更高的壓縮率來(lái)壓縮與第一構(gòu)成要素相對(duì)應(yīng)的圖象數(shù)據(jù)，結(jié)果，存在第一構(gòu)成要素的畫(huà)質(zhì)變差的問(wèn)題。
而且，在第三構(gòu)成要素(圖14(c))中，在時(shí)間t0，t1中所讀出的壓縮數(shù)據(jù)是代碼量較少的，在時(shí)間t2中所讀出的壓縮數(shù)據(jù)是代碼量較多的。這樣，在與隨著時(shí)間推移圖象的復(fù)雜度的變動(dòng)變大的構(gòu)成要素相對(duì)應(yīng)的緩沖器中，該數(shù)據(jù)存儲(chǔ)區(qū)域幾乎不被占有。對(duì)于這樣的構(gòu)成要素，由于緩沖器尺寸的限制，在時(shí)間t2中進(jìn)行壓縮數(shù)據(jù)的讀出的幀中，對(duì)壓縮數(shù)據(jù)的代碼量的分配受到限制，其結(jié)果，存在與該幀相對(duì)應(yīng)的畫(huà)質(zhì)變差的問(wèn)題。
即使所有的構(gòu)成要素的復(fù)雜度或者復(fù)雜度的變動(dòng)是平均相同的，而在局部，在某個(gè)時(shí)刻，會(huì)存在特定的構(gòu)成要素的圖象比其他的構(gòu)成要素的圖象更復(fù)雜的情況。在此情況下，即使給與上述特定的構(gòu)成要素相對(duì)應(yīng)的數(shù)據(jù)分配較多的比特?cái)?shù)來(lái)進(jìn)行編碼，由于緩沖器尺寸的限制，在與其他的構(gòu)成要素相對(duì)應(yīng)的緩沖器的數(shù)據(jù)占有量上有富裕，對(duì)于上述特定的構(gòu)成要素，只能分配比特?cái)?shù)到對(duì)應(yīng)的緩沖器的數(shù)據(jù)存儲(chǔ)量的上限。由此，當(dāng)上述特定的構(gòu)成要素的圖象為復(fù)雜時(shí)，不能提高該圖象的畫(huà)質(zhì)。
這樣，在現(xiàn)有技術(shù)中，對(duì)于各個(gè)構(gòu)成要素(即各個(gè)解碼器)，在接收側(cè)獨(dú)立設(shè)置存儲(chǔ)編碼數(shù)據(jù)(壓縮數(shù)據(jù))的緩沖器，因此，不能實(shí)現(xiàn)構(gòu)成要素間的緩沖器的有效利用，特定的構(gòu)成要素的畫(huà)質(zhì)變差，而存在在合成的圖象的畫(huà)質(zhì)中產(chǎn)生偏差的問(wèn)題。
而且，由于預(yù)先考慮對(duì)象的圖象復(fù)雜度來(lái)設(shè)定與各對(duì)象相對(duì)應(yīng)的壓縮數(shù)據(jù)的傳輸率，就會(huì)存在不適合于具有受到限制的數(shù)據(jù)傳輸速度的實(shí)際通信線路的問(wèn)題。
為了解決上述問(wèn)題，本發(fā)明的目的是提供能夠在多個(gè)不同的構(gòu)成要素間有效利用用于存儲(chǔ)編碼數(shù)據(jù)的緩沖器，緩沖器在不會(huì)溢出或者下溢的情況下根據(jù)各構(gòu)成要素的復(fù)雜度而動(dòng)態(tài)地分配比特?cái)?shù)的圖象處理方法、圖象處理裝置以及存儲(chǔ)用于通過(guò)計(jì)算機(jī)進(jìn)行圖象處理方法所進(jìn)行的圖象處理的程序的數(shù)據(jù)存儲(chǔ)媒體。
本發(fā)明的目的是提供能夠使與對(duì)象相對(duì)應(yīng)的壓縮數(shù)據(jù)的傳輸率適合于具有受到限制的數(shù)據(jù)傳輸速度的實(shí)際通信線路的圖象處理方法、圖象處理裝置以及存儲(chǔ)用于通過(guò)計(jì)算機(jī)進(jìn)行圖象處理方法所進(jìn)行的圖象處理的程序的數(shù)據(jù)存儲(chǔ)媒體。
本發(fā)明(第1方面)所涉及的圖象處理方法，對(duì)于用于顯示預(yù)定圖象的視頻信號(hào)進(jìn)行對(duì)象編碼處理，該對(duì)象編碼處理把與構(gòu)成該預(yù)定圖象的多個(gè)構(gòu)成要素相對(duì)應(yīng)的對(duì)象圖象數(shù)據(jù)在每個(gè)構(gòu)成要素中分別進(jìn)行編碼，而變換為對(duì)象編碼數(shù)據(jù)，其特征在于，包括復(fù)雜度測(cè)定處理，測(cè)定與在上述各對(duì)象圖象數(shù)據(jù)的編碼處理中所需要的比特?cái)?shù)的多少相對(duì)應(yīng)的構(gòu)成要素的復(fù)雜度；比特?cái)?shù)分配比率決定處理，根據(jù)上述各構(gòu)成要素的復(fù)雜度，來(lái)決定分配給各對(duì)象圖象數(shù)據(jù)的比特?cái)?shù)的上述多個(gè)構(gòu)成要素間的比率，對(duì)上述各對(duì)象圖象數(shù)據(jù)進(jìn)行編碼，以使與上述各對(duì)象編碼數(shù)據(jù)相對(duì)應(yīng)的比特?cái)?shù)滿足上述各構(gòu)成要素間的分配比特?cái)?shù)的決定比率。
本發(fā)明(第2方面)所涉及的圖象處理方法，對(duì)與由第1方面所述的圖象處理方法所得到的各構(gòu)成要素相對(duì)應(yīng)的對(duì)象編碼數(shù)據(jù)進(jìn)行復(fù)用而形成的復(fù)用編碼數(shù)據(jù)進(jìn)行解碼，其特征在于，包括分離處理，從上述復(fù)用編碼數(shù)據(jù)分離出與上述各構(gòu)成要素相對(duì)應(yīng)的對(duì)象編碼數(shù)據(jù)；存儲(chǔ)處理，把與上述各構(gòu)成要素相對(duì)應(yīng)的對(duì)象編碼數(shù)據(jù)存儲(chǔ)在一個(gè)緩沖器中；解碼處理，從該緩沖器取出與各構(gòu)成要素相對(duì)應(yīng)的對(duì)象編碼數(shù)據(jù)來(lái)進(jìn)行解碼。
本發(fā)明(第3方面)所涉及的圖象處理方法，在第1方面所述的圖象處理方法中，使用第一值、第二值、第三值或者第四值中的任一個(gè)值作為表示上述各構(gòu)成要素的復(fù)雜度的指標(biāo)，該第一值表示構(gòu)成上述各構(gòu)成要素的象素的象素值的分散，該第二值表示上述各構(gòu)成要素的顯示圖象的時(shí)間上的變動(dòng)的大小，該第三值是對(duì)在成為上述編碼處理的對(duì)象的對(duì)象幀以前進(jìn)行編碼處理的前處理幀中的對(duì)應(yīng)構(gòu)成要素進(jìn)行編碼時(shí)的發(fā)生比特?cái)?shù)，通過(guò)對(duì)象幀和前處理幀之間的表示相同構(gòu)成要素的特性的系數(shù)的比率來(lái)進(jìn)行加權(quán)而得到，該第四值表示在一定編碼條件下對(duì)與上述各構(gòu)成要素相對(duì)應(yīng)的對(duì)象圖象數(shù)據(jù)進(jìn)行預(yù)備編碼時(shí)所發(fā)生的，與各構(gòu)成要素相對(duì)應(yīng)的發(fā)生比特?cái)?shù)。
本發(fā)明(第4方面)所涉及的圖象處理方法，在作為顯示處理單位的每幀中，對(duì)用于顯示預(yù)定圖象的視頻信號(hào)進(jìn)行對(duì)象編碼處理，該對(duì)象編碼處理把與構(gòu)成該預(yù)定圖象的多個(gè)構(gòu)成要素相對(duì)應(yīng)的對(duì)象圖象數(shù)據(jù)在每個(gè)構(gòu)成要素中分別進(jìn)行編碼，而變換為對(duì)象編碼數(shù)據(jù)，其特征在于，包括幀比特?cái)?shù)決定處理，決定分配給與成為上述編碼處理的對(duì)象的對(duì)象幀相對(duì)應(yīng)的視頻信號(hào)的幀比特?cái)?shù)；比特?cái)?shù)分配處理，根據(jù)構(gòu)成上述對(duì)象幀的各構(gòu)成要素的復(fù)雜度，分配上述幀比特?cái)?shù)以便于與該各構(gòu)成要素相對(duì)應(yīng)，決定與各構(gòu)成要素的對(duì)象幀相對(duì)應(yīng)的對(duì)象比特?cái)?shù)，對(duì)與上述對(duì)象幀相對(duì)應(yīng)的各對(duì)象圖象數(shù)據(jù)進(jìn)行編碼，以使對(duì)應(yīng)的對(duì)象編碼數(shù)據(jù)的比特?cái)?shù)成為與上述各構(gòu)成要素的對(duì)象幀相對(duì)應(yīng)的對(duì)象比特?cái)?shù)。
本發(fā)明(第5方面)所涉及的圖象處理方法，在作為顯示處理單位的每幀中，對(duì)用于顯示預(yù)定圖象的視頻信號(hào)進(jìn)行對(duì)象編碼處理，該對(duì)象編碼處理把與構(gòu)成該預(yù)定圖象的多個(gè)構(gòu)成要素相對(duì)應(yīng)的對(duì)象圖象數(shù)據(jù)在每個(gè)構(gòu)成要素中分別進(jìn)行編碼，而變換為對(duì)象編碼數(shù)據(jù)，其特征在于，包括幀比特?cái)?shù)決定處理，決定分配給與成為上述編碼處理的對(duì)象的對(duì)象幀相對(duì)應(yīng)的視頻信號(hào)的幀比特?cái)?shù)；比特?cái)?shù)分配比率決定處理，根據(jù)與構(gòu)成上述對(duì)象幀的多個(gè)構(gòu)成要素的復(fù)雜度的總和相對(duì)應(yīng)的各構(gòu)成要素的復(fù)雜度之比，決定分配給各對(duì)象圖象數(shù)據(jù)的比特?cái)?shù)的上述多個(gè)構(gòu)成要素間的比率，對(duì)上述各對(duì)象圖象數(shù)據(jù)進(jìn)行編碼，以使上述幀比特?cái)?shù)根據(jù)上述各構(gòu)成要素間的分配比特?cái)?shù)的決定比率被分配給上述各對(duì)象編碼數(shù)據(jù)。
本發(fā)明(第6方面)所涉及的圖象處理裝置，對(duì)于用于顯示預(yù)定圖象的視頻信號(hào)進(jìn)行對(duì)象編碼處理，該對(duì)象編碼處理把與構(gòu)成該預(yù)定圖象的多個(gè)構(gòu)成要素相對(duì)應(yīng)的對(duì)象圖象數(shù)據(jù)在每個(gè)構(gòu)成要素中分別進(jìn)行編碼，而變換為對(duì)象編碼數(shù)據(jù)，其特征在于，包括復(fù)雜度測(cè)定裝置，測(cè)定與在上述各對(duì)象圖象數(shù)據(jù)的編碼處理中所需要的比特?cái)?shù)的多少相對(duì)應(yīng)的構(gòu)成要素的復(fù)雜度；比特?cái)?shù)分配裝置，根據(jù)構(gòu)成成為上述編碼處理的對(duì)象的對(duì)象幀的各構(gòu)成要素的復(fù)雜度，給該各構(gòu)成要素分配在該對(duì)象圖象數(shù)據(jù)的編碼時(shí)使用的比特?cái)?shù)；編碼器，根據(jù)給各構(gòu)成要素分配的比特?cái)?shù)，對(duì)與上述對(duì)象幀相對(duì)應(yīng)的各對(duì)象圖象數(shù)據(jù)進(jìn)行編碼，而生成對(duì)象編碼數(shù)據(jù)；復(fù)用器，對(duì)與各構(gòu)成要素相對(duì)應(yīng)的對(duì)象編碼數(shù)據(jù)進(jìn)行復(fù)用，而生成比特流。
本發(fā)明(第7方面)，在第6方面所述的圖象處理裝置中，使上述比特?cái)?shù)分配裝置構(gòu)成為根據(jù)與對(duì)象幀中的全部構(gòu)成要素的復(fù)雜度的總和相對(duì)應(yīng)的各構(gòu)成要素的復(fù)雜度的比率，來(lái)進(jìn)行與上述各構(gòu)成要素相對(duì)應(yīng)的比特?cái)?shù)的分配。
本發(fā)明(第8方面)，在第6方面所述的圖象處理裝置中，使上述復(fù)雜度測(cè)定裝置構(gòu)成為把第一值、第二值、第三值或者第四值中的任一個(gè)值作為指標(biāo)，來(lái)測(cè)定上述構(gòu)成要素的復(fù)雜度，該第一值表示構(gòu)成上述各構(gòu)成要素的象素的象素值的分散，該第二值表示上述各構(gòu)成要素的顯示圖象的時(shí)間上的變動(dòng)的大小，該第三值是對(duì)該對(duì)象幀以前進(jìn)行編碼處理的前處理幀中的對(duì)應(yīng)構(gòu)成要素進(jìn)行編碼時(shí)的發(fā)生比特?cái)?shù)，通過(guò)對(duì)象幀和前處理幀之間的表示相同構(gòu)成要素的特性的系數(shù)的比率來(lái)進(jìn)行加權(quán)而得到，該第四值表示在一定編碼條件下對(duì)與上述各構(gòu)成要素相對(duì)應(yīng)的對(duì)象圖象數(shù)據(jù)進(jìn)行預(yù)備編碼時(shí)所發(fā)生的，與各構(gòu)成要素相對(duì)應(yīng)的發(fā)生比特?cái)?shù)。
本發(fā)明(第9方面)，在第6方面所述的圖象處理裝置中，使上述比特?cái)?shù)分配裝置構(gòu)成為對(duì)上述比特流進(jìn)行解碼處理的圖象解碼裝置中的，存儲(chǔ)與從上述比特流所分離的各構(gòu)成要素相對(duì)應(yīng)的編碼對(duì)象數(shù)據(jù)的一個(gè)緩沖器，在不會(huì)溢出或者下溢的情況下，把分配給與上述對(duì)象幀相對(duì)應(yīng)的視頻信號(hào)的幀比特?cái)?shù)分配給該各構(gòu)成要素。
本發(fā)明(第10方面)所涉及的數(shù)據(jù)存儲(chǔ)媒體，存儲(chǔ)圖象處理程序，其特征在于，存儲(chǔ)用于通過(guò)計(jì)算機(jī)進(jìn)行第1方面所述的圖象處理方法中的視頻信號(hào)的編碼處理的程序，來(lái)作為上述圖象處理程序。
本發(fā)明(第11方面)所涉及的圖象處理方法，包括發(fā)送側(cè)數(shù)據(jù)處理，通過(guò)編碼處理對(duì)每幀把用于顯示預(yù)定圖象的視頻信號(hào)變換為比特流，發(fā)送該比特流；接收側(cè)數(shù)據(jù)處理，接收該比特流，通過(guò)解碼處理對(duì)每幀把該比特流變換為重放數(shù)據(jù)，其特征在于，上述發(fā)送側(cè)數(shù)據(jù)處理包括對(duì)象編碼處理，對(duì)與構(gòu)成上述預(yù)定圖象的多個(gè)構(gòu)成要素相對(duì)應(yīng)的成為編碼處理的對(duì)象的對(duì)象幀的對(duì)象圖象數(shù)據(jù)在每個(gè)構(gòu)成要素中分別進(jìn)行編碼，并變換為對(duì)象編碼數(shù)據(jù)；復(fù)用處理，對(duì)與各構(gòu)成要素相對(duì)應(yīng)的對(duì)象編碼數(shù)據(jù)進(jìn)行復(fù)用，而生成上述比特流，上述接收側(cè)數(shù)據(jù)處理包括數(shù)據(jù)存儲(chǔ)處理，對(duì)每幀在一個(gè)緩沖器中存儲(chǔ)上述比特流；解碼處理，從上述緩沖器讀出與對(duì)象幀相對(duì)應(yīng)的比特流，按各構(gòu)成要素不同地對(duì)讀出的比特流進(jìn)行解碼，而生成與該各構(gòu)成要素相對(duì)應(yīng)的重放數(shù)據(jù)；合成顯示處理，把與上述各構(gòu)成要素相對(duì)應(yīng)的重放數(shù)據(jù)進(jìn)行合成，而生成合成數(shù)據(jù)，根據(jù)該合成數(shù)據(jù)顯示上述預(yù)定的圖象。
本發(fā)明(第12方面)，在第11方面所述的圖象處理方法中，上述對(duì)象編碼處理包括比特?cái)?shù)決定處理，在上述緩沖器不會(huì)溢出或者下溢的情況下，決定分配給成為編碼對(duì)象的對(duì)象幀的幀比特?cái)?shù)；比特?cái)?shù)分割處理，根據(jù)構(gòu)成上述對(duì)象幀的各構(gòu)成要素的復(fù)雜度，分配上述幀比特?cái)?shù)以便于與該各構(gòu)成要素相對(duì)應(yīng)，決定與各構(gòu)成要素相對(duì)應(yīng)的對(duì)象比特?cái)?shù)，根據(jù)該各對(duì)象比特?cái)?shù)，來(lái)對(duì)與上述對(duì)象幀的各構(gòu)成要素相對(duì)應(yīng)的對(duì)象圖象數(shù)據(jù)進(jìn)行編碼。
本發(fā)明(第13方面)所涉及的圖象處理裝置，對(duì)用于顯示預(yù)定圖象的視頻信號(hào)進(jìn)行對(duì)象編碼處理，該對(duì)象編碼處理把與構(gòu)成該預(yù)定圖象的多個(gè)構(gòu)成要素相對(duì)應(yīng)的對(duì)象圖象數(shù)據(jù)在每個(gè)構(gòu)成要素中分別進(jìn)行編碼，而變換為對(duì)象編碼數(shù)據(jù)，把對(duì)該各對(duì)象編碼數(shù)據(jù)進(jìn)行復(fù)用而得到的復(fù)用編碼數(shù)據(jù)進(jìn)行解碼，其特征在于，包括分離器，從上述復(fù)用編碼數(shù)據(jù)分離出與上述各構(gòu)成要素相對(duì)應(yīng)的對(duì)象編碼數(shù)據(jù)；一個(gè)緩沖器，存儲(chǔ)與上述各構(gòu)成要素相對(duì)應(yīng)的對(duì)象編碼數(shù)據(jù)；解碼器，從該緩沖器取出與上述各構(gòu)成要素相對(duì)應(yīng)的對(duì)象編碼數(shù)據(jù)來(lái)進(jìn)行解碼。
本發(fā)明(第14方面)所涉及的圖象處理方法，在作為顯示處理的單位的每幀中，對(duì)用于顯示預(yù)定圖象的視頻信號(hào)進(jìn)行對(duì)象編碼處理，該對(duì)象編碼處理把與構(gòu)成該預(yù)定圖象的多個(gè)構(gòu)成要素相對(duì)應(yīng)的對(duì)象圖象數(shù)據(jù)在每個(gè)構(gòu)成要素中分別進(jìn)行編碼，而變換為對(duì)象編碼數(shù)據(jù)，其特征在于，包括復(fù)雜度導(dǎo)出處理，求出對(duì)與各構(gòu)成要素相對(duì)應(yīng)的對(duì)象圖象數(shù)據(jù)進(jìn)行預(yù)備編碼而得到的與各構(gòu)成要素相對(duì)應(yīng)的發(fā)生比特?cái)?shù)，來(lái)作為各構(gòu)成要素的復(fù)雜度；幀分配率導(dǎo)出處理，求出未進(jìn)行本編碼處理的所有未編碼幀的復(fù)雜度的總和與成為本編碼處理的對(duì)象的對(duì)象幀的復(fù)雜度之比，來(lái)作為幀分配率；幀比特?cái)?shù)決定處理，把上述幀分配率乘以分配給上述視頻信號(hào)的總比特?cái)?shù)中的未使用比特?cái)?shù)，來(lái)決定分配給上述對(duì)象幀的比特?cái)?shù)；分配率導(dǎo)出處理，求出構(gòu)成上述對(duì)象幀的所有構(gòu)成要素的復(fù)雜度的總和與成為本編碼處理的對(duì)象的構(gòu)成要素的復(fù)雜度之比，來(lái)作為構(gòu)成要素分配率；構(gòu)成要素比特?cái)?shù)決定處理，把上述構(gòu)成要素分配率乘以分配給上述對(duì)象幀的比特?cái)?shù)，來(lái)決定分配給上述對(duì)象構(gòu)成要素的比特?cái)?shù)；構(gòu)成要素編碼處理，根據(jù)分配給各構(gòu)成要素的比特?cái)?shù)，分別對(duì)與構(gòu)成上述對(duì)象幀的各構(gòu)成要素相對(duì)應(yīng)的對(duì)象圖象數(shù)據(jù)進(jìn)行編碼。
本發(fā)明(第15方面)所涉及的圖象處理裝置，對(duì)用于顯示預(yù)定圖象的視頻信號(hào)進(jìn)行對(duì)象編碼處理，該對(duì)象編碼處理把與構(gòu)成該預(yù)定圖象的多個(gè)構(gòu)成要素相對(duì)應(yīng)的對(duì)象圖象數(shù)據(jù)在每個(gè)構(gòu)成要素中分別進(jìn)行編碼，而變換為對(duì)象編碼數(shù)據(jù)，其特征在于，包括復(fù)雜度測(cè)定器，導(dǎo)出通過(guò)與上述各構(gòu)成要素相對(duì)應(yīng)的對(duì)象圖象數(shù)據(jù)的預(yù)備編碼而發(fā)生的，與各構(gòu)成要素相對(duì)應(yīng)的發(fā)生比特?cái)?shù)，來(lái)作為各構(gòu)成要素的復(fù)雜度的指標(biāo)；幀分配率導(dǎo)出器，求出來(lái)進(jìn)行本編碼處理的所有未編碼幀的復(fù)雜度的總和與成為本編碼處理的對(duì)象的對(duì)象幀的復(fù)雜度之比，來(lái)作為幀分配率；幀比特?cái)?shù)決定器，把上述幀分配率乘以分配給上述視頻信號(hào)的總比特?cái)?shù)中的未使用比特?cái)?shù)，來(lái)決定分配給上述對(duì)象幀的比特?cái)?shù)；分配率導(dǎo)出裝置，求出構(gòu)成上述對(duì)象幀的所有構(gòu)成要素的復(fù)雜度的總和與成為本編碼處理的對(duì)象的構(gòu)成要素的復(fù)雜度之比，來(lái)作為構(gòu)成要素分配率；構(gòu)成要素比特?cái)?shù)決定裝置，把上述構(gòu)成要素分配率乘以分配給上述對(duì)象幀的比特?cái)?shù)，來(lái)決定分配給上述對(duì)象構(gòu)成要素的比特?cái)?shù)；編碼裝置，根據(jù)分配給各構(gòu)成要素的比特?cái)?shù)，分別對(duì)構(gòu)成上述對(duì)象幀的各構(gòu)成要素進(jìn)行編碼，來(lái)生成對(duì)象編碼數(shù)據(jù)；復(fù)用器，對(duì)與上述多個(gè)構(gòu)成要素相對(duì)應(yīng)的對(duì)象編碼數(shù)據(jù)進(jìn)行復(fù)用，并輸出比特流。
本發(fā)明(第16方面)所涉及的數(shù)據(jù)存儲(chǔ)媒體，存儲(chǔ)圖象處理程序，其特征在于，存儲(chǔ)用于通過(guò)計(jì)算機(jī)進(jìn)行第14方面所述的圖象編碼方法中的視頻信號(hào)的編碼處理的程序，來(lái)作為上述圖象處理程序。
本發(fā)明(第17方面)所涉及的圖象處理方法，對(duì)用于顯示預(yù)定圖象的視頻信號(hào)進(jìn)行對(duì)象編碼處理，該對(duì)象編碼處理把與構(gòu)成該預(yù)定圖象的多個(gè)構(gòu)成要素相對(duì)應(yīng)的對(duì)象圖象數(shù)據(jù)在每個(gè)構(gòu)成要素中分別進(jìn)行編碼，而變換為對(duì)象編碼數(shù)據(jù)，其特征在于，上述對(duì)象編碼處理包括復(fù)雜度測(cè)定處理，測(cè)定與上述各對(duì)象圖象數(shù)據(jù)的編碼處理中所需要的比特?cái)?shù)的多少相對(duì)應(yīng)的構(gòu)成要素的復(fù)雜度；比特率比率決定處理，根據(jù)上述各構(gòu)成要素的復(fù)雜度，來(lái)決定與各構(gòu)成要素相對(duì)應(yīng)的對(duì)象編碼數(shù)據(jù)的比特率的該多個(gè)構(gòu)成要素間的比率，根據(jù)與上述各構(gòu)成要素相對(duì)應(yīng)的比特率的比率，來(lái)以預(yù)定的比特率對(duì)與各構(gòu)成要素相對(duì)應(yīng)的對(duì)象圖象數(shù)據(jù)進(jìn)行編碼，以使所有的與構(gòu)成要素相對(duì)應(yīng)的比特率的總和為恒定值。
本發(fā)明(第18方面)所涉及的圖象處理方法，對(duì)與由上述第17方面所述的圖象處理方法所得到的各構(gòu)成要素相對(duì)應(yīng)的對(duì)象編碼數(shù)據(jù)進(jìn)行復(fù)用而形成的復(fù)用編碼數(shù)據(jù)進(jìn)行解碼，其特征在于，包括分離處理，從上述復(fù)用編碼數(shù)據(jù)分離出與上述各構(gòu)成要素相對(duì)應(yīng)的對(duì)象編碼數(shù)據(jù)；存儲(chǔ)處理，把與上述各構(gòu)成要素相對(duì)應(yīng)的對(duì)象編碼數(shù)據(jù)存儲(chǔ)在一個(gè)緩沖器中；解碼處理，從該緩沖器取出與上述各構(gòu)成要素相對(duì)應(yīng)的對(duì)象編碼數(shù)據(jù)來(lái)進(jìn)行解碼。
本發(fā)明(第19方面)，在第17方面所述的圖象處理方法中，上述對(duì)象編碼處理包括編碼條件決定處理，在上述緩沖器不會(huì)溢出或者下溢的情況下，根據(jù)各構(gòu)成要素的復(fù)雜度，來(lái)決定與該各構(gòu)成要素相對(duì)應(yīng)的比特率的比率和與各構(gòu)成要素相對(duì)應(yīng)的存儲(chǔ)到上述緩沖器中的對(duì)象編碼數(shù)據(jù)的最大量，根據(jù)與上述各構(gòu)成要素相對(duì)應(yīng)的比特率的比率，以預(yù)定的比特率對(duì)與各構(gòu)成要素相對(duì)應(yīng)的對(duì)象圖象數(shù)據(jù)進(jìn)行編碼，以使所有的與構(gòu)成要素相對(duì)應(yīng)的比特率的總和為恒定值。
本發(fā)明(第20方面)，在第17方面所述的圖象處理方法中，使用第一值、第二值、第三值或者第四值中的任一個(gè)值作為表示上述各構(gòu)成要素的復(fù)雜度的指標(biāo)，該第一值表示構(gòu)成上述各構(gòu)成要素的象素的象素值的分散，該第二值表示上述各構(gòu)成要素的顯示圖象的時(shí)間上的變動(dòng)的大小，該第三值是對(duì)在成為上述編碼處理的對(duì)象的對(duì)象幀以前進(jìn)行編碼處理的前處理幀中的對(duì)應(yīng)構(gòu)成要素進(jìn)行編碼時(shí)的發(fā)生比特?cái)?shù)，通過(guò)對(duì)象幀和前處理幀之間的表示相同構(gòu)成要素的特性的系數(shù)的比率來(lái)進(jìn)行加權(quán)而得到，該第四值表示在一定編碼條件下對(duì)與上述各構(gòu)成要素相對(duì)應(yīng)的對(duì)象圖象數(shù)據(jù)進(jìn)行預(yù)備編碼時(shí)所發(fā)生的，與各構(gòu)成要素相對(duì)應(yīng)的發(fā)生比特?cái)?shù)。
本發(fā)明(第21方面)所涉及的圖象處理方法，對(duì)用于顯示預(yù)定圖象的視頻信號(hào)進(jìn)行對(duì)象編碼處理，該對(duì)象編碼處理把與構(gòu)成該預(yù)定圖象的多個(gè)構(gòu)成要素相對(duì)應(yīng)的對(duì)象圖象數(shù)據(jù)在每個(gè)構(gòu)成要素中分別進(jìn)行編碼，而變換為對(duì)象編碼數(shù)據(jù)，其特征在于，上述對(duì)象編碼處理包括復(fù)雜度測(cè)定處理，測(cè)定與上述各對(duì)象圖象數(shù)據(jù)的編碼處理中所需要的比特?cái)?shù)的多少相對(duì)應(yīng)的構(gòu)成要素的復(fù)雜度；編碼條件決定處理，根據(jù)與上述所有構(gòu)成要素的復(fù)雜度的總和相對(duì)應(yīng)的各構(gòu)成要素的復(fù)雜度的比率，來(lái)決定與該各構(gòu)成要素相對(duì)應(yīng)的對(duì)象編碼數(shù)據(jù)的比特率的上述多個(gè)構(gòu)成要素間的比率和與各構(gòu)成要素相對(duì)應(yīng)的存儲(chǔ)到解碼側(cè)的緩沖器中的對(duì)象編碼數(shù)據(jù)的最大量，根據(jù)與上述各構(gòu)成要素相對(duì)應(yīng)的比特率的比率，以預(yù)定的比特率對(duì)與各構(gòu)成要素相對(duì)應(yīng)的對(duì)象圖象數(shù)據(jù)進(jìn)行編碼，以使所有的與構(gòu)成要素相對(duì)應(yīng)的比特率的總和為恒定值。
本發(fā)明(第22方面)所涉及的圖象處理裝置，對(duì)用于顯示預(yù)定圖象的視頻信號(hào)進(jìn)行對(duì)象編碼處理，該對(duì)象編碼處理把與構(gòu)成該預(yù)定圖象的多個(gè)構(gòu)成要素相對(duì)應(yīng)的對(duì)象圖象數(shù)據(jù)在每個(gè)構(gòu)成要素中分別進(jìn)行編碼，而變換為對(duì)象編碼數(shù)據(jù)，其特征在于，包括復(fù)雜度測(cè)定裝置，測(cè)定與上述各對(duì)象圖象數(shù)據(jù)的編碼處理中所需要的比特?cái)?shù)的多少相對(duì)應(yīng)的構(gòu)成要素的復(fù)雜度；編碼條件決定裝置，根據(jù)上述各構(gòu)成要素的復(fù)雜度，來(lái)決定與該各構(gòu)成要素相對(duì)應(yīng)的個(gè)別比特率以及與各構(gòu)成要素相對(duì)應(yīng)的作為存儲(chǔ)到解碼側(cè)的緩沖器中的對(duì)象編碼數(shù)據(jù)的最大量的個(gè)別緩沖器尺寸；控制器，根據(jù)上述所決定的個(gè)別比特率和個(gè)別緩沖器尺寸，來(lái)輸出控制信號(hào)；編碼器，一邊根據(jù)上述控制信號(hào)控制由該編碼處理而發(fā)生的比特率，一邊進(jìn)行與上述構(gòu)成要素相對(duì)應(yīng)的對(duì)象圖象數(shù)據(jù)所對(duì)應(yīng)的編碼處理，輸出與各構(gòu)成要素相對(duì)應(yīng)的對(duì)象編碼數(shù)據(jù)；復(fù)用器，對(duì)與上述各構(gòu)成要素相對(duì)應(yīng)的對(duì)象編碼數(shù)據(jù)進(jìn)行復(fù)用，而生成比特流。
本發(fā)明(第23方面)，在第22方面所述的圖象處理裝置中，上述編碼條件決定裝置根據(jù)上述各構(gòu)成要素的復(fù)雜度來(lái)給各構(gòu)成要素分配傳輸路徑的最大傳輸比特率，并決定與各構(gòu)成要素相對(duì)應(yīng)的個(gè)別比特率，根據(jù)上述各構(gòu)成要素的復(fù)雜度來(lái)給該各構(gòu)成要素分配上述解碼側(cè)的一個(gè)緩沖器的最大數(shù)據(jù)存儲(chǔ)量，并決定上述個(gè)別緩沖器尺寸。
本發(fā)明(第24方面)所涉及的數(shù)據(jù)存儲(chǔ)媒體，存儲(chǔ)圖象處理程序，其特征在于，存儲(chǔ)用于通過(guò)計(jì)算機(jī)進(jìn)行第17方面所述的圖象處理方法中的視頻信號(hào)的編碼處理的程序，來(lái)作為上述圖象處理程序。
本發(fā)明的這些和其他的目的、優(yōu)點(diǎn)及特征將通過(guò)結(jié)合附圖對(duì)本發(fā)明的實(shí)施例的描述而得到進(jìn)一步說(shuō)明。在這些附圖中圖1是用于說(shuō)明本發(fā)明的實(shí)施例1的圖象處理方法的圖，表示該圖象處理方法所進(jìn)行的編碼處理的簡(jiǎn)要流程；圖2是用于說(shuō)明本發(fā)明的實(shí)施例1的圖象編碼裝置(圖象處理裝置)的方框圖；圖3是用于說(shuō)明本發(fā)明的實(shí)施例1的圖象解碼裝置(圖象處理裝置)的方框圖4是表示上述實(shí)施例1的圖象編碼方法(圖象處理方法)所進(jìn)行的具體的編碼處理的流程的圖；圖5是表示上述實(shí)施例1的圖象編碼方法(圖象處理方法)所進(jìn)行的詳細(xì)的編碼處理的流程的圖；圖6是通過(guò)緩沖器占有量的時(shí)間遷移來(lái)表示通過(guò)上述實(shí)施例1的圖象編碼方法進(jìn)行處理而得到的編碼數(shù)據(jù)占有接收側(cè)的解碼器緩沖器的情況的模式圖；圖7是用于說(shuō)明本發(fā)明的實(shí)施例2的圖象解碼裝置(圖象處理裝置)的方框圖；圖8是表示本發(fā)明的實(shí)施例2的圖象編碼方法(圖象處理方法)的編碼處理的流程的圖；圖9是用于說(shuō)明本發(fā)明的實(shí)施例3的圖象解碼裝置(圖象處理裝置)的方框圖；圖10是表示本發(fā)明的實(shí)施例3的圖象編碼方法(圖象處理方法)的編碼處理的流程的圖；圖11是表示本發(fā)明的實(shí)施例3的變形例的圖象編碼方法(圖象處理方法)的編碼處理的流程的圖；圖12是用于說(shuō)明用于存儲(chǔ)通過(guò)計(jì)算機(jī)系統(tǒng)來(lái)實(shí)現(xiàn)上述各個(gè)實(shí)施例的圖象編碼方法的程序的數(shù)據(jù)存儲(chǔ)媒體(圖12(a)，(b))和計(jì)算機(jī)系統(tǒng)(圖(c))的圖；圖13是用于說(shuō)明構(gòu)成現(xiàn)有的圖象傳輸系統(tǒng)的編碼裝置和解碼裝置的方框圖；圖14是表示構(gòu)成現(xiàn)有的圖象傳輸系統(tǒng)的解碼裝置中的編碼數(shù)據(jù)的緩沖器占有量的遷移的模式圖，圖14(a)，(b)，(c)分別表示與第一，第二，第三構(gòu)成要素相對(duì)應(yīng)的圖；圖15是用于說(shuō)明構(gòu)成本發(fā)明的實(shí)施例1的圖象編碼裝置的編碼器的構(gòu)成的方框圖；圖16是用于說(shuō)明構(gòu)成本發(fā)明的實(shí)施例1的圖象解碼裝置的解碼器的構(gòu)成的方框圖；圖17是用于說(shuō)明本發(fā)明的實(shí)施例3的變形例的圖象編碼裝置的編碼處理的模式圖，圖17(a)，(b)，(c)分別表示與第一，第二，第三構(gòu)成要素相對(duì)應(yīng)的比特率和緩沖器尺寸Bo(1)，Bo(2)，Bo(3)。
下面對(duì)本發(fā)明的實(shí)施例進(jìn)行說(shuō)明。
(實(shí)施例1)圖1是用于說(shuō)明本發(fā)明的實(shí)施例1的圖象處理方法的圖，概略地表示該圖象處理方法所進(jìn)行的編碼處理的流程。
并且，該實(shí)施例1對(duì)應(yīng)于棧發(fā)明1～13方面。
首先，當(dāng)開(kāi)始進(jìn)行該編碼處理時(shí)(步驟S101)，輸入構(gòu)成與預(yù)定圖象相對(duì)應(yīng)的視頻信號(hào)的與多個(gè)構(gòu)成要素(對(duì)象)相對(duì)應(yīng)的圖象數(shù)據(jù)(對(duì)象圖象數(shù)據(jù))(步驟S102)。
接著，測(cè)定與上述各構(gòu)成要素相對(duì)應(yīng)的1幀的圖象的復(fù)雜度(步驟S103)。在本實(shí)施例中，使用各構(gòu)成要素的象素的象素值的分散值來(lái)作為上述1幀的圖象的復(fù)雜度。即，求出與構(gòu)成要素的1幀相對(duì)應(yīng)的全部象素值的平均值，求出各象素值與平均值的差分的絕對(duì)值，把各絕對(duì)值之和作為分散值。在構(gòu)成要素的大小不同時(shí)，通過(guò)各構(gòu)成要素的圖象尺寸來(lái)進(jìn)一步把分散值標(biāo)準(zhǔn)化。
接著，根據(jù)測(cè)定的復(fù)雜度，決定分配給各構(gòu)成要素的對(duì)應(yīng)的編碼數(shù)據(jù)的每一幀的比特?cái)?shù)(步驟S104)。根據(jù)決定的每一幀的比特?cái)?shù)，對(duì)與各構(gòu)成要素相對(duì)應(yīng)的圖象數(shù)據(jù)進(jìn)行編碼(步驟S105)。由此，編碼處理結(jié)束(步驟S106)。
其中，用于決定上述每一幀的比特?cái)?shù)的指標(biāo)并不僅限于上述分散值，例如，也可以把各構(gòu)成要素的運(yùn)動(dòng)的大小作為指標(biāo)，來(lái)決定每一幀的比特?cái)?shù)。具體地說(shuō)，使分配給靜止的構(gòu)成要素的圖象的比特?cái)?shù)較多，而抑制分配給運(yùn)動(dòng)較大的構(gòu)成要素的圖象的比特?cái)?shù)。
以下對(duì)進(jìn)行上述實(shí)施例1的圖象處理方法的編碼處理的圖象處理裝置(圖象編碼裝置)以及對(duì)由該編碼處理所生成的編碼數(shù)據(jù)進(jìn)行解碼的圖象處理裝置(圖象解碼裝置)進(jìn)行說(shuō)明。
圖2是用于說(shuō)明上述圖象編碼裝置的方框圖。
上述圖象編碼裝置110a具有根據(jù)控制信號(hào)215對(duì)與第一對(duì)象(構(gòu)成要素)相對(duì)應(yīng)的圖象數(shù)據(jù)212進(jìn)行編碼并輸出編碼數(shù)據(jù)218的第一編碼器204、根據(jù)控制信號(hào)216對(duì)與第二對(duì)象(構(gòu)成要素)相對(duì)應(yīng)的圖象數(shù)據(jù)213進(jìn)行編碼并輸出編碼數(shù)據(jù)219的第二編碼器205、根據(jù)控制信號(hào)217對(duì)與第三對(duì)象(構(gòu)成要素)相對(duì)應(yīng)的圖象數(shù)據(jù)214進(jìn)行編碼并輸出編碼數(shù)據(jù)220的第三編碼器206。
并且，上述圖象編碼裝置110a還具有對(duì)與各對(duì)象相對(duì)應(yīng)的編碼數(shù)據(jù)218，219，220進(jìn)行復(fù)用并作為復(fù)用比特流221而輸出的復(fù)用器207、根據(jù)表示上述第一，第二，第三對(duì)象的圖象的復(fù)雜度的信息222，223，224和上述各編碼數(shù)據(jù)218，219，220來(lái)發(fā)生上述控制信號(hào)215，216，217的比率控制器211。
其中，上述比率控制器211包括幀比特?cái)?shù)決定裝置210，根據(jù)來(lái)自上述各編碼器204，205，206的編碼數(shù)據(jù)218，219，220，來(lái)決定分配給合成上述各對(duì)象的圖象而得到的合成圖象的1幀的比特?cái)?shù)，并輸出幀比特?cái)?shù)信息210a；對(duì)象比特?cái)?shù)決定裝置209，根據(jù)表示上述各對(duì)象的圖象的復(fù)雜度的信息222～224和幀比特?cái)?shù)信息210a來(lái)給各構(gòu)成要素分配上述合成圖象1幀的比特?cái)?shù)，并決定各構(gòu)成要素1幀的比特?cái)?shù)。
在圖2中，201、202、203分別是輸入各對(duì)象的圖象數(shù)據(jù)的輸入端子，208是復(fù)用比特流221所輸出的輸出端子。
圖15是表示上述第一編碼器的具體構(gòu)成的方框圖。并且，雖然其中僅表示了上述第一編碼器204的構(gòu)成，但第二編碼器205和第三編碼器206為與上述第一編碼器204相同的構(gòu)成。
上述第一編碼器204對(duì)與對(duì)象即任意形狀的圖象相對(duì)應(yīng)的圖象數(shù)據(jù)進(jìn)行編碼。該與任意形狀的圖象相對(duì)應(yīng)的圖象數(shù)據(jù)包含表示圖形(結(jié)構(gòu))并包含亮度信號(hào)和色差信號(hào)的結(jié)構(gòu)數(shù)據(jù)、表示該圖象的形狀的形狀數(shù)據(jù)(所謂有意義信號(hào)或者形狀信號(hào))。有意義信號(hào)表示構(gòu)成結(jié)構(gòu)的各樣本(象素)是否屬于對(duì)象的內(nèi)部，屬于對(duì)象內(nèi)部的樣本是有意義的，另一方面，不屬于對(duì)象內(nèi)部的樣本是沒(méi)有意義的。在本實(shí)施例中，當(dāng)結(jié)構(gòu)的樣本沒(méi)有意義時(shí)，對(duì)應(yīng)的有意義信號(hào)取0值。并且，結(jié)構(gòu)的樣本在對(duì)應(yīng)的有意義信號(hào)取0以外的值時(shí)為有意義的。
即，上述第一編碼器204具有分塊器(未圖示)，把與第一對(duì)象的各幀相對(duì)應(yīng)的結(jié)構(gòu)數(shù)據(jù)Ts分割成由作為編碼處理的單位的16×16象素組成的塊，并輸出與各塊相對(duì)應(yīng)的圖象數(shù)據(jù)1516，該圖象數(shù)據(jù)1516提供給輸入端子1501。
上述第一編碼器204具有第一加法器1502，通過(guò)進(jìn)行編碼處理的被處理幀中的對(duì)象塊(成為編碼處理的對(duì)象的塊)的圖象數(shù)據(jù)1516同與其相對(duì)應(yīng)的預(yù)測(cè)數(shù)據(jù)1526的相減處理，來(lái)輸出差分?jǐn)?shù)據(jù)1517；信息壓縮器1503，對(duì)該第一加法器1502的輸出1517進(jìn)行信息壓縮處理；可變長(zhǎng)編碼器(VLC)1511，對(duì)該信息壓縮器1503的輸出1519進(jìn)行可變長(zhǎng)編碼處理，把編碼數(shù)據(jù)218輸出給輸出端子1506。
其中，上述信息壓縮器1503包括DCT器1504，對(duì)上述差分?jǐn)?shù)據(jù)1517進(jìn)行把空間區(qū)域的數(shù)據(jù)變換為頻率區(qū)域的數(shù)據(jù)的離散余弦變換處理；量化器1505，根據(jù)來(lái)自上述對(duì)象比特?cái)?shù)決定裝置209的控制信號(hào)215對(duì)該DCT器1504的輸出1518進(jìn)行量化，而生成量化系數(shù)，把該量化系數(shù)作為上述信息壓縮器1503的輸出1519而輸出。其中，該量化器1505具有量化步長(zhǎng)導(dǎo)出器(未圖示)，根據(jù)從上述對(duì)象比特?cái)?shù)決定裝置209作為控制信號(hào)215所提供的第一構(gòu)成要素1幀的比特?cái)?shù)，來(lái)導(dǎo)出量化步長(zhǎng)。上述DCT器1504的輸出1518以所導(dǎo)出的量化步長(zhǎng)被量化。
把由對(duì)上述由16×16象素組成的塊進(jìn)行四等分而得到的由8×8象素組成的小塊作為單位，來(lái)進(jìn)行上述離散余弦變換處理。
并且，上述第一編碼器204具有對(duì)上述信息壓縮器1503的輸出1519進(jìn)行信息擴(kuò)展處理的信息擴(kuò)展器1507、把該信息擴(kuò)展器1507的輸出1521與上述預(yù)測(cè)數(shù)據(jù)1526相加而輸出重放數(shù)據(jù)1522的第二加法器1510。
其中，上述信息擴(kuò)展器1507包括對(duì)上述信息壓縮器1503的輸出1519進(jìn)行逆量化的逆量化器1508、對(duì)該逆量化器1508的輸出1520進(jìn)行把頻率區(qū)域的數(shù)據(jù)變換為空間區(qū)域的數(shù)據(jù)的逆DCT處理的IDCT器1509。
而且，上述第一編碼器204具有幀存儲(chǔ)器1513，存儲(chǔ)上述第二加法器1510的輸出(重放數(shù)據(jù))1522作為與后續(xù)處理幀相對(duì)應(yīng)的參照?qǐng)D象數(shù)據(jù)；運(yùn)動(dòng)補(bǔ)償器1515，根據(jù)結(jié)構(gòu)運(yùn)動(dòng)矢量1528從上述幀存儲(chǔ)器1513讀出上述預(yù)測(cè)結(jié)構(gòu)數(shù)據(jù)1526。
接著，上述第一編碼器204具有分塊器(未圖示)，把與第一對(duì)象的各幀相對(duì)應(yīng)的形狀數(shù)據(jù)分割成作為編碼處理的單位的由16×16象素組成的塊，而輸出與各塊相對(duì)應(yīng)的形狀數(shù)據(jù)1536，該形狀數(shù)據(jù)1536被提供給輸入端子1530。
上述第一編碼器204具有形狀編碼器1531，對(duì)上述形狀數(shù)據(jù)1536進(jìn)行形狀編碼處理，從輸出端子1533輸出形狀編碼數(shù)據(jù)1537，同時(shí)，把通過(guò)該形狀編碼數(shù)據(jù)的解碼所得到的數(shù)據(jù)作為參照形狀數(shù)據(jù)1538而輸出給上述幀存儲(chǔ)器1513；形狀運(yùn)動(dòng)補(bǔ)償器1532，根據(jù)形狀運(yùn)動(dòng)矢量1540，從上述幀存儲(chǔ)器1513讀出預(yù)測(cè)形狀數(shù)據(jù)1514。
接著，上述第一編碼器204具有運(yùn)動(dòng)檢測(cè)器1514，根據(jù)在上述幀存儲(chǔ)器1513中所存儲(chǔ)的與現(xiàn)處理幀相對(duì)應(yīng)的參照結(jié)構(gòu)數(shù)據(jù)和參照形狀數(shù)據(jù)1524、對(duì)象塊的結(jié)構(gòu)數(shù)據(jù)1516和形狀數(shù)據(jù)1536，來(lái)求出與現(xiàn)處理幀的對(duì)象塊相對(duì)應(yīng)的結(jié)構(gòu)運(yùn)動(dòng)矢量1528和形狀運(yùn)動(dòng)矢量1540，并輸出。
下面對(duì)以上那樣構(gòu)成的任意形狀圖象編碼裝置110a的動(dòng)作進(jìn)行說(shuō)明。
該實(shí)施例的圖象編碼裝置110a進(jìn)行與由多個(gè)不同構(gòu)成要素組成的圖象相對(duì)應(yīng)的視頻信號(hào)的編碼處理。
即，在上述視頻信號(hào)由與鳥(niǎo)、云和天空的三個(gè)構(gòu)成要素相對(duì)應(yīng)的圖象數(shù)據(jù)所構(gòu)成的情況下，把與鳥(niǎo)、云和天空相對(duì)應(yīng)的圖象序列的數(shù)據(jù)分別輸入上述輸入端子201，202，203。其中，所謂序列是時(shí)間序列。圖象由作為顯示單位的多個(gè)幀組成，幀的時(shí)間序列為視頻。在包含與多個(gè)構(gòu)成要素相對(duì)應(yīng)的圖象數(shù)據(jù)的視頻信號(hào)中，某個(gè)顯示時(shí)刻的幀由多個(gè)構(gòu)成要素的圖象所構(gòu)成。其中，作為列舉的例子中，當(dāng)合成某個(gè)顯示時(shí)間中的鳥(niǎo)、云和天空的圖象時(shí)，為預(yù)定場(chǎng)景的圖象。而且，上述圖象編碼裝置，把與矩形形狀的圖象和任意形狀的圖象相對(duì)應(yīng)的數(shù)據(jù)作為編碼處理的對(duì)象數(shù)據(jù)。例如，在該例中，在矩形形狀的圖象中，使用天空作為背景。鳥(niǎo)和云分別具有任意形狀，且是任意形狀的圖象。
當(dāng)在上述輸入端子201，202，203中分別輸入與各構(gòu)成要素相對(duì)應(yīng)的圖象數(shù)據(jù)212，213，214時(shí)，這些圖象數(shù)據(jù)分別由對(duì)應(yīng)的編碼器204，205，206根據(jù)控制信號(hào)215，216，217進(jìn)行編碼。此時(shí)，在上述比率控制器211中，通過(guò)幀比特?cái)?shù)決定裝置210根據(jù)來(lái)自各編碼器的壓縮數(shù)據(jù)來(lái)求出分配給合成圖象的1幀的幀比特?cái)?shù)，接著，該幀比特?cái)?shù)根據(jù)各對(duì)象的圖象的復(fù)雜度被分割，而求出分配給各對(duì)象的1幀的編碼數(shù)據(jù)的比特?cái)?shù)。接著，表示這些分配給各對(duì)象的1幀的編碼數(shù)據(jù)的比特?cái)?shù)的信息，作為控制信號(hào)215，216，217而輸出給上述各編碼器204，205，206。
下面對(duì)上述各編碼器中的動(dòng)作進(jìn)行說(shuō)明。但是，由于第二、第三編碼器的動(dòng)作與上述第一編碼器的動(dòng)作相同，在此僅對(duì)第一編碼器的動(dòng)作進(jìn)行說(shuō)明。
當(dāng)與任意形狀的圖象(對(duì)象的圖象)相對(duì)應(yīng)的結(jié)構(gòu)數(shù)據(jù)1516和形狀數(shù)據(jù)1536分別輸入到輸入端子1501和1530中時(shí)，由運(yùn)動(dòng)檢測(cè)器1514使用結(jié)構(gòu)數(shù)據(jù)1516和形狀數(shù)據(jù)1536來(lái)進(jìn)行運(yùn)動(dòng)檢測(cè)處理。
在本實(shí)施例中，輸入上述各輸入端子1516和1530的結(jié)構(gòu)數(shù)據(jù)和形狀數(shù)據(jù)分別為與由16×16樣本組成的塊相對(duì)應(yīng)的數(shù)據(jù)。在上述運(yùn)動(dòng)檢測(cè)器1514中，通過(guò)塊匹配等的方法，參照在幀存儲(chǔ)器1513中所存儲(chǔ)的參照數(shù)據(jù)來(lái)檢測(cè)與成為編碼的對(duì)象的對(duì)象塊相對(duì)應(yīng)的運(yùn)動(dòng)的變位信息(運(yùn)動(dòng)矢量)。其中，上述參照數(shù)據(jù)是對(duì)與已經(jīng)進(jìn)行了編碼處理的已處理塊相對(duì)應(yīng)的編碼結(jié)構(gòu)數(shù)據(jù)和編碼形狀數(shù)據(jù)進(jìn)行解碼而得到的。
此時(shí)，與對(duì)象塊的形狀數(shù)據(jù)相對(duì)應(yīng)的運(yùn)動(dòng)矢量1540被提供給形狀運(yùn)動(dòng)補(bǔ)償器1532，由該形狀運(yùn)動(dòng)補(bǔ)償器1532從參照數(shù)據(jù)中的形狀成分來(lái)生成形狀預(yù)測(cè)數(shù)據(jù)1541。接著，運(yùn)動(dòng)矢量1540被送給可變長(zhǎng)編碼器(VLC)1511，變換為可變長(zhǎng)代碼。
在運(yùn)動(dòng)補(bǔ)償器1532中，根據(jù)上述形狀運(yùn)動(dòng)矢量1540，從在上述幀存儲(chǔ)器1513中所存儲(chǔ)的參照形狀數(shù)據(jù)，來(lái)生成與對(duì)象塊相對(duì)應(yīng)的形狀預(yù)測(cè)數(shù)據(jù)1541。
當(dāng)對(duì)象塊的形狀數(shù)據(jù)和由運(yùn)動(dòng)補(bǔ)償器1532所生成的形狀預(yù)測(cè)數(shù)據(jù)被輸入形狀編碼器1531時(shí)，用與MPEG4方式相同的方法參照形狀預(yù)測(cè)數(shù)據(jù)，對(duì)對(duì)象塊的形狀數(shù)據(jù)進(jìn)行算術(shù)編碼處理，作為形狀編碼數(shù)據(jù)1537輸出給輸出端子1533。另一方面，由該形狀編碼器1531對(duì)該形狀編碼數(shù)據(jù)進(jìn)行解碼處理而得到的形狀解碼數(shù)據(jù)1538被送給幀存儲(chǔ)器1513，作為參照形狀數(shù)據(jù)被存儲(chǔ)。
當(dāng)與結(jié)構(gòu)數(shù)據(jù)相對(duì)應(yīng)的運(yùn)動(dòng)矢量1528被提供給運(yùn)動(dòng)補(bǔ)償器1515時(shí)，由該運(yùn)動(dòng)補(bǔ)償器1515從參照結(jié)構(gòu)數(shù)據(jù)生成與對(duì)象塊相對(duì)應(yīng)的預(yù)測(cè)結(jié)構(gòu)數(shù)據(jù)1526。此時(shí)，運(yùn)動(dòng)矢量1528被送給可變長(zhǎng)編碼器(VLC)1511，變換為可變長(zhǎng)代碼。
當(dāng)與上述對(duì)象塊相對(duì)應(yīng)的結(jié)構(gòu)數(shù)據(jù)1516和預(yù)測(cè)結(jié)構(gòu)數(shù)據(jù)1526被提供給第一加法器1502時(shí)，這些數(shù)據(jù)的差分?jǐn)?shù)據(jù)1517被求出，該差分?jǐn)?shù)據(jù)由信息壓縮器1503進(jìn)行壓縮。在本實(shí)施例中，上述差分?jǐn)?shù)據(jù)1517由DCT器1504和量化器1505分別進(jìn)行頻率變換處理和量化處理，變換為壓縮數(shù)據(jù)1519。
量化的數(shù)據(jù)即壓縮數(shù)據(jù)1519由可變長(zhǎng)編碼器(VLC)1511變換為可變長(zhǎng)代碼，與包含運(yùn)動(dòng)矢量的其他側(cè)邊信息一起從輸出端子1506被輸出。
接著，從上述各輸出端子1506，1533所輸出的可變長(zhǎng)代碼按預(yù)定的順序排列，作為編碼數(shù)據(jù)218被送給圖2所示的復(fù)用器207。
與第二，第三對(duì)象相對(duì)應(yīng)的圖象數(shù)據(jù)同與上述第一對(duì)象相對(duì)應(yīng)的圖象數(shù)據(jù)一樣進(jìn)行編碼，分別對(duì)應(yīng)的編碼數(shù)據(jù)219，220被提供給上述復(fù)用器207。
接著，在上述復(fù)用器207中，與上述各對(duì)象相對(duì)應(yīng)的編碼數(shù)據(jù)被復(fù)用，作為一個(gè)比特流(復(fù)用編碼數(shù)據(jù))221被輸出。這樣的比特流由接收側(cè)的圖象解碼裝置進(jìn)行重放。
圖3是用于說(shuō)明實(shí)施例1的圖象解碼裝置的方框圖。
該圖象解碼裝置110b具有分離器302，作為輸入數(shù)據(jù)319而接收來(lái)自上述圖象編碼裝置110a的復(fù)用比特流221，從該輸入數(shù)據(jù)319抽出與各對(duì)象相對(duì)應(yīng)的編碼數(shù)據(jù)309，310，311；一個(gè)緩沖器304，存儲(chǔ)與各對(duì)象相對(duì)應(yīng)的編碼數(shù)據(jù)309，310，311；第一開(kāi)關(guān)303，設(shè)在上述緩沖器304與上述分離器302之間，選擇從上述分離器302所輸出的與各對(duì)象相對(duì)應(yīng)的編碼數(shù)據(jù)中的一個(gè)輸出給上述緩沖器。其中，信號(hào)312是上述開(kāi)關(guān)303的選擇輸出，即由該開(kāi)關(guān)所選擇的信號(hào)。
上述圖象解碼裝置110b具有解碼器305，對(duì)在上述緩沖器304中所存儲(chǔ)的編碼數(shù)據(jù)進(jìn)行解碼，輸出與各對(duì)象相對(duì)應(yīng)的解碼數(shù)據(jù)314；第二開(kāi)關(guān)306，分離出從該解碼器305所輸出的解碼數(shù)據(jù)314中包含的與各對(duì)象相對(duì)應(yīng)的解碼數(shù)據(jù)315，316，317并輸出；合成器307，合成與從該開(kāi)關(guān)306所輸出的各對(duì)象相對(duì)應(yīng)的解碼數(shù)據(jù)315，316，317，而輸出與合成圖象相對(duì)應(yīng)的重放數(shù)據(jù)318。
在圖3中，301是輸入來(lái)自上述圖象編碼裝置110a的復(fù)用比特流221的解碼裝置110b的輸入端子，308是輸出上述重放數(shù)據(jù)318的解碼裝置110b的輸出端子。
圖16是表示上述解碼器的具體構(gòu)成的方框圖。
該解碼器305具有第一數(shù)據(jù)解析器1621，通過(guò)與各對(duì)象相對(duì)應(yīng)的編碼數(shù)據(jù)(以下稱(chēng)為壓縮數(shù)據(jù))的解析，輸出成為解碼處理的對(duì)象的對(duì)象塊的形狀運(yùn)動(dòng)矢量1626；運(yùn)動(dòng)補(bǔ)償器1623，根據(jù)該形狀運(yùn)動(dòng)矢量1626從參照形狀數(shù)據(jù)1629生成與對(duì)象塊相對(duì)應(yīng)的預(yù)測(cè)形狀數(shù)據(jù)1628；形狀解碼器1622，根據(jù)通過(guò)上述第一數(shù)據(jù)解析器1621的壓縮數(shù)據(jù)1625和上述預(yù)測(cè)形狀數(shù)據(jù)1628，而生成與對(duì)象塊相對(duì)應(yīng)的形狀解碼數(shù)據(jù)1627。
上述解碼器305還具有數(shù)據(jù)解析器1602，通過(guò)經(jīng)過(guò)上述形狀解碼器1622的編碼數(shù)據(jù)1611的解析，抽出與對(duì)象塊相對(duì)應(yīng)的結(jié)構(gòu)運(yùn)動(dòng)矢量1618和與量化系數(shù)相對(duì)應(yīng)的可變長(zhǎng)代碼1612；運(yùn)動(dòng)補(bǔ)償器1610，根據(jù)該結(jié)構(gòu)運(yùn)動(dòng)矢量1618從參照結(jié)構(gòu)數(shù)據(jù)1617來(lái)生成與對(duì)象塊相對(duì)應(yīng)的預(yù)測(cè)結(jié)構(gòu)數(shù)據(jù)1620。
接著，上述解碼器305具有系數(shù)可變長(zhǎng)解碼器1608，通過(guò)對(duì)上述可變長(zhǎng)代碼1612的可變長(zhǎng)解碼處理，來(lái)生成上述量化系數(shù)1619；信息擴(kuò)展器1603，通過(guò)對(duì)上述量化系數(shù)1619的信息擴(kuò)展處理而輸出解碼數(shù)據(jù)1614；加法器1606，通過(guò)上述解碼數(shù)據(jù)1614和預(yù)測(cè)數(shù)據(jù)1620的相加處理，輸出重放數(shù)據(jù)1615。其中，上述信息擴(kuò)展器1603包括對(duì)上述量化系數(shù)1619進(jìn)行逆量化處理而生成頻率區(qū)域的數(shù)據(jù)1613的逆量化器1604、對(duì)該頻率區(qū)域的數(shù)據(jù)1613進(jìn)行逆頻率變換處理而輸出空間區(qū)域的數(shù)據(jù)作為與對(duì)象塊相對(duì)應(yīng)的解碼數(shù)據(jù)1614的IDCT器1605。
而且，上述解碼器305具有幀存儲(chǔ)器1609，存儲(chǔ)上述解碼形狀數(shù)據(jù)1627和重放結(jié)構(gòu)數(shù)據(jù)1615，同時(shí)，分別向運(yùn)動(dòng)補(bǔ)償器1623，1610輸出參照形狀數(shù)據(jù)1629和參照結(jié)構(gòu)數(shù)據(jù)1617。
下面對(duì)上述圖象解碼裝置110b的動(dòng)作進(jìn)行說(shuō)明。
當(dāng)來(lái)自發(fā)送側(cè)的比特流319輸入輸入端子301時(shí)，由分離器302把上述比特流分離為與各個(gè)構(gòu)成要素相對(duì)應(yīng)的編碼數(shù)據(jù)，經(jīng)過(guò)切換開(kāi)關(guān)303而送給緩沖器304。在該緩沖器304中存儲(chǔ)所有的與構(gòu)成要素相對(duì)應(yīng)的編碼數(shù)據(jù)。
該緩沖器304用于在多個(gè)對(duì)象間吸收與各對(duì)象相對(duì)應(yīng)的每幀的比特?cái)?shù)的變動(dòng)，則各對(duì)象的編碼數(shù)據(jù)的比特串以一定比率(傳輸率)被輸入緩沖器304。當(dāng)在該緩沖器中積存了某顯示時(shí)刻的與合成圖象的1幀相對(duì)應(yīng)的數(shù)據(jù)時(shí)，從該緩沖器依次向解碼器305讀出編碼數(shù)據(jù)，由該解碼器305進(jìn)行解碼。
通過(guò)上述解碼器305中的解碼處理所得到的與各構(gòu)成要素相對(duì)應(yīng)的解碼數(shù)據(jù)經(jīng)過(guò)切換開(kāi)關(guān)306被送給合成器307。在該合成器307中，對(duì)與各構(gòu)成要素相對(duì)應(yīng)的解碼數(shù)據(jù)315，316，317進(jìn)行合成，與由多個(gè)構(gòu)成要素組成的預(yù)定場(chǎng)景相對(duì)應(yīng)的重放數(shù)據(jù)318經(jīng)過(guò)輸出端子308輸出給顯示裝置。
下面對(duì)上述解碼器305的動(dòng)作進(jìn)行說(shuō)明。
當(dāng)包含各對(duì)象相對(duì)應(yīng)的編碼結(jié)構(gòu)數(shù)據(jù)和編碼形狀數(shù)據(jù)的比特流1624被輸入到輸入端子上時(shí)，在數(shù)據(jù)解析器1621中，與形狀運(yùn)動(dòng)矢量相對(duì)應(yīng)的可變長(zhǎng)代碼通過(guò)該數(shù)據(jù)解析而變換為具有預(yù)定值的形狀運(yùn)動(dòng)矢量1626。當(dāng)該形狀運(yùn)動(dòng)矢量1626被輸出給運(yùn)動(dòng)補(bǔ)償器1623時(shí)，在運(yùn)動(dòng)補(bǔ)償器1623中，根據(jù)運(yùn)動(dòng)矢量，從幀存儲(chǔ)器1609的參照形狀數(shù)據(jù)1629生成與成為解碼處理對(duì)象的對(duì)象塊相對(duì)應(yīng)的預(yù)測(cè)形狀信號(hào)1628。
在上述形狀解碼器1622中，根據(jù)該形狀預(yù)測(cè)信號(hào)1628來(lái)生成與對(duì)象塊相對(duì)應(yīng)的形狀解碼數(shù)據(jù)1627，并存儲(chǔ)在幀存儲(chǔ)器1609中。并且，通過(guò)上述形狀解碼器1622的編碼數(shù)據(jù)1611被提供給第二數(shù)據(jù)解析器1602。
接著，進(jìn)行編碼結(jié)構(gòu)數(shù)據(jù)的擴(kuò)展處理。
即，在數(shù)據(jù)解析器1602中，通過(guò)上述編碼數(shù)據(jù)1611的數(shù)據(jù)解析，與結(jié)構(gòu)運(yùn)動(dòng)矢量相對(duì)應(yīng)的可變長(zhǎng)代碼被變換為具有預(yù)定值的結(jié)構(gòu)運(yùn)動(dòng)矢量1618，同時(shí)，抽出與量化系數(shù)相對(duì)應(yīng)的可變長(zhǎng)代碼1612。當(dāng)運(yùn)動(dòng)矢量1618被送給運(yùn)動(dòng)補(bǔ)償器1610時(shí)，在運(yùn)動(dòng)補(bǔ)償器1610中，根據(jù)該運(yùn)動(dòng)矢量，從幀存儲(chǔ)器1609內(nèi)的參照結(jié)構(gòu)信號(hào)生成與對(duì)象塊相對(duì)應(yīng)的預(yù)測(cè)結(jié)構(gòu)信號(hào)1620。
另一方面，可變長(zhǎng)代碼1612由系數(shù)可變長(zhǎng)解碼器1608變換為具有預(yù)定值的量化系數(shù)1619，由逆量化器1604對(duì)量化系數(shù)1619進(jìn)行逆量化處理，而生成頻率區(qū)域的數(shù)據(jù)1613。該頻率區(qū)域的數(shù)據(jù)1613由IDCT器1605通過(guò)逆頻率變換處理而變換為空間區(qū)域的數(shù)據(jù)1614，作為結(jié)構(gòu)解碼數(shù)據(jù)1614被輸出。
這樣，在加法器1606中，把對(duì)象塊的結(jié)構(gòu)解碼數(shù)據(jù)1614和預(yù)測(cè)結(jié)構(gòu)數(shù)據(jù)1620相加，而生成重放結(jié)構(gòu)數(shù)據(jù)1615。該重放結(jié)構(gòu)數(shù)據(jù)1615被存儲(chǔ)在幀存儲(chǔ)器1609中。
在該實(shí)施例1中，使用圖15所示的作為第一～第三編碼器，使用圖16所示的作為解碼器，但上述編碼器和解碼器的構(gòu)成并不僅限于此。
例如，編碼器可以使用方形、小波編碼(ゥェ-ブレット)等方法作為數(shù)據(jù)壓縮處理的方法，解碼器可以使用與這些數(shù)據(jù)壓縮處理的方法相對(duì)應(yīng)的數(shù)據(jù)擴(kuò)展處理的方法。
在上述實(shí)施例1中，作為圖象編碼裝置，如圖2所示的那樣，表示了進(jìn)行與三個(gè)對(duì)象相對(duì)應(yīng)的圖象數(shù)據(jù)的編碼處理的構(gòu)成，但圖象編碼裝置的構(gòu)成并不僅限于此。上述圖象編碼裝置一般可以為對(duì)與任意數(shù)量的對(duì)象相對(duì)應(yīng)的圖象數(shù)據(jù)進(jìn)行編碼的構(gòu)成。
在上述實(shí)施例1中，圖象編碼裝置具有多個(gè)輸入端子，但也可以為向一個(gè)輸入端子輸入與多個(gè)構(gòu)成要素相對(duì)應(yīng)的圖象數(shù)據(jù)的構(gòu)成。
在上述實(shí)施例1中，表示了矩形形狀的圖象和任意形狀的圖象作為構(gòu)成要素，但是，構(gòu)成要素可以?xún)H是矩形形狀的圖象。在此情況下，圖15所示的編碼器204中的用虛線圍住的形狀編碼部1534不動(dòng)作，同樣，圖16所示的解碼器305中的用虛線圍住的形狀解碼部1624不動(dòng)作。
如上述那樣，在圖2所示的圖象編碼裝置110a中，從輸入端子201，202，203所輸入的各構(gòu)成要素的圖象數(shù)據(jù)由對(duì)應(yīng)的編碼器204，205，206進(jìn)行編碼。所編碼的圖象數(shù)據(jù)(編碼數(shù)據(jù))218，219，220分別送給復(fù)用器207，同時(shí)，送給比率控制器211。
由該比率控制器211的幀比特?cái)?shù)決定裝置210來(lái)對(duì)編碼數(shù)據(jù)的比特?cái)?shù)進(jìn)行計(jì)數(shù)，根據(jù)被處理幀之前發(fā)生的比特?cái)?shù)來(lái)決定下一個(gè)處理幀的比特?cái)?shù)。
在本實(shí)施例1中，按以下這樣來(lái)從幀(i-1)的各構(gòu)成要素的發(fā)生比特?cái)?shù)來(lái)決定幀(I)的比特?cái)?shù)。
其中，在與由多個(gè)構(gòu)成要素組成的合成圖象的每秒的幀數(shù)相對(duì)應(yīng)的編碼數(shù)據(jù)中所需要的比特?cái)?shù)為總比特?cái)?shù)N。
首先，在與幀(i-1)的各構(gòu)成要素相對(duì)應(yīng)的編碼處理結(jié)束的時(shí)刻，求出其發(fā)生比特?cái)?shù)的合計(jì)。當(dāng)該時(shí)刻的發(fā)生比特?cái)?shù)的合計(jì)為F(i-1)時(shí)，通過(guò)N-F(i-1)來(lái)求出剩余的比特?cái)?shù)R。該剩余的比特?cái)?shù)R用于對(duì)下一幀以后的構(gòu)成要素進(jìn)行編碼。
接著，用一秒的剩余的幀數(shù)均等地除以剩余的比特?cái)?shù)R。這樣，得到幀(i)的幀比特?cái)?shù)F(i)。
在對(duì)象比特?cái)?shù)決定裝置209中，在下一個(gè)處理幀(i)的編碼處理中使用的比特?cái)?shù)F(i)被分配給構(gòu)成幀(i)的構(gòu)成要素的圖象。
上述幀比特?cái)?shù)的分配根據(jù)各構(gòu)成要素的復(fù)雜度的測(cè)定值來(lái)進(jìn)行。在本實(shí)施例中，使用以下方法(1)～(4)中任一個(gè)方法來(lái)測(cè)定構(gòu)成要素的圖象的復(fù)雜度。
(1)作為復(fù)雜度的指標(biāo)，使用構(gòu)成各構(gòu)成要素的圖象數(shù)據(jù)的象素值的分散值。即，求出相當(dāng)于構(gòu)成要素的1幀的象素值的平均，求出各象素值與平均值的差分的絕對(duì)值，把各絕對(duì)值之和作為分散值。在構(gòu)成要素的大小不同的情況下，進(jìn)一步根據(jù)圖象的尺寸來(lái)把上述分散值標(biāo)準(zhǔn)化。
(2)對(duì)于進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)編碼處理的圖象，把從與參照幀相對(duì)應(yīng)的圖象數(shù)據(jù)所得到的預(yù)測(cè)數(shù)據(jù)的與被處理幀相對(duì)應(yīng)的圖象數(shù)據(jù)對(duì)應(yīng)誤差作為復(fù)雜度的指標(biāo)。具體地說(shuō)，從與被處理幀相對(duì)應(yīng)的圖象數(shù)據(jù)，以象素單位減去從與參照幀相對(duì)應(yīng)的圖象數(shù)據(jù)所得到的預(yù)測(cè)數(shù)據(jù)，把其差分值的絕對(duì)值之和作為復(fù)雜度的指標(biāo)。
(3)把與幀(i-1)中的各構(gòu)成要素相對(duì)應(yīng)的發(fā)生比特?cái)?shù)作為幀(i)中的各構(gòu)成要素的復(fù)雜度的推定值。并且，為了使該推定值更正確，使用幀(i-1)中的與構(gòu)成要素(j)相對(duì)應(yīng)的分散值同幀(i)中的與構(gòu)成要素(j)相對(duì)應(yīng)的分散值之比，對(duì)幀(i-1)中的各構(gòu)成要素(j)的發(fā)生比特?cái)?shù)進(jìn)行加權(quán)，把其作為幀(i)中的各構(gòu)成要素的復(fù)雜度的推定值。
(4)預(yù)先對(duì)與幀(i)的各構(gòu)成要素相對(duì)應(yīng)的圖象數(shù)據(jù)進(jìn)行編碼，把該編碼處理中發(fā)生的比特?cái)?shù)作為各構(gòu)成要素的圖象的復(fù)雜度的指標(biāo)。在本實(shí)施例中，用固定量化步長(zhǎng)對(duì)幀(i)中的所有構(gòu)成要素進(jìn)行編碼。該方法是在圖象數(shù)據(jù)的編碼處理中的延遲沒(méi)有問(wèn)題情況下所使用的多次編碼方法。
上述各構(gòu)成要素的復(fù)雜度被預(yù)先測(cè)定，表示該復(fù)雜度的信息222，223，224被輸入上述比率控制器211。
在圖2中沒(méi)有表示測(cè)定上述復(fù)雜度的電路構(gòu)成。
根據(jù)這樣決定的復(fù)雜度，由上述對(duì)象比特?cái)?shù)決定裝置209決定分配給各構(gòu)成要素的比特?cái)?shù)，輸出給對(duì)應(yīng)的編碼器204，205，206，在各編碼器中進(jìn)行與各構(gòu)成要素相對(duì)應(yīng)的圖象數(shù)據(jù)的編碼處理，以使編碼數(shù)據(jù)中的比特?cái)?shù)為所決定的比特?cái)?shù)。
圖4表示包含比率控制器211中的具體處理的編碼處理的處理流程。
當(dāng)開(kāi)始進(jìn)行編碼處理(步驟S401)時(shí)，與幀(i)的構(gòu)成要素相對(duì)應(yīng)的圖象數(shù)據(jù)被輸入(步驟S402)。各構(gòu)成要素的圖象的復(fù)雜度被測(cè)定(步驟S403)。具體的方法按上述那樣進(jìn)行。
根據(jù)從各編碼器所輸出的編碼數(shù)據(jù)218～220，決定分配給幀(i)的比特?cái)?shù)(步驟S404)。具體的方法按上述那樣進(jìn)行。
接著，根據(jù)各構(gòu)成要素的圖象的復(fù)雜度，分配給幀(i)的比特?cái)?shù)被分配給各構(gòu)成要素(步驟S405)。根據(jù)與各對(duì)象相對(duì)應(yīng)的分配比特?cái)?shù)來(lái)對(duì)各構(gòu)成要素的圖象數(shù)據(jù)進(jìn)行編碼(步驟S406)。然后，進(jìn)行判定成為編碼處理的對(duì)象的被處理幀是否是圖象序列最后的幀，如果是最后的，編碼處理結(jié)束(步驟S408)，如果不是最后的，重復(fù)進(jìn)行上述步驟S402～S407的處理。這樣，上述編碼處理重復(fù)進(jìn)行直到最后的幀為止。
圖5表示上述實(shí)施例1的圖象編碼方法的更具體的處理。
當(dāng)開(kāi)始進(jìn)行編碼處理(步驟S501)時(shí)，與幀(i)的構(gòu)成要素相對(duì)應(yīng)的圖象數(shù)據(jù)被輸入(步驟S502)。接著，在步驟S503中，測(cè)定幀(i)的圖象中的構(gòu)成要素(j)的復(fù)雜度C(i，j)。具體的方法按上述那樣進(jìn)行。在步驟S504中，決定分配給與幀(i)相對(duì)應(yīng)的編碼數(shù)據(jù)的比特?cái)?shù)Tf(i)。具體的方法按上述那樣進(jìn)行。
在步驟S505中，調(diào)整上述幀比特?cái)?shù)Tf(i)，以便于滿足圖象解碼裝置110b中的緩沖器304的條件。即，幀比特?cái)?shù)Tf(i)必須滿足以下條件以使該緩沖器304不會(huì)溢出或者下溢B(i-1)+2R/P-B＜Tf(i)≤B(i-1)+R/P…(1)其中，B(i-1)是從緩沖器取出與顯示時(shí)刻(i-1)中的幀(i-1)相對(duì)應(yīng)的編碼數(shù)據(jù)時(shí)刻上的該緩沖器的數(shù)據(jù)占有量，B是緩沖器304的尺寸(最大數(shù)據(jù)存儲(chǔ)量)，R是比特率，P是幀率。
在不滿足上述條件的情況下，即，當(dāng)幀比特?cái)?shù)Tf(i)為由上述(1)式所示的范圍最小值以下時(shí)，幀比特?cái)?shù)Tf(i)被設(shè)定為上限，另一方面，當(dāng)幀比特?cái)?shù)Tf(i)超過(guò)由上述(1)式所示的范圍最大值時(shí)，幀比特?cái)?shù)Tf(i)被設(shè)定為下限。
接著，在步驟506中，根據(jù)與幀(i)的構(gòu)成要素(j)的圖象相對(duì)應(yīng)的復(fù)雜度C(i，j)，幀(i)的比特?cái)?shù)Tf(i)被分配給各構(gòu)成要素。具體地說(shuō)，按照以下(2)式來(lái)進(jìn)行上述幀比特?cái)?shù)Tf(i)的分配To(i，j)＝Tf(i)×C(i，j)/∑C(i，j)…(2)即，按照幀(i)的各構(gòu)成要素(j)[j＝1，2，…，J)的復(fù)雜度之和與構(gòu)成要素(j)的圖象的復(fù)雜度之比，來(lái)分配比特?cái)?shù)Tf(i)。
最后，根據(jù)分配給各構(gòu)成要素的比特?cái)?shù)，進(jìn)行各構(gòu)成要素的圖象數(shù)據(jù)的編碼處理(步驟S508)。然后，判定成為編碼處理的對(duì)象的被處理幀是否是圖象序列的最后的幀(步驟S509)，如果是最后的，編碼處理結(jié)束(步驟S510)，如果不是最后的，重復(fù)進(jìn)行上述步驟S502～S509的處理。這樣，上述編碼處理重復(fù)進(jìn)行直到最后的幀為止。
這樣，在本實(shí)施例1中，對(duì)與構(gòu)成場(chǎng)景的各個(gè)構(gòu)成要素相對(duì)應(yīng)的編碼數(shù)據(jù)進(jìn)行解碼處理和合成處理的接收側(cè)的圖象解碼裝置具有一個(gè)緩沖器，存儲(chǔ)與各構(gòu)成要素相對(duì)應(yīng)的編碼數(shù)據(jù)，在該緩沖器中存儲(chǔ)與構(gòu)成一幀的所有構(gòu)成要素相對(duì)應(yīng)的編碼數(shù)據(jù)，因此，可以通過(guò)多個(gè)構(gòu)成要素的編碼數(shù)據(jù)來(lái)共用一個(gè)緩沖器，而能夠有效地利用緩沖器。
而且，對(duì)各構(gòu)成要素動(dòng)態(tài)地分配比特?cái)?shù)，以使所有的構(gòu)成要素的分配比特?cái)?shù)之和不超過(guò)緩沖器的容量，因此，減少了圖象簡(jiǎn)單的構(gòu)成要素的分配比特?cái)?shù)，增多了圖象復(fù)雜的構(gòu)成要素的分配比特?cái)?shù)，由此，能夠提高圖象整體的畫(huà)質(zhì)。
圖6是通過(guò)曲線圖來(lái)表示圖3所示的緩沖器304的數(shù)據(jù)占有量的遷移?？v軸表示緩沖器的數(shù)據(jù)占有量，橫軸表示時(shí)間。該曲線的傾斜部分604的斜率表示在所有構(gòu)成要素之間把與各構(gòu)成要素相對(duì)應(yīng)的編碼數(shù)據(jù)的比特率進(jìn)行平均而得到的比特率，把由該比特率來(lái)構(gòu)成所有的構(gòu)成要素的編碼數(shù)據(jù)的比特串輸入到緩沖器304中。
上述曲線中的縱線部分506的長(zhǎng)度表示分配給構(gòu)成顯示時(shí)間t0的幀的所有構(gòu)成要素的比特?cái)?shù)的總數(shù)(總比特?cái)?shù))。
該總比特?cái)?shù)可以根據(jù)構(gòu)成要素的復(fù)雜度而適當(dāng)?shù)剡M(jìn)行分配。例如，在顯示時(shí)間t2，緩沖器被編碼數(shù)據(jù)占有了其容量的極限，在緩沖器內(nèi)的編碼數(shù)據(jù)中，給對(duì)應(yīng)于簡(jiǎn)單構(gòu)成要素的用線606的長(zhǎng)度表示的編碼數(shù)據(jù)分配較少的比特?cái)?shù)，給對(duì)應(yīng)于復(fù)雜構(gòu)成要素的用線607的長(zhǎng)度表示的編碼數(shù)據(jù)分配較多的比特?cái)?shù)，其結(jié)果，提高了幀整體的畫(huà)質(zhì)。
(實(shí)施例2)圖7是用于說(shuō)明本發(fā)明的實(shí)施例2的圖象解碼裝置(圖象處理裝置)的方框圖。
該實(shí)施例2對(duì)應(yīng)于本發(fā)明1，2，4～16方面。
本實(shí)施例2的圖象編碼裝置120a具有根據(jù)控制信號(hào)728對(duì)與第一對(duì)象(構(gòu)成要素)相對(duì)應(yīng)的圖象數(shù)據(jù)720進(jìn)行編碼并輸出編碼數(shù)據(jù)723的第一編碼器704、根據(jù)控制信號(hào)729對(duì)與第二對(duì)象(構(gòu)成要素)相對(duì)應(yīng)的圖象數(shù)據(jù)721進(jìn)行編碼并輸出編碼數(shù)據(jù)724的第二編碼器705、根據(jù)控制信號(hào)730對(duì)與第三對(duì)象(構(gòu)成要素)相對(duì)應(yīng)的圖象數(shù)據(jù)722進(jìn)行編碼并輸出編碼數(shù)據(jù)725的第三編碼器706。
并且，上述圖象編碼裝置120a還具有對(duì)與各對(duì)象相對(duì)應(yīng)的編碼數(shù)據(jù)723，724，725進(jìn)行復(fù)用并作為復(fù)用比特流721而輸出的復(fù)用器707、在每幀中存儲(chǔ)對(duì)上述第一，第二，第三對(duì)象的圖象數(shù)據(jù)進(jìn)行編碼時(shí)發(fā)生的比特?cái)?shù)的發(fā)生比特?cái)?shù)信息存儲(chǔ)裝置709、根據(jù)該發(fā)生比特?cái)?shù)信息和上述編碼數(shù)據(jù)723，724，725來(lái)發(fā)生上述控制信號(hào)728，729，730的比率控制器710。
其中，上述比率控制器710包括幀比特?cái)?shù)決定裝置711，根據(jù)該發(fā)生比特?cái)?shù)信息709a和來(lái)自上述各編碼器704，705，706的編碼數(shù)據(jù)723，724，725，來(lái)決定分配給由上述各對(duì)象組成的合成圖象的1幀的比特?cái)?shù)；對(duì)象比特?cái)?shù)決定裝置712，使用在上述發(fā)生比特?cái)?shù)信息存儲(chǔ)裝置709中所存儲(chǔ)的各對(duì)象的一幀的比特?cái)?shù)，來(lái)作為表示各對(duì)象的圖象的復(fù)雜度的指標(biāo)，把上述合成圖象一幀的比特?cái)?shù)分配給各構(gòu)成要素，并決定各構(gòu)成要素一幀的比特?cái)?shù)。
在上述對(duì)象比特?cái)?shù)決定裝置712與上述各編碼器704，705，706之間設(shè)置開(kāi)閉開(kāi)關(guān)714，715，716，來(lái)自上述對(duì)象比特?cái)?shù)決定裝置712的比特?cái)?shù)信息728，729，730分別通過(guò)該開(kāi)關(guān)714，715，716提供給上述各編碼器704，705，706。
而且，在上述各編碼器704，705，706的后段側(cè)分別設(shè)置切換開(kāi)關(guān)717，718，719，從各編碼器所輸出的編碼數(shù)據(jù)723，724，725分別通過(guò)切換開(kāi)關(guān)717，718，719而提供給復(fù)用器707和發(fā)生比特?cái)?shù)信息存儲(chǔ)裝置709的一方。
并且，在上述發(fā)生比特?cái)?shù)信息存儲(chǔ)裝置709與幀比特?cái)?shù)決定裝置711之間設(shè)置開(kāi)閉開(kāi)關(guān)734，與各對(duì)象相對(duì)應(yīng)的編碼數(shù)信息通過(guò)該開(kāi)閉開(kāi)關(guān)734提供給上述幀比特?cái)?shù)決定裝置711。
上述圖象編碼裝置120a具有CPU 713作為上述各開(kāi)閉開(kāi)關(guān)714～716，734以及控制切換開(kāi)關(guān)717～719的開(kāi)關(guān)控制裝置，上述各開(kāi)關(guān)由上述CPU 713進(jìn)行控制，以便于在進(jìn)行預(yù)備編碼處理時(shí)，上述各開(kāi)閉開(kāi)關(guān)714～716，734為斷開(kāi)狀態(tài)，并且，通過(guò)切換開(kāi)關(guān)717～719，各編碼器與發(fā)生比特?cái)?shù)信息存儲(chǔ)裝置709成為連接狀態(tài)，另一方面，在進(jìn)行正式編碼處理時(shí)，上述各開(kāi)閉開(kāi)關(guān)714～716，734為接通狀態(tài)，并且，通過(guò)切換開(kāi)關(guān)717～719，各編碼器與復(fù)用器707及幀比特?cái)?shù)決定裝置711成為連接狀態(tài)。
在此，上述各編碼器704，705，706具有與圖15所示的實(shí)施例1的圖象編碼裝置110a中的第一編碼器204相同的構(gòu)成。而且，在上述圖象編碼裝置120a中，在預(yù)備編碼處理中，上述各編碼器中的量化處理以固定的量化寬度(量化步長(zhǎng))進(jìn)行，在正式編碼處理時(shí)，各編碼中的量化處理以與來(lái)自上述對(duì)象比特?cái)?shù)決定裝置的控制信號(hào)728，729，730相對(duì)應(yīng)的量化寬度(量化步長(zhǎng))來(lái)進(jìn)行。
在圖7中，701，702，703分別是輸入各對(duì)象的圖象數(shù)據(jù)的輸入端子，708是輸出復(fù)用比特流721的輸出端子。
對(duì)從這樣構(gòu)成的實(shí)施例2的圖象編碼裝置120a所輸出的復(fù)用比特流721進(jìn)行解碼的圖象解碼裝置為與圖3所示的實(shí)施例1的圖象解碼裝置110b相同的構(gòu)成。
下面對(duì)其動(dòng)作進(jìn)行說(shuō)明。
圖8表示上述圖象編碼裝置的編碼處理的流程。
在本實(shí)施例2中，與實(shí)施例1相同，當(dāng)該編碼處理開(kāi)始時(shí)(步驟S801)，輸入構(gòu)成幀(i)的與多個(gè)構(gòu)成要素(對(duì)象)相對(duì)應(yīng)的圖象數(shù)據(jù)(步驟S802)。
在步驟S803中，對(duì)各構(gòu)成要素的圖象數(shù)據(jù)進(jìn)行編碼。其中，對(duì)各構(gòu)成要素的圖象數(shù)據(jù)進(jìn)行包含固定量化寬度的量化處理的預(yù)備編碼處理。
在步驟S804中，記錄通過(guò)上述預(yù)備編碼處理而發(fā)生的各構(gòu)成要素的比特?cái)?shù)S(i，j)。比特?cái)?shù)S(i，j)是與構(gòu)成幀(i)的構(gòu)成要素(j)相對(duì)應(yīng)的比特?cái)?shù)。然后，進(jìn)行成為編碼處理的對(duì)象的被處理幀是否是圖象序列的最后的幀的判定(步驟S5805)，如果不是最后的，重復(fù)進(jìn)行上述步驟S802～S805的處理，另一方面，如果是最后的，預(yù)備編碼處理結(jié)束。這樣，上述預(yù)備編碼處理重復(fù)進(jìn)行直到最后的幀為止。
當(dāng)上述預(yù)備編碼完成時(shí)，進(jìn)行正式編碼處理。
即，再次輸入構(gòu)成幀(i)的與多個(gè)構(gòu)成要素(對(duì)象)相對(duì)應(yīng)的圖象數(shù)據(jù)(步驟S806)。
在步驟S807中，從未編碼幀的復(fù)雜度的總和與成為編碼對(duì)象的對(duì)象幀(i)的復(fù)雜度之比，來(lái)求出剩余比特?cái)?shù)的幀分配率，通過(guò)剩余比特?cái)?shù)與幀分配率的乘積，來(lái)決定對(duì)象幀(i)的比特?cái)?shù)Tf(i)。其中，剩余比特?cái)?shù)是從分配給由多個(gè)構(gòu)成要素組成的圖象序列的總比特?cái)?shù)扣除在進(jìn)行了編碼處理的已編碼幀中使用的全部比特?cái)?shù)的剩余的比特?cái)?shù)。
在步驟S808中，調(diào)整上述幀比特?cái)?shù)Tf(i)，以便于滿足接收側(cè)的圖象解碼裝置中的緩沖器的條件。具體的調(diào)整方法與上述實(shí)施例1的步驟S505中的處理相同。
然后，在步驟S809中，從對(duì)象幀(i)中的構(gòu)成要素的復(fù)雜度的總和∑S(i，j)與成為編碼的對(duì)象的構(gòu)成要素的復(fù)雜度S(i，j)之比來(lái)求出構(gòu)成要素分配率，通過(guò)對(duì)象幀(i)的比特?cái)?shù)Tf(i)與構(gòu)成要素分配率的乘積(下式(3))，來(lái)決定分配給對(duì)象構(gòu)成要素的比特?cái)?shù)To(i，j)。
To(i，j)＝Tf(i)×S(i，j)/∑S(i，j)…(3)接著，根據(jù)決定的比特?cái)?shù)To(i，j)，分別對(duì)對(duì)象幀(i)的構(gòu)成要素進(jìn)行編碼(步驟S810)。然后，進(jìn)行成為編碼處理的對(duì)象的被處理幀是否是圖象序列的最后的幀的判定(步驟S811)，如果不是最后的，重復(fù)進(jìn)行上述步驟S806～S811的處理，另一方面，如果是最后的，正式編碼處理結(jié)束(步驟S812)。這樣，上述正式編碼處理重復(fù)進(jìn)行直到最后的幀為止。
從這樣構(gòu)成的實(shí)施例2的圖象編碼裝置120a所輸出的復(fù)用比特流通過(guò)與圖3所示實(shí)施例1的圖象解碼裝置110b進(jìn)行解碼。
這樣，在本實(shí)施例2中，在預(yù)備編碼的過(guò)程中，斷開(kāi)開(kāi)關(guān)714，714，716，由各編碼器對(duì)構(gòu)成要素的圖象數(shù)據(jù)進(jìn)行包含固定量化寬度的量化處理的預(yù)備編碼處理，根據(jù)從各編碼器所輸出的編碼數(shù)據(jù)，把發(fā)生比特?cái)?shù)存儲(chǔ)到該存儲(chǔ)裝置709中，在正式編碼處理中，閉合開(kāi)關(guān)714，714，716，在比率控制器710中，向上述各編碼器提供在發(fā)生比特?cái)?shù)信息存儲(chǔ)裝置709中所存儲(chǔ)的各對(duì)象相對(duì)應(yīng)的發(fā)生比特?cái)?shù)的信息所對(duì)應(yīng)的控制信號(hào)728，729，730，因此，不僅能夠給各構(gòu)成要素動(dòng)態(tài)地分配比特?cái)?shù)，以使所有的構(gòu)成要素的分配比特?cái)?shù)之和不超過(guò)解碼側(cè)的緩沖器的容量，而且能夠在幀間動(dòng)態(tài)地分配在對(duì)各構(gòu)成要素進(jìn)行編碼處理時(shí)發(fā)生的比特?cái)?shù)。因此，能夠給特定的構(gòu)成要素的圖象復(fù)雜的幀分配與特定的構(gòu)成要素的圖象簡(jiǎn)單的幀相對(duì)應(yīng)的比特?cái)?shù)的一部分。由此，能夠進(jìn)一步提高圖象整體的畫(huà)質(zhì)。
(實(shí)施例3)圖9是用于說(shuō)明本發(fā)明的實(shí)施例3的圖象解碼裝置的方框圖。
該實(shí)施例3對(duì)應(yīng)于本發(fā)明第13，17～24方面。
在本實(shí)施例3的圖象編碼裝置130中，在對(duì)與各構(gòu)成要素相對(duì)應(yīng)的圖象數(shù)據(jù)進(jìn)行編碼的過(guò)程中，測(cè)定各構(gòu)成要素的圖象的復(fù)雜度，根據(jù)該圖象的復(fù)雜度，決定與各構(gòu)成要素相對(duì)應(yīng)的比特率和緩沖器尺寸，在這點(diǎn)上，與用實(shí)施例1和2的圖象編碼裝置根據(jù)各構(gòu)成要素的圖象的復(fù)雜度把分配給幀的比特?cái)?shù)分配給各構(gòu)成要素的方案不同。
即，上述編碼裝置130具有根據(jù)控制信號(hào)951a對(duì)與第一對(duì)象(構(gòu)成要素)相對(duì)應(yīng)的圖象數(shù)據(jù)911進(jìn)行編碼并輸出第一編碼數(shù)據(jù)917的第一編碼器904、根據(jù)控制信號(hào)952a對(duì)與第二對(duì)象(構(gòu)成要素)相對(duì)應(yīng)的圖象數(shù)據(jù)912進(jìn)行編碼并輸出第二編碼數(shù)據(jù)918的第二編碼器905、根據(jù)控制信號(hào)953a對(duì)與第三對(duì)象(構(gòu)成要素)相對(duì)應(yīng)的圖象數(shù)據(jù)913進(jìn)行編碼并輸出第三編碼數(shù)據(jù)919的第三編碼器906、對(duì)各編碼數(shù)據(jù)917，918，919進(jìn)行復(fù)用并輸出復(fù)用比特流924的復(fù)用器907。其中，上述各編碼器904，905和906的構(gòu)成與圖15所示實(shí)施例1的圖象編碼裝置110a中的第一編碼器204相同。
并且，上述圖象編碼裝置130具有對(duì)象復(fù)雜度測(cè)定裝置910，根據(jù)上述各圖象數(shù)據(jù)911，912，913來(lái)測(cè)定構(gòu)成各構(gòu)成要素的象素的個(gè)數(shù)(構(gòu)成要素的尺寸)，作為表示各構(gòu)成要素的復(fù)雜度的指標(biāo)；編碼條件決定裝置(比特率，緩沖器尺寸決定裝置)909，根據(jù)從對(duì)象復(fù)雜度測(cè)定裝置910所輸出的表示各構(gòu)成要素的復(fù)雜度的信息923，決定與各構(gòu)成要素相對(duì)應(yīng)的比特率和緩沖器尺寸，輸出表示與各構(gòu)成要素相對(duì)應(yīng)的所決定的比特率和緩沖器尺寸的控制信息920，921，922。
而且，上述圖象編碼裝置130具有比率控制器951，根據(jù)上述控制信息920和編碼數(shù)據(jù)917，來(lái)控制由第一編碼器904在每單位時(shí)間發(fā)生的代碼量(比特率)；比率控制器952，根據(jù)上述控制信息921和編碼數(shù)據(jù)918，來(lái)控制由第二編碼器905在每單位時(shí)間發(fā)生的代碼量(比特率)；比率控制器953，根據(jù)上述控制信息922和編碼數(shù)據(jù)919，來(lái)控制由第三編碼器906在每單位時(shí)間發(fā)生的代碼量(比特率)。
在圖9中，901，902，903是輸入與上述各構(gòu)成要素相對(duì)應(yīng)的圖象數(shù)據(jù)911，912，913的輸入端子，908是輸出上述復(fù)用比特流924的輸出端子。
對(duì)從這樣構(gòu)成的實(shí)施例3的圖象編碼裝置130所輸出的復(fù)用比特流924進(jìn)行解碼的圖象解碼裝置為與圖3所示的實(shí)施例1的圖象解碼裝置110b相同的構(gòu)成。
下面對(duì)其動(dòng)作進(jìn)行說(shuō)明。
圖10是表示上述圖象編碼裝置的編碼處理的流程的圖。
在本實(shí)施例3中，當(dāng)編碼處理開(kāi)始時(shí)(步驟S1001)，輸入與構(gòu)成視頻(圖象)的多個(gè)構(gòu)成要素(對(duì)象)相對(duì)應(yīng)的圖象數(shù)據(jù)(步驟S1002)。在本實(shí)施例3中，把與實(shí)施例1相同的視頻數(shù)據(jù)作為編碼處理的對(duì)象。
接著，在步驟S1003中，測(cè)定各構(gòu)成要素C(j)(j＝1，2，…，J)的圖象的復(fù)雜度。其中，把構(gòu)成要素的尺寸即構(gòu)成所顯示的對(duì)象的象素的個(gè)數(shù)作為復(fù)雜度的指標(biāo)。
接著，決定與各構(gòu)成要素相對(duì)應(yīng)的比特率。此時(shí)，決定與各構(gòu)成要素相對(duì)應(yīng)的緩沖器尺寸。上述對(duì)象構(gòu)成要素的比特率Ro(j)，如下式(4)所示的那樣，通過(guò)把所有的構(gòu)成要素的復(fù)雜度之和∑C(j)相對(duì)應(yīng)的對(duì)象構(gòu)成要素的復(fù)雜度C(j)之比根據(jù)傳輸路線的最大傳輸比特率乘以總比特率Rt來(lái)求出。
Ro(j)＝Rt×C(j)/∑C(j)…(4)同樣，成為對(duì)象的構(gòu)成要素的緩沖器尺寸Bo(j)，如下式(5)所示的那樣，通過(guò)把與所有的構(gòu)成要素的復(fù)雜度之和∑C(j)相對(duì)應(yīng)的成為對(duì)象的構(gòu)成要素的復(fù)雜度C(j)之比乘以圖3所示的緩沖器304的最大數(shù)據(jù)存儲(chǔ)容量Bt來(lái)決定。
Bo(j)＝Bt×C(j)/∑C(j)…(5)根據(jù)這樣決定的比特率和緩沖器尺寸來(lái)進(jìn)行對(duì)各構(gòu)成要素的編碼處理(步驟S1005)，當(dāng)對(duì)最后的幀的編碼處理結(jié)束時(shí)，編碼處理結(jié)束(步驟S1006)。
對(duì)從這樣構(gòu)成的實(shí)施例3的圖象編碼裝置130所輸出的復(fù)用比特流通過(guò)與圖3所示的實(shí)施例1的圖象解碼裝置110b相同的構(gòu)成的圖象解碼裝置來(lái)進(jìn)行解碼。
這樣，在本實(shí)施例3中，根據(jù)各構(gòu)成要素的圖象的復(fù)雜度來(lái)決定與構(gòu)成一個(gè)場(chǎng)景的圖象的各構(gòu)成要素相對(duì)應(yīng)的緩沖器尺寸和比特率，根據(jù)該所決定的緩沖器尺寸和比特率來(lái)對(duì)與各構(gòu)成要素相對(duì)應(yīng)的圖象數(shù)據(jù)進(jìn)行編碼，因此，在與各構(gòu)成要素相對(duì)應(yīng)的編碼數(shù)據(jù)的解碼側(cè)，與解碼器相對(duì)應(yīng)的單一的緩沖器的數(shù)據(jù)存儲(chǔ)區(qū)域根據(jù)各構(gòu)成要素的復(fù)雜度而動(dòng)態(tài)地進(jìn)行分配。由此，在解碼側(cè)，能夠有效地利用與解碼器相對(duì)應(yīng)的單一的緩沖器的數(shù)據(jù)存儲(chǔ)區(qū)域。
由于根據(jù)圖象的復(fù)雜度來(lái)分配比特率，就能在最佳條件下對(duì)各構(gòu)成要素進(jìn)行編碼，因此，能夠提高重放的視頻信號(hào)全體的畫(huà)質(zhì)，同時(shí)，使與各構(gòu)成要素相對(duì)應(yīng)的編碼數(shù)據(jù)的傳輸率適合于具有有限的數(shù)據(jù)傳輸速度的實(shí)際通信線路。
在上述實(shí)施例3中，如圖10的步驟S1003所示的那樣，測(cè)定構(gòu)成要素的尺寸即構(gòu)成要素中的象素的個(gè)數(shù)，把所測(cè)定的象素的個(gè)數(shù)作為圖象的復(fù)雜度的指標(biāo)，來(lái)決定各構(gòu)成要素的比特率和緩沖器尺寸，但比特率和緩沖器尺寸的決定方法并不僅限于此。
例如，如圖11所示的那樣，使編碼處理開(kāi)始進(jìn)行(步驟S1101)，在視頻的構(gòu)成要素的數(shù)據(jù)被輸入(步驟S1102)之后，測(cè)定通過(guò)對(duì)各構(gòu)成要素的最初N幀(例如3幀)的編碼處理而發(fā)生的比特率，把與各構(gòu)成要素相對(duì)應(yīng)的每一幀的平均發(fā)生比特?cái)?shù)作為表示各構(gòu)成要素的圖象的復(fù)雜度C(j)(j＝1，2，…，J)的指標(biāo)。在此情況下，根據(jù)指標(biāo)來(lái)決定各構(gòu)成要素的比特率Ro(j)和緩沖器尺寸Bo(j)(步驟S1104)，根據(jù)決定的比特率和緩沖器尺寸來(lái)進(jìn)行對(duì)各構(gòu)成要素的編碼處理(步驟S1107)，編碼處理結(jié)束(步驟S1106)。
并且，在上述實(shí)施例3的圖象編碼裝置130中，當(dāng)輸入視頻的各構(gòu)成要素的數(shù)據(jù)時(shí)，測(cè)定各構(gòu)成要素的圖象的復(fù)雜度，把該各構(gòu)成要素的圖象的復(fù)雜度作為指標(biāo)，來(lái)決定各構(gòu)成要素的比特率和緩沖器尺寸，然后，根據(jù)所決定的比特率和緩沖器尺寸，對(duì)各構(gòu)成要素的圖象數(shù)據(jù)進(jìn)行編碼，但是，圖象編碼裝置也可以這樣構(gòu)成在一定周期內(nèi)進(jìn)行各構(gòu)成要素的圖象的復(fù)雜度的測(cè)定，在每一定期間內(nèi)更新比特率和緩沖器尺寸，根據(jù)所更新的比特率和緩沖器尺寸來(lái)對(duì)各構(gòu)成要素的圖象數(shù)據(jù)進(jìn)行編碼。
圖17是用于說(shuō)明這樣的構(gòu)成的圖象編碼裝置的編碼處理的模式圖。圖17(a)表示與第一構(gòu)成要素相對(duì)應(yīng)的比特率和緩沖器尺寸Bo(1)，圖17(b)表示與第二構(gòu)成要素相對(duì)應(yīng)的比特率和緩沖器尺寸Bo(2)，圖17(c)表示與第三構(gòu)成要素相對(duì)應(yīng)的比特率和緩沖器尺寸Bo(3)。
在圖中，縱軸1701，1711，1721表示解碼側(cè)的緩沖器占有量，橫軸1702，1712，1722表示壓縮數(shù)據(jù)(編碼數(shù)據(jù))的顯示時(shí)間t。并且，顯示時(shí)間t0，t1，t2，t3，…表示例如第n，第(n+1)，第(n+2)，第(n+3)，…幀的顯示時(shí)間。并且，上述圖17(a)中的曲線的傾斜部分1704的斜率表示與第一構(gòu)成要素相對(duì)應(yīng)的比特率，雖然該比特率在圖17(a)中沒(méi)有表示，但通過(guò)每一定期間的更新而變動(dòng)。并，上述曲線的橫軸和垂直的縱線部分1705的長(zhǎng)度表示與在時(shí)間t0中所顯示的幀相對(duì)應(yīng)的第一構(gòu)成要素的編碼數(shù)據(jù)的比特?cái)?shù)。
上述圖17(b)，(c)中的曲線的傾斜部分1714，1724的斜率表示與第二，第三構(gòu)成要素相對(duì)應(yīng)的比特率，雖然這些比特率在圖17(b)，(c)中沒(méi)有表示，但通過(guò)每一定期間的更新而變動(dòng)。并且，上述曲線的橫軸和垂直的縱線部分1715，1725的長(zhǎng)度表示與在時(shí)間t0中所顯示的幀相對(duì)應(yīng)的第二，第三構(gòu)成要素的編碼數(shù)據(jù)的比特?cái)?shù)。
其中，與第一構(gòu)成要素相對(duì)應(yīng)的緩沖器尺寸Bo(1)為恒定值，與第二，第三構(gòu)成要素相對(duì)應(yīng)緩沖器尺寸Bo(2)，Bo(3)通過(guò)每一定期間的更新而變化。而且，這些緩沖器尺寸Bo(2)，Bo(3)的變化是互補(bǔ)的，即，當(dāng)一方增加時(shí)，另一方減少，當(dāng)一方減少時(shí)，另一方增加。
在此情況下，與第三構(gòu)成要素相對(duì)應(yīng)的緩沖器尺寸的控制即隨著比特率的增加使緩沖器尺寸增加的控制適合于圖象品質(zhì)優(yōu)先于比特率的制約的構(gòu)成要素。而且，與第二構(gòu)成要素相對(duì)應(yīng)的緩沖器尺寸的控制也就是使緩沖器尺寸變動(dòng)以便于吸收其他構(gòu)成要素的緩沖器尺寸的變動(dòng)的控制能夠適合于使對(duì)比特率的制約優(yōu)先于圖象品質(zhì)的構(gòu)成要素。
而且，作為上述實(shí)施例3中的復(fù)雜度的指標(biāo)，除了上述構(gòu)成要素的尺寸之外，還可以使用各構(gòu)成要素的分散值(通過(guò)實(shí)施例1說(shuō)明的方法(1)而得到的指標(biāo))、預(yù)測(cè)誤差(通過(guò)實(shí)施例1說(shuō)明的方法(2)而得到的指標(biāo))、或者動(dòng)態(tài)的大小(靜止或者較大的變動(dòng))的信息。而且，作為其他的復(fù)雜度的指標(biāo)，可以使用通過(guò)實(shí)施例1說(shuō)明的方法(3)或(4)而得到的指標(biāo)。
而且，通過(guò)把用于實(shí)現(xiàn)上述各實(shí)施例所示的編碼裝置或者解碼裝置的構(gòu)成的編碼或者解碼程序記錄到軟盤(pán)等數(shù)據(jù)存儲(chǔ)媒體上，就能在獨(dú)立的計(jì)算機(jī)系統(tǒng)中簡(jiǎn)單地實(shí)施上述各實(shí)施例所示的處理。
圖12是用于說(shuō)明通過(guò)計(jì)算機(jī)系統(tǒng)使用存儲(chǔ)上述編碼或者解碼程序的軟盤(pán)來(lái)實(shí)施上述實(shí)施例1至3的編碼或者解碼處理的情況的圖。
圖12(a)表示從軟盤(pán)的正面看的外觀、截面構(gòu)造及軟盤(pán)，圖12(b)表示作為記錄媒體本體的軟盤(pán)的物理格式的例子。軟盤(pán)FD內(nèi)置在外殼F內(nèi)，在該盤(pán)的表面上從外周向內(nèi)周形成同心圓狀的多個(gè)磁道Tr，各個(gè)磁道在角度方向上被分割成16個(gè)扇區(qū)Se。這樣，在存儲(chǔ)上述程序的軟盤(pán)中，在上述軟盤(pán)FD上所分配的區(qū)域中記錄作為上述程序的數(shù)據(jù)。
圖12(c)表示用于由軟盤(pán)FD進(jìn)行上述程序的記錄重放的構(gòu)成。當(dāng)把上述程序記錄到軟盤(pán)FD上時(shí)，從計(jì)算機(jī)系統(tǒng)Cs通過(guò)軟盤(pán)驅(qū)動(dòng)器讀入作為上述程序的數(shù)據(jù)。并且，當(dāng)在計(jì)算機(jī)系統(tǒng)中通過(guò)軟盤(pán)內(nèi)的程序來(lái)構(gòu)筑上述編碼或者解碼裝置時(shí)，通過(guò)軟盤(pán)驅(qū)動(dòng)器從軟盤(pán)讀出程序，傳輸給計(jì)算機(jī)系統(tǒng)。
在上述說(shuō)明中，使用軟盤(pán)作為數(shù)據(jù)記錄媒體來(lái)進(jìn)行說(shuō)明，但是，同樣也可以使用光盤(pán)來(lái)進(jìn)行。而且，記錄媒體并不僅限于此，如果是IC卡、ROM盒式磁帶等以及能夠記錄程序的介質(zhì)，同樣能夠?qū)嵤?br> 如上述那樣，根據(jù)本發(fā)明(本發(fā)明第1～12方面)，根據(jù)構(gòu)成圖象的多個(gè)構(gòu)成要素的各自的復(fù)雜度，來(lái)分配對(duì)各構(gòu)成要素的圖象數(shù)據(jù)進(jìn)行編碼處理中所需要的比特?cái)?shù)，因此，能夠在最佳條件下進(jìn)行對(duì)各構(gòu)成要素的圖象數(shù)據(jù)的編碼處理，由此，具有能夠提高重放的視頻信號(hào)全體的畫(huà)質(zhì)的效果。
特別是，根據(jù)本發(fā)明(本發(fā)明第3，4方面)，在解碼側(cè)的緩沖器不會(huì)溢出或者下溢的條件下，決定分配給成為編碼處理的對(duì)象的對(duì)象幀的幀比特?cái)?shù)，因此，能夠始終良好地進(jìn)行接收側(cè)的解碼處理。
根據(jù)本發(fā)明(本發(fā)明第13方面)，在接收側(cè)，對(duì)于上述圖象的每幀，把與構(gòu)成圖象的多個(gè)構(gòu)成要素相對(duì)應(yīng)的編碼數(shù)據(jù)存儲(chǔ)在一個(gè)緩沖器中，在對(duì)各幀進(jìn)行解碼處理的過(guò)程中，從該緩沖器讀出與各幀相對(duì)應(yīng)的全部構(gòu)成要素的編碼數(shù)據(jù)，因比，能夠在多個(gè)構(gòu)成要素之間有效地利用緩沖器的數(shù)據(jù)存儲(chǔ)區(qū)域。即，能夠在各構(gòu)成要素間吸收與各構(gòu)成要素的復(fù)雜度相對(duì)應(yīng)的給各構(gòu)成要素的分配比特?cái)?shù)的變動(dòng)。其結(jié)果，具有能夠給各構(gòu)成要素的圖象分配最佳比特而提高圖象全體的畫(huà)質(zhì)的效果。
根據(jù)本發(fā)明(本發(fā)明第17～24方面)，在構(gòu)成預(yù)定圖象的每個(gè)構(gòu)成要素中對(duì)用于顯示該預(yù)定圖象的視頻信號(hào)進(jìn)行編碼的圖象編碼方法中，根據(jù)各構(gòu)成要素的復(fù)雜度來(lái)求出多個(gè)各構(gòu)成要素間的比特率的比率，根據(jù)比特率的比率來(lái)對(duì)與各構(gòu)成要素相對(duì)應(yīng)的數(shù)據(jù)進(jìn)行編碼，以使所有與構(gòu)成要素相對(duì)應(yīng)的比特率的總和成為恒定的，因此，能夠在具有有限的數(shù)據(jù)傳輸速度的實(shí)際通信線路中使用與對(duì)象相對(duì)應(yīng)的壓縮數(shù)據(jù)(編碼數(shù)據(jù))的傳輸率。
權(quán)利要求
1.一種圖象處理方法，該方法用來(lái)對(duì)于用于顯示預(yù)定圖象的視頻信號(hào)進(jìn)行對(duì)象編碼處理，該對(duì)象編碼處理把與構(gòu)成該預(yù)定圖象的多個(gè)構(gòu)成要素相對(duì)應(yīng)的對(duì)象圖象數(shù)據(jù)在每個(gè)構(gòu)成要素中分別進(jìn)行編碼，而變換為對(duì)象編碼數(shù)據(jù)，其特征在于，包括復(fù)雜度測(cè)定處理，測(cè)定與在上述各對(duì)象圖象數(shù)據(jù)的編碼處理中所需要的比特?cái)?shù)的多少相對(duì)應(yīng)的構(gòu)成要素的復(fù)雜度；比特?cái)?shù)分配比率決定處理，根據(jù)上述各構(gòu)成要素的復(fù)雜度，來(lái)決定分配給各對(duì)象圖象數(shù)據(jù)的比特?cái)?shù)的上述多個(gè)構(gòu)成要素間的比率，對(duì)上述各對(duì)象圖象數(shù)據(jù)進(jìn)行編碼，以使與上述各對(duì)象編碼數(shù)據(jù)相對(duì)應(yīng)的比特?cái)?shù)滿足上述各構(gòu)成要素間的分配比特?cái)?shù)的決定比率。
2.一種圖象處理方法，用來(lái)對(duì)與由權(quán)利要求1所述的圖象處理方法所得到的各構(gòu)成要素相對(duì)應(yīng)的對(duì)象編碼數(shù)據(jù)進(jìn)行復(fù)用而形成的復(fù)用編碼數(shù)據(jù)進(jìn)行解碼，其特征在于，包括分離處理，從上述復(fù)用編碼數(shù)據(jù)分離出與上述各構(gòu)成要素相對(duì)應(yīng)的對(duì)象編碼數(shù)據(jù)；存儲(chǔ)處理，把與上述各構(gòu)成要素相對(duì)應(yīng)的對(duì)象編碼數(shù)據(jù)存儲(chǔ)在一個(gè)緩沖器中；解碼處理，從該緩沖器取出與各構(gòu)成要素相對(duì)應(yīng)的對(duì)象編碼數(shù)據(jù)來(lái)進(jìn)行解碼。
3.根據(jù)權(quán)利要求1所述的圖象處理方法，其特征在于，表示上述各構(gòu)成要素的復(fù)雜度的指標(biāo)是第一值、第二值、第三值或者第四值中的任一個(gè)，該第一值表示構(gòu)成上述各構(gòu)成要素的象素的象素值的分散，該第二值表示上述各構(gòu)成要素的顯示圖象的時(shí)間上的變動(dòng)的大小，該第三值是對(duì)在成為上述編碼處理的對(duì)象的對(duì)象幀以前進(jìn)行編碼處理的前處理幀中的對(duì)應(yīng)構(gòu)成要素進(jìn)行編碼時(shí)的發(fā)生比特?cái)?shù)，通過(guò)對(duì)象幀和前處理幀之間的表示相同構(gòu)成要素的特性的系數(shù)的比率來(lái)進(jìn)行加權(quán)而得到，該第四值表示在一定編碼條件下對(duì)與上述各構(gòu)成要素相對(duì)應(yīng)的對(duì)象圖象數(shù)據(jù)進(jìn)行預(yù)備編碼時(shí)所發(fā)生的，與各構(gòu)成要素相對(duì)應(yīng)的發(fā)生比特?cái)?shù)。
4.一種圖象處理方法，在作為顯示處理單位的每幀中，對(duì)用于顯示預(yù)定圖象的視頻信號(hào)進(jìn)行對(duì)象編碼處理，該對(duì)象編碼處理把與構(gòu)成該預(yù)定圖象的多個(gè)構(gòu)成要素相對(duì)應(yīng)的對(duì)象圖象數(shù)據(jù)在每個(gè)構(gòu)成要素中分別進(jìn)行編碼，而變換為對(duì)象編碼數(shù)據(jù)，其特征在于，包括幀比特?cái)?shù)決定處理，決定分配給與成為上述編碼處理的對(duì)象的對(duì)象幀相對(duì)應(yīng)的視頻信號(hào)的幀比特?cái)?shù)；比特?cái)?shù)分配處理，根據(jù)構(gòu)成上述對(duì)象幀的各構(gòu)成要素的復(fù)雜度，分配上述幀比特?cái)?shù)以便于與該各構(gòu)成要素相對(duì)應(yīng)，決定與各構(gòu)成要素的對(duì)象幀相對(duì)應(yīng)的對(duì)象比特?cái)?shù)，對(duì)與上述對(duì)象幀相對(duì)應(yīng)的各對(duì)象圖象數(shù)據(jù)進(jìn)行編碼，以使對(duì)應(yīng)的對(duì)象編碼數(shù)據(jù)的比特?cái)?shù)成為與上述各構(gòu)成要素的對(duì)象幀相對(duì)應(yīng)的對(duì)象比特?cái)?shù)。
5.一種圖象處理方法，在作為顯示處理單位的每幀中，對(duì)用于顯示預(yù)定圖象的視頻信號(hào)進(jìn)行對(duì)象編碼處理，該對(duì)象編碼處理把與構(gòu)成該預(yù)定圖象的多個(gè)構(gòu)成要素相對(duì)應(yīng)的對(duì)象圖象數(shù)據(jù)在每個(gè)構(gòu)成要素中分別進(jìn)行編碼，而變換為對(duì)象編碼數(shù)據(jù)，其特征在于，包括幀比特?cái)?shù)決定處理，決定分配給與成為上述編碼處理的對(duì)象的對(duì)象幀相對(duì)應(yīng)的視頻信號(hào)的幀比特?cái)?shù)；比特?cái)?shù)分配比率決定處理，根據(jù)與構(gòu)成上述對(duì)象幀的多個(gè)構(gòu)成要素的復(fù)雜度的總和相對(duì)應(yīng)的各構(gòu)成要素的復(fù)雜度之比，決定分配給各對(duì)象圖象數(shù)據(jù)的比特?cái)?shù)的上述多個(gè)構(gòu)成要素間的比率，對(duì)上述各對(duì)象圖象數(shù)據(jù)進(jìn)行編碼，以使上述幀比特?cái)?shù)根據(jù)上述各構(gòu)成要素間的分配比特?cái)?shù)的決定比率被分配給上述各對(duì)象編碼數(shù)據(jù)。
6.一種圖象處理裝置，用來(lái)對(duì)于用于顯示預(yù)定圖象的視頻信號(hào)進(jìn)行對(duì)象編碼處理，該對(duì)象編碼處理把與構(gòu)成該預(yù)定圖象的多個(gè)構(gòu)成要素相對(duì)應(yīng)的對(duì)象圖象數(shù)據(jù)在每個(gè)構(gòu)成要素中分別進(jìn)行編碼，而變換為對(duì)象編碼數(shù)據(jù)，其特征在于，包括復(fù)雜度測(cè)定裝置，測(cè)定與在上述各對(duì)象圖象數(shù)據(jù)的編碼處理中所需要的比特?cái)?shù)的多少相對(duì)應(yīng)的構(gòu)成要素的復(fù)雜度；比特?cái)?shù)分配裝置，根據(jù)構(gòu)成成為上述編碼處理的對(duì)象的對(duì)象幀的各構(gòu)成要素的復(fù)雜度，給該各構(gòu)成要素分配在該對(duì)象圖象數(shù)據(jù)的編碼時(shí)使用的比特?cái)?shù)；編碼器，根據(jù)給各構(gòu)成要素分配的比特?cái)?shù)，對(duì)與上述對(duì)象幀相對(duì)應(yīng)的各對(duì)象圖象數(shù)據(jù)進(jìn)行編碼，而生成對(duì)象編碼數(shù)據(jù)；復(fù)用器，對(duì)與各構(gòu)成要素相對(duì)應(yīng)的對(duì)象編碼數(shù)據(jù)進(jìn)行復(fù)用，而生成比特流。
7.根據(jù)權(quán)利要求6所述的圖象處理裝置，其特征在于，上述比特?cái)?shù)分配裝置構(gòu)成為根據(jù)與對(duì)象幀中的全部構(gòu)成要素的復(fù)雜度的總和相對(duì)應(yīng)的各構(gòu)成要素的復(fù)雜度的比率，來(lái)進(jìn)行與上述各構(gòu)成要素相對(duì)應(yīng)的比特?cái)?shù)的分配。
8.根據(jù)權(quán)利要求6所述的圖象處理裝置，其特征在于，上述復(fù)雜度測(cè)定裝置構(gòu)成為把第一值、第二值、第三值或者第四值中的任一個(gè)值作為指標(biāo)，來(lái)測(cè)定上述構(gòu)成要素的復(fù)雜度，該第一值表示構(gòu)成上述各構(gòu)成要素的象素的象素值的分散，該第二值表示上述各構(gòu)成要素的顯示圖象的時(shí)間上的變動(dòng)的大小，該第三值是對(duì)該對(duì)象幀以前進(jìn)行編碼處理的前處理幀中的對(duì)應(yīng)構(gòu)成要素進(jìn)行編碼時(shí)的發(fā)生比特?cái)?shù)，通過(guò)對(duì)象幀和前處理幀之間的表示相同構(gòu)成要素的特性的系數(shù)的比率來(lái)進(jìn)行加權(quán)而得到，該第四值表示在一定編碼條件下對(duì)與上述各構(gòu)成要素相對(duì)應(yīng)的對(duì)象圖象數(shù)據(jù)進(jìn)行預(yù)備編碼時(shí)所發(fā)生的，與各構(gòu)成要素相對(duì)應(yīng)的發(fā)生比特?cái)?shù)。
9.根據(jù)權(quán)利要求6所述的圖象處理裝置，其特征在于，上述比特?cái)?shù)分配裝置為對(duì)上述比特流進(jìn)行解碼處理的圖象解碼裝置中，存儲(chǔ)與從上述比特流所分離的各構(gòu)成要素相對(duì)應(yīng)的編碼對(duì)象數(shù)據(jù)的一個(gè)緩沖器，在不會(huì)溢出或者下溢的情況下，把分配給與上述對(duì)象幀相對(duì)應(yīng)的視頻信號(hào)的幀比特?cái)?shù)分配給該各構(gòu)成要素。
10.一種數(shù)據(jù)存儲(chǔ)媒體，存儲(chǔ)圖象處理程序，其特征在于，上述圖象處理程序是存儲(chǔ)用于通過(guò)計(jì)算機(jī)進(jìn)行權(quán)利要求1所述的圖象處理方法中的視頻信號(hào)的編碼處理的程序。
11.一種圖象處理方法，包括發(fā)送側(cè)數(shù)據(jù)處理，通過(guò)編碼處理對(duì)每幀把用于顯示預(yù)定圖象的視頻信號(hào)變換為比特流，發(fā)送該比特流；接收側(cè)數(shù)據(jù)處理，接收該比特流，通過(guò)解碼處理對(duì)每幀把該比特流變換為重放數(shù)據(jù)，其特征在于，上述發(fā)送側(cè)數(shù)據(jù)處理包括對(duì)象編碼處理，對(duì)與構(gòu)成上述預(yù)定圖象的多個(gè)構(gòu)成要素相對(duì)應(yīng)的成為編碼處理的對(duì)象的對(duì)象幀的對(duì)象圖象數(shù)據(jù)在每個(gè)構(gòu)成要素中分別進(jìn)行編碼，并變換為對(duì)象編碼數(shù)據(jù)；復(fù)用處理，對(duì)與各構(gòu)成要素相對(duì)應(yīng)的對(duì)象編碼數(shù)據(jù)進(jìn)行復(fù)用，而生成上述比特流，上述接收側(cè)數(shù)據(jù)處理包括數(shù)據(jù)存儲(chǔ)處理，對(duì)每幀在一個(gè)緩沖器中存儲(chǔ)上述比特流；解碼處理，從上述緩沖器讀出與對(duì)象幀相對(duì)應(yīng)的比特流，按各構(gòu)成要素不同地對(duì)讀出的比特流進(jìn)行解碼，而生成與該各構(gòu)成要素相對(duì)應(yīng)的重放數(shù)據(jù)；合成顯示處理，把與上述各構(gòu)成要素相對(duì)應(yīng)的重放數(shù)據(jù)進(jìn)行合成，而生成合成數(shù)據(jù)，根據(jù)該合成數(shù)據(jù)顯示上述預(yù)定的圖象。
12.根據(jù)權(quán)利要求11所述的圖象處理方法，其特征在于，上述對(duì)象編碼處理包括比特?cái)?shù)決定處理，在上述緩沖器不會(huì)溢出或者下溢的情況下，決定分配給成為編碼對(duì)象的對(duì)象幀的幀比特?cái)?shù)；比特?cái)?shù)分割處理，根據(jù)構(gòu)成上述對(duì)象幀的各構(gòu)成要素的復(fù)雜度，分配上述幀比特?cái)?shù)以便于與該各構(gòu)成要素相對(duì)應(yīng)，決定與各構(gòu)成要素相對(duì)應(yīng)的對(duì)象比特?cái)?shù)，根據(jù)該各對(duì)象比特?cái)?shù)，來(lái)對(duì)與上述對(duì)象幀的各構(gòu)成要素相對(duì)應(yīng)的對(duì)象圖象數(shù)據(jù)進(jìn)行編碼。
13.一種圖象處理裝置，對(duì)用于顯示預(yù)定圖象的視頻信號(hào)進(jìn)行對(duì)象編碼處理，該對(duì)象編碼處理把與構(gòu)成該預(yù)定圖象的多個(gè)構(gòu)成要素相對(duì)應(yīng)的對(duì)象圖象數(shù)據(jù)在每個(gè)構(gòu)成要素中分別進(jìn)行編碼，而變換為對(duì)象編碼數(shù)據(jù)，把對(duì)該各對(duì)象編碼數(shù)據(jù)進(jìn)行復(fù)用而得到的復(fù)用編碼數(shù)據(jù)進(jìn)行解碼，其特征在于，包括分離器，從上述復(fù)用編碼數(shù)據(jù)分離出與上述各構(gòu)成要素相對(duì)應(yīng)的對(duì)象編碼數(shù)據(jù)；一個(gè)緩沖器，存儲(chǔ)與上述各構(gòu)成要素相對(duì)應(yīng)的對(duì)象編碼數(shù)據(jù)；解碼器，從該緩沖器取出與各構(gòu)成要素相對(duì)應(yīng)的對(duì)象編碼數(shù)據(jù)來(lái)進(jìn)行解碼。
14.一種圖象處理方法，在作為顯示處理的單位的每幀中，對(duì)用于顯示預(yù)定圖象的視頻信號(hào)進(jìn)行對(duì)象編碼處理，該對(duì)象編碼處理把與構(gòu)成該預(yù)定圖象的多個(gè)構(gòu)成要素相對(duì)應(yīng)的對(duì)象圖象數(shù)據(jù)在每個(gè)構(gòu)成要素中分別進(jìn)行編碼，而變換為對(duì)象編碼數(shù)據(jù)，其特征在于，包括復(fù)雜度導(dǎo)出處理，求出對(duì)與各構(gòu)成要素相對(duì)應(yīng)的對(duì)象圖象數(shù)據(jù)進(jìn)行預(yù)備編碼而得到的與各構(gòu)成要素相對(duì)應(yīng)的發(fā)生比特?cái)?shù)，來(lái)作為各構(gòu)成要素的復(fù)雜度；幀分配率導(dǎo)出處理，求出未進(jìn)行本編碼處理的所有未編碼幀的復(fù)雜度的總和與成為本編碼處理的對(duì)象的對(duì)象幀的復(fù)雜度之比，來(lái)作為幀分配率；幀比特?cái)?shù)決定處理，把上述幀分配率乘以分配給上述視頻信號(hào)的總比特?cái)?shù)中的未使用比特?cái)?shù)，來(lái)決定分配給上述對(duì)象幀的比特?cái)?shù)；分配率導(dǎo)出處理，求出構(gòu)成上述對(duì)象幀的所有構(gòu)成要素的復(fù)雜度的總和與成為本編碼處理的對(duì)象的構(gòu)成要素的復(fù)雜度之比，來(lái)作為構(gòu)成要素分配率；構(gòu)成要素比特?cái)?shù)決定處理，把上述構(gòu)成要素分配率乘以分配給上述對(duì)象幀的比特?cái)?shù)，來(lái)決定分配給上述對(duì)象構(gòu)成要素的比特?cái)?shù)；構(gòu)成要素編碼處理，根據(jù)分配給各構(gòu)成要素的比特?cái)?shù)，分別對(duì)與構(gòu)成上述對(duì)象幀的各構(gòu)成要素相對(duì)應(yīng)的對(duì)象圖象數(shù)據(jù)進(jìn)行編碼。
15.一種圖象處理裝置，對(duì)用于顯示預(yù)定圖象的視頻信號(hào)進(jìn)行對(duì)象編碼處理，該對(duì)象編碼處理把與構(gòu)成該預(yù)定圖象的多個(gè)構(gòu)成要素相對(duì)應(yīng)的對(duì)象圖象數(shù)據(jù)在每個(gè)構(gòu)成要素中分別進(jìn)行編碼，而變換為對(duì)象編碼數(shù)據(jù)，其特征在于，包括復(fù)雜度測(cè)定器，導(dǎo)出通過(guò)與上述各構(gòu)成要素相對(duì)應(yīng)的對(duì)象圖象數(shù)據(jù)的預(yù)備編碼而發(fā)生的，與各構(gòu)成要素相對(duì)應(yīng)的發(fā)生比特?cái)?shù)，來(lái)作為各構(gòu)成要素的復(fù)雜度的指標(biāo)；幀分配率導(dǎo)出器，求出未進(jìn)行本編碼處理的所有未編碼幀的復(fù)雜度的總和與成為本編碼處理的對(duì)象的對(duì)象幀的復(fù)雜度之比，來(lái)作為幀分配率；幀比特?cái)?shù)決定器，把上述幀分配率乘以分配給上述視頻信號(hào)的總比特?cái)?shù)中的未使用比特?cái)?shù)，來(lái)決定分配給上述對(duì)象幀的比特?cái)?shù)；分配率導(dǎo)出裝置，求出構(gòu)成上述對(duì)象幀的所有構(gòu)成要素的復(fù)雜度的總和與成為本編碼處理的對(duì)象的構(gòu)成要素的復(fù)雜度之比，來(lái)作為構(gòu)成要素分配率；構(gòu)成要素比特?cái)?shù)決定裝置，把上述構(gòu)成要素分配率乘以分配給上述對(duì)象幀的比特?cái)?shù)，來(lái)決定分配給上述對(duì)象構(gòu)成要素的比特?cái)?shù)；編碼裝置，根據(jù)分配給各構(gòu)成要素的比特?cái)?shù)，分別對(duì)構(gòu)成上述對(duì)象幀的各構(gòu)成要素進(jìn)行編碼，來(lái)生成對(duì)象編碼數(shù)據(jù)；復(fù)用器，對(duì)與上述多個(gè)構(gòu)成要素相對(duì)應(yīng)的對(duì)象編碼數(shù)據(jù)進(jìn)行復(fù)用，并輸出比特流。
16.一種數(shù)據(jù)存儲(chǔ)媒體，存儲(chǔ)圖象處理程序，其特征在于，上述圖象處理程序是存儲(chǔ)用于通過(guò)計(jì)算機(jī)進(jìn)行權(quán)利要求14所述的圖象編碼方法中的視頻信號(hào)的編碼處理的程序。
17.一種圖象處理方法，對(duì)用于顯示預(yù)定圖象的視頻信號(hào)進(jìn)行對(duì)象編碼處理，該對(duì)象編碼處理把與構(gòu)成該預(yù)定圖象的多個(gè)構(gòu)成要素相對(duì)應(yīng)的對(duì)象圖象數(shù)據(jù)在每個(gè)構(gòu)成要素中分別進(jìn)行編碼，而變換為對(duì)象編碼數(shù)據(jù)，其特征在于，上述對(duì)象編碼處理包括復(fù)雜度測(cè)定處理，測(cè)定與上述各對(duì)象圖象數(shù)據(jù)的編碼處理中所需要的比特?cái)?shù)的多少相對(duì)應(yīng)的構(gòu)成要素的復(fù)雜度；比特率比率決定處理，根據(jù)上述各構(gòu)成要素的復(fù)雜度，來(lái)決定與各構(gòu)成要素相對(duì)應(yīng)的對(duì)象編碼數(shù)據(jù)的比特率的該多個(gè)構(gòu)成要素間的比率，根據(jù)與上述各構(gòu)成要素相對(duì)應(yīng)的比特率的比率，來(lái)以預(yù)定的比特率對(duì)與各構(gòu)成要素相對(duì)應(yīng)的對(duì)象圖象數(shù)據(jù)進(jìn)行編碼，以使所有的與構(gòu)成要素相對(duì)應(yīng)的比特率的總和為恒定值。
18.一種圖象處理方法，對(duì)與由上述權(quán)利要求17所述的圖象處理方法所得到的各構(gòu)成要素相對(duì)應(yīng)的對(duì)象編碼數(shù)據(jù)進(jìn)行復(fù)用而形成的復(fù)用編碼數(shù)據(jù)進(jìn)行解碼，其特征在于，包括分離處理，從上述復(fù)用編碼數(shù)據(jù)分離出與上述各構(gòu)成要素相對(duì)應(yīng)的對(duì)象編碼數(shù)據(jù)；存儲(chǔ)處理，把與上述各構(gòu)成要素相對(duì)應(yīng)的對(duì)象編碼數(shù)據(jù)存儲(chǔ)在一個(gè)緩沖器中；解碼處理，從該緩沖器取出與上述各構(gòu)成要素相對(duì)應(yīng)的對(duì)象編碼數(shù)據(jù)來(lái)進(jìn)行解碼。
19.根據(jù)權(quán)利要求17所述的圖象處理方法，其特征在于，上述對(duì)象編碼處理包括編碼條件決定處理，在上述緩沖器不會(huì)溢出或者下溢的情況下，根據(jù)各構(gòu)成要素的復(fù)雜度，來(lái)決定與該各構(gòu)成要素相對(duì)應(yīng)的比特率的比率和與各構(gòu)成要素相對(duì)應(yīng)的存儲(chǔ)到上述緩沖器中的對(duì)象編碼數(shù)據(jù)的最大量，根據(jù)與上述各構(gòu)成要素相對(duì)應(yīng)的比特率的比率，以預(yù)定的比特率對(duì)與各構(gòu)成要素相對(duì)應(yīng)的對(duì)象圖象數(shù)據(jù)進(jìn)行編碼，以使所有的與構(gòu)成要素相對(duì)應(yīng)的比特率的總和為恒定值。
20.根據(jù)權(quán)利要求17所述的圖象處理方法，其特征在于，表示上述各構(gòu)成要素的復(fù)雜度的指標(biāo)是第一值、第二值、第三值或者第四值中的任一個(gè)，該第一值表示構(gòu)成上述各構(gòu)成要素的象素的象素值的分散，該第二值表示上述各構(gòu)成要素的顯示圖象的時(shí)間上的變動(dòng)的大小，該第三值是對(duì)在成為上述編碼處理的對(duì)象的對(duì)象幀以前進(jìn)行編碼處理的前處理幀中的對(duì)應(yīng)構(gòu)成要素進(jìn)行編碼時(shí)的發(fā)生比特?cái)?shù)，通過(guò)對(duì)象幀和前處理幀之間的表示相同構(gòu)成要素的特性的系數(shù)的比率來(lái)進(jìn)行加權(quán)而得到，該第四值表示在一定編碼條件下對(duì)與上述各構(gòu)成要素相對(duì)應(yīng)的對(duì)象圖象數(shù)據(jù)進(jìn)行預(yù)備編碼時(shí)所發(fā)生的，與各構(gòu)成要素相對(duì)應(yīng)的發(fā)生比特?cái)?shù)。
21.一種圖象處理方法，對(duì)用于顯示預(yù)定圖象的視頻信號(hào)進(jìn)行對(duì)象編碼處理，該對(duì)象編碼處理把與構(gòu)成該預(yù)定圖象的多個(gè)構(gòu)成要素相對(duì)應(yīng)的對(duì)象圖象數(shù)據(jù)在每個(gè)構(gòu)成要素中分別進(jìn)行編碼，而變換為對(duì)象編碼數(shù)據(jù)，其特征在于，上述對(duì)象編碼處理包括復(fù)雜度測(cè)定處理，測(cè)定與上述各對(duì)象圖象數(shù)據(jù)的編碼處理中所需要的比特?cái)?shù)的多少相對(duì)應(yīng)的構(gòu)成要素的復(fù)雜度；編碼條件決定處理，根據(jù)與上述所有構(gòu)成要素的復(fù)雜度的總和相對(duì)應(yīng)的各構(gòu)成要素的復(fù)雜度的比率，來(lái)決定與該各構(gòu)成要素相對(duì)應(yīng)的對(duì)象編碼數(shù)據(jù)的比特率的上述多個(gè)構(gòu)成要素間的比率和與各構(gòu)成要素相對(duì)應(yīng)的存儲(chǔ)到解碼側(cè)的緩沖器中的對(duì)象編碼數(shù)據(jù)的最大量，根據(jù)與上述各構(gòu)成要素相對(duì)應(yīng)的比特率的比率，以預(yù)定的比特率對(duì)與各構(gòu)成要素相對(duì)應(yīng)的對(duì)象圖象數(shù)據(jù)進(jìn)行編碼，以使所有的與構(gòu)成要素相對(duì)應(yīng)的比特率的總和為恒定值。
22.一種圖象處理裝置，對(duì)用于顯示預(yù)定圖象的視頻信號(hào)進(jìn)行對(duì)象編碼處理，該對(duì)象編碼處理把與構(gòu)成該預(yù)定圖象的多個(gè)構(gòu)成要素相對(duì)應(yīng)的對(duì)象圖象數(shù)據(jù)在每個(gè)構(gòu)成要素中分別進(jìn)行編碼，而變換為對(duì)象編碼數(shù)據(jù)，其特征在于，包括復(fù)雜度測(cè)定裝置，測(cè)定與上述各對(duì)象圖象數(shù)據(jù)的編碼處理中所需要的比特?cái)?shù)的多少相對(duì)應(yīng)的構(gòu)成要素的復(fù)雜度；編碼條件決定裝置，根據(jù)上述各構(gòu)成要素的復(fù)雜度，來(lái)決定與該各構(gòu)成要素相對(duì)應(yīng)的個(gè)別比特率以及與各構(gòu)成要素相對(duì)應(yīng)的作為存儲(chǔ)到解碼側(cè)的緩沖器中的對(duì)象編碼數(shù)據(jù)的最大量的個(gè)別緩沖器尺寸；控制器，根據(jù)上述所決定的個(gè)別比特率和個(gè)別緩沖器尺寸，來(lái)輸出控制信號(hào)；編碼器，一邊根據(jù)上述控制信號(hào)控制由該編碼處理而發(fā)生的比特率，一邊進(jìn)行與上述構(gòu)成要素相對(duì)應(yīng)的對(duì)象圖象數(shù)據(jù)所對(duì)應(yīng)的編碼處理，輸出與各構(gòu)成要素相對(duì)應(yīng)的對(duì)象編碼數(shù)據(jù)；復(fù)用器，對(duì)與上述各構(gòu)成要素相對(duì)應(yīng)的對(duì)象編碼數(shù)據(jù)進(jìn)行復(fù)用，而生成比特流。
23.根據(jù)權(quán)利要求22所述的圖象處理裝置，其特征在于，上述編碼條件決定裝置，根據(jù)上述各構(gòu)成要素的復(fù)雜度來(lái)給各構(gòu)成要素分配傳輸路徑的最大傳輸比特率，并決定與各構(gòu)成要素相對(duì)應(yīng)的個(gè)別比特率，根據(jù)上述各構(gòu)成要素的復(fù)雜度來(lái)給該各構(gòu)成要素分配上述解碼側(cè)的一個(gè)緩沖器的最大數(shù)據(jù)存儲(chǔ)量，并決定上述個(gè)別緩沖器尺寸。
24.一種數(shù)據(jù)存儲(chǔ)媒體，存儲(chǔ)圖象處理程序，其特征在于，上述圖象處理程序是存儲(chǔ)用于通過(guò)計(jì)算機(jī)進(jìn)行權(quán)利要求17所述的圖象處理方法中的視頻信號(hào)的編碼處理的程序。
全文摘要
本發(fā)明的目的是能夠以最佳條件進(jìn)行對(duì)各構(gòu)成要素的對(duì)象圖象數(shù)據(jù)的編碼處理,由此,提高重放的視頻信號(hào)全體的畫(huà)質(zhì)。本發(fā)明的裝置包括:幀比特?cái)?shù)決定裝置210,決定分配給與成為編碼處理的對(duì)象的對(duì)象幀相對(duì)應(yīng)的視頻信號(hào)的幀比特?cái)?shù);對(duì)象比特?cái)?shù)決定裝置209,根據(jù)構(gòu)成對(duì)象幀的各構(gòu)成要素的復(fù)雜度,給各構(gòu)成要素分配上述幀比特?cái)?shù),根據(jù)分配給各構(gòu)成要素的比特?cái)?shù)來(lái)對(duì)與上述對(duì)象幀相對(duì)應(yīng)的各對(duì)象圖象數(shù)據(jù)進(jìn)行編碼。
文檔編號(hào)H04N7/26GK1275021SQ0011880
公開(kāi)日2000年11月29日 申請(qǐng)日期2000年4月12日 優(yōu)先權(quán)日1999年4月12日
發(fā)明者文仲丞, 西孝啟 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社