專利名稱：動態(tài)圖像編碼方法以及動態(tài)圖像編碼裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及動態(tài)圖像編碼方法，特別涉及對多個動態(tài)圖像信號進(jìn)行壓縮編碼的動態(tài)圖像編碼方法以及動態(tài)圖像編碼裝置。
背景技術(shù)：
作為對動態(tài)圖像信號進(jìn)行編碼的方法，有巾貞內(nèi)編碼和巾貞間編碼。巾貞內(nèi)編碼，是去除一個幀內(nèi)的空間的冗長性來進(jìn)行壓縮，也稱為內(nèi)部編碼。幀間編碼，是去除多個幀間的時間冗長性來進(jìn)行壓縮，也稱為中間編碼。
內(nèi)部編碼，通常按宏塊單位實(shí)施，根據(jù)編碼對象的宏塊的周邊圖像，按照預(yù)測模式，分別生成預(yù)測圖像，決定差分為最小的預(yù)測模式，對該差分進(jìn)行編碼來去除空間的冗長性。因此，若預(yù)測模式的種類多，則處理量增加。
中間編碼，通常按宏塊單位實(shí)施，且在編碼對象的宏塊與由相隔至少一場以上的圖像構(gòu)成的參照圖像之間，進(jìn)行每個宏塊的塊匹配，搜索差分小的宏塊，對該差分進(jìn)行編碼來去除時冗長性。該搜索需要非常多的運(yùn)算處理。
如此，通過高精度地生成預(yù)測圖像，使與預(yù)測圖像一致，有助于提高畫質(zhì)，但不論是內(nèi)部編碼、還是中間編碼，都需要大量的運(yùn)算處理量。
此外，需要同時壓縮多個動態(tài)圖像信號的應(yīng)用會逐漸增加。當(dāng)處理多個動態(tài)圖像信號時，需要對各個動態(tài)圖像信號同時進(jìn)行上述處理，因此預(yù)測處理的處理量會根據(jù)處理的動態(tài)圖像信號的個數(shù)而增加，在最壞的情況下，有預(yù)測處理跟不上而導(dǎo)致不生成預(yù)測圖像的危險(xiǎn)。
為了避免這樣的情況，存在以下技術(shù)問題:在處理多個動態(tài)圖像信號時，需要控制各個動態(tài)圖像信號的壓縮處理量。
在專利文獻(xiàn)I中，有針對該技術(shù)問題的提案。如圖14所示，對多個動態(tài)圖像信號進(jìn)行壓縮編碼的動態(tài)圖像編碼裝置1400，具有:與任意個數(shù)的輸入動態(tài)圖像信號對應(yīng)地獲取編碼對象的動態(tài)圖像信號的個數(shù)的個數(shù)獲取部1410 ;獲取編碼對象的一個或多個動態(tài)圖像信號的動態(tài)圖像獲取部1420 ;根據(jù)由個數(shù)獲取部1410獲取到的個數(shù)，將對編碼處理的運(yùn)算量帶來影響的編碼處理的處理方式，例如與參照圖像幀數(shù)上限、運(yùn)動向量搜索范圍等相關(guān)聯(lián)的處理方式確定為隨著個數(shù)增多而運(yùn)算量變少的處理方式確定部1430 ;和將由動態(tài)圖像獲取部1420獲取到的動態(tài)圖像信號作為對象來進(jìn)行編碼處理，若獲取到的動態(tài)圖像信號為多個，則將各動態(tài)圖像信號作為對象來分時進(jìn)行編碼處理的編碼部1440，編碼部1440以由處理方式確定部1430確定的處理方式進(jìn)行編碼處理。
在運(yùn)動預(yù)測部1442中，在來自運(yùn)動預(yù)測處理確定部1431的搜索范圍內(nèi)進(jìn)行運(yùn)動預(yù)測。此時，搜索范圍被限制為:若來自個數(shù)獲取部1410的個數(shù)增多，則搜索范圍變小。
在內(nèi)部編碼部1443中，按照來自內(nèi)部編碼處理方式確定部1432的內(nèi)部預(yù)測模式進(jìn)行內(nèi)部預(yù)測。此時，內(nèi)部預(yù)測模式被限制為:若個數(shù)越多，則模式越少。
在量化部1445中，執(zhí)行來自量化步驟尺寸確定部1433的量化步驟。此時，量化步驟被限制為:若個數(shù)增多，則變小。
可變長編碼部1446以來自可變長編碼處理確定部1434的編碼模式進(jìn)行工作。此時，以若個數(shù)變多則不進(jìn)行可變長編碼的編碼模式進(jìn)行工作。
如上所述，為了若個數(shù)增多則削減預(yù)測處理量，而以被限制的模式執(zhí)行編碼處理(例如，參照專利文獻(xiàn)I)。
這些技術(shù)是針對同時對多個電視頻道進(jìn)行錄像的DVD(Digital Versatile Disc)等的錄像設(shè)備的技術(shù)，處理的輸入動態(tài)圖像信號的幀率被設(shè)為相同，是對各個輸入動態(tài)圖像信號而言無畫質(zhì)的優(yōu)先度時的處理方法，因此，對所有的動態(tài)圖像信號而言會削減預(yù)測處理的運(yùn)算量。
現(xiàn)有技術(shù)文獻(xiàn)
專利文獻(xiàn)
專利文獻(xiàn)1:國際公開第2006/033227號公報(bào)發(fā)明概要
發(fā)明所要解決的技術(shù)問題
近年來，由于防范意識的提高，進(jìn)行交流的期望在提高，網(wǎng)絡(luò)相機(jī)或監(jiān)視攝像頭的設(shè)置正開始滲透到家庭內(nèi)。在這些應(yīng)用中，有如下功能:對多個顯示設(shè)備分配動態(tài)圖像信號，或者，在一個顯示設(shè)備中顯示多個動態(tài)圖像信號，且有需要壓縮多個動態(tài)圖像信號的特征。此外，在多數(shù)情況下，為了維持高畫質(zhì)，而對主動態(tài)圖像信號設(shè)定了高幀率，對其它子動態(tài)圖像信號設(shè)定為小視角、且小幀率。
然而，在專利文獻(xiàn)I記載的方法中，假設(shè)了處理同一視角、同一幀率的動態(tài)圖像信號，且在輸入不同的幀率的動態(tài)圖像信號時，若應(yīng)用專利文獻(xiàn)I的方法，則存在以下技術(shù)問題:會削減針對同時處理的所有的動態(tài)圖像信號的預(yù)測處理的處理量，與對主動態(tài)圖像信號保持高畫質(zhì)而對子動態(tài)圖像信號的畫質(zhì)不那樣過問的應(yīng)用無法對應(yīng)。
鑒于此，本發(fā)明的技術(shù)問題在于，要良好地保持被壓縮編碼的動態(tài)圖像信號的畫質(zhì)、且對多個動態(tài)圖像信號同時進(jìn)行壓縮編碼
發(fā)明內(nèi)容
為了解決上述技術(shù)問題，通過本發(fā)明采取如下解決方法。例如，在將動態(tài)圖像信號分割為多個宏塊，并對該分割后的各個宏塊與運(yùn)動補(bǔ)償預(yù)測圖像的差分進(jìn)行編碼的動態(tài)圖像編碼方法中，當(dāng)同時進(jìn)行針對第一動態(tài)圖像信號的預(yù)測處理以及針對幀率比第一動態(tài)圖像信號小的第二動態(tài)圖像信號的預(yù)測處理時，僅針對第一動態(tài)圖像信號減少運(yùn)算量來進(jìn)行預(yù)測處理。
由此，即使在針對兩個動態(tài)圖像信號的預(yù)測處理的定時重疊的情況下，針對幀率小的動態(tài)圖像信號，也能夠以通常的運(yùn)算量進(jìn)行預(yù)測處理。此外，當(dāng)預(yù)測處理的定時不重疊時，針對幀率大的動態(tài)圖像信號，能夠以通常的運(yùn)算量進(jìn)行預(yù)測處理。因此，即使在同時對多個動態(tài)圖像信號進(jìn)行壓縮編碼的情況下，也能夠良好地保持被壓縮編碼的動態(tài)圖像信號的畫質(zhì)。
例如，上述動態(tài)圖像編碼方法，具有如下步驟:以不同時進(jìn)行第一動態(tài)圖像信號的P圖片預(yù)測處理和針對第二動態(tài)圖像信號的預(yù)測處理的方式，使P圖片預(yù)測處理的GOP(Group Of Picture)的結(jié)構(gòu)變化。
由此，在幀率大的動態(tài)圖像信號中，由于對P圖片以通常的運(yùn)算量進(jìn)行預(yù)測處理，因此，能夠抑制針對P圖片的畫質(zhì)的變差。
發(fā)明效果
基于本發(fā)明，能夠良好地保持被壓縮編碼的動態(tài)圖像信號的畫質(zhì)，且對多個動態(tài)圖像信號同時進(jìn)行壓縮編碼。


圖1是表示本發(fā)明的預(yù)測控制處理的一個示例的示意圖。
圖2是表示所輸入的流的示例的圖。
圖3是圖1的預(yù)測控制處理的示意圖。
圖4是表示本發(fā)明的預(yù)測控制處理的其它示例的示意圖。
圖5是圖4的預(yù)測控制處理的示意圖。
圖6是表示本發(fā)明的預(yù)測控制處理的另一其它示例的示意圖。
圖7是表示在預(yù)測處理中所使用的預(yù)測模式表的一個示例的圖。
圖8是表示本發(fā)明的參照圖像決定處理的一個示例的示意圖。
圖9是圖8的參照圖像決定處理的示意圖。
圖10是表不本發(fā)明的參照圖像決定處理的另一其它不例的不意圖。
圖11是圖10的參照圖像決定處理的示意圖。
圖12是第一實(shí)施方式的動態(tài)圖像編碼裝置的方框圖。
圖13是第二實(shí)施方式的攝像系統(tǒng)的方框圖。
圖14是現(xiàn)有的動態(tài)圖像編碼裝置的方框圖。
具體實(shí)施方式
以下，針對本發(fā)明的預(yù)測處理中的預(yù)測控制處理以及參照圖像決定處理，參照附圖來進(jìn)行說明。
<第一預(yù)測控制處理>
圖1是表示本發(fā)明的預(yù)測控制處理的一個示例的示意圖。如圖1所示，預(yù)測控制處理，由如下步驟構(gòu)成:對預(yù)測處理中所需要的參照圖像的請求張數(shù)進(jìn)行計(jì)算，并輸出請求參照圖像張數(shù)102的請求參照圖像張數(shù)獲取步驟101 ;獲取同時進(jìn)行預(yù)測處理的動態(tài)圖像信號(以下，稱為流)的個數(shù)，輸出同時處理流個數(shù)104的流個數(shù)獲取步驟103 ;將同時處理流個數(shù)104作為輸入，對在預(yù)測處理中可參照的參照圖像的最大張數(shù)即最大參照圖像張數(shù)進(jìn)行計(jì)算，并輸出每個流的最大參照圖像張數(shù)106的最大參照圖像張數(shù)獲取步驟105 ;和將請求參照圖像張數(shù)102和每個流的最大參照圖像張數(shù)106作為輸入，并輸出參照圖像張數(shù)108的參照圖像張數(shù)決定步驟107。
在此，以如下情形為例進(jìn)行說明:在如圖2(a)所示，對幀率為30fps (Frame PerSecond:幀/秒)、且為場構(gòu)造、GOP構(gòu)造由P圖片2場和B圖片4場構(gòu)成、且P圖片的參照圖像張數(shù)為“2張”、B圖片的參照圖像張數(shù)為“4張”的第一流進(jìn)行壓縮編碼的情況下，收到了如圖2(b)所示，對幀率為15fps、且為場構(gòu)造、GOP構(gòu)造由P圖片2場和B圖片4場構(gòu)成、且P圖片的參照圖像張數(shù)為“I張”、B圖片的參照圖像張數(shù)為“2張”的第二流進(jìn)行壓縮編碼的請求。
在最大參照圖像張數(shù)獲取步驟105中，在預(yù)測處理開始前，作為最大參照圖像張數(shù)，在P圖片的情況下被設(shè)定為“2張”，在B圖片的情況下被設(shè)定為“4張”。該張數(shù)，可以保持在ROM (Read Only Memory:只讀存儲器)中，也可以從外部設(shè)定在能夠可變的寄存器中。
圖3是表示在預(yù)測處理中參照圖像張數(shù)發(fā)生了變化時的圖，表示在有第二流的請求時的第一流的參照圖像張數(shù)的變化。以下，說明圖3中的各處理時刻下的參照圖像張數(shù)決定方法。
首先，說明處理時刻t = 0，t = 6的處理。在此，由于針對第一流的P圖片和第二流的P圖片同時進(jìn)行預(yù)測處理，因此，輸出“2個”作為同時處理流個數(shù)104。
在最大參照圖像張數(shù)獲取步驟105中，P圖片的最大參數(shù)圖像張數(shù)為“2張”，由于對“2個”流同時進(jìn)行預(yù)測處理，因此，輸出“I張”作為每個流的最大參照圖像張數(shù)106。
在針對第一流的P圖片進(jìn)行預(yù)測處理時，從請求參照圖像張數(shù)獲取步驟101，輸入“2張”作為請求參照圖像張數(shù)102。然而，由于最大參照圖像張數(shù)106為“I張”，因此，參照圖像張數(shù)108被削減為“I張”。
當(dāng)對第二流的P圖片進(jìn)行預(yù)測處理時，輸入“I張”作為請求參照圖像張數(shù)102。由于最大參照圖像張數(shù)106是“I張”，因此，輸出“I張”作為參照圖像張數(shù)108。
接著，說明處理時刻t = l，t = 5的處理。在此，由于僅對第一流的B圖片進(jìn)行預(yù)測處理，因此，輸出“I個”作為同時處理流個數(shù)104。
在最大參照圖像張數(shù)獲取步驟105中，B圖片的最大參數(shù)圖像張數(shù)為“4張”，由于僅對“I個”的流進(jìn)行預(yù)測處理，因此，輸出“4張”作為每個流的最大參照圖像張數(shù)106。
當(dāng)對第一流的B圖片進(jìn)行預(yù)測處理時，從請求參照圖像張數(shù)獲取步驟101，輸入“4張”作為請求參照圖像張數(shù)102。由于最大參照圖像張數(shù)106為“4張”，因此，輸出“4張”作為參照圖像張數(shù)108。
對處理時刻t = 2，t = 4的處理進(jìn)行說明。在此，由于對第一流的B圖片和第二類的B圖片同時進(jìn)行預(yù)測處理，因此，輸出“2個”作為同時處理流個數(shù)104。
在最大參照圖像張數(shù)獲取步驟105中，B圖片的最大參數(shù)圖像張數(shù)為“4張”，由于對“2個”流同時進(jìn)行預(yù)測處理，因此，輸出“2張”作為每個流的最大參照圖像張數(shù)106。
當(dāng)對第一流的B圖片進(jìn)行預(yù)測處理時，從請求參照圖像張數(shù)獲取步驟101，輸入“4張”作為請求參照圖像張數(shù)102。然而，由于最大參照圖像張數(shù)106為“2張”，因此，參照圖像張數(shù)108被削減為“2張”。
當(dāng)對第二流的圖片進(jìn)行預(yù)測處理時，輸入“2張”作為請求參照圖像張數(shù)102。由于最大參照圖像張數(shù)106是“2張”，因此，輸出“2張”作為參照圖像張數(shù)108。
說明處理時刻t = 3的處理。在此，由于僅對第一流的P圖片進(jìn)行預(yù)測處理，因此，輸出“2張”作為每個流的最大參照圖像張數(shù)106。
當(dāng)對第一流的P圖片進(jìn)行預(yù)測處理時，從請求參照圖像張數(shù)獲取步驟101，輸入“2張”作為請求參照圖像張數(shù)102。由于最大參照圖像張數(shù)106為“2張”，因此，輸出“2張”作為參照圖像張數(shù)108。
通過如上的預(yù)測控制處理，雖然在同一時刻進(jìn)行預(yù)測處理的情況下，會削減參照圖像張數(shù)，但在除此以外的情況下，由于不會削減參照圖像張數(shù)，因此，能夠?qū)嬞|(zhì)變差抑制在最小限度地實(shí)現(xiàn)流的壓縮編碼。
<第二預(yù)測控制處理>
圖4表示預(yù)測控制處理的其它示例，特別是表示使GOP構(gòu)造變化的處理的示意圖。如圖4所示，預(yù)測控制處理由以下步驟構(gòu)成:獲取包括進(jìn)行預(yù)測處理的圖片的GOP構(gòu)造，輸出GOP構(gòu)造402的請求GOP構(gòu)造獲取步驟401 ;獲取各流的幀率，輸出幀率404的幀率獲取步驟403 ;根據(jù)GOP構(gòu)造402和幀率404將重構(gòu)的GOP構(gòu)造406作為輸出的GOP構(gòu)造決定步驟405 ;以及將重構(gòu)后的GOP構(gòu)造406作為輸入，輸出針對P圖片的預(yù)測處理的執(zhí)行定時即P圖片執(zhí)行定時408的P圖片執(zhí)行定時決定步驟407。
在此，以如下情形為例進(jìn)行說明:在如圖2(a)所示，對幀率為30fps、且為場構(gòu)造、GOP構(gòu)造由P圖片2場和B圖片4場構(gòu)成、且P圖片的參照圖像張數(shù)為“2張”、B圖片的參照圖像張數(shù)為“4張”的第一流進(jìn)行壓縮編碼的情況下，收到了如圖2(b)所示，對幀率為15fps、且為場構(gòu)造、GOP構(gòu)造由P圖片2場和B圖片4場構(gòu)成、且P圖片的參照圖像張數(shù)為“I張”、B圖片的參照圖像張數(shù)為“2張”的第二流進(jìn)行壓縮編碼的請求。
首先，在請求GOP構(gòu)造獲取步驟401中，獲取如圖2 (a)以及(b)所示的GOP構(gòu)造402。在幀率獲取步驟403中，獲取各幀率的幀率404。在第一流的情況下輸出“30”，在第二流的情況下輸出“15”。
其次，說明GOP構(gòu)造決定步驟405的處理。首先，根據(jù)所輸入的幀率404計(jì)算出同時進(jìn)行預(yù)測處理的時刻的間隔。具體而言，求出各幀率的最大公約數(shù)。此時，由于幀率404分別為“30”和“15”，因此，最大公約數(shù)為“15”。接著在處理幀率大的第一流時，求出“同時處理的圖片間隔”作為同時進(jìn)行預(yù)測處理的間隔。其計(jì)算為30/15 = 2，要求以2圖片一次的比例同時進(jìn)行預(yù)測處理。
然后，決定GOP構(gòu)造，以使GOP所包含的P圖片的間隔成為“同時處理的圖片間隔”的“整數(shù)倍”。此時，由于“同時處理的圖片間隔”為“2”，因此，輸出重構(gòu)為“PBPB…”、“PBBBPBBB…”、…的任一個的GOP構(gòu)造406。同時，通過以“不同時處理”的定時執(zhí)行P圖片預(yù)測處理，能夠在對第一流的P圖片進(jìn)行預(yù)測處理時，一定以僅處理第一流的方式構(gòu)成G0P。而且，通過執(zhí)行第一預(yù)測控制處理來決定參照圖像張數(shù)，由此，第一流的P圖片的參照圖像張數(shù)會不被削減。
圖5表示第一流的P圖片間隔為“4”時，即GOP構(gòu)造重構(gòu)“PBBBPBBB”時的預(yù)測處理。在時刻t = 0、t = 4、t = 8時,可知:雖然進(jìn)行了針對P圖片的預(yù)測處理，但在任一時亥IJ，都僅針對第一流進(jìn)行了預(yù)測處理，不需要將在第一預(yù)測控制處理中獲取到的參照圖像張數(shù)108從“2張”進(jìn)行削減。
如上所述，通過不削減可能成為被參照圖像的P圖片的參照圖像張數(shù)，能夠抑制P圖片的畫質(zhì)變差，由此，有助于抑制流整體的畫質(zhì)變差。
而且，在上述第一以及第二預(yù)測控制處理中，雖然對場構(gòu)造的圖像舉例進(jìn)行了說明，但對于幀構(gòu)造的圖像的情形也能夠以同樣的考慮來實(shí)現(xiàn)，這是不言而喻的。
<第三預(yù)測控制處理>
圖6是表示預(yù)測控制處理的另一其它示例的示意圖。如圖6所示，預(yù)測控制處理由以下步驟構(gòu)成:獲取同時進(jìn)行預(yù)測處理的流個數(shù)，輸出流個數(shù)的流個數(shù)獲取步驟601 ;將流個數(shù)602作為輸入，從例如圖7所示的預(yù)測處理表，讀取預(yù)測模式(搜索范圍、內(nèi)部預(yù)測模式、宏塊尺寸)，輸出所讀取的預(yù)測模式604的預(yù)測處理限制步驟603 ;以所決定的預(yù)測模式604進(jìn)行預(yù)測處理的預(yù)測處理步驟605。
在流個數(shù)獲取步驟601中，獲取同時進(jìn)行預(yù)測處理的流個數(shù)，輸出獲取到的流個數(shù)602 (例如2個)。在預(yù)測處理限制步驟603中，根據(jù)圖7所示的預(yù)測處理表，輸出與所輸入的流個數(shù)對應(yīng)的預(yù)測模式604。圖7所示的預(yù)測處理表，行方向表示流個數(shù)，列方向表示與流個數(shù)對應(yīng)的預(yù)測模式。
在預(yù)測控制處理中，針對同時預(yù)測處理的多個流之中幀率大的幀，如圖7所示，搜索范圍被限制為運(yùn)動隨著流個數(shù)增加而搜索范圍的面積變小，以使運(yùn)動搜索的處理量變少。此外，宏塊尺寸被限制為運(yùn)動隨著流個數(shù)增加而可選擇的宏塊尺寸的種類變少，以使所輸出的運(yùn)動向量的個數(shù)變少。在內(nèi)部預(yù)測模式中，被限制為隨著流個數(shù)增加而可選擇的內(nèi)部預(yù)測模式的種類變少，以使內(nèi)部預(yù)測的運(yùn)算處理量變少。
如上所述，按照隨著同時進(jìn)行預(yù)測處理的流個數(shù)增加，運(yùn)算處理量變少的方式，對幀率較大的流，會限制圖7所示的各預(yù)測模式的選擇范圍，因此，會抑制流整體的畫質(zhì)變差。
而且，如第一預(yù)測控制處理所述，對不同時進(jìn)行預(yù)測處理的圖片，流個數(shù)為I個，因此，能夠進(jìn)行壓縮編碼，而不用限制預(yù)測處理的運(yùn)算量，因此，能夠?qū)嬞|(zhì)變差抑制在最小限度。
接著，參照附圖對預(yù)測處理中的參照圖像決定處理進(jìn)行說明。
〈第一參照圖像決定處理〉
圖8是表示本發(fā)明的參照圖像決定處理的一個示例的示意圖。參照圖像決定處理，由以下步驟構(gòu)成:獲取每個宏塊的運(yùn)動向量的宏塊運(yùn)動向量獲取步驟801 ;根據(jù)所輸出的宏塊運(yùn)動向量802判定圖像是處于靜止還是處于運(yùn)動的圖像運(yùn)動判定步驟803 ;以及將從第一預(yù)測控制處理得到的參照圖像張數(shù)108和來自圖像運(yùn)動判定步驟803的圖像運(yùn)動判定結(jié)果804作為輸入，來決定參照圖像806的參照圖像決定步驟805。
在宏塊運(yùn)動向量獲取步驟801中，讀取至少比進(jìn)行當(dāng)前預(yù)測處理的圖片前一張圖片所計(jì)算出的宏塊運(yùn)動向量802。此時，例如，可以從保持一幀前計(jì)算出的宏塊運(yùn)動向量的未圖示的運(yùn)動向量存儲器中讀取`。
接著，在圖像運(yùn)動判定步驟803中，根據(jù)所輸入的宏塊運(yùn)動向量802，計(jì)算出一張圖片的平均運(yùn)動向量。若將宏塊運(yùn)動向量802的水平分量設(shè)為x0、xl、…皿，垂直分量設(shè)為y0、yl、"In,則平均運(yùn)動向量(MVave)能夠求出為MVave= ((xO+xl+…+xn)/(n+1), (yO+yl+…+yn)/(n+l))。然后，比較MVave的絕對值與另外定義的閾值Thr。若MVave彡Thr，則判定為圖像在運(yùn)動，輸出“有運(yùn)動的圖像”作為圖像運(yùn)動判定結(jié)果。若IMVave < Thr，則圖像被判定為靜止，輸出“無運(yùn)動的圖像”作為圖像運(yùn)動判定結(jié)果804。
接著，在參照圖像決定步驟805中，根據(jù)參照圖像張數(shù)108和圖像運(yùn)動判定結(jié)果804來決定參照圖像806。具體而言，當(dāng)輸入“有運(yùn)動的圖像”作為圖像運(yùn)動判定結(jié)果804時，按照與進(jìn)行預(yù)測處理的圖片在時間上接近的順序選擇參照張數(shù)個數(shù)的參照圖像806。當(dāng)輸入“無運(yùn)動的圖像”作為圖像運(yùn)動判定結(jié)果804時，在與進(jìn)行預(yù)測處理的圖片同相的圖像之中，按照在時間上接近的順序選擇參照張數(shù)個數(shù)的參照圖像806。
圖9表示進(jìn)行針對B圖片的預(yù)測處理時的一個示例。圖9(a)表示圖像運(yùn)動判定結(jié)果804為“有運(yùn)動的圖像”，且參照圖像張數(shù)108為“2張”的情況。此時，選擇距“B4”在時間上最近的“P1”。接著選擇在時間上較接近的“PO”。如此，參照圖像806被決定為“P1”、“PO”。
圖9(b)表示圖像運(yùn)動判定結(jié)果804為“無運(yùn)動的圖像”，且參照圖像張數(shù)108為“2張”的情況。此時，“B4”是頂區(qū)塊的圖像，因此，決定位于同相的頂場中的圖像“PO”以及“P2”的“2張”作為參照圖像806。
〈第二參照圖像決定處理〉
圖10是表示參照圖像決定處理的另一其它示例的示意圖。參照圖像決定處理由以下步驟構(gòu)成:對作為參照圖像而被選擇的參照圖像位置進(jìn)行合計(jì)，并輸出參照圖像位置順序1002的參照圖像位置合計(jì)步驟1001 ;以及將從第一預(yù)測控制處理得到的參照圖像張數(shù)108和來自參照圖像位置合計(jì)步驟1001的參照圖像位置順序1002作為輸入，來決定參照圖像位置1004的參照圖像位置決定步驟1003。
在參照圖像位置合計(jì)步驟1001中，針對比當(dāng)前進(jìn)行預(yù)測處理的圖片至少前一個圖片的預(yù)測處理中的參照圖像，讀取以宏塊所選擇的參照圖像在時間上的位置，對該參照圖像中所包含的宏塊之中實(shí)際所參照的宏塊的個數(shù)進(jìn)行合計(jì)。此時，例如，可以從保持一幀前所計(jì)算出的參照位置1004的未圖示的參照圖像位置存儲器中讀取。
在參照圖像位置合計(jì)步驟1001中，如圖11 (a)所示，分別定義參照圖像位置1004為:在相對于“B4”的后方，同相的“PO”的位置為“L0-0”，反相的“P1”的位置為“L0-1”，在相對于“B4”的前方，同相的“P2”的位置為“L1-0”，反相的“P3”的位置為“L1-1”。接著，在各圖片內(nèi)的宏塊之中，對在預(yù)測處理中所選擇的宏塊的個數(shù)進(jìn)行計(jì)數(shù)，按照個數(shù)多的順序?qū)⒄瘴恢梦恍蛸x予順序。
接著，在參照圖像位置決定步驟1003中，按照所輸入的參照位置順序1002的順序選擇“參照張數(shù)”個數(shù)的參照圖像。圖11(b)表示參照圖像位置及其順序的示例。
以上，基于第一以及第二參照圖像決定處理，能夠決定與進(jìn)行預(yù)測處理的圖像更近似的參照圖像，被運(yùn)動搜索到的可能性提高，能夠抑制畫質(zhì)變差。
而且，也可以在半導(dǎo)體存儲器或硬盤等的記錄介質(zhì)中記錄進(jìn)行上述三個預(yù)測控制處理以及兩個參照圖像決定處理的程序，且從該記錄介質(zhì)中讀取程序后，在計(jì)算機(jī)上進(jìn)行CPU處理。
<第一實(shí)施方式>
圖12是第一實(shí)施方式的動態(tài)圖像編碼裝置的方框圖。本實(shí)施方式的動態(tài)圖像編碼裝置1200構(gòu)成為具有:對輸入流按照每個塊進(jìn)行分割的分塊化部1201 ;通過內(nèi)部中心判定來選擇由運(yùn)動補(bǔ)償部1211所生成的運(yùn)動預(yù)測補(bǔ)償圖像和由內(nèi)部預(yù)測部1212所生成的預(yù)測圖像的任一個的選擇器1213 ;求出由選擇器1213所選擇的圖像與被分塊化的流的差分的差分器1202 ;進(jìn)行該差分的正交交換的正交變換部1203 ;針對由正交變換部1203得到的變換系數(shù)進(jìn)行量化的量化部1204 ;對由量化部1204得到的量化系數(shù)和來自運(yùn)動檢測部1210的運(yùn)動向量進(jìn)行可變長編碼的可變長編碼部1205 ;進(jìn)行由量化部1204得到的量化系數(shù)的逆量化的逆量化部1206 ;對由逆量化部1206得到的變換系數(shù)進(jìn)行逆正交變換的逆正交變換部1207 ;對由逆正交變換部1207得到的圖像和由選擇器1213所選擇的預(yù)測圖像進(jìn)行相加的加法器1208 ;存儲從加法器1208輸出的圖像的存儲器1209 ;根據(jù)存儲器1209所存儲的多個圖像來決定參照圖像的參照圖像決定部1215 ;使用由參照圖像決定部1215決定的參照圖像內(nèi)的像素來進(jìn)行運(yùn)動檢測的運(yùn)動檢測部1210 ;以及根據(jù)由運(yùn)動檢測部1210檢測出的運(yùn)動向量來進(jìn)行運(yùn)動補(bǔ)償，并輸出運(yùn)動預(yù)測補(bǔ)償圖像的運(yùn)動補(bǔ)償部1211。預(yù)測處理部1220構(gòu)成為具有:存儲器1209 ;運(yùn)動檢測部1210 ;運(yùn)動補(bǔ)償部1211 ;內(nèi)部預(yù)測部1212 ;選擇器1213 ;和參照圖像決定部1215。
在動態(tài)圖像編碼裝置1200中，預(yù)測處理控制部1214進(jìn)行上述預(yù)測控制處理，對于預(yù)測處理部1220，僅針對幀率大的流進(jìn)行指示，以使在預(yù)測處理中減少運(yùn)算量。預(yù)測處理部1220按照該指示，進(jìn)行預(yù)測處理以及上述參照圖像決定處理。具體而言，預(yù)測處理控制部1214對內(nèi)部預(yù)測部1212指示預(yù)測模式的選擇范圍的限制。此外，預(yù)測處理控制部1214對運(yùn)動檢測部1210以及運(yùn)動補(bǔ)償部1211，指示運(yùn)動向量的計(jì)算的搜索范圍、宏塊尺寸的選擇范圍的限制。而且，預(yù)測處理控制部1214對參照圖像決定部1215指示參照圖像的張數(shù)的減少。
以上，基于本實(shí)施方式，即使在對多個流同時進(jìn)行壓縮編碼的情況下，也能夠抑制畫質(zhì)的變差。
而且，動態(tài)圖像編碼裝置1200，典型而言，可作為集成電路的LSI(Large ScaleIntegration)被實(shí)現(xiàn)。動態(tài)圖像編碼裝置1200的各結(jié)構(gòu)要素可以分別單芯片化，也可以被單芯片化為包括一部分或全部。此外，在此，作為LSI，由于集成度不同，也可以作為IC(Integrated Circuit)、系統(tǒng) LS1、超級 LS1、超 LSI。
此外，集成化的方法不局限于LSI，也可以通過專用電路或通用處理器來實(shí)現(xiàn)。在制造LSI之后，可以利用可程序化的FPGA (Field Programmable Gate Array)、或能夠重構(gòu)LSI內(nèi)部的電路單元的連接或設(shè)定的重構(gòu)處理器。而且，若通過半導(dǎo)體技術(shù)的進(jìn)步或派生的其它技術(shù)而出現(xiàn)了置換為LSI的集成電路化的技術(shù)，則當(dāng)然，也可以使用該技術(shù)進(jìn)行功能塊的集成化。
<第二實(shí)施方式>
圖13是表示第二實(shí)施方式的攝像系統(tǒng)的一個示例的方框圖。本實(shí)施方式的攝像系統(tǒng)(影像系統(tǒng))，能夠應(yīng)用在利用了上述說明的動態(tài)圖像編碼方法的網(wǎng)絡(luò)相機(jī)等。
在圖13所不的攝像系統(tǒng)中，通過光學(xué)系統(tǒng)1301入射的圖像光在傳感器1302上成像并被光電轉(zhuǎn)換。通過光電轉(zhuǎn)換得到的模擬信號由A/D (Analog/Digital)變換電路1303變換為數(shù)字值之后，被輸入包括例如圖12所示的動態(tài)圖像編碼裝置1200的圖像處理電路1304。在圖像處理電路(圖像處理部)1304中，進(jìn)行Y/C(Luminance/Color)處理、邊緣處理、圖像的放大縮小、以及 JPEG (Joint Photographic Experts Group)或 MPEG (MovingPicture Experts Group)等圖像壓縮/擴(kuò)展處理、被圖像壓縮的流的控制等。被圖像處理的信號，通過記錄系統(tǒng)/傳輸系統(tǒng)1305記錄到介質(zhì)上，或經(jīng)由互聯(lián)網(wǎng)等進(jìn)行傳輸。被記錄或被傳輸?shù)男盘栍稍佻F(xiàn)系統(tǒng)1306再現(xiàn)。傳感器1302以及圖像處理電路1304由定時控制電路1307控制，光學(xué)系統(tǒng)1301、記錄系統(tǒng)/傳輸系統(tǒng)1305、再現(xiàn)系統(tǒng)1306以及定時控制電路1307分別由系統(tǒng)控制電路1308控制。
而且，在圖13所示的攝像系統(tǒng)中，雖然對通過傳感器1302將來自關(guān)系系統(tǒng)1301的圖像光進(jìn)行光電變換而輸入到A/D變換電路1303的相機(jī)設(shè)備等進(jìn)行了說明，但本發(fā)明不局限于此，也可以將電視等的AV(Audi0 Visual)設(shè)備的模擬影像輸入直接輸入到A/D變換電路1303。
產(chǎn)業(yè)上的可利用性
本發(fā)明的動態(tài)圖像編碼方法以及裝置，對于在網(wǎng)絡(luò)相機(jī)或監(jiān)視攝像頭等中需要同時壓縮多個動態(tài)圖像信號的相機(jī)系統(tǒng)等有用。
附圖符號說明:
1200-動態(tài)圖像編碼裝置，
1212-內(nèi)部預(yù)測部，
1214-預(yù)測處理控制部(控制部)，
1215-參照圖像決定部，
1220-預(yù)測處理部。
權(quán)利要求
1.一種動態(tài)圖像編碼方法，將動態(tài)圖像信號分割為多個宏塊，并對該分割后的各個宏塊與運(yùn)動補(bǔ)償預(yù)測圖像的差分進(jìn)行編碼， 在同時進(jìn)行針對第一動態(tài)圖像信號的預(yù)測處理以及針對幀率比所述第一動態(tài)圖像信號小的第二動態(tài)圖像信號的預(yù)測處理的情況下，僅針對所述第一動態(tài)圖像信號減少運(yùn)算量來進(jìn)行預(yù)測處理。
2.根據(jù)權(quán)利要求1所述的動態(tài)圖像編碼方法，其特征在于， 具有以下步驟:按照不同時進(jìn)行所述第一動態(tài)圖像信號的P圖片預(yù)測處理和針對所述第二動態(tài)圖像信號的預(yù)測處理的方式，使所述P圖片預(yù)測處理的GOP的構(gòu)造變化。
3.根據(jù)權(quán)利要求2所述的動態(tài)圖像編碼方法，其特征在于， 在使所述GOP的構(gòu)造變化的步驟中，根據(jù)將所述第一動態(tài)圖像信號的幀率乘以所述第一以及第二動態(tài)圖像信號的幀率的最大公約數(shù)后得到的值，來決定所述P圖片預(yù)測處理的定時。
4.根據(jù)權(quán)利要求1所述的動態(tài)圖像編碼方法，其特征在于， 在同時進(jìn)行針對所述第一以及第二動態(tài)圖像信號的預(yù)測處理的情況下，僅針對所述第一動態(tài)圖像信號減少參照圖像的張數(shù)來進(jìn)行預(yù)測處理。
5.根據(jù)權(quán)利要求4所述的動態(tài)圖像編碼方法，其特征在于， 具有: 進(jìn)行所述第 一動態(tài)圖像信號的運(yùn)動判定的步驟；和 根據(jù)所述運(yùn)動判定的結(jié)果以及所述參照圖像的張數(shù)，來決定在針對所述第一動態(tài)圖像信號的以后的預(yù)測處理中應(yīng)參照的參照圖像的步驟。
6.根據(jù)權(quán)利要求 4所述的動態(tài)圖像編碼方法，其特征在于， 具有:根據(jù)所述參照圖像所包含的多個宏塊之中由預(yù)測處理所參照的宏塊的個數(shù)、所述參照圖像在時間上的位置關(guān)系、以及所述參照圖像的張數(shù)，來決定針對所述第一動態(tài)圖像信號的以后的預(yù)測處理中應(yīng)參照的參照圖像的步驟。
7.根據(jù)權(quán)利要求1所述的動態(tài)圖像編碼方法，其特征在于， 在同時進(jìn)行針對所述第一以及第二動態(tài)圖像信號的預(yù)測處理的情況下，僅針對所述第一動態(tài)圖像信號限制與宏塊相關(guān)的運(yùn)動向量的計(jì)算的搜索范圍來進(jìn)行預(yù)測處理。
8.根據(jù)權(quán)利要求1所述的動態(tài)圖像編碼方法，其特征在于， 在同時進(jìn)行針對所述第一以及第二動態(tài)圖像信號的預(yù)測處理的情況下，僅針對所述第一動態(tài)圖像信號限制分塊化的宏塊尺寸的選擇范圍來進(jìn)行預(yù)測處理。
9.根據(jù)權(quán)利要求1所述的動態(tài)圖像編碼方法，其特征在于， 在同時進(jìn)行針對所述第一以及第二動態(tài)圖像信號的預(yù)測處理的情況下，僅針對所述第一動態(tài)圖像信號限制內(nèi)部預(yù)測的預(yù)測模式的選擇范圍來進(jìn)行預(yù)測處理。
10.一種動態(tài)圖像編碼裝置，將動態(tài)圖像信號分割為多個宏塊，并對該分割后的各個宏塊與運(yùn)動補(bǔ)償預(yù)測圖像的差分進(jìn)行編碼，具有: 預(yù)測處理部，其對多個動態(tài)圖像信號進(jìn)行預(yù)測處理；和 控制部，其在對所述預(yù)測處理部同時進(jìn)行針對第一動態(tài)圖像信號的預(yù)測處理以及幀率比所述第一動態(tài)圖像信號小的第二動態(tài)圖像信號的預(yù)測處理時，進(jìn)行僅針對所述第一動態(tài)圖像信號減少預(yù)測處理的運(yùn)算量的指示。
11.根據(jù)權(quán)利要求10所述的動態(tài)圖像編碼裝置，其特征在于， 所述控制部具有以下功能:按照不同時進(jìn)行所述第一動態(tài)圖像信號的P圖片預(yù)測處理和針對第二動態(tài)圖像信號的預(yù)測處理的方式，使所述P圖片預(yù)測處理的GOP的構(gòu)造變化。
12.根據(jù)權(quán)利要求11所述的動態(tài)圖像編碼裝置，其特征在于， 所述控制部，根據(jù)將所述第一動態(tài)圖像信號的幀率乘以所述第一以及第二動態(tài)圖像信號的幀率的最大公約數(shù)后得到的值，來決定所述P圖片預(yù)測處理的定時。
13.根據(jù)權(quán)利要求10所述的動態(tài)圖像編碼裝置，其特征在于， 所述控制部，在對所述預(yù)測處理部同時進(jìn)行針對第一以及第二動態(tài)圖像信號的預(yù)測處理時，進(jìn)行僅針對所述第一動態(tài)圖像信號減少預(yù)測處理中的參照圖像的張數(shù)的指示。
14.根據(jù)權(quán)利要求13所述的動態(tài)圖像編碼裝置，其特征在于， 所述預(yù)測處理部，具有參照圖像決定部，其進(jìn)行所述第一動態(tài)圖像信號的運(yùn)動判定，并根據(jù)所述運(yùn)動判定結(jié)果以及所述參照圖像的張數(shù)，來決定針對所述第一動態(tài)圖像信號的以后的預(yù)測處理中的參照圖像。
15.根據(jù)權(quán)利要求13所述的動態(tài)圖像編碼裝置，其特征在于， 所述預(yù)測處理部具有: 參照圖像決定部，其根據(jù)所述參照圖像所包含的宏塊之中由預(yù)測處理所參照的宏塊的個數(shù)、所述參照圖像在時間上的位置關(guān)系、以及所述參照圖像的張數(shù)，來決定針對所述第一動態(tài)圖像信號的以后的預(yù)測處理中的參照圖像。
16.根據(jù)權(quán)利要求10所述的動態(tài)圖像編碼裝置，其特征在于， 所述預(yù)測處理部使用所述第一以及第二動態(tài)圖像信號的宏塊的運(yùn)動向量來進(jìn)行預(yù)測處理， 所述控制部，在對所述預(yù)測處理部同時進(jìn)行針對所述第一以及第二動態(tài)圖像信號的預(yù)測處理時，進(jìn)行僅針對所述第一動態(tài)圖像信號限制運(yùn)動向量的計(jì)算的搜索范圍的指示。
17.根據(jù)權(quán)利要求10所述的動態(tài)圖像編碼裝置，其特征在于， 所述預(yù)測處理部使 用從所述第一以及第二動態(tài)圖像信號的多個宏塊尺寸中選擇出的尺寸的宏塊來進(jìn)行預(yù)測處理， 所述控制部，在對所述預(yù)測處理部同時進(jìn)行針對所述第一以及第二動態(tài)圖像信號的預(yù)測處理時，進(jìn)行僅針對所述第一動態(tài)圖像信號限制分塊化的宏塊尺寸的選擇范圍的指示。
18.根據(jù)權(quán)利要求10所述的動態(tài)圖像編碼裝置，其特征在于， 所述預(yù)測處理部具有:內(nèi)部預(yù)測部，其按照從內(nèi)部預(yù)測的多個預(yù)測模式中選擇出的預(yù)測模式來進(jìn)行預(yù)測處理， 所述控制部，在對所述內(nèi)部預(yù)測部同時進(jìn)行針對所述第一以及第二動態(tài)圖像信號的預(yù)測處理時，進(jìn)行僅針對所述第一動態(tài)圖像信號限制預(yù)測模式的選擇范圍的指示。
19.一種計(jì)算機(jī)可讀取的記錄介質(zhì),記錄了用于使計(jì)算機(jī)實(shí)現(xiàn)權(quán)利要求1 9的任一項(xiàng)所述的動態(tài)圖像編碼方法的程序。
20.一種攝像系統(tǒng)，具有權(quán)利要求10 18的任一項(xiàng)所述的動態(tài)圖像編碼裝置。
全文摘要
本發(fā)明提供一種動態(tài)圖像編碼方法及動態(tài)圖像編碼裝置。該動態(tài)圖像編碼裝置(1200)將動態(tài)圖像信號分割為多個宏塊，并對該分割后的各個宏塊與運(yùn)動補(bǔ)償預(yù)測圖像的差分進(jìn)行編碼。具有針對多個動態(tài)圖像信號進(jìn)行預(yù)測處理的預(yù)測處理部(1220)；和在對預(yù)測處理部同時進(jìn)行針對第一動態(tài)圖像信號的預(yù)測處理以及針對幀率比第一動態(tài)圖像信號小的第二動態(tài)圖像的預(yù)測處理時，進(jìn)行僅針對第一動態(tài)圖像信號減少預(yù)測處理的運(yùn)算量的指示的預(yù)測處理控制部(1214)。
文檔編號H04N7/32GK103155566SQ20118004991
公開日2013年6月12日 申請日期2011年7月19日 優(yōu)先權(quán)日2010年11月2日
發(fā)明者佐佐木善滿, 北村臣二 申請人:松下電器產(chǎn)業(yè)株式會社