專利名稱：校正圖像運(yùn)動(dòng)的裝置和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于壓縮輸入圖像信號(hào)的圖像處理系統(tǒng)，特別涉及一種用于校正圖像運(yùn)動(dòng)的裝置和方法，從而增加了壓縮圖像信號(hào)的效率，其中圖像運(yùn)動(dòng)是因?yàn)槭值膿u動(dòng)或系統(tǒng)的振動(dòng)而出現(xiàn)的。
背景技術(shù)：
用戶可隨身攜帶以收集圖像信號(hào)的圖像處理系統(tǒng)需要用于校正圖像運(yùn)動(dòng)的功能，其中圖像運(yùn)動(dòng)是因?yàn)槭值膿u動(dòng)或系統(tǒng)的振動(dòng)而出現(xiàn)的。這是因?yàn)樵谑褂帽銛y式圖像撿拾裝置收集圖像信號(hào)時(shí)，非常有可能出現(xiàn)手的搖動(dòng)或系統(tǒng)的振動(dòng)。如果在收集圖像信號(hào)時(shí)出現(xiàn)手的搖動(dòng)或系統(tǒng)的振動(dòng)，那么圖像被認(rèn)為有運(yùn)動(dòng)，即使該圖像沒有運(yùn)動(dòng)。因此，圖像處理系統(tǒng)需要校正圖像運(yùn)動(dòng)的功能。例如，攝影機(jī)可以包括這樣的圖像處理系統(tǒng)。
為傳統(tǒng)攝影機(jī)提供的運(yùn)動(dòng)校正功能使用振動(dòng)傳感器檢測(cè)攝影機(jī)振動(dòng)量，并基于振動(dòng)量向上、下、左、或右運(yùn)動(dòng)透鏡上的圖像，從而校正圖像運(yùn)動(dòng)。攝影機(jī)可以壓縮運(yùn)動(dòng)校正圖像信號(hào)，并儲(chǔ)存壓縮圖像信號(hào)或?qū)⑵鋫魉偷搅硪粋€(gè)裝置。大多數(shù)攝影機(jī)使用幀內(nèi)編碼方法壓縮圖像信號(hào)。在幀內(nèi)編碼方法中，不考慮輸入圖像信號(hào)與另一個(gè)圖像的相關(guān)性而壓縮圖像信號(hào)。
如上所述，當(dāng)校正因?yàn)槭值膿u動(dòng)或系統(tǒng)的振動(dòng)而出現(xiàn)的運(yùn)動(dòng)時(shí)，以及當(dāng)壓縮圖像信號(hào)時(shí)，傳統(tǒng)攝影機(jī)不考慮多個(gè)幀之間的相關(guān)性。因此傳統(tǒng)攝影機(jī)對(duì)收集大量圖像，如電影，有局限性。
為克服這一問題，已嘗試將既使用幀內(nèi)編碼方法又使用幀間(inter)編碼方法的壓縮方法，如運(yùn)動(dòng)圖像專家組(MPEG，moving picture experts group)-2或MPEG-4，應(yīng)用于圖像處理系統(tǒng)，如攝影機(jī)。在使用MPEG-2或MPEG-4作為壓縮方法的情況下，如果用上文所描述的方法校正圖像信號(hào)中因?yàn)槭值膿u動(dòng)或系統(tǒng)的振動(dòng)而出現(xiàn)的運(yùn)動(dòng)，那么在幀間編碼模式中，該圖像信號(hào)的壓縮效率將減小。這是因?yàn)闆]有考慮圖像信號(hào)和另一個(gè)圖像的相關(guān)性，而以鏡頭為單位執(zhí)行運(yùn)動(dòng)校正，而在幀間編碼模式中，估計(jì)運(yùn)動(dòng)，并考慮當(dāng)前幀和先前幀之間的相關(guān)性校正運(yùn)動(dòng)，從而壓縮由運(yùn)動(dòng)估計(jì)和校正產(chǎn)生的差異圖像。

發(fā)明內(nèi)容
為解決上述問題，本發(fā)明的第一個(gè)目的是提供一種用于校正圖像運(yùn)動(dòng)的裝置和方法，其中所述運(yùn)動(dòng)是因?yàn)槭值膿u動(dòng)或系統(tǒng)的振動(dòng)而出現(xiàn)的，從而增加了圖像處理系統(tǒng)壓縮圖像信號(hào)的效率，所述圖像處理系統(tǒng)對(duì)輸入圖像信號(hào)執(zhí)行運(yùn)動(dòng)估計(jì)和壓縮。
本發(fā)明的第二個(gè)目的是提供一種考慮到多個(gè)幀之間的相關(guān)性，校正圖像運(yùn)動(dòng)的裝置和方法，其中所述運(yùn)動(dòng)是因?yàn)槭值膿u動(dòng)或系統(tǒng)的振動(dòng)而出現(xiàn)的。
用本發(fā)明的第三個(gè)目的是提供一種于考慮到多個(gè)幀之間的相關(guān)性，以兩個(gè)步驟校正圖像運(yùn)動(dòng)的裝置和方法，其中所述運(yùn)動(dòng)是因?yàn)槭值膿u動(dòng)或系統(tǒng)的振動(dòng)而出現(xiàn)的，從而增加了壓縮圖像信號(hào)的效率。
為實(shí)現(xiàn)本發(fā)明的一個(gè)或多個(gè)目的，在一個(gè)實(shí)施例中，提供了一種用于在圖像處理系統(tǒng)種校正圖像運(yùn)動(dòng)的裝置。該裝置包括幀存儲(chǔ)器，用于存儲(chǔ)輸入圖像信號(hào)作為當(dāng)前幀圖像；以及運(yùn)動(dòng)估計(jì)器/校正器，用于以先前幀圖像為基礎(chǔ)，估計(jì)當(dāng)前幀圖像中預(yù)定運(yùn)動(dòng)估計(jì)范圍內(nèi)的圖像的運(yùn)動(dòng)，從當(dāng)前幀圖像區(qū)域檢測(cè)將被壓縮的圖像區(qū)域，并提供檢測(cè)到的將被壓縮的圖像區(qū)域作為當(dāng)前幀圖像區(qū)域，作正常運(yùn)動(dòng)估計(jì)，以便可以校正輸入圖像信號(hào)的運(yùn)動(dòng)。
最好，輸入到幀存儲(chǔ)器中的圖像信號(hào)是已以鏡頭為單位校正了運(yùn)動(dòng)的信號(hào)，所述運(yùn)動(dòng)是因?yàn)槭值膿u動(dòng)或系統(tǒng)的振動(dòng)而出現(xiàn)的。最好，預(yù)定運(yùn)動(dòng)估計(jì)范圍設(shè)置為不把輸入圖像信號(hào)中的真實(shí)運(yùn)動(dòng)視為因?yàn)槭值膿u動(dòng)或系統(tǒng)的振動(dòng)而出現(xiàn)的運(yùn)動(dòng)。
最好，運(yùn)動(dòng)估計(jì)器/校正器檢測(cè)多個(gè)單元的預(yù)定塊中的運(yùn)動(dòng)矢量，使用檢測(cè)到的運(yùn)動(dòng)矢量計(jì)算預(yù)定運(yùn)動(dòng)估計(jì)范圍的平均運(yùn)動(dòng)矢量，并使用平均運(yùn)動(dòng)矢量檢測(cè)將被壓縮的圖像區(qū)域。
最好，運(yùn)動(dòng)估計(jì)器/校正器使用檢測(cè)到的運(yùn)動(dòng)矢量中多個(gè)塊的運(yùn)動(dòng)矢量作正常運(yùn)動(dòng)估計(jì)，其中所述多個(gè)塊中先前幀圖像和當(dāng)前幀圖像之間差異微小。
在另一個(gè)實(shí)施例中，提供了一種用于在圖像處理系統(tǒng)中校正圖像運(yùn)動(dòng)的裝置。該裝置包括運(yùn)動(dòng)校正器，用于校正多個(gè)單元的鏡頭中的輸入圖像信號(hào)中因?yàn)檎駝?dòng)而出現(xiàn)的運(yùn)動(dòng)；幀存儲(chǔ)器，用于存儲(chǔ)從運(yùn)動(dòng)校正器輸出的圖像信號(hào)作為當(dāng)前幀圖像；以及運(yùn)動(dòng)估計(jì)器/校正器，用于以先前幀圖像為基礎(chǔ)，估計(jì)當(dāng)前幀圖像中預(yù)定運(yùn)動(dòng)估計(jì)范圍內(nèi)的圖像的運(yùn)動(dòng)，從預(yù)定運(yùn)動(dòng)估計(jì)范圍中估計(jì)將被壓縮的圖像區(qū)域，并提供檢測(cè)到的將被壓縮的圖像區(qū)域作為當(dāng)前幀圖像區(qū)域，作正常運(yùn)動(dòng)估計(jì)，以便可以校正輸入圖像信號(hào)的運(yùn)動(dòng)。
為實(shí)現(xiàn)本發(fā)明的一個(gè)或多個(gè)目的，在一個(gè)實(shí)施例中，還提供了一種在圖像處理系統(tǒng)中校正圖像運(yùn)動(dòng)的方法。該方法包括存儲(chǔ)輸入圖像信號(hào)作為當(dāng)前幀圖像；以先前幀圖像為基礎(chǔ)，估計(jì)當(dāng)前幀圖像中預(yù)定運(yùn)動(dòng)估計(jì)范圍內(nèi)的圖像的運(yùn)動(dòng)，并從當(dāng)前幀圖像檢測(cè)將被壓縮的圖像區(qū)域；以及提供檢測(cè)到的將被壓縮的圖像區(qū)域作為當(dāng)前幀圖像區(qū)域，作正常運(yùn)動(dòng)估計(jì)。
最好，以幀間編碼模式執(zhí)行檢測(cè)和提供將被壓縮的圖像區(qū)域，并且預(yù)定運(yùn)動(dòng)估計(jì)范圍設(shè)置為不把輸入圖像信號(hào)中的真實(shí)運(yùn)動(dòng)視為因?yàn)槭值膿u動(dòng)或系統(tǒng)的振動(dòng)而出現(xiàn)的運(yùn)動(dòng)。
最好，檢測(cè)將被壓縮的圖像區(qū)域包括估計(jì)多個(gè)單元的預(yù)定塊中的運(yùn)動(dòng)以檢測(cè)運(yùn)動(dòng)矢量；使用檢測(cè)到的運(yùn)動(dòng)矢量計(jì)算預(yù)定運(yùn)動(dòng)估計(jì)范圍的平均運(yùn)動(dòng)矢量；以及使用平均運(yùn)動(dòng)矢量檢測(cè)將被壓縮的圖像區(qū)域。最好，輸入圖像信號(hào)是已以鏡頭為單位校正了運(yùn)動(dòng)的信號(hào)，所述運(yùn)動(dòng)是因?yàn)槭值膿u動(dòng)或系統(tǒng)的振動(dòng)而出現(xiàn)的。
在另一個(gè)實(shí)施例中，提供了一種在圖像處理系統(tǒng)中校正圖像運(yùn)動(dòng)的方法。該方法包括校正以鏡頭為單位的輸入圖像信號(hào)中因?yàn)檎駝?dòng)而出現(xiàn)的運(yùn)動(dòng)；存儲(chǔ)已校正圖像信號(hào)作為當(dāng)前幀圖像；當(dāng)圖像處理系統(tǒng)在幀間編碼模式中時(shí)，以先前幀圖像為基礎(chǔ)，估計(jì)當(dāng)前幀圖像中預(yù)定運(yùn)動(dòng)估計(jì)范圍內(nèi)的圖像的運(yùn)動(dòng)，并從預(yù)定運(yùn)動(dòng)估計(jì)范圍檢測(cè)將被壓縮的圖像區(qū)域；以及提供檢測(cè)到的將被壓縮的圖像區(qū)域作為當(dāng)前幀圖像區(qū)域，作正常運(yùn)動(dòng)估計(jì)。


通過參考附圖詳細(xì)描述本發(fā)明的優(yōu)選實(shí)施例，本發(fā)明的上述目的和優(yōu)點(diǎn)將變得更加明顯，其中圖1是一個(gè)圖像處理系統(tǒng)的方框圖，其中所述圖像處理系統(tǒng)具有根據(jù)本發(fā)明的優(yōu)選實(shí)施例的用于校正圖像運(yùn)動(dòng)的裝置；圖2展示了幀圖像鏡頭的多個(gè)例子，用于解釋圖1中的用于校正圖像運(yùn)動(dòng)的裝置的操作；以及圖3是根據(jù)本發(fā)明的優(yōu)選實(shí)施例的校正圖像運(yùn)動(dòng)的方法的流程圖。
具體實(shí)施例方式
在下文中，將參考附圖詳細(xì)描述本發(fā)明的優(yōu)選實(shí)施例。
圖1是一個(gè)圖像處理系統(tǒng)的方框圖，其中所述圖像處理系統(tǒng)具有根據(jù)本發(fā)明的優(yōu)選實(shí)施例的用于校正圖像運(yùn)動(dòng)的裝置。參考圖1，該圖像處理系統(tǒng)包括運(yùn)動(dòng)校正器101、第一幀存儲(chǔ)器102、編碼器103、解碼器104、第二幀存儲(chǔ)器105、運(yùn)動(dòng)估計(jì)/校正單元110、以及加法器130。
運(yùn)動(dòng)校正器101根據(jù)手的搖動(dòng)或系統(tǒng)的振動(dòng)，校正包括以鏡頭為單位的輸入圖像信號(hào)中的運(yùn)動(dòng)。如傳統(tǒng)攝影機(jī)所使用，可以將根據(jù)檢測(cè)到的振動(dòng)量向上、下、左、或右運(yùn)動(dòng)透鏡上的圖像的校正方法應(yīng)用于運(yùn)動(dòng)校正器101。此外，任何通過機(jī)械或電子控制校正運(yùn)動(dòng)的傳統(tǒng)技術(shù)都可以應(yīng)用于該運(yùn)動(dòng)校正器101。將該圖像信號(hào)傳送到第一幀存儲(chǔ)器102，所述圖像信號(hào)的運(yùn)動(dòng)已被運(yùn)動(dòng)校正器101以鏡頭為單位校正過。
第一幀存儲(chǔ)器102儲(chǔ)存來自運(yùn)動(dòng)校正器101的首先運(yùn)動(dòng)校正的圖像信號(hào)作為當(dāng)前幀圖像。當(dāng)前幀圖像包括整體分辨率。換句話說，圖2中由((N+x)×(M+y))個(gè)像素表示的幀圖像201展示儲(chǔ)存在第一幀存儲(chǔ)器102中的鏡頭的例子。
如果圖像處理系統(tǒng)的壓縮模式是幀內(nèi)編碼模式，那么只向編碼器103傳送儲(chǔ)存在第一幀存儲(chǔ)器102中的當(dāng)前幀圖像中，包括在將被壓縮的圖像區(qū)域內(nèi)的圖像信號(hào)。在這里，將被壓縮的圖像區(qū)域是圖2中由(N×M)個(gè)像素表示的分辨率區(qū)域202。圖像區(qū)域202依照輸入圖像信號(hào)實(shí)際顯示的圖像區(qū)域預(yù)先確定。
然而，如果圖像處理系統(tǒng)的壓縮模式是幀間編碼模式，那么只向加法器130提供包括在從運(yùn)動(dòng)估計(jì)/校正單元110提供的圖像區(qū)域內(nèi)的圖像信號(hào)。如在幀內(nèi)編碼模式中一樣，該圖像區(qū)域是將被壓縮的圖像區(qū)域，其分辨率為(N×M)個(gè)像素。然而，由于該圖像區(qū)域從運(yùn)動(dòng)校正獲得，所述運(yùn)動(dòng)校正根據(jù)本發(fā)明考慮了多個(gè)幀之間的相關(guān)性，故而該圖像區(qū)域的位置可變。因此，將被壓縮的圖像區(qū)域可能是圖2中的區(qū)域202和204。
在幀間編碼模式中，加法器130向編碼器103傳送從第一幀存儲(chǔ)器102輸出的圖像信號(hào)和從運(yùn)動(dòng)估計(jì)/校正單元110輸出的圖像信號(hào)之間的差異圖像。
在幀內(nèi)編碼模式中，編碼器103對(duì)從第一幀存儲(chǔ)器102輸出的圖像信號(hào)執(zhí)行離散余弦變換(DCT，discrete cosine transform)和數(shù)字化，以輸出編碼比特流。在幀間編碼模式中，編碼器103對(duì)從加法器130傳送來的差異圖像執(zhí)行離散余弦變換和數(shù)字化，以輸出編碼比特流。將從編碼器103輸出的比特流傳送到下一終端(未示出)作如可變長(zhǎng)度編碼的處理，并傳送到解碼器104。
解碼器104將該比特流還原為編碼前的形式。為此還原，解碼器104被設(shè)計(jì)為以編碼器103的顛倒次序執(zhí)行信號(hào)處理。換句話說，解碼器104對(duì)比特流執(zhí)行去數(shù)字化(dequantization)和逆離散傅立葉變換。
將還原圖像信號(hào)存儲(chǔ)在第二幀存儲(chǔ)器105中。因?yàn)樵趫D像信號(hào)中的一幀圖像信號(hào)中，實(shí)際被壓縮的圖像區(qū)域?yàn)?N×M)像素區(qū)域，所以存儲(chǔ)在第二幀存儲(chǔ)器105中的圖像信號(hào)具有圖2中大小為(N×M)個(gè)像素的分辨率。
運(yùn)動(dòng)估計(jì)/校正單元110由第一運(yùn)動(dòng)估計(jì)器/校正器111和第二運(yùn)動(dòng)估計(jì)器/校正器112組成。提供第一運(yùn)動(dòng)估計(jì)器/校正器111用于校正在圖像信號(hào)中，因?yàn)槭值膿u動(dòng)或系統(tǒng)的振動(dòng)而出現(xiàn)的運(yùn)動(dòng)。更明確地，第一運(yùn)動(dòng)估計(jì)器/校正器111基于運(yùn)動(dòng)估計(jì)范圍信息，從圖2中所示的圖像區(qū)域201讀取區(qū)域203中包括的圖像信號(hào)，其中圖像區(qū)域201的分辨率為((N+x)×(M+y))像素，其存儲(chǔ)于第一幀存儲(chǔ)器102中。區(qū)域203是運(yùn)動(dòng)估計(jì)范圍。第一運(yùn)動(dòng)估計(jì)器/校正器111以存儲(chǔ)在第二幀存儲(chǔ)器105中的先前幀圖像為基礎(chǔ)，估計(jì)區(qū)域203中的圖像信號(hào)的運(yùn)動(dòng)?？梢砸訫PEG-2或MPEG-4中使用的相同方式，以預(yù)定塊為單位執(zhí)行運(yùn)動(dòng)估計(jì)。從而，以預(yù)定塊為單位檢測(cè)運(yùn)動(dòng)矢量。
然后，第一運(yùn)動(dòng)估計(jì)器/校正器111使用在多個(gè)預(yù)定塊單元中檢測(cè)到的運(yùn)動(dòng)矢量，計(jì)算區(qū)域203的平均運(yùn)動(dòng)矢量V(x，y)，如下面的公式所示。V(x,y)=1MΣm=0M-1Vm(x,y)]]>這里，M表示預(yù)定塊數(shù)，而Vm(x，y)表示第m塊的運(yùn)動(dòng)矢量。
其次，第一運(yùn)動(dòng)估計(jì)器/校正器111使用所計(jì)算平均運(yùn)動(dòng)矢量，從預(yù)定運(yùn)動(dòng)估計(jì)范圍203中檢測(cè)將被壓縮的圖像區(qū)域。在圖2中，區(qū)域204是通過運(yùn)動(dòng)估計(jì)檢測(cè)出的將被壓縮的圖像區(qū)域。
在圖2中，區(qū)域201是存儲(chǔ)在第一幀存儲(chǔ)器102中的圖像的分辨率；區(qū)域202是將被編碼器103壓縮的圖像的分辨率；區(qū)域203是預(yù)定運(yùn)動(dòng)估計(jì)范圍；而區(qū)域204是將被壓縮的圖像區(qū)域，其中已校正了在輸入圖像中包括的、因?yàn)槭值膿u動(dòng)或系統(tǒng)的振動(dòng)而出現(xiàn)的運(yùn)動(dòng)。
設(shè)置了運(yùn)動(dòng)估計(jì)范圍，以便不將實(shí)際運(yùn)動(dòng)作為因?yàn)槭值膿u動(dòng)或系統(tǒng)的振動(dòng)而出現(xiàn)的運(yùn)動(dòng)。運(yùn)動(dòng)估計(jì)范圍可以由用戶或廠商預(yù)先設(shè)置，或者可以根據(jù)振動(dòng)量設(shè)置，其中振動(dòng)量由用于校正輸入圖像信號(hào)的運(yùn)動(dòng)校正器101檢測(cè)出。當(dāng)運(yùn)動(dòng)估計(jì)范圍根據(jù)振動(dòng)量設(shè)置時(shí)，其是可變的。
如上所述，使用檢測(cè)到的將被壓縮的圖像區(qū)域，執(zhí)行已在幀間編碼模式中執(zhí)行的運(yùn)動(dòng)估計(jì)和校正，以便可以對(duì)，已考慮多個(gè)幀之間的相關(guān)性而補(bǔ)償了因?yàn)槭值膿u動(dòng)或系統(tǒng)的振動(dòng)而出現(xiàn)的運(yùn)動(dòng)的圖像信號(hào)，執(zhí)行正常運(yùn)動(dòng)估計(jì)和校正。
關(guān)于檢測(cè)到的圖像區(qū)域的信息被提供給第一幀存儲(chǔ)器102，并控制從加法器130輸出的圖像信號(hào)的區(qū)域。第一運(yùn)動(dòng)估計(jì)器/校正器111還向第二運(yùn)動(dòng)估計(jì)器/校正器112提供相應(yīng)于當(dāng)前幀的圖像信號(hào)。這里，第一運(yùn)動(dòng)估計(jì)器/校正器111可以向第二運(yùn)動(dòng)估計(jì)器/校正器112提供在多個(gè)預(yù)定塊單元檢測(cè)出的運(yùn)動(dòng)矢量中的一些運(yùn)動(dòng)矢量。提供給第二運(yùn)動(dòng)估計(jì)器/校正器112的運(yùn)動(dòng)矢量的值可以是(0，0)或當(dāng)前幀和先前幀之間的差異被視為微小的塊的運(yùn)動(dòng)矢量。例如，可以向第二運(yùn)動(dòng)估計(jì)器/校正器112提供圖像信號(hào)邊緣的塊的運(yùn)動(dòng)矢量。從而，第二運(yùn)動(dòng)估計(jì)器/校正器112可以不需要對(duì)提供了運(yùn)動(dòng)矢量的塊執(zhí)行運(yùn)動(dòng)估計(jì)和校正。
第二運(yùn)動(dòng)估計(jì)器/校正器112對(duì)輸入圖像信號(hào)執(zhí)行真實(shí)運(yùn)動(dòng)估計(jì)和校正，如在現(xiàn)有MPEG-2和MPEG-4中一樣。換句話說，第二運(yùn)動(dòng)估計(jì)器/校正器112，考慮已根據(jù)本發(fā)明執(zhí)行了運(yùn)動(dòng)校正的當(dāng)前幀和存儲(chǔ)在第二幀存儲(chǔ)器105中的圖像信號(hào)之間的相關(guān)性，對(duì)輸入圖像信號(hào)執(zhí)行運(yùn)動(dòng)估計(jì)和校正。第二運(yùn)動(dòng)估計(jì)器/校正器112向加法器130提供已校正圖像信號(hào)。如上所述，第二運(yùn)動(dòng)估計(jì)器/校正器112對(duì)已校正因?yàn)槭值膿u動(dòng)或系統(tǒng)的振動(dòng)而出現(xiàn)的運(yùn)動(dòng)的圖像信號(hào)執(zhí)行運(yùn)動(dòng)估計(jì)和校正。
圖3是根據(jù)本發(fā)明的優(yōu)選實(shí)施例的校正圖像運(yùn)動(dòng)的方法的流程圖。
在步驟301，如果圖像信號(hào)被輸入，具有根據(jù)本發(fā)明的裝置的一種系統(tǒng)，以與運(yùn)動(dòng)校正器101中相同的方式，以鏡頭為單位校正因?yàn)槭值膿u動(dòng)或系統(tǒng)的振動(dòng)而出現(xiàn)的運(yùn)動(dòng)。
在步驟302，系統(tǒng)在第一幀存儲(chǔ)器102中存儲(chǔ)圖像作為當(dāng)前幀圖像，其已以鏡頭為單位校正了運(yùn)動(dòng)。所存儲(chǔ)的圖像的分辨率為((N+x)×(M+y))像素。
在步驟303確定系統(tǒng)的當(dāng)前編碼模式。
如果在步驟303確定當(dāng)前編碼模式為幀內(nèi)編碼模式，那么在步驟304，系統(tǒng)以與編碼器103中相同的方式，對(duì)圖像信號(hào)編碼，所述圖像信號(hào)包括在分辨率為((N+x)×(M+y))像素的圖像內(nèi)的分辨率為(N×M)像素的圖像區(qū)域中。預(yù)先確定該(N×M)像素的圖像區(qū)域?yàn)閷⒈粔嚎s的圖像區(qū)域。
在步驟305，將編碼產(chǎn)生的比特流傳送到下一終端(例如，可變長(zhǎng)度編碼器)，并且同時(shí)解碼以還原原始圖像信號(hào)。還原圖像信號(hào)存儲(chǔ)在第二幀存儲(chǔ)器105中作為先前幀圖像。
在步驟306，確定是否已輸入圖像信號(hào)。如果在步驟306確定輸入了圖像信號(hào)，則程序返回步驟301。然而，如果確定沒有輸入圖像，則程序結(jié)束。
如果在步驟303確定當(dāng)前編碼模式為幀間編碼模式，那么在步驟307，以先前幀圖像為基礎(chǔ)，估計(jì)包括在運(yùn)動(dòng)估計(jì)范圍中的當(dāng)前幀圖像的運(yùn)動(dòng)。運(yùn)動(dòng)估計(jì)范圍可以如圖1所述設(shè)置。從而，圖2中展示的分辨率為((N+x′)×(M+y′))像素的區(qū)域203為運(yùn)動(dòng)估計(jì)范圍。先前幀圖像是存儲(chǔ)在第二幀存儲(chǔ)器105中的圖像。以預(yù)定塊為單位執(zhí)行運(yùn)動(dòng)估計(jì)。從而，為每個(gè)塊獲取運(yùn)動(dòng)矢量。如圖1所述，可以使用MPEG-2或MPEG-4中使用的方法作運(yùn)動(dòng)估計(jì)。
在步驟308，以上述公式計(jì)算有((N+x′)×(N+y′))像素的運(yùn)動(dòng)估計(jì)范圍203的平均運(yùn)動(dòng)矢量。
在步驟309，使用平均運(yùn)動(dòng)矢量檢測(cè)運(yùn)動(dòng)校正的圖像區(qū)域。檢測(cè)到的圖像區(qū)域是將被壓縮的圖像區(qū)域。從而，檢測(cè)到的圖像區(qū)域的分辨率為(N×M)像素。檢測(cè)到的圖像區(qū)域的位置在圖2中展示的分辨率為((N+x′)×(M+y′))像素的區(qū)域203內(nèi)可變。
在步驟310，以與第二運(yùn)動(dòng)估計(jì)器/校正器112中相同的方式，使用包括在檢測(cè)到的圖像區(qū)域中的圖像和先前幀圖像，執(zhí)行正常運(yùn)動(dòng)估計(jì)和校正。換句話說，估計(jì)和校正輸入圖像信號(hào)中存在的真實(shí)運(yùn)動(dòng)。
在步驟311，檢測(cè)當(dāng)前幀圖像與由正常運(yùn)動(dòng)估計(jì)和校正產(chǎn)生的圖像之間的差異圖像，其中當(dāng)前幀圖像包括在存儲(chǔ)在第一幀存儲(chǔ)器102中的圖像信號(hào)內(nèi)的檢測(cè)到的區(qū)域。以與編碼器103中相同的方式對(duì)檢測(cè)到的差異圖像編碼。然后，系統(tǒng)的操作返回步驟305，并重復(fù)上述程序。
根據(jù)本發(fā)明，以鏡頭為單位校正了圖像因?yàn)槭值膿u動(dòng)或系統(tǒng)的振動(dòng)而出現(xiàn)的運(yùn)動(dòng)之后，考慮多個(gè)幀之間的相關(guān)性，細(xì)致地校正了圖像的真實(shí)運(yùn)動(dòng)，從而增加了圖像處理系統(tǒng)的壓縮效率，所述圖像處理系統(tǒng)估計(jì)輸入圖像信號(hào)的運(yùn)動(dòng)，并使用幀內(nèi)和幀間編碼模式壓縮輸入圖像。具體地說，在幀間編碼模式中，通過使從運(yùn)動(dòng)估計(jì)和校正獲取的差異圖像最小化，可以期望減小壓縮率。
本發(fā)明不限于上述實(shí)施例，并且本領(lǐng)域的技術(shù)人員應(yīng)該明白，在不脫離本發(fā)明的精神的情況下，可以進(jìn)行對(duì)其各種修改。因此，本發(fā)明的范圍不限于本發(fā)明的詳細(xì)描述，而由所附權(quán)利要求限定。
權(quán)利要求
1.一種用于在圖像處理系統(tǒng)中校正圖像運(yùn)動(dòng)的裝置，該裝置包括幀存儲(chǔ)器，用于存儲(chǔ)輸入圖像信號(hào)作為當(dāng)前幀圖像；以及運(yùn)動(dòng)估計(jì)器/校正器，用于以先前幀圖像為基礎(chǔ)，估計(jì)當(dāng)前幀圖像中預(yù)定運(yùn)動(dòng)估計(jì)范圍內(nèi)的圖像的運(yùn)動(dòng)，從當(dāng)前幀圖像區(qū)域檢測(cè)將被壓縮的圖像區(qū)域，并提供檢測(cè)到的將被壓縮的圖像區(qū)域作為當(dāng)前幀圖像區(qū)域，作正常運(yùn)動(dòng)估計(jì)，以便可以校正輸入圖像信號(hào)的運(yùn)動(dòng)。
2.如權(quán)利要求1的裝置，其中輸入到幀存儲(chǔ)器中的圖像信號(hào)是已以鏡頭為單位校正了運(yùn)動(dòng)的信號(hào)，所述運(yùn)動(dòng)是因?yàn)槭值膿u動(dòng)或系統(tǒng)的振動(dòng)而出現(xiàn)的。
3.如權(quán)利要求1的裝置，其中預(yù)定運(yùn)動(dòng)估計(jì)范圍設(shè)置為不把輸入圖像信號(hào)中的真實(shí)運(yùn)動(dòng)視為因?yàn)槭值膿u動(dòng)或系統(tǒng)的振動(dòng)而出現(xiàn)的運(yùn)動(dòng)。
4.如權(quán)利要求1的裝置，其中運(yùn)動(dòng)估計(jì)器/校正器檢測(cè)多個(gè)單元的預(yù)定塊中的運(yùn)動(dòng)矢量，使用檢測(cè)到的運(yùn)動(dòng)矢量計(jì)算預(yù)定運(yùn)動(dòng)估計(jì)范圍的平均運(yùn)動(dòng)矢量，并使用平均運(yùn)動(dòng)矢量檢測(cè)將被壓縮的圖像區(qū)域。
5.如權(quán)利要求4的裝置，其中運(yùn)動(dòng)估計(jì)/校正單元使用檢測(cè)到的運(yùn)動(dòng)矢量中的一些作正常運(yùn)動(dòng)估計(jì)。
6.如權(quán)利要求5的裝置，其中運(yùn)動(dòng)估計(jì)器/校正器使用檢測(cè)到的運(yùn)動(dòng)矢量中多個(gè)塊的運(yùn)動(dòng)矢量作正常運(yùn)動(dòng)估計(jì)，其中所述多個(gè)塊中先前幀圖像和當(dāng)前幀圖像之間差異微小。
7.一種用于在圖像處理系統(tǒng)中校正圖像運(yùn)動(dòng)的裝置，該裝置包括運(yùn)動(dòng)校正器，用于校正多個(gè)單元的鏡頭中的輸入圖像信號(hào)中因?yàn)檎駝?dòng)而出現(xiàn)的運(yùn)動(dòng)；幀存儲(chǔ)器，用于存儲(chǔ)從運(yùn)動(dòng)校正器輸出的圖像信號(hào)作為當(dāng)前幀圖像；以及運(yùn)動(dòng)估計(jì)器/校正器，用于以先前幀圖像為基礎(chǔ)，估計(jì)當(dāng)前幀圖像中預(yù)定運(yùn)動(dòng)估計(jì)范圍內(nèi)的圖像的運(yùn)動(dòng)，從預(yù)定運(yùn)動(dòng)估計(jì)范圍中檢測(cè)將被壓縮的圖像區(qū)域，并提供檢測(cè)到的將被壓縮的圖像區(qū)域作為當(dāng)前幀圖像區(qū)域，作正常運(yùn)動(dòng)估計(jì)，以便可以校正輸入圖像信號(hào)的運(yùn)動(dòng)。
8.如權(quán)利要求7的裝置，其中預(yù)定運(yùn)動(dòng)估計(jì)范圍根據(jù)振動(dòng)量確定，所述振動(dòng)量由運(yùn)動(dòng)校正器為作運(yùn)動(dòng)校正而檢測(cè)出。
9.如權(quán)利要求7的裝置，其中預(yù)定運(yùn)動(dòng)估計(jì)范圍設(shè)置為不把輸入圖像信號(hào)中的真實(shí)運(yùn)動(dòng)視為因?yàn)槭值膿u動(dòng)或系統(tǒng)的振動(dòng)而出現(xiàn)的運(yùn)動(dòng)。
10.如權(quán)利要求7的裝置，其中運(yùn)動(dòng)估計(jì)器/校正器估計(jì)多個(gè)預(yù)定塊中的運(yùn)動(dòng)以檢測(cè)運(yùn)動(dòng)矢量，使用檢測(cè)到的運(yùn)動(dòng)矢量計(jì)算預(yù)定運(yùn)動(dòng)估計(jì)范圍的平均運(yùn)動(dòng)矢量，并使用平均運(yùn)動(dòng)矢量檢測(cè)將被壓縮的圖像區(qū)域。
11.一種在圖像處理系統(tǒng)中校正圖像運(yùn)動(dòng)的方法，該方法包括存儲(chǔ)輸入圖像信號(hào)作為當(dāng)前幀圖像；以先前幀圖像為基礎(chǔ)，估計(jì)當(dāng)前幀圖像中預(yù)定運(yùn)動(dòng)估計(jì)范圍內(nèi)的圖像的運(yùn)動(dòng)，并從當(dāng)前幀圖像區(qū)域檢測(cè)將被壓縮的圖像區(qū)域；以及提供檢測(cè)到的將被壓縮的圖像區(qū)域作為當(dāng)前幀圖像區(qū)域，作正常運(yùn)動(dòng)估計(jì)。
12.如權(quán)利要求11的方法，其中以幀間編碼模式執(zhí)行檢測(cè)和提供將被壓縮的圖像區(qū)域。
13.如權(quán)利要求11的方法，其中預(yù)定運(yùn)動(dòng)估計(jì)范圍設(shè)置為不把輸入圖像信號(hào)中的真實(shí)運(yùn)動(dòng)視為因?yàn)槭值膿u動(dòng)或系統(tǒng)的振動(dòng)而出現(xiàn)的運(yùn)動(dòng)。
14.如權(quán)利要求11的方法，其中檢測(cè)將被壓縮的圖像區(qū)域包括估計(jì)多個(gè)預(yù)定塊中的運(yùn)動(dòng)以檢測(cè)運(yùn)動(dòng)矢量；使用檢測(cè)到的運(yùn)動(dòng)矢量計(jì)算預(yù)定運(yùn)動(dòng)估計(jì)范圍的平均運(yùn)動(dòng)矢量；以及使用平均運(yùn)動(dòng)矢量檢測(cè)將被壓縮的圖像區(qū)域。
15.如權(quán)利要求11的方法，其中輸入圖像信號(hào)是已以鏡頭為單位校正了運(yùn)動(dòng)的信號(hào)，所述運(yùn)動(dòng)是因?yàn)槭值膿u動(dòng)或系統(tǒng)的振動(dòng)而出現(xiàn)的。
16.一種在圖像處理系統(tǒng)中校正圖像運(yùn)動(dòng)的方法，該方法包括校正以鏡頭為單位的輸入圖像信號(hào)中因?yàn)檎駝?dòng)而出現(xiàn)的運(yùn)動(dòng)；存儲(chǔ)已校正圖像信號(hào)作為當(dāng)前幀圖像；當(dāng)圖像處理系統(tǒng)在幀間編碼模式中時(shí)，以先前幀圖像為基礎(chǔ)，估計(jì)當(dāng)前幀圖像中預(yù)定運(yùn)動(dòng)估計(jì)范圍內(nèi)的圖像的運(yùn)動(dòng)，并從預(yù)定運(yùn)動(dòng)估計(jì)范圍檢測(cè)將被壓縮的圖像區(qū)域；以及提供檢測(cè)到的將被壓縮的圖像區(qū)域作為當(dāng)前幀圖像區(qū)域，作正常運(yùn)動(dòng)估計(jì)。
17.如權(quán)利要求16的方法，其中預(yù)定運(yùn)動(dòng)估計(jì)范圍根據(jù)振動(dòng)量確定，所述振動(dòng)量在對(duì)多個(gè)單元的鏡頭的運(yùn)動(dòng)的校正期間被檢測(cè)出。
18.如權(quán)利要求16的方法，其中檢測(cè)將被壓縮的圖像區(qū)域包括估計(jì)多個(gè)預(yù)定塊中的運(yùn)動(dòng)以檢測(cè)運(yùn)動(dòng)矢量；使用檢測(cè)到的運(yùn)動(dòng)矢量計(jì)算預(yù)定運(yùn)動(dòng)估計(jì)范圍的平均運(yùn)動(dòng)矢量；以及使用平均運(yùn)動(dòng)矢量檢測(cè)將被壓縮的圖像區(qū)域。
全文摘要
一種用于校正圖像運(yùn)動(dòng)的裝置和方法，其中所述運(yùn)動(dòng)是因?yàn)槭值膿u動(dòng)或系統(tǒng)的振動(dòng)而出現(xiàn)的，為圖像處理系統(tǒng)提供了對(duì)多個(gè)幀之間的相關(guān)性的考慮，所述系統(tǒng)對(duì)輸入圖像信號(hào)執(zhí)行運(yùn)動(dòng)估計(jì)和壓縮，從而增加了壓縮圖像信號(hào)的效率。該裝置至少包括幀存儲(chǔ)器和運(yùn)動(dòng)估計(jì)器/校正器。存儲(chǔ)器存儲(chǔ)輸入圖像信號(hào)作為當(dāng)前幀圖像。運(yùn)動(dòng)估計(jì)器/校正器以先前幀圖像為基礎(chǔ)，估計(jì)當(dāng)前幀圖像中預(yù)定運(yùn)動(dòng)估計(jì)范圍內(nèi)的圖像的運(yùn)動(dòng)，從當(dāng)前幀圖像區(qū)域檢測(cè)將被壓縮的圖像區(qū)域，并提供檢測(cè)到的將被壓縮的圖像區(qū)域作為當(dāng)前幀圖像區(qū)域，作正常運(yùn)動(dòng)估計(jì)，以便可以校正輸入圖像信號(hào)的運(yùn)動(dòng)。
文檔編號(hào)H04N7/26GK1463161SQ03103528
公開日2003年12月24日 申請(qǐng)日期2003年1月28日 優(yōu)先權(quán)日2002年6月1日
發(fā)明者樸正輝 申請(qǐng)人:三星電子株式會(huì)社