專利名稱：混合時域信噪比細粒視頻編碼中的傳輸控制方法
技術(shù)領(lǐng)域：
一般而言，本發(fā)明涉及視頻編碼，更具體地說，涉及確定傳輸數(shù)據(jù)位的數(shù)量，以平衡圖像質(zhì)量和運動平滑度。
技術(shù)領(lǐng)域正如美國專利申請PHA23,725中所描述的那樣，細?？闪繙y性(FGS)視頻編碼的靈活性使之能支持的傳輸帶寬范圍很大，該專利申請名為″System and Method for Improved Fine Granular ScalableVideo Using Base Layer Coding Information″，于1999年7月6日提出，并轉(zhuǎn)讓給此處的受讓人。在美國專利申請序列號PHA23,582中公開了一種改進了的FGS視頻編碼方法，該專利申請名為″HybridTemporal-SNR Fine Granular Scalability Video Coding″，于2000年7月9日提出，并轉(zhuǎn)讓給此處的受讓人。在公開的混合時域SNR(信噪比)FGS視頻編碼方法中，編碼器可用來將視頻圖像編碼成SNR FGS唯一格式或者混合時域SNR FGS格式。判斷在一幀中是傳輸唯一的SNR(即質(zhì)量)FGS編碼視頻數(shù)據(jù)，還是傳輸混合時域SNR編碼視頻數(shù)據(jù)。在前一種情況下，所有可用的帶寬都由有助于圖像質(zhì)量的數(shù)據(jù)位使用，從而傳輸高質(zhì)量的圖像，而后一種情況下，可用帶寬由增加圖像質(zhì)量的數(shù)據(jù)位和平滑對象運動的數(shù)據(jù)位占用。當以高質(zhì)量的第一種模式傳輸編碼的視頻圖像時，幀內(nèi)對象展現(xiàn)出“不穩(wěn)定(jerky)”運動，而以第二種模式傳輸?shù)木幋a視頻圖像的質(zhì)量較差。該方法的缺點在于一旦模式選定，在傳輸過程中選定的模式不會改變。因此，當選擇第二種模式時，即使幀間沒有對象運動，也傳輸較差質(zhì)量的圖像。
由于沒有使傳輸模式適應視頻圖像，因此使用傳輸模式選定方法不能有效地使用可用網(wǎng)絡(luò)帶寬。
因此需要一種方法或系統(tǒng)來確定一種傳輸模式，該傳輸模式能夠有效利用和適應傳輸帶寬和幀與幀間的圖像運動變化，以平衡接收的圖像質(zhì)量和圖像對象運動平滑度。
在細粒視頻編碼系統(tǒng)中，存在一種用來確定時域加強視頻數(shù)據(jù)和編碼SNR的傳輸位數(shù)，以平衡圖像質(zhì)量和對象運動的方法。依照本發(fā)明的原理，通過將質(zhì)量強化幀數(shù)據(jù)的測量值與質(zhì)量強化幀數(shù)據(jù)和時域強化幀數(shù)據(jù)的測量值的比率與一已知域值相比較，可以從一個方面確定在一已知的比特率下每一個質(zhì)量強化視頻圖像幀和時域強化視頻圖像幀的傳輸位數(shù)。當比率大于該已知域值時使用第一方法來確定每一個質(zhì)量強化幀和時域強化幀中傳輸?shù)奈粩?shù)，否則使用第二方法。


圖1描述了一種傳統(tǒng)的FGS編碼系統(tǒng)；圖2a-2c示出了混合時域SNR FGS編碼結(jié)構(gòu)的例子；圖3a示出了依照本發(fā)明原理的速率控制確定過程的流程圖；圖3b示出了依照本發(fā)明的第二實施例的速率控制確定過程的流程圖；圖4示出了依照本發(fā)明原理的域值設(shè)定值與圖像質(zhì)量關(guān)系曲線圖；圖5a-5b示出了利用本發(fā)明原理的范例系統(tǒng)；和圖6示出了可用來實施本發(fā)明原理的傳輸系統(tǒng)范例。
具體實施例方式
應當理解這些圖僅僅用來說明本發(fā)明的內(nèi)容，并不作為本發(fā)明的限制標準。應當明白通篇使用相同的參考數(shù)字來識別相應部分，在適當?shù)胤娇赡苎a充有參考字符。
圖1示出了在混合時域SNR FGS編碼結(jié)構(gòu)中的編碼視頻圖像系統(tǒng)100。系統(tǒng)100接收來自視頻源2的視頻圖像，并通過可變帶寬網(wǎng)絡(luò)6傳輸經(jīng)過編碼的視頻圖像。就象我們所理解的那樣，視頻源2可表現(xiàn)為任何形式的視頻捕獲設(shè)備，如電視攝像機，錄影機/重放設(shè)備，模擬或數(shù)字等等，而可變帶寬網(wǎng)絡(luò)可以是陸上線路通信網(wǎng)絡(luò)如因特網(wǎng)，點對點網(wǎng)絡(luò)如電話網(wǎng)，或者無線網(wǎng)絡(luò)，如衛(wèi)星頻道，或者移動接收設(shè)備如移動電話或計算機。
編碼器110主要由基層(BL)編碼器8，混合時域SNR FGS視頻編碼器20和視頻速率控制器18組成?；鶎泳幋a器8將接收到的視頻圖像編碼為基層數(shù)據(jù)流，該基層編碼器8在前面序列號為09/347,881的參考申請中有所闡述。該編碼基層表示一種編碼級別，該編碼級別代表最低可接受視頻圖像并確保通過網(wǎng)絡(luò)6進行傳輸。FGS層編碼器20將輸入視頻圖像和輸入視頻圖像的基層編碼圖像之間生成的殘留圖像編碼為視頻加強層，該FGS層編碼器20在前面序列號為19/590,825的參考申請中有所闡述。視頻加強層用來改善由編碼基層產(chǎn)生的圖像質(zhì)量。速率控制器18確定基層和加強層的傳輸速率，從而根據(jù)例如可用帶寬(R)和用戶偏好確定可傳輸?shù)奈粩?shù)。用戶偏好可由用戶輸入3輸入到控制器18。
如圖所示，來自視頻源2的視頻數(shù)據(jù)輸入到BL編碼器8和混合時域SNR FGS視頻編碼器20。BL編碼器8使用傳統(tǒng)的幀預測編碼技術(shù)對原始視頻圖像進行編碼，并以預定的比特率壓縮視頻數(shù)據(jù)，該預定的比特率表示為RBL。計算模塊4將RBL設(shè)置成最小比特率(Rmin)和最大比特率(Rmax)之間的一個值。在大多數(shù)情況下，RBL被設(shè)置成Rmin，以保證即使在最低帶寬下，網(wǎng)絡(luò)6也能適應由基層編碼器8編碼的視頻數(shù)據(jù)。
來自視頻源2的原始視頻數(shù)據(jù)和由BL編碼器8提供的編碼視頻數(shù)據(jù)(即基層編碼圖像)進一步供給混合編碼器20中的殘留圖像(RI)計算模塊10和運動補償殘留圖像(MCRI)計算模塊24。RI計算模塊10和MCRI計算模塊24處理原始視頻數(shù)據(jù)和編碼視頻數(shù)據(jù)，分別產(chǎn)生殘留圖像12和運動補償(MC)殘留圖像22。殘留圖像12是基于該解碼視頻數(shù)據(jù)中的像素和原始視頻數(shù)據(jù)中的像素之間的區(qū)別產(chǎn)生的。該MCRI計算模塊24接收來自BL編碼器8的編碼視頻數(shù)據(jù)，同時也對該編碼視頻數(shù)據(jù)進行解碼。MC殘留圖像22是基于運動補償方法從解碼視頻數(shù)據(jù)中產(chǎn)生的。
作為上述混合編碼的結(jié)果，產(chǎn)生了兩個加強層幀數(shù)據(jù)流時域加強數(shù)據(jù)流32，這里稱作編碼FGST，和加強數(shù)據(jù)流31，這里稱作編碼FGS。該FGST編碼加強數(shù)據(jù)流32包括來自MCRI EL編碼器26的壓縮FGS時域幀，而該FGS編碼加強數(shù)據(jù)流31包括來自殘留圖像編碼器14的SNR即標準FGS殘留幀?？梢詥为殏鬏斠曨l編碼數(shù)據(jù)流31，32，或者將兩者混合產(chǎn)生單一的加強層數(shù)據(jù)流。
現(xiàn)在參考圖2a，圖中示出了混合時域SNR可量測性結(jié)構(gòu)的示意性序列，其中只傳輸FGS加強層240中示出的編碼視頻幀242，244，246，248等等。該加強層FGS層幀與圖示的基層編碼幀212，214，216，218等等同時進行傳輸。在這種情況下，由于該FGS加強層240幀對相應基層210中的編碼數(shù)據(jù)進行補充，因此可以獲得高質(zhì)量的視頻圖像?？梢岳斫猓捎脦捪拗屏怂鶄鬏?shù)腇GS編碼模塊242，244，246，248等等的位數(shù)。因此，在傳輸時間內(nèi)只能傳輸有限數(shù)量的FGS編碼信息項或者數(shù)據(jù)位。
在沒有時域加強數(shù)據(jù)傳輸?shù)那闆r下，該傳輸?shù)幕鶎訋瑪?shù)據(jù)和FGS加強層幀數(shù)據(jù)以交替幀的方式進行傳輸。為保持恒定的幀速率，在接收系統(tǒng)(未示出)中，解碼器將接收到的幀拷貝到未傳輸幀內(nèi)。因此，在接收到的序列(未示出)中復制接收到的幀如212/242，以簡化接收器操作。
現(xiàn)在參考圖2b，圖中示出了混合時域SNR可量測性結(jié)構(gòu)的示意性序列，其中只傳輸時域?qū)?即FGST)幀。在這種情況下，交替?zhèn)鬏敾鶎訋?10和時域?qū)訋?32’中的信息項，在該范例中，圖像質(zhì)量主要相當于具有幀間對象平滑運動的基層210的圖像質(zhì)量。
現(xiàn)在參考圖2c，圖中示出了混合時域SNR可量測性結(jié)構(gòu)的示意性序列，其中對FGST編碼加強層230和FGS編碼加強層240幀數(shù)據(jù)都進行了傳輸。在這種情況下，質(zhì)量和時域可量測性性都可獲得。在該圖示案例中，在傳輸了基層幀212中的編碼數(shù)據(jù)和相應的FGS加強層幀242”中的編碼數(shù)據(jù)后，還傳輸FGST加強層幀232”。應當理解，該傳輸序列只是一個傳輸例子，通過并行通道可以同時傳輸FGS和FGST層。
圖1中的FGS速率控制器28和實時可量測視頻速率控制器18確定以上參考的每一種傳輸方案中可以傳輸?shù)奈粩?shù)，其中當只傳輸一種加強層時使用第一方法，當需要混合傳輸SNR和時域加強層時使用第二方法。
可以理解，在確定傳輸位數(shù)的第一方法中，該方法以下被稱為方法A，一個加強層傳輸?shù)臄?shù)據(jù)位等于零，就像沒有傳輸加強層一樣。因此，對于僅僅進行質(zhì)量加強即僅僅SNR來說，F(xiàn)GST層的比特率等于零。因此，所傳輸?shù)木幋aFGS加強層幀的位數(shù)可以如下確定FeAFGS=Renhft=R-RBLfBL---[1]]]>30其中FeAFGS是每個FGS加強幀的位數(shù)；
FeAFGST＝0；Renh是在傳輸時間加強層的可用比特率；ft是傳輸幀速率；R是在傳輸時間總的可用帶寬；fBL是基層幀速率，和；RBL是基層比特率。
相反，當對象圖像運動平滑度是主要考慮因素時，即圖2b或2c，在傳輸時間加強層的可用比特率Renh必須適應FGS編碼加強層幀和FGST編碼加強層幀。FGS編碼和FGST編碼加強層傳輸?shù)目偟膫鬏攷俾蕿閒BL+fEL。在一種優(yōu)選實施例中，在傳輸幀中對每個FGS和FGST加強層幀進行基本均分。因此，在每個加強層中，位數(shù)可以如下確定FeBFGS=FeBFGST=Renhft=FeAFGSfBL+fEL---[2]]]>其中FeBFGS是FGS幀的位數(shù)；FeBFGST是FGST幀的位數(shù)；和fEL是總的加強層比特率。
在確定傳輸位數(shù)的該第二方法中，該方法以下被稱為方法B，當在兩個FGS幀中插入僅僅一個FGST幀時，即fEL＝fBL，如圖2c中所示，則每個傳輸幀中的位數(shù)可表示為FeBFGS=FeBFGST=Renhft=FeAFGS2---[3]]]>在這種情況下，只傳輸了加強FGS層的一半位數(shù)。因此，當用于改進基層質(zhì)量的FGS加強位數(shù)減少，則圖像質(zhì)量相應下降。可以理解，F(xiàn)GS加強層之間的時域加強層數(shù)可包括任意層數(shù)。在這種情況下，由于每層中傳輸?shù)奈粩?shù)優(yōu)選地基本相同，因此對象運動明顯變得更加平滑。
現(xiàn)在參考方法A，由于不傳輸FGST編碼加強層幀232，234等，每個編碼FGS加強層幀242，244等可以表示為FGS(i)，i＝1，3，5，7，...n。
衡量每幀圖像質(zhì)量的峰值信噪比(PSNR)值可以確定并表達為PSNR(FGS(j))，其中j＝1，2，...n?？梢岳斫?，PSNRA(FGS(i))基本上與PSNRA(FGS(i+1))相類似?？墒?，當一個幀圖像包含高度運動時，在2fBL下，相鄰幀即PSNRA(FGS(i))和PSNRA(FGS(i+1))之間的圖像內(nèi)容區(qū)別相對較大。因此，傳輸幀的PSNR值遠高于前一幀，即PSNRA(FGS(i))＞＞PSNRA(FGS(i+1))。
至于圖2c所示的傳輸，其中傳輸FGS加強層240和FGST加強層230，相鄰幀的PSNR值之間的變化相對較小，相鄰幀的PSNR測量值基本相同，即PSNRB(FGS(i))≈PSNRB(FGS(i+1))。
圖3a描述了用來確定傳輸?shù)腇GS層240位數(shù)和FGST層230位數(shù)，以取得最佳視覺質(zhì)量的示意性處理序列的方框圖300。
在方框305中，判斷方法B FGST編碼的下一幀的PSNR測量值(PSNR(i+1))是否低于已知標準。假如結(jié)果是肯定的，則根據(jù)方法A即公式1確定每一層傳輸?shù)奈粩?shù)，因為改進質(zhì)量具有較高優(yōu)先級。在這種情況下，可用加強層帶寬完全由FGS層240信息項比特位所占據(jù)。
可是，假如方框305中判斷的結(jié)果是否定的，則在方框315中判斷方法B FGST編碼的當前幀的PSNR測量值是否高于已知標準。假如結(jié)果是肯定的，那么根據(jù)方法B即公式2確定每一層傳輸?shù)奈粩?shù)，因為質(zhì)量足夠了，而運動平滑度是最重要的。
可是，假如方框315中判斷的結(jié)果是否定的，那么在方框325中確定方法A和方法B中當前幀之間的PSNR測量值之差。另外，確定方法A中當前幀和下一幀之間的PSNR測量值之差。在方框325中確定后者質(zhì)量測量值與前者質(zhì)量測量值之比，該比率表示為(PSNRA(FGS(i+1)-PSNRA(FGS(i))/(PSNRA(FGS(i)-PANRB(FGS(i))。
在方框330中，判斷PSNR差的確定比率是否小于已知域值。假如該PSNR之差之比小于已知域值，則根據(jù)方法A即公式1確定每一層傳輸?shù)奈粩?shù)。否則，根據(jù)方法B即公式2確定每一層傳輸?shù)奈粩?shù)。
可以理解，當可用帶寬R已知時，只有在傳輸時間可以計算PSNR測量值和PSNR之差的測量值。在可選實施例中，對于多個已知比特率Rk，k＝1，...，m，可以非實時確定PSNR測量值和相應的FGS層240和FGST層230信息數(shù)據(jù)項，并將其存儲供以后參考。因此，在傳輸時間，可以訪問預存預測的FGS層240和FGST層230信息項PSNR值，以獲得可用比特率，其中Rk+1＞R＞＝Rk。
為了得到良好的性能，使已知域值與FGS加強層240和FGST加強層230幀的圖像質(zhì)量與可用比特率R相關(guān)。更具體地說，隨著FGS加強層幀240的質(zhì)量上升，由運動不平穩(wěn)引起的視覺干擾影響變得更加不可容忍。隨著可以得到的傳輸帶寬增加或者比特率R上升，各圖像的相應質(zhì)量上升。因此，可以傳輸更多的FGST層幀，以提高視覺質(zhì)量。
圖3b示出了根據(jù)本發(fā)明的原理的用于速率確定的第二實施例的流程圖350。在該實施例中，在方框355，判斷圖像或場景的復雜度。在“MPEG-2 Test Model 5，Coded Representation of Picture andAudio Information，ISO/IECJTC1/SC29/WG11/N0400，April 1993.”中公開了一種用于判斷場景復雜度的方法。在方框360，判斷場景復雜度是否超過已知域值。假如答案是肯定的，則根據(jù)方法A即公式1判斷每層需傳輸?shù)奈粩?shù)，因為場景復雜，改進質(zhì)量具有較高的優(yōu)先級。在這種情況下，可用加強層帶寬由FGS層230的質(zhì)量加強位占用。
可是，假如答案是否定的，則在方框365，確定FGST幀的運動活動性。在一種實施例中，通過估算傳輸運動向量所需的位數(shù)可以確定運動活動性。在方框370，判斷運動活動性是否低于可接受域值。假如答案是肯定的，則在方框310，根據(jù)方法A即公式1確定每層需傳輸?shù)奈粩?shù)，因為在場景中運動活動性很小，因此改進質(zhì)量具有較高的優(yōu)先級。在這種情況下，可用加強層帶寬完全由FGS層240信息項的比特位占用。
可是，假如答案是否定的，則在方框320，根據(jù)方法B即公式2確定每個FGS和FGST加強層需要傳輸?shù)奈粩?shù)，因為場景的質(zhì)量足夠了，而運動的平滑度是最重要的。例如，在10Hz下，對于CIF分辨率圖像來說，當復雜度測量值超過300,000，而運動向量至少等于6000位時，可以確定達到足夠標準。
圖4示出了確定域值和FGST加強層230幀的PSNR測量結(jié)果之間的函數(shù)關(guān)系的例圖400，在圖3a的方框330中提到該域值。如圖所示，當PSNR測量值低于表示為430的已知低值時，該域值設(shè)為最大值410，并且隨著PSNR測量值增加，該域值單調(diào)遞減，由遞減線440表示。當PSNR測量值超過表示為450的已知標準時，該確定的域值設(shè)為最低值。
盡管根據(jù)當前幀和下一幀之間的比較情況公開了本發(fā)明，但是應當理解，如圖3所示，假如在使用同樣方法的較大一組幀上進行確定的話，可以提高FGS加強層和FGST加強層之間進行切換的連貫性。
圖5a示出了使用本發(fā)明原理的示意性傳輸系統(tǒng)500。在這種情況下，由視頻幀源2提供視頻數(shù)據(jù)給視頻編碼單元510。然后將視頻編碼數(shù)據(jù)存儲在編碼器緩沖器514中。服務(wù)器516接收視頻編碼信息，并根據(jù)變化的帶寬情況，信息包損耗或用戶偏好，通過數(shù)據(jù)網(wǎng)絡(luò)6調(diào)整傳輸位數(shù)據(jù)流。在接收系統(tǒng)517，將接收到的數(shù)據(jù)幀存儲在解碼器緩沖器518中，并將其提供給視頻解碼器520。視頻解碼器520提取該接收到的信息并對其進行解碼。接下來該解碼的信息項呈現(xiàn)在視頻顯示器522上，或者存儲在視頻記錄設(shè)備(未示出)上，如模擬錄像機或者數(shù)字錄像機。圖5b示出了一個系統(tǒng)的第二實施例，其中具有高帶寬的高帶寬網(wǎng)絡(luò)550接收視頻編碼信息，并根據(jù)變化的帶寬情況，信息包損耗或者用戶對網(wǎng)絡(luò)570的選擇，通過代理器560調(diào)整該傳輸位數(shù)據(jù)流。
圖6示出了一種可用來實施本發(fā)明原理的系統(tǒng)600的示意性實施例。系統(tǒng)600可代表電視機，機頂盒，臺式，膝上或掌上電腦，個人數(shù)字助理(PDA)，視頻/圖像存儲設(shè)備如錄像機(VCR)，數(shù)字錄像機(DVR)，TiVO設(shè)備等等，以及這些和其它設(shè)備的一部分或者它們的組合。系統(tǒng)600包括一個或多個視頻/圖像源2，一個或多個輸入/輸出設(shè)備602，處理器603和存儲器604。該視頻/圖像源2可表示，如電視接收器，VCR或其它視頻/圖像存儲設(shè)備。該視頻/圖像源2也可表示一個或多個網(wǎng)絡(luò)連接，通過例如全局計算機通信網(wǎng)如因特網(wǎng)，廣域網(wǎng)，都市網(wǎng)，局域網(wǎng)，陸地廣播系統(tǒng)，有線網(wǎng)，衛(wèi)星網(wǎng)，無線網(wǎng)或者電話網(wǎng)，以及這些和其它類型網(wǎng)絡(luò)的一部分或它們的組合，該一個或多個網(wǎng)絡(luò)連接可用來接收來自一個或多個服務(wù)器的視頻信號。
輸入/輸出設(shè)備602，處理器603和存儲器604可通過通信媒介6進行通信。該通信媒介6可表示如總線，通信網(wǎng)絡(luò)，電路的一個或多個內(nèi)部連接，電路卡或其它設(shè)備，以及這些和其它通信媒介的一部分或它們的組合。根據(jù)存儲在存儲器604中并由處理器603執(zhí)行的一個或多個軟件程序，處理來自源2的輸入視頻數(shù)據(jù)，以生成提供給顯示設(shè)備606的輸出視頻/圖像信息。
在一種優(yōu)選實施例中，使用本發(fā)明原理的編碼和解碼可由系統(tǒng)執(zhí)行的計算機可處理代碼實現(xiàn)。該代碼可存儲在存儲器604中或者可從存儲媒介如CD-ROM或軟盤讀取/下載。在其它實施例中，可用硬件線路代替軟件指令或者和軟件指令混合使用，以實施本發(fā)明。例如，這里舉例的元件也可用分立硬件元件來實現(xiàn)。
盡管在此以優(yōu)選形式描述本發(fā)明，而該優(yōu)選形式具有一定程度的特殊性，但是應當理解在此公開優(yōu)選實施例僅僅是為了舉例，在不背離以下所要求的本發(fā)明的精神和范圍的情況下，可以對各部件的詳細結(jié)構(gòu)和組合和排列進行很多變化。本發(fā)明通過所附權(quán)利要求中的合適表達，將覆蓋所公開的本發(fā)明中存在的具有可授予專利的新穎性的任何特征。
權(quán)利要求
1.一種在細粒加強編碼視頻幀的傳輸中確定當前質(zhì)量加強層幀和當前時域加強層幀中的每一個在已知比特率下的傳輸位數(shù)的方法，所述方法包含步驟將所述質(zhì)量加強層幀的第一測量值與所述質(zhì)量加強層幀和所述時域加強層幀的第二測量值的比率和已知域值相比較(325)；和當所述比率低于已知域值時，使用第一方法(310)確定所述傳輸位數(shù)，否則使用第二方法(320)。
2.如權(quán)利要求1中所述的方法，其中所述第一測量值是所述當前質(zhì)量加強層幀和至少一個下一質(zhì)量加強層幀之間的質(zhì)量測量值之差，所述當前幀質(zhì)量測量值和所述至少一個下一幀質(zhì)量測量值是使用根據(jù)所述第一方法所確定的位數(shù)來確定的。
3.如權(quán)利要求1中所述的方法，其中所述第二測量值是所述當前質(zhì)量加強層幀和至少一個下一時域加強層幀之間的質(zhì)量測量值之差，所述當前幀質(zhì)量測量值是使用根據(jù)所述第一方法所確定的位數(shù)來確定的，而所述至少一個下一時域加強層幀質(zhì)量測量值是使用根據(jù)所述第二方法所確定的位數(shù)來確定的。
4.如權(quán)利要求1中所述的方法，其中所述域值是根據(jù)所述時域加強層幀測量值選擇的，而所述時域加強層幀測量值是使用根據(jù)所述第二方法所確定的位數(shù)來確定的。
5.如權(quán)利要求4中所述的方法，其中所述域值隨著所述時域加強層幀測量值增加而單調(diào)遞減。
6.如權(quán)利要求1中所述的方法，進一步包含步驟將至少一個下一時域加強層幀的測量值和已知標準相比較(305)；和當所述測量值低于所述已知標準時，根據(jù)所述第一方法確定所述傳輸位數(shù)(310)。
7.如權(quán)利要求6中所述的方法，其中使用根據(jù)所述第二方法所確定的位數(shù)來確定所述至少一個時域加強層幀的所述測量值。
8.如權(quán)利要求1中所述的方法，進一步包含步驟將所述當前時域加強層幀的測量值和第二已知標準相比較(315)；和當所述測量值超過所述第二已知標準時，根據(jù)所述第二方法確定所述傳輸位數(shù)(320)。
9.如權(quán)利要求8中所述的方法，其中使用根據(jù)所述第二方法所確定的位數(shù)來確定所述當前時域加強層幀的所述測量值。
10.如權(quán)利要求1中所述的方法，其中根據(jù)公式1確定所述第一方法。
11.如權(quán)利要求1中所述的方法，其中根據(jù)公式2確定所述第二方法。
12.一種在細粒編碼視頻幀的傳輸中確定當前質(zhì)量加強層幀(31)和當前時域加強層幀(32)中每一個在已知比特率下的傳輸位數(shù)的設(shè)備(18)，所述設(shè)備包括用來將所述質(zhì)量加強層幀的第一測量值與所述質(zhì)量加強層幀和所述時域加強層幀的第二測量值之間的比率和已知域值相比(325)的代碼；和當所述比率超過已知域值時，使用第一方法(310)來確定所述傳輸位數(shù)，反之使用第二方法(320)的代碼。
13.如權(quán)利要求12中所述的方法，進一步包括確定所述第一測量值為所述當前質(zhì)量加強層幀和至少一個下一質(zhì)量加強層幀之間的質(zhì)量差的代碼，其中所述當前幀和所述至少一個下一幀的質(zhì)量測量值是使用根據(jù)所述第一方法所確定的位數(shù)來確定的。
14.如權(quán)利要求12中所述的設(shè)備，進一步包括確定所述第二測量值為所述當前質(zhì)量加強層幀和至少一個下一時域加強層幀之間的質(zhì)量測量值之差的代碼，其中所述當前幀質(zhì)量測量值是使用根據(jù)所述第一方法所確定的位數(shù)來確定的，而所述至少一個下一時域加強層幀質(zhì)量測量值是使用根據(jù)所述第二方法所確定的位數(shù)來確定的。
15.如權(quán)利要求12中所述的設(shè)備，進一步包括根據(jù)所述時域加強層幀測量值確定所述域值的代碼，其中所述時域加強層幀測量值是使用根據(jù)所述第二方法所確定的位數(shù)來確定的。
16.如權(quán)利要求15中所述的設(shè)備，其中所述域值隨著所述時域加強層幀測量值增加而單調(diào)遞減。
17.如權(quán)利要求12中所述的設(shè)備，進一步包括將至少一個下一時域加強層幀的測量值和已知標準相比較(305)的代碼；和當所述測量值低于所述已知標準時，根據(jù)所述第一方法確定所述傳輸位數(shù)(310)的代碼。
18.如權(quán)利要求17中所述的設(shè)備，其中使用根據(jù)所述第二方法所確定的位數(shù)來確定至少一個時域加強層幀的所述測量值。
19.如權(quán)利要求12中所述的設(shè)備，進一步包括將所述當前時域加強層幀的測量值和第二已知標準相比較(315)的代碼；和當所述測量值超過所述第二已知標準時，根據(jù)所述第二方法確定所述傳輸位數(shù)(320)的代碼。
20.如權(quán)利要求19中所述的設(shè)備，其中使用根據(jù)所述第二方法所確定的位數(shù)來確定所述當前時域加強層幀測量值。
21.如權(quán)利要求12中所述的設(shè)備，進一步包括根據(jù)公式1確定所述第一方法(310)的代碼。
22.如權(quán)利要求12中所述的設(shè)備，進一步包括根據(jù)公式2確定所述第二方法(320)的代碼。
23.如權(quán)利要求10中所述的方法，其中在所述時域加強層幀中的傳輸位數(shù)為零。
24.如權(quán)利要求21中所述的設(shè)備，進一步包括將所述時域加強層幀中的傳輸位數(shù)設(shè)為零的代碼。
25.一個其中包含代碼的存儲模塊，該代碼用于在細粒可量測性編碼視頻幀的傳輸中確定當前質(zhì)量加強層幀(31)和當前時域加強層幀(32)中每一個的傳輸位數(shù)，所述存儲模塊代碼可操作來將至少一個下一時域加強層幀的測量值和已知標準相比較(305)；當所述測量值低于所述已知標準時，根據(jù)所述第一方法確定所述傳輸位數(shù)(310)；將一個當前時域加強層幀的測量值和第二已知標準相比較(315)；當所述第二測量值超過所述第二已知標準時，根據(jù)所述第二方法確定所述傳輸位數(shù)(320)；將所述質(zhì)量加強層幀的測量值與所述質(zhì)量加強層幀和所述時域加強層幀的測量值之間的比率和已知域值相比較(325)；和當所述比率超過已知域值時，根據(jù)所述第一方法(310)確定所述傳輸位數(shù)，反之根據(jù)所述第二方法(320)。
26.如權(quán)利要求25中所述的存儲模塊代碼，進一步可操作來使用根據(jù)所述第二方法確定的位數(shù)來確定所述至少一個時域加強層幀。
27.如權(quán)利要求25中所述的存儲模塊代碼，進一步可操作來使用根據(jù)所述第二方法確定的位數(shù)來確定所述當前時域加強層幀測量值。
28.如權(quán)利要求25中所述的存儲模塊代碼，進一步可操作來使用根據(jù)所述第一方法確定的位數(shù)來確定所述當前質(zhì)量加強層幀的質(zhì)量測量值(310)；使用根據(jù)所述第一方法確定的位數(shù)來確定至少一個下一質(zhì)量加強層幀的質(zhì)量測量值(310)；和確定所述質(zhì)量加強層幀測量值為所述當前質(zhì)量加強層幀質(zhì)量測量值和至少一個下一質(zhì)量加強層幀質(zhì)量測量值中的差。
29.如權(quán)利要求25中所述的存儲模塊代碼，進一步可操作來使用根據(jù)所述第一方法確定的位數(shù)來確定所述當前質(zhì)量加強層幀的質(zhì)量測量值(310)；使用根據(jù)所述第二方法確定的位數(shù)來確定所述至少一個下一時域加強層幀的質(zhì)量測量值；和確定所述質(zhì)量加強層幀和所述時域加強層幀測量值為所述當前質(zhì)量加強層幀質(zhì)量測量值和所述至少一個下一時域加強層幀質(zhì)量測量值中的差。
30.如權(quán)利要求25中所述的存儲模塊代碼，進一步可操作來根據(jù)公式1確定所述第一方法(310)。
31.如權(quán)利要求30中所述的存儲模塊代碼，進一步可操作來確定所述時域加強層幀中的傳輸位數(shù)為零。
32.如權(quán)利要求25中所述的存儲模塊代碼，進一步可操作來根據(jù)公式2確定所述第二方法(320)。
33.一種在細粒強化編碼視頻幀的傳輸中確定當前質(zhì)量加強層幀和當前時域加強層幀中每一個在已知比特率下的傳輸位數(shù)的方法，所述方法包含步驟當質(zhì)量層幀測量值超過已知域值時，使用第一方法(310)確定(320)所述傳輸位數(shù)；當時域加強層幀測量值低于可接受測量值時，使用所述第一方法(310)確定(365)所述傳輸位數(shù)；否則，使用第二方法(320)確定所述傳輸位數(shù)。
34.如權(quán)利要求33中所述的方法，其中根據(jù)公式2確定所述第二方法(320)。
35.如權(quán)利要求33中所述的方法，其中根據(jù)公式1確定所述第一方法(310)。
36.如權(quán)利要求33中所述的方法，其中所述時域加強層幀測量值是從所述幀中的運動活動性測量值中確定的。
37.如權(quán)利要求33中所述的方法，其中所述質(zhì)量層幀測量值是從所述幀的復雜度測量值中確定的。
38.如權(quán)利要求36中所述的方法，其中所述運動活動性測量值是根據(jù)所述幀的運動向量確定的。
全文摘要
在細粒視頻編碼系統(tǒng)中，提出了一種確定一幀內(nèi)SNR編碼和時域編碼視頻數(shù)據(jù)的傳輸位數(shù)，以平衡圖像質(zhì)量和對象運動。根據(jù)本發(fā)明的原理，確定質(zhì)量強化視頻幀和時域強化視頻幀在已知比特率下的傳輸位數(shù)，以平衡圖像質(zhì)量和對象運動平滑度。本發(fā)明一方面，通過將質(zhì)量強化視頻幀中的視頻編碼信息測量值與質(zhì)量強化視頻幀和時域強化視頻幀中的視頻編碼信息測量值之間的比率和已知域值相比較。然后當該比率超過已知域值時，使用第一方法確定每個加強層中的傳輸位數(shù)，否則使用第二方法。本發(fā)明另一方面，通過首先確定運動活動性和復雜度的測量值來確定位數(shù)。當運動活動性低于已知測量值或者復雜度超過已知域值時，使用第一方法310確定傳輸位數(shù)。否則使用第二方法320來確定每個加強層中的傳輸位數(shù)。
文檔編號G06T9/00GK1568621SQ02820335
公開日2005年1月19日 申請日期2002年8月2日 優(yōu)先權(quán)日2001年8月15日
發(fā)明者M·范德沙爾, H·拉德哈 申請人:皇家飛利浦電子股份有限公司