專利名稱：視頻畫面疊加編碼傳輸?shù)姆椒?br> 技術領域：
本發(fā)明是關于一種視頻畫面疊加編碼傳輸?shù)姆椒?，特別是關于一種有效降低編碼碼率、減少運算量及通訊頻寬限制的視頻畫面疊加編碼傳輸?shù)姆椒?，主要應用?G手機、市內(nèi)電話或任何可實現(xiàn)視頻傳輸及接收的通訊設備中，供發(fā)送客戶端及接收客戶端通過各自的電子通訊設備進行視頻通訊處理。
背景技術：
視頻傳輸技術在網(wǎng)絡上已經(jīng)普遍應用，第三代行動通訊(3G)視頻電話在固定通訊網(wǎng)絡(即固網(wǎng)，它包括室內(nèi)電話、長途電話、國際電話及一般網(wǎng)絡專線服務)中已開始發(fā)展，但目前仍然受限于帶寬及硬件的限制不是很普及，在可預知的未來，3G移動網(wǎng)絡中的3G視頻電話必將大行其道。
目前3G視頻電話采用的視頻編碼傳輸技術，大部分是在進行視頻通訊時，由攝像頭對著用戶的頭部拍攝視頻景象，拍攝的畫面包括括頭部及其所處的背景，然后直接對整個畫面(即頭部加上背景)進行編碼后傳輸?shù)浇邮斩?，再由接收端將接收的譯碼呈現(xiàn)在屏幕上，實現(xiàn)實時互動的影像傳輸效果，若要實現(xiàn)良好的視頻質(zhì)量，需采用相當大的編碼碼率、運算量及時間，且需要相當大的通訊帶寬，否則容易造成畫面延遲或定格問題的產(chǎn)生，故這種直接將整個拍攝畫面進行編碼傳輸?shù)姆绞?，實有需改善之處?br>
發(fā)明內(nèi)容
為克服上述現(xiàn)有技術的缺點，本發(fā)明的主要目的在于提供一種視頻畫面疊加編碼傳輸?shù)姆椒?，可對拍攝出來的視頻畫面進行主要區(qū)域分割，擷取出主要的前景框，并搭配選擇預設的動態(tài)或靜態(tài)的背景畫面，將其相互疊加后并呈現(xiàn)，實現(xiàn)多樣化娛樂效果十足的視頻畫面呈現(xiàn)。
本發(fā)明的次一目的在于提供一種視頻畫面疊加編碼傳輸?shù)姆椒?，可有效降低編碼碼率、減少運算量，能夠大量減少3G視頻電話視頻傳輸對通訊帶寬的限制。
為達到上述目的，本發(fā)明提供一種視頻畫面疊加編碼傳輸?shù)姆椒?。該視頻畫面疊加編碼傳輸?shù)姆椒?，供發(fā)送客戶端及接收客戶端兩端通過各自電子通訊設備進行視頻通訊處理，該視頻畫面疊加編碼傳輸?shù)姆椒òㄏ铝胁襟E在該發(fā)送客戶端的電子通訊設備上由攝像頭拍攝視頻畫面；該發(fā)送客戶端的電子通訊設備對拍攝的視頻畫面進行主要區(qū)域分割，擷取出細部的前景框；該發(fā)送客戶端的電子通訊設備將擷取出的前景框進行編碼；該發(fā)送客戶端的電子通訊設備提供背景框并予以編碼；該發(fā)送客戶端的電子通訊設備對前景框及背景框數(shù)據(jù)進行編碼，形成碼流后傳送到接收客戶端的電子通訊設備；該接收客戶端的電子通訊設備接收由該發(fā)送客戶端的電子通訊設備傳送的碼流、并分析前景框及背景框編碼數(shù)據(jù)；該接收客戶端的電子通訊設備將分析出的前景框編碼予以譯碼；以及該接收客戶端的電子通訊設備依據(jù)預設的背景框取得方式，與經(jīng)過譯碼的前景框疊加并輸出。
若該電子通訊設備是移動電話時，由于無線信號易受干擾，甚至遺失或漏接所傳送的信號，因此發(fā)送客戶端需每隔一預定時間(n秒)發(fā)送背景框編碼數(shù)據(jù)一次，避免接收客戶端第一次沒有接收到背景框編碼數(shù)據(jù)而無法順利輸出背景，另外，發(fā)送客戶端可以在通訊過程中隨時更換背景，產(chǎn)生新的背景框編碼數(shù)據(jù)并傳送到接收客戶端，其中該背景框編碼數(shù)據(jù)中具有有用以標識該背景更新與否的版本編號，供接收客戶端根據(jù)發(fā)送客戶端背景框編碼數(shù)據(jù)的變化及判別該版本編號，可以實時的更換背景；如果接收客戶端選擇使用的電子通訊設備中儲存的背景，也可選擇該電子通訊設備數(shù)據(jù)庫中的背景框替換接收到的背景框，同樣可達到本發(fā)明的目的。
綜上所述，本發(fā)明提供的一種視頻畫面疊加編碼傳輸?shù)姆椒?，通過將拍攝的視頻畫面分割為前景框和背景框，并分別對其進行編碼與譯碼并進行傳輸，可實現(xiàn)多樣化娛樂效果十足的視頻畫面，同時可有效降低編碼碼率、減少運算量及通訊帶寬的限制，具有廣泛的應用及發(fā)展性。


圖1是本發(fā)明的方法應用在發(fā)送客戶端電子通訊設備的處理流程示意圖；圖2是本發(fā)明的方法應用在接收客戶端電子通訊設備的處理流程圖；圖3A及圖3B是應用本發(fā)明的方法接收客戶端的電子通訊設備所接收到碼流內(nèi)容示意圖；以及圖4是應用本發(fā)明的視頻畫面疊加編碼傳輸?shù)姆椒ǖ氖疽鈭D。
具體實施例方式
實施例以下實施例是進一步詳細說明本發(fā)明的觀點，但并非以任何觀點限制本發(fā)明的范疇。
請同時參考圖1及圖2，分別說明本發(fā)明的視頻畫面疊加編碼傳輸?shù)姆椒ㄔ诎l(fā)送客戶端及接收客戶端執(zhí)行通訊時的處理流程示意圖。本發(fā)明的視頻畫面疊加編碼傳輸?shù)姆椒ㄊ枪┌l(fā)送客戶端及接收客戶端兩端，通過各自的電子通訊設備進行視頻服務的通訊處理，該電子通訊設備例如是手機、市內(nèi)電話或網(wǎng)絡電話等任何可用于視頻傳輸及接收的通訊設備。
首先執(zhí)行如圖1所示的步驟S10，在發(fā)送客戶端的電子通訊設備上借由攝像頭拍攝視頻畫面，一般而言，該視頻畫面包括發(fā)送客戶端的頭部影像以及發(fā)送客戶端所在位置的背景，接著進到步驟S11。
在步驟S11中，該發(fā)送客戶端的電子通訊設備依據(jù)拍攝的視頻畫面進行主要區(qū)域分割，擷取出細部的前景框，本實施例的前景框是指發(fā)送客戶端的頭部影像，接著進到步驟S12。
在步驟S12中，該發(fā)送客戶端的電子通訊設備依據(jù)擷取的前景框進行編碼，接著進到步驟S13。
在步驟S13中，該發(fā)送客戶端的電子通訊設備依據(jù)取得的背景框進行編碼，接著進到步驟S14。其中，該電子通訊設備取得背景框的方式有許多種，例如可依據(jù)上述步驟S11區(qū)域分割后所取得的背景影像，或者，該發(fā)送客戶端可依據(jù)該電子通訊設備內(nèi)建的背景框數(shù)據(jù)庫，自由地選擇所喜愛的背景，也就是可視需要采用不同的背景框取得方式，提供更多元化的背景影像。
在步驟S14中，該發(fā)送客戶端的電子通訊設備將前景框及背景框編碼數(shù)據(jù)形成碼流并傳送到接收客戶端的電子通訊設備。請容后參閱圖3A及圖3B再詳述該碼流內(nèi)容。
該發(fā)送客戶端的電子通訊設備完成該步驟S14后，可視通訊時間令該電子通訊設備的攝像頭持續(xù)拍攝以取得新的視頻畫面，即返回上述步驟S10，重復執(zhí)行上述步驟S11及步驟S14，直到該發(fā)送客戶端與接收客戶端結束通訊或停止視頻傳輸處理為止。
接著，如圖2所示，它是說明本發(fā)明的視頻畫面疊加編碼傳輸?shù)姆椒ㄔ诮邮湛蛻舳说奶幚砹鞒淌疽馇樾?，也就是上述圖1的發(fā)送客戶端的電子通訊設備與接收客戶端的電子通訊設備建立通訊關系，并由該發(fā)送客戶端的電子通訊設備傳送包括前景框及背景框編碼數(shù)據(jù)形成的碼流后，隨即執(zhí)行步驟S20，由該接收客戶端的電子通訊設備接收該發(fā)送客戶端的電子通訊設備傳送的包括有前景框及背景框編碼數(shù)據(jù)的碼流并處理該碼流，接著進到步驟S21。其中，該接收客戶端的電子通訊設備進行的處理，是對接收到的碼流分析出前景框及背景框編碼數(shù)據(jù)，對分析出的前景框及背景框編碼數(shù)據(jù)進行譯碼，一般而言，該發(fā)送客戶端的電子通訊設備傳來的背景固定不變，因此在通訊過程中只需傳送一次，相對的該接收客戶端的電子通訊設備執(zhí)行的接收及譯碼該背景框編碼數(shù)據(jù)僅需一次即可。
在步驟S21中，該接收客戶端的電子通訊設備將處理后取得的前景框及背景框畫面疊加并呈現(xiàn)。
由上可知，圖1所示的步驟是說明發(fā)送客戶端對于視頻傳送處理，主要是對拍攝出來的視頻畫面進行主要區(qū)域分割，并擷取出細部的前景框，且可從該發(fā)送客戶端的電子通訊設備數(shù)據(jù)庫中選擇適當?shù)寞B加背景框，其中，該背景框是靜態(tài)的圖像或由連續(xù)靜態(tài)圖像組成的動態(tài)影像構成的圖片數(shù)據(jù)，再將分割出的前景框及需要疊加的背景框分別進行編碼并傳送到接收客戶端的電子通訊設備。
另外，圖2所示的步驟是說明接收客戶端對于視頻接收處理，它是指接收客戶端的電子通訊設備僅需接收并譯碼一次由發(fā)送客戶端傳送到的背景框編碼數(shù)據(jù)，然后與譯碼后的發(fā)送客戶端前景框進行畫面疊加。
再者，請參考圖3A及圖3B，它是上述步驟S14所述碼流內(nèi)容示意圖，發(fā)送客戶端傳遞到接收客戶端的碼流5中，整合有背景框編碼數(shù)據(jù)51及前景框編碼數(shù)據(jù)52，在通訊時成為一段一段連續(xù)的碼流5進行傳輸，以正確且實時的傳輸視頻影像及聲音等信息封包并譯碼予以輸出，由于無線信號易受干擾，甚至在傳輸過程中容易遺失信號，發(fā)送客戶端的電子通訊設備需要每隔一預定時間(N秒)發(fā)送背景框編碼數(shù)據(jù)51一次，避免接收客戶端的電子通訊設備第一次沒有接收到背景框編碼數(shù)據(jù)51而無法輸出背景畫面，另外，發(fā)送客戶端的電子通訊設備可以在通訊過程中隨時更換背景，可以產(chǎn)生新的背景框編碼數(shù)據(jù)61傳送到接收客戶端的電子通訊設備，其中該背景框編碼數(shù)據(jù)51中具有用以標識該背景新舊或更新與否的版本編號511，接收客戶端的電子通訊設備根據(jù)發(fā)送客戶端的電子通訊設備傳來的背景框編碼數(shù)據(jù)51、61的變化及判別該版本編號511，可以實時的更換背景，如果發(fā)送客戶端需要更改背景，那么在更改背景時，即開始編碼并發(fā)送新的背景框編碼數(shù)據(jù)61，產(chǎn)生新的碼流6，因此，此刻的碼流6與前一次所傳的碼流5的間隔可以不是N秒，可以是M秒，如圖3(B)所示。
另外，在上述圖2所示的步驟S21中，該接收客戶端的電子通訊設備得到的背景框編碼數(shù)據(jù)，除了來自該發(fā)送客戶端的電子通訊設備傳來的碼流外，該接收客戶端也依據(jù)電子通訊設備內(nèi)建的背景框數(shù)據(jù)庫選擇自已喜好的背景框，并可將選擇的背景框與發(fā)送客戶端傳來的前景疊加在一起。
再者，在上述圖2所示的步驟S21的執(zhí)行過程中還包括對該發(fā)送客戶端的電子通訊設備傳來碼流的背景框編碼數(shù)據(jù)的版本編號進行判別的步驟，也就是在連續(xù)的碼流接收中，若接收下一段碼流則判別該背景框編碼數(shù)據(jù)的版本編號沒有更新時，可對接收到的下一段碼流中的背景框編碼數(shù)據(jù)予以刪除，不對其進行譯碼處理，直到判別該背景框編碼數(shù)據(jù)的版本編號更新時，再進行譯碼處理，如此，可有效降低編碼碼率、減少運算量，可大量減少3G視頻電話視頻傳輸對通訊帶寬的要求限制。
如圖4所示，發(fā)送客戶端的電子通訊設備1對通過視頻鏡頭拍攝出來的視頻畫面11(拍攝的畫面包括主體及其所處位置的背景111)進行主要區(qū)域分割，擷取出細部的前景框112，本實施例中發(fā)送客戶端所要發(fā)送的背景框是由客戶端自行選擇，選擇方式是由內(nèi)建在該電子通訊設備1的背景框數(shù)據(jù)庫中選擇適當?shù)寞B加背景框12，再將分割出來的前景框112及需要疊加的背景框12分別進行編碼，將背景框編碼數(shù)據(jù)31及前景框編碼數(shù)據(jù)32整合成碼流3傳送到接收端2，由于背景框12在未更換背景前是固定不變的，因此在進行通訊時，只需要傳送一次背景框編碼數(shù)據(jù)31給接收客戶端即可，接收客戶端的電子通訊設備2僅需要接收并譯碼一次發(fā)送客戶端的電子通訊設備1傳送到的背景框編碼數(shù)據(jù)31，然后與譯碼后的發(fā)送客戶端的電子通訊設備1傳來的前景框12進行畫面疊加，即可實現(xiàn)多樣化豐富且貼合情境的視頻畫面效果，如圖中的簡單示意，發(fā)送客戶端的電子通訊設備1拍攝出來的視頻畫面11和接收客戶端的電子通訊設備2呈現(xiàn)的視頻畫面具有不同的效果。
綜上所述，本發(fā)明提供的一種視頻畫面疊加編碼傳輸?shù)姆椒?，具有更實用的?jīng)濟效益，可有效降低編碼碼率、減少運算量及通訊帶寬的限制，具有廣泛的應用及發(fā)展性。
權利要求
1.一種視頻畫面疊加編碼傳輸?shù)姆椒ǎl(fā)送客戶端及接收客戶端兩端通過各自的電子通訊設備進行具有視頻服務的通訊處理，其特征在于，該視頻畫面疊加編碼傳輸?shù)姆椒òㄏ铝胁襟E在該發(fā)送客戶端的電子通訊設備上由攝像頭拍攝視頻畫面；該發(fā)送客戶端的電子通訊設備對拍攝的視頻畫面進行主要區(qū)域分割，擷取出細部的前景框；該發(fā)送客戶端的電子通訊設備將擷取出的前景框進行編碼；該發(fā)送客戶端的電子通訊設備提供背景框并予以編碼；該發(fā)送客戶端的電子通訊設備對前景框及背景框數(shù)據(jù)進行編碼，形成碼流后傳送到接收客戶端的電子通訊設備；該接收客戶端的電子通訊設備接收由該發(fā)送客戶端的電子通訊設備傳送的碼流、并分析前景框及背景框編碼數(shù)據(jù)；該接收客戶端的電子通訊設備將分析出的前景框編碼予以譯碼；以及該接收客戶端的電子通訊設備依據(jù)預設的背景框取得方式，與經(jīng)過譯碼的前景框疊加并輸出。
2.如權利要求1所述的視頻畫面疊加編碼傳輸?shù)姆椒?，其特征在于，該發(fā)送客戶端的電子通訊設備對疊加背景框的背景框提供來源包括對該發(fā)送客戶端的電子通訊設備攝像頭拍攝的視頻畫面分割后所取得的背景框以及該發(fā)送客戶端依據(jù)該電子通訊設備內(nèi)建的背景框數(shù)據(jù)庫自由選擇的背景框。
3.如權利要求1或2所述的視頻畫面疊加編碼傳輸?shù)姆椒ǎ涮卣髟谟?，該接收客戶端的電子通訊設備依據(jù)預設的背景框取得方式包括該接收客戶端的電子通訊設備接收來自該發(fā)送客戶端的電子通訊設備傳來碼流中包括的背景框以及由該接收客戶端依據(jù)電子通訊設備內(nèi)建的背景框數(shù)據(jù)庫自由選擇的背景框。
4.如權利要求1所述的視頻畫面疊加編碼傳輸?shù)姆椒?，其特征在于，該接收客戶端的電子通訊設備對該發(fā)送客戶端的電子通訊設備傳送的碼流進行接收處理時，該接收客戶端僅需接收并解碼一次該發(fā)送客戶端傳送到的背景框編碼數(shù)據(jù)，并與后續(xù)譯碼出的前景框進行畫面疊加。
5.如權利要求1所述的視頻畫面疊加編碼傳輸?shù)姆椒?，其特征在于，發(fā)送客戶端每隔一預定時間給接收客戶端發(fā)送一次背景框編碼數(shù)據(jù)。
6.如權利要求1所述的視頻畫面疊加編碼傳輸?shù)姆椒?，其特征在于，該發(fā)送客戶端與接收客戶端在通訊過程中，該發(fā)送客戶端可依需要自動更換背景并產(chǎn)生新的背景框編碼數(shù)據(jù)，且傳送到接收客戶端以更換該接收客戶端的電子通訊設備輸出的背景。
7.如權利要求1所述的視頻畫面疊加編碼傳輸?shù)姆椒ǎ涮卣髟谟?，該背景框編碼數(shù)據(jù)中具有用以標識該背景更新與否的版本編號，供接收客戶端的電子通訊設備根據(jù)該版本編號實時更換背景。
8.如權利要求1所述的視頻畫面疊加編碼傳輸?shù)姆椒?，其特征在于，該背景框是圖片數(shù)據(jù)。
9.如權利要求8所述的視頻畫面疊加編碼傳輸?shù)姆椒ǎ涮卣髟谟?，該圖片數(shù)據(jù)組成的影像是靜態(tài)的圖像。
10.如權利要求8所述的視頻畫面疊加編碼傳輸?shù)姆椒?，其特征在于，該圖片數(shù)據(jù)組成的影像是由連續(xù)靜態(tài)圖像組成的動態(tài)影像。
11.如權利要求1所述的視頻畫面疊加編碼傳輸?shù)姆椒?，其特征在于，該電子通訊設備是手機、市內(nèi)電話或網(wǎng)絡電話。
全文摘要
本發(fā)明是一種視頻畫面疊加編碼傳輸?shù)姆椒?，發(fā)送客戶端及接收客戶端兩端通過各自的電子通訊設備進行具有視頻服務的通訊處理，該發(fā)送客戶端對拍攝的視頻畫面進行分割擷取細部的前景框，再前景框及背景框分別進行編碼并傳送到接收客戶端，由于背景框在未更換背景前是固定不變的，因此在通訊時，只需傳送一次背景框編碼給接收客戶端即可；本發(fā)明提供的一種視頻畫面疊加編碼傳輸?shù)姆椒?，通過將拍攝的視頻畫面分割為前景框和背景框，并分別對其進行編碼與譯碼并進行傳輸，可實現(xiàn)多樣化娛樂效果十足的視頻畫面，同時可有效降低編碼碼率、減少運算量及通訊帶寬的限制，具有廣泛的應用及發(fā)展性。
文檔編號H04N5/272GK1980334SQ20051012748
公開日2007年6月13日 申請日期2005年12月9日 優(yōu)先權日2005年12月9日
發(fā)明者孫雷, 邱全成 申請人:英業(yè)達股份有限公司