專利名稱：一種字幕疊加系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像或視頻信號(hào)處理系統(tǒng)和方法，尤其是一種在圖像或視頻內(nèi)容上疊加字幕的系統(tǒng)和方法。
背景技術(shù)：
現(xiàn)今的影視作品，無論是國外的還是國內(nèi)的，一般都配有字幕，供人們?cè)谛蕾p作品的同時(shí)便于理解作品的內(nèi)容。通常采用的字幕疊加方法是屏上顯示(OSD)技術(shù)，即在播放影視內(nèi)容時(shí)，對(duì)圖像和字幕兩路信號(hào)進(jìn)行Alpha混合，再經(jīng)由乘法器輸出，以實(shí)現(xiàn)背景圖像和字幕的疊加。
由于該方法需要在播放圖像或視頻內(nèi)容時(shí)實(shí)時(shí)地對(duì)圖像和字幕進(jìn)行混合運(yùn)算，因此，所需的運(yùn)算資源比較大，而且圖像和字幕需要分別存儲(chǔ)，所需的存儲(chǔ)資源也比較大。此外，在內(nèi)容制作時(shí)直接在影視內(nèi)容上疊加字幕的方法需要在制作影視內(nèi)容時(shí)對(duì)顏色分量進(jìn)行下采樣，并在播放時(shí)對(duì)顏色分量進(jìn)行上采樣恢復(fù)，這種方法會(huì)導(dǎo)致圖像和字幕的色度信息相互污染，造成字幕清晰度降低的不良效果，尤其當(dāng)背景圖像的顏色或亮度與字幕圖像相近時(shí)，更是難以分辨字幕內(nèi)容，給觀眾造成極大的困擾。

發(fā)明內(nèi)容
為了解決現(xiàn)有的在內(nèi)容制作時(shí)直接在影視內(nèi)容上疊加字幕的方法存在的色度信息相互污染，運(yùn)算、存儲(chǔ)資源消耗大的問題，本發(fā)明提供一種適用于圖像或視頻內(nèi)容的字幕疊加系統(tǒng)和方法，該系統(tǒng)不僅能避免字幕和圖像內(nèi)容間的顏色污染現(xiàn)象，而且能節(jié)省播放時(shí)的運(yùn)算資源和存儲(chǔ)資源。
本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是提供一種字幕疊加系統(tǒng)，其包括控制模塊、第一和第二下采樣模塊及圖像字幕混合模塊，控制模塊分別與所述的這些模塊連接，圖像字幕混合模塊分別與第一、第二下采樣模塊連接，圖像信號(hào)經(jīng)第一下采樣模塊輸入至圖像字幕混合模塊，其中，所述字幕疊加系統(tǒng)還包括一字幕加邊模塊，字幕信號(hào)依次經(jīng)由字幕加邊模塊和第二下采樣模塊輸入至圖像字幕混合模塊，混合后的圖像和字幕信號(hào)從圖像字幕混合模塊輸出。
本發(fā)明的另一方案是提供一種字幕疊加方法，它包括下列步驟在字幕信號(hào)中的筆劃像素周圍加上邊框像素；分別對(duì)圖像信號(hào)和加邊后的字幕信號(hào)下采樣；以及混合下采樣后的圖像信號(hào)和字幕信號(hào)。
本發(fā)明的有益效果是，通過對(duì)筆劃像素加邊框，清晰地勾勒出字幕內(nèi)容，從而解決了圖像和字幕直接混合時(shí)出現(xiàn)的顏色污染問題，達(dá)到良好的字幕疊加效果。同時(shí)，通過事先將字幕疊加到背景圖像上，使得播放視頻內(nèi)容時(shí)只需存儲(chǔ)字幕疊加后的圖像，而無需進(jìn)行額外的運(yùn)算，有效地節(jié)省了存儲(chǔ)資源和運(yùn)算資源。


下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明進(jìn)一步說明。
圖1是本發(fā)明的字幕疊加系統(tǒng)的方框圖；圖2是本發(fā)明的字幕疊加方法的流程圖；圖3是本發(fā)明實(shí)施例的工作流程圖；圖4是像素點(diǎn)的空間8鄰域示意圖；圖5是圖3所示實(shí)施例中字幕加邊步驟的分解流程圖；圖6A和圖6B是圖3所示實(shí)施例中圖像和字幕混合步驟的分解流程圖。
具體實(shí)施例方式
如圖1所示，本發(fā)明的字幕疊加系統(tǒng)包括控制模塊1，字幕加邊模塊2，第一和第二下采樣模塊3a、3b，以及圖像字幕混合模塊4?？刂颇K1分別與第一、第二下采樣模塊3a、3b及圖像字幕混合模塊4連接，圖像字幕混合模塊4分別與第一、第二下采樣模塊3a、3b連接。圖像信號(hào)經(jīng)第一下采樣模塊3a從圖像字幕混合模塊4輸入，字幕信號(hào)依次經(jīng)由字幕加邊模塊2和第二下采樣模塊3b輸入至圖像字幕混合模塊4，混合后的圖像和字幕信號(hào)從圖像字幕混合模塊4輸出。
參閱圖2和圖3，具體說明本發(fā)明的字幕疊加方法和字幕疊加系統(tǒng)的工作流程。于本實(shí)施例中，圖像和字幕輸入信號(hào)均為YUV444格式。若原始信號(hào)是RGB信號(hào)，則需經(jīng)過RGB到Y(jié)UV格式轉(zhuǎn)換(步驟100)，將圖像和字幕信號(hào)轉(zhuǎn)換到Y(jié)UV域后再進(jìn)入字幕疊加流程。圖像信號(hào)直接輸入至第一下采樣模塊3a，字幕信號(hào)經(jīng)由字幕加邊模塊2對(duì)其筆劃像素進(jìn)行加邊框處理(步驟120)后輸入至第二下采樣模塊3b。控制模塊1根據(jù)最終需要輸出的圖像格式，例如YUV420或者YUV422格式，確定下采樣模塊3a、3b的工作模式以及圖像字幕混合模塊4的混合邏輯。第一、第二下采樣模塊3a、3b依照控制模塊1設(shè)定的工作模式分別對(duì)圖像信號(hào)和加邊后的字幕信號(hào)進(jìn)行YUV444到Y(jié)UV420或者YUV444到Y(jié)UV422下采樣(步驟140)。圖像字幕混合模塊4再依照控制模塊1設(shè)定的混合邏輯對(duì)經(jīng)下采樣輸出的圖像信號(hào)和字幕信號(hào)進(jìn)行混合(步驟160)。最后，從圖像字幕混合模塊4輸出的內(nèi)容經(jīng)MPEG4編碼(步驟180)生成最終壓縮后的影視內(nèi)容。
下面結(jié)合圖4、圖5、圖6A和圖6B，詳細(xì)說明本發(fā)明實(shí)施例的字幕加邊步驟及圖像字幕混合步驟。圖4顯示了一個(gè)像素的8鄰域示意圖，其中，圓點(diǎn)代表當(dāng)前像素，方點(diǎn)表示空間位置上緊鄰圓點(diǎn)(當(dāng)前像素)的鄰域像素，共有8個(gè)，所以稱為8鄰域。在以下敘述中，透明像素是指字幕圖片中既非筆劃像素又非邊框像素的點(diǎn)。透明像素具有透明色，即該點(diǎn)在最終混合圖像上顯示為背景圖像相應(yīng)點(diǎn)的顏色。
參閱圖5，其顯示本發(fā)明實(shí)施例中字幕加邊步驟的分解流程圖。當(dāng)字幕信號(hào)輸入字幕加邊模塊2后，首先判斷當(dāng)前像素是否為筆劃像素(步驟121)。如果不是，則對(duì)該像素不作處理(步驟122)，繼續(xù)判斷下一個(gè)像素(步驟123)；如果該像素是筆劃像素，則由字幕加邊模塊2對(duì)該筆劃像素的8鄰域像素作進(jìn)一步判斷如下如果該鄰域像素是筆劃像素即非透明色，則對(duì)該鄰域像素不作處理(步驟124)，繼續(xù)判斷下一個(gè)鄰域像素(步驟125)；如果該鄰域像素是透明色，則判斷當(dāng)前筆劃像素的亮度分量值(步驟126)，若該亮度分量大于等于一閾值，于本實(shí)施例中選取亮度范圍的中間值128作為閾值，就將該鄰域像素的亮度分量設(shè)為系統(tǒng)允許的最暗值，否則將該鄰域像素的亮度分量設(shè)為系統(tǒng)允許的最亮值，然后將該鄰域像素的色度分量設(shè)為當(dāng)前筆劃像素的色度值(步驟127-129)。當(dāng)每一個(gè)筆劃像素的8鄰域像素都判斷完畢后，退出字幕加邊模塊2。
參閱圖6A和圖6B，詳細(xì)說明本發(fā)明實(shí)施例中圖像和字幕混合步驟的工作流程。該步驟需要對(duì)字幕信號(hào)中的每一個(gè)像素進(jìn)行判斷，首先設(shè)定字幕信號(hào)中筆劃像素和透明像素的亮度。如圖6A所示，判斷當(dāng)前像素是否為透明像素(步驟161)，如果是，則該點(diǎn)的亮度設(shè)為背景圖像相應(yīng)點(diǎn)的亮度，否則設(shè)為字幕相應(yīng)點(diǎn)的亮度(步驟162-163)，當(dāng)字幕信號(hào)中所有的像素點(diǎn)都判斷完畢，即退出該流程。接著，通過周邊像素判斷來設(shè)定邊框像素的亮度和色度。
如圖6B所示，由圖像字幕混合模塊4判斷當(dāng)前像素是否為筆劃像素(步驟164)，如果是，則該點(diǎn)采用筆劃的色度(步驟165)；如果不是，則繼續(xù)判斷該點(diǎn)是否為字幕加邊步驟中生成的邊框像素(步驟166)。如果不是，則該點(diǎn)為透明像素，采用背景圖像相應(yīng)點(diǎn)的亮度和色度(步驟167)；如果是，則依照控制模塊1設(shè)定的混合邏輯，對(duì)該邊框像素作進(jìn)一步判斷如下如果最終需要生成YUV420圖像，則在圖像字幕混合模塊4中判斷當(dāng)前點(diǎn)的右側(cè)、下方和右下方三個(gè)相鄰點(diǎn)中是否存在筆劃像素(步驟168)。如果有，則該點(diǎn)采用筆劃的色度(步驟165)，否則該點(diǎn)采用背景圖像相應(yīng)點(diǎn)的亮度和色度(步驟167)；如果最終需要生成YUV422圖像，則在圖像字幕混合模塊4中判斷當(dāng)前點(diǎn)右側(cè)相鄰的像素點(diǎn)是否為筆劃像素(步驟169)。如果是，則該點(diǎn)采用筆劃的色度(步驟165)，否則采用背景圖像相應(yīng)點(diǎn)的亮度和色度(步驟167)。
字幕圖片上的每個(gè)像素點(diǎn)經(jīng)過上述邏輯判斷后，確定了其在最終圖像上的亮度和色度?；旌贤瓿傻膱D像信號(hào)從圖像字幕混合模塊4輸出，并經(jīng)過MPEG4編碼生成最終壓縮后的影視內(nèi)容。
采用本發(fā)明的字幕疊加系統(tǒng)及方法生成的圖像或視頻內(nèi)容，在播放時(shí)，字幕筆劃周圍會(huì)有一個(gè)像素寬度的勾邊。由于該勾邊與筆劃本身在亮度上有鮮明的對(duì)比，因此不會(huì)出現(xiàn)字幕和背景圖像混為一團(tuán)的情形，大大提高了字幕的清晰度。此外，經(jīng)過字幕疊加的圖像在播放時(shí)，無需進(jìn)行額外的運(yùn)算，只需要存儲(chǔ)字幕疊加后的圖像即可，與傳統(tǒng)的屏上顯示技術(shù)相比，大大節(jié)省了運(yùn)算資源和存儲(chǔ)資源，達(dá)到了降低成本的效果。
權(quán)利要求
1.一種字幕疊加系統(tǒng)，包括控制模塊(1)、第一和第二下采樣模塊(3a、3b)及圖像字幕混合模塊(4)，控制模塊(1)分別與所述的這些模塊連接，圖像字幕混合模塊(4)分別與第一、第二下采樣模塊(3a、3b)連接，圖像信號(hào)經(jīng)第一下采樣模塊(3a)輸入至圖像字幕混合模塊(4)，其特征在于所述的字幕疊加系統(tǒng)還包括一字幕加邊模塊(2)，字幕信號(hào)依次經(jīng)由字幕加邊模塊(2)和第二下采樣模塊(3b)輸入至圖像字幕混合模塊(4)，混合后的圖像和字幕信號(hào)從圖像字幕混合模塊(4)輸出。
2.如權(quán)利要求1所述的字幕疊加系統(tǒng)，其特征在于所述的控制模塊(1)根據(jù)所要輸出的圖像格式，確定第一和第二下采樣模塊(3a、3b)的工作模式以及圖像字幕混合模塊(4)的混合邏輯。
3.如權(quán)利要求2所述的字幕疊加系統(tǒng)，其特征在于輸出的圖像格式包括YUV420和YUV422。
4.如權(quán)利要求1或2所述的字幕疊加系統(tǒng)，其特征在于所述字幕加邊模塊(2)根據(jù)字幕信號(hào)中筆劃像素的亮度在該筆劃周圍加上亮的或暗的邊框。
5.如權(quán)利要求1或2所述的字幕疊加系統(tǒng)，其特征在于該圖像字幕混合模塊(4)根據(jù)周邊像素判斷來確定混合后的像素的亮度和色度。
6.一種字幕疊加方法，其特征在于，所述的方法包括下列步驟在字幕信號(hào)中的筆劃像素周圍加上邊框像素；分別對(duì)圖像信號(hào)和加邊后的字幕信號(hào)下采樣；以及混合下采樣后的圖像信號(hào)和字幕信號(hào)。
7.如權(quán)利要求6所述的字幕疊加方法，其特征在于，所述方法還包括一格式轉(zhuǎn)換步驟，用于分別對(duì)圖像信號(hào)和字幕信號(hào)進(jìn)行RGB到Y(jié)UV域的轉(zhuǎn)換。
8.如權(quán)利要求6或7所述的字幕疊加方法，其特征在于，所述字幕加邊步驟進(jìn)一步包括(1)判斷筆劃像素的亮度是否達(dá)到一閾值，若判斷結(jié)果為是，則在該筆劃像素的周圍加上暗的邊框像素；(2)若步驟(1)中判斷的結(jié)果為否，則在該筆劃像素的周圍加上亮的邊框像素。
9.如權(quán)利要求8所述的字幕疊加方法，其特征在于該閾值為亮度取值范圍的中間值。
10.如權(quán)利要求6或7所述的字幕疊加方法，其特征在于所述圖像字幕混合步驟進(jìn)一步包括(1)設(shè)定字幕信號(hào)中筆劃像素和透明像素的亮度；(2)對(duì)字幕信號(hào)中的邊框像素進(jìn)行周邊像素判斷；(3)根據(jù)步驟(2)的判斷結(jié)果，設(shè)定該邊框像素的亮度和色度。
11.如權(quán)利要求10所述的字幕疊加方法，其特征在于，所述下采樣步驟和圖像字幕混合步驟由所要輸出的圖像格式?jīng)Q定。
12.如權(quán)利要求11所述的字幕疊加方法，其特征在于，輸出的圖像格式包括YUV420和YUV422。
全文摘要
一種字幕疊加系統(tǒng)和方法。現(xiàn)有的在內(nèi)容制作時(shí)直接在影視內(nèi)容上疊加字幕的方法存在圖像和字幕的色度信息相互污染和資源消耗大的問題。本發(fā)明的字幕疊加系統(tǒng)包括控制模塊、第一和第二下采樣模塊以及圖像字幕混合模塊，控制模塊分別與所述的這些模塊連接，圖像字幕混合模塊分別與第一、第二下采樣模塊連接，圖像信號(hào)經(jīng)第一下采樣模塊輸入至圖像字幕混合模塊，所述字幕疊加系統(tǒng)還包括一字幕加邊模塊，字幕信號(hào)依次經(jīng)由字幕加邊模塊和第二下采樣模塊輸入至圖像字幕混合模塊，混合后的圖像和字幕信號(hào)從圖像字幕混合模塊輸出。利用本發(fā)明的字幕疊加系統(tǒng)和方法可以節(jié)省系統(tǒng)的運(yùn)算資源和存儲(chǔ)資源，并能達(dá)到良好的字幕疊加效果。
文檔編號(hào)H04N5/278GK1889636SQ200610029649
公開日2007年1月3日 申請(qǐng)日期2006年8月2日 優(yōu)先權(quán)日2006年8月2日
發(fā)明者羅巍 申請(qǐng)人:智多微電子(上海)有限公司