一種基于3d虛擬合成技術(shù)的微課錄制系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及3D虛擬合成技術(shù)，尤其是應(yīng)用在教學(xué)的基于3D虛擬合成技術(shù)的微課錄制系統(tǒng)及方法。
【背景技術(shù)】
[0002]“微課”全稱“微型視頻課程”，它是以教學(xué)視頻為主要呈現(xiàn)方式，圍繞學(xué)科知識點、例題習(xí)題、疑難問題、實驗操作等進(jìn)行的教學(xué)過程及相關(guān)資源之有機(jī)結(jié)合體。
[0003]“微課”作品特點:
1.“微課”核心資源是“微視頻”(教學(xué)視頻片段)，同時可包含與該教學(xué)視頻內(nèi)容相關(guān)的“微教案”(教學(xué)設(shè)計)、“微課件”(教學(xué)課件)、“微習(xí)題”(練習(xí)測試題)、“微反思”(教學(xué)反思)等輔助性教與學(xué)內(nèi)容。”時長一般為5分鐘左右，建議不超過10分鐘。
[0004]2.微課件的設(shè)計要求短小精悍，圍繞重點的教學(xué)課件，并且有良好的壓縮方式，最好是流媒體格式，便于網(wǎng)絡(luò)傳輸達(dá)到共享的效果。
[0005]3.目前學(xué)校中實現(xiàn)課件錄制的方式主要通過人工錄制和課件錄播系統(tǒng)，這兩種錄制方式的特點是多機(jī)位的視頻展現(xiàn)，和現(xiàn)場實況錄制，錄制的內(nèi)容經(jīng)過后期編輯和制作后作為教學(xué)資源來使用。但是如果面對微課件的制作這兩種方式就不適合了，如果只為了幾分鐘的微課件制作，動用如此多的人力物力在目前的學(xué)校環(huán)境下可能有些勉為其難。

【發(fā)明內(nèi)容】

[0006]本發(fā)明所要解決的技術(shù)問題是提供一種基于3D虛擬合成技術(shù)的微課錄制系統(tǒng)及方法，微課錄制方法更簡單，制作時間更短，制作成本更低，而且展現(xiàn)的內(nèi)容更豐富。
[0007]為解決上述技術(shù)問題，本發(fā)明的技術(shù)方案是:一種基于3D虛擬合成技術(shù)的微課錄制系統(tǒng)，包括:
用于對人物進(jìn)行拍攝取像的視頻攝像設(shè)備；
用于對人物進(jìn)行收音的音頻錄入設(shè)備；
用于對視頻攝像設(shè)備拍攝的視頻進(jìn)行人物摳像的人物采集處理模塊；
用于生成虛擬場景文件的場景處理模塊；
用于將摳像前景與虛擬場景文件虛擬合成，實現(xiàn)視頻攝像設(shè)備拍攝的人物在虛擬場景內(nèi)的活動和變化的圖像合成模塊；
用于將人物在虛擬場景內(nèi)的活動和變化進(jìn)行視頻錄制的視頻錄制控制模塊。
[0008]作為改進(jìn)，系統(tǒng)還包括在虛擬背景中插入圖片或視頻的文件處理模塊。
[0009]作為改進(jìn)，系統(tǒng)還包括對軟件的顯示輸出信號進(jìn)行獲取，視頻信號對應(yīng)輸入到虛擬場景的顯示框中與背景進(jìn)行合成顯示的系統(tǒng)界面捕抓模塊。
[0010]為解決上述技術(shù)問題，本發(fā)明另一技術(shù)方案是:一種基于3D虛擬合成技術(shù)的微課錄制方法，包括以下步驟:
(1)利用人物采集處理模塊對視頻攝像設(shè)備拍攝的視頻的人物進(jìn)行摳像； (2)利用場景處理模塊生成虛擬場景文件；
(3)利用圖像合成模塊將摳像前景與虛擬場景文件虛擬合成，實現(xiàn)視頻攝像設(shè)備拍攝的人物在虛擬場景內(nèi)的活動和變化；
(4)利用視頻錄制控制模塊將人物在虛擬場景內(nèi)的活動和變化進(jìn)行視頻錄制。
[0011]作為改進(jìn)，步驟(1)中，人物摳象基于顏色采樣與平滑優(yōu)化的方式實現(xiàn)，摳像方程式為:C=aF+(l-a)B，基于RGB三色的摳像方程為:Cr, g, b=aFr, g, b+(l_a)Br, g, b ;其中r, g，b三色的色值，采用系統(tǒng)實時采集的背景色的某一個像素點的色值，背景顏色采用與R(255，0，0)、G (0，255，0)、B (0，0，255)相近色值的顏色；在這個范圍之外的像素作為前景，相應(yīng)的Alpha通道值設(shè)為1，在這個范圍之內(nèi)的像素作為背景，相應(yīng)的Alpha通道值設(shè)為0 ;平滑優(yōu)化采用目標(biāo)像素點的色值附近一定范圍內(nèi)的加權(quán)平均值，做為邊緣優(yōu)化的參照值。
[0012]作為改進(jìn)，步驟(2)中，將3D MAX中設(shè)計的場景建模文件重新編譯為以.ASE或.XND為后綴的場景執(zhí)行文件。
[0013]作為改進(jìn)，利用文件處理模塊在虛擬背景中插入圖片或視頻，包括:
DPPT加載方式為:利用系統(tǒng)的文檔轉(zhuǎn)換程序，將PPT文檔格式轉(zhuǎn)換成PNG、JPG、BMP的圖片格式，在虛擬場景中顯示和控制；
2)視頻加載方式為:利用系統(tǒng)的內(nèi)建播放器對視頻進(jìn)行解碼播放，支持視頻格式包括av1、wmv、mp4，播放器控制功能包括播放、暫停、循環(huán)播放和快進(jìn)。
[0014]作為改進(jìn)，利用系統(tǒng)界面捕抓模塊對軟件的顯示輸出信號進(jìn)行獲取，視頻信號對應(yīng)輸入到虛擬場景的顯示框中，與背景進(jìn)行合成顯示。
[0015]作為改進(jìn)，步驟(4)中，虛擬背景下的3D立體視頻生成方法:在視頻合成后，復(fù)制生成另外一個圖像，形成左右疊加視頻輸出，通過偏光式3D電視機(jī)進(jìn)行播放，觀看者通過佩戴偏光眼鏡進(jìn)行觀看。
[0016]作為改進(jìn)，步驟(4)中，利用視頻錄制控制模塊生產(chǎn)壓縮視頻和流媒體視頻。
[0017]本發(fā)明與現(xiàn)有技術(shù)相比所帶來的有益效果是:
本發(fā)明利用虛擬合成技術(shù)，可將人物虛擬到任意空間內(nèi)，并在虛擬的空間內(nèi)進(jìn)行活動，利用此技術(shù)可實現(xiàn)老師和學(xué)生在固定場所下模擬出豐富的場景下的教學(xué)和實踐；對于微課程的錄制，將計算機(jī)制作的虛擬三維場景與攝像機(jī)現(xiàn)場拍攝的老師講課圖像進(jìn)行數(shù)字化的實時合成，使老師與虛擬講臺能夠同步變化。老師講解的PPT、視頻、圖片等資料可以以畫中畫的方式在場景中顯示，并且可以對講解的PPT進(jìn)行注解和勾畫，注解和勾畫有四種顏色字體的變換，能夠分類分別進(jìn)行標(biāo)注。同時老師可以根據(jù)課程需求插入網(wǎng)頁，以畫中畫的形式展現(xiàn)網(wǎng)頁內(nèi)容。老師需要展現(xiàn)word文檔和Excel表格，同樣可以插入，并且能夠?qū)⒉僮鲀?nèi)容一起錄制到課程視頻當(dāng)中。在這樣的場景下進(jìn)行課件錄制，老師可以與所要講解的課程場景進(jìn)行良好的互動，錄制出的課件生動、立體、趣味性強(qiáng)。
【附圖說明】
[0018]圖1為本發(fā)明系統(tǒng)框架圖。
[0019]圖2為三維場景生產(chǎn)流程圖。
[0020]圖3為虛擬背景下的3D立體視頻生成流程圖。
[0021]圖4為多文件格式與虛擬背景的全方位融合流程圖。
[0022]圖5為高清視頻實時壓縮和錄制流程圖。
[0023]圖6為虛擬合成視頻的流媒體推送流程圖。
[0024]圖7為本發(fā)明視頻錄制方法流圖。
【具體實施方式】
[0025]下面結(jié)合說明書附圖對本發(fā)明作進(jìn)一步說明。
[0026]一種基于3D虛擬合成技術(shù)的微課錄制系統(tǒng)，錄制的場景包括摳像藍(lán)箱區(qū)域、教師操作桌面和一體式錄制設(shè)備。錄像場景可設(shè)于房間內(nèi)，教師操作桌面與一體式錄制設(shè)備相對，錄制視頻時，教師可以看到虛擬合成后的虛擬場景，有助于教師投入虛擬場景中進(jìn)行授課。
[0027]本發(fā)明硬件框架包括:視頻攝像設(shè)備、音頻錄入設(shè)備、軟件運行服務(wù)器、視頻顯示設(shè)備、音頻輸出設(shè)備、網(wǎng)絡(luò)設(shè)備。
[0028]1)視頻攝像設(shè)備:使用攝像分辨率在1920X1080@25i的高清攝像機(jī)，視頻信號輸出方式采用HDMI或者HD-SDI。
[0029]2)音頻錄入設(shè)備:使用信噪比在50DB以下的有線話筒或者無線話筒，音頻輸出信號為6.5寸或者3.5寸。
[0030]3)軟件運行服務(wù)器:服務(wù)器配置的推薦配置為，Z87芯片組主板，英特爾i7-4790CPU，8GB DDR3 1333MHZ內(nèi)存，GTX960芯片組顯卡，120SSD+2TB SATA硬盤，采集分辨率在1920X1080i25i的高清采集卡機(jī)，視頻信號采集方式為HDMI或者HD-SDI，音頻信號采集方式為RCA。
[0031]4)視頻顯示設(shè)備:分辨率為1920X 1080060P的顯示器或者電視機(jī)。
[0032]5)音頻輸出設(shè)備:可通過軟件服務(wù)器直接輸出的包括有線耳機(jī)、有源音箱，也可通過調(diào)音臺輸出到功放音響設(shè)備和監(jiān)聽耳機(jī)設(shè)備。
[0033]6)網(wǎng)絡(luò)設(shè)備:基于RJ45接口和TCP/IP網(wǎng)絡(luò)協(xié)議的交換機(jī)、路由器、無線AP。
[0034]攝像機(jī)進(jìn)行任務(wù)視頻拍攝取像，通過攝像機(jī)的HDMI或HD-SDI輸出至服務(wù)器采集卡信號采集接口 ；通過麥克風(fēng)的3.5或6.5音頻信號輸出至采集卡音頻采集接口。
[0035]服務(wù)器將人物圖像與系統(tǒng)生成的虛擬背景合成后，通過聲卡將音頻信號輸出至調(diào)音臺設(shè)備或直接輸出至聲音接收設(shè)備；通過高清顯卡把虛擬合成圖像輸出至顯示設(shè)備；通過TCP/IP網(wǎng)絡(luò)協(xié)議和MMS流媒體協(xié)議經(jīng)過網(wǎng)絡(luò)設(shè)備傳輸至用戶終端設(shè)備。
[0036]如圖1所示，本發(fā)明微課錄制軟件系統(tǒng)包括:人物采集處理模塊、場景處理模塊、圖像合成模塊、視頻錄制控制模塊、控制虛擬機(jī)位、文件處理模塊、系統(tǒng)界面捕抓模塊。如圖7所示，基于3D虛擬合成技術(shù)的微課錄制方法，包括以下步驟:
(1)利用人物采集處理模塊對視頻攝像設(shè)備拍攝的視頻的人物進(jìn)行摳像；
(2)利用場景處理模塊生成虛擬場景文件；
(3)利用圖像合成模塊將摳像前景與虛擬場景文件虛擬合成，實現(xiàn)視頻攝像設(shè)備拍攝的人物在虛擬場景內(nèi)的活動