專利名稱：音視頻編輯方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種音視頻編輯方法及系統(tǒng)。
背景技術(shù)：
隨著音視頻編輯技術(shù)的不斷發(fā)展，出現(xiàn)了很多基于PC平臺(tái)的音視頻編輯軟件系統(tǒng)，這些音視頻編輯軟件系統(tǒng)具備較強(qiáng)的后期編輯和處理功能，可以使用戶方便地對(duì)視頻素材進(jìn)行剪輯合成、添加音效、錄制聲音等操作。申請(qǐng)?zhí)枮?00510033243. 6、發(fā)明名稱為“移動(dòng)終端音像文件編輯系統(tǒng)及編輯方法”的中國(guó)專利申請(qǐng)公開了一種通過音像編輯模塊對(duì)保存于音像源文件模塊中的源文件進(jìn)行編輯，并通過所述音像編輯模塊將編輯結(jié)果發(fā)送級(jí)媒體播放器模塊，所述媒體播放器模塊根據(jù)所述編輯結(jié)果，依次播放所述音像源文件模塊中對(duì)應(yīng)的源文件，但這種編輯方法只是對(duì)源文件進(jìn)行簡(jiǎn)單的排列組合，設(shè)定播放順序，其編輯功能單一。 申請(qǐng)?zhí)枮?00720194296. O、發(fā)明名稱為“手持移動(dòng)通信裝置”的中國(guó)專利申請(qǐng)公開了一種利用觸敏裝置實(shí)現(xiàn)手勢(shì)以在計(jì)算裝置或系統(tǒng)上管理和編輯媒體文件，但該發(fā)明主要解決的是如何通過觸敏裝置正確識(shí)別各種操作手勢(shì)的問題。隨著智能手機(jī)、平板電腦等移動(dòng)終端的逐漸普及和流行，用戶已經(jīng)不再滿足于在PC端對(duì)音視頻進(jìn)行實(shí)時(shí)編輯和操作，更希望有一種基于移動(dòng)終端的高效且實(shí)時(shí)的音視頻編輯系統(tǒng)，為用戶在移動(dòng)終端實(shí)時(shí)編輯音視頻帶來便利，然而，由于音視頻編輯應(yīng)用本身需要比較高的運(yùn)算負(fù)荷，目前移動(dòng)平臺(tái)中的視頻編輯系統(tǒng)大都由于設(shè)備計(jì)算能力與電量約束，無法提供完整而可實(shí)時(shí)預(yù)覽的音視頻編輯工具。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種音視頻編輯方法及系統(tǒng)，能夠使用戶不再局限于在PC上進(jìn)行音視頻編輯工作，可以基于移動(dòng)終端對(duì)音視頻進(jìn)行多種實(shí)時(shí)編輯操作，有效提高用戶體驗(yàn)。為解決上述問題，本發(fā)明提供一種音視頻編輯方法，包括預(yù)設(shè)目標(biāo)渲染特效；選定音視頻并獲取音視頻的視頻幀數(shù)據(jù)和/或音頻幀數(shù)據(jù)；渲染引擎根據(jù)所述目標(biāo)渲染特效對(duì)所述視頻幀數(shù)據(jù)和/或音頻幀數(shù)據(jù)進(jìn)行渲染并輸出 宣染結(jié)果。進(jìn)一步的，在上述方法中，所述渲染引擎根據(jù)所述目標(biāo)渲染特效對(duì)所述視頻幀數(shù)據(jù)和/或音頻幀數(shù)據(jù)進(jìn)行渲染并輸出渲染結(jié)果的步驟中，所述渲染引擎的CPU單元和GPU單元對(duì)視頻幀數(shù)據(jù)進(jìn)行渲染。進(jìn)一步的，在上述方法中，所述渲染引擎的CPU單元和GPU單元對(duì)視頻幀數(shù)據(jù)進(jìn)行渲染的步驟包括所述CPU單元對(duì)視頻幀數(shù)據(jù)進(jìn)行預(yù)處理；
所述GPU單元對(duì)經(jīng)過預(yù)處理的視頻幀數(shù)據(jù)依次進(jìn)行紋理裝配、特效合成和文本水印合成并直接將視頻幀數(shù)據(jù)的渲染結(jié)果輸出給一顯示設(shè)備；所述CPU單元將視頻幀數(shù)據(jù)的渲染結(jié)果在內(nèi)存中進(jìn)行數(shù)據(jù)裝配后輸出給一音視頻編碼器。進(jìn)一步的，在上述方法中，所述渲染引擎的CPU和GPU單元對(duì)視頻幀數(shù)據(jù)進(jìn)行渲染的步驟包括所述CPU單元對(duì)視頻幀數(shù)據(jù)依次進(jìn)行預(yù)處理、特效合成和文本水印合成并將視頻幀數(shù)據(jù)的渲染結(jié)果輸出給一音視頻編碼器；所述GPU單元對(duì)經(jīng)過預(yù)處理的視頻幀數(shù)據(jù)依次進(jìn)行紋理裝配、特效合成和文本水印合成并直接將視頻幀數(shù)據(jù)的渲染結(jié)果輸出給一顯示設(shè)備。進(jìn)一步的，在上述方法中，所述渲染引擎根據(jù)所述目標(biāo)渲染特效對(duì)所述視頻幀數(shù)據(jù)和/或音頻幀數(shù)據(jù)進(jìn)行渲染并輸出渲染結(jié)果的步驟中，所述渲染引擎的CPU單元對(duì)音頻幀數(shù)據(jù)進(jìn)行渲染并將音頻幀數(shù)據(jù)的渲染結(jié)果輸出給播放設(shè)備和/或一音視頻編碼器。進(jìn)一步的，在上述方法中，所獲取音視頻的視頻幀數(shù)據(jù)和/或音頻幀數(shù)據(jù)的步驟中，通過一幀重采樣器獲取視頻文件的視頻幀數(shù)據(jù)和/或音頻幀數(shù)據(jù)。進(jìn)一步的，在上述方法中，所述選定音視頻的步驟中，通過選擇音視頻起始位置和音視頻長(zhǎng)度來選定音視頻。進(jìn)一步的，在上述方法中，所述目標(biāo)渲染特效包括對(duì)音視頻標(biāo)注文字。進(jìn)一步的，在上述方法中，所述目標(biāo)渲染特效包括對(duì)多個(gè)音頻進(jìn)行混響疊加處理。根據(jù)本發(fā)明的另一面，提供一種音視頻編輯系統(tǒng)，包括特效模塊，用于預(yù)設(shè)目標(biāo)渲染特效；獲取模塊，用于選定音視頻并獲取音視頻的視頻幀數(shù)據(jù)和/或音頻幀數(shù)據(jù)；渲染引擎，用于根據(jù)所述目標(biāo)渲染特效對(duì)所述視頻幀數(shù)據(jù)和/或音頻幀數(shù)據(jù)進(jìn)行渲染并輸出渲染結(jié)果。進(jìn)一步的，在上述系統(tǒng)中，所述渲染引擎包括CPU單元和GPU單元。進(jìn)一步的，在上述系統(tǒng)中，所述CPU單元和GPU單元用于對(duì)視頻幀數(shù)據(jù)進(jìn)行渲染。進(jìn)一步的，在上述系統(tǒng)中，所述CPU單元用于對(duì)視頻幀數(shù)據(jù)進(jìn)行預(yù)處理及將視頻幀數(shù)據(jù)的渲染結(jié)果在內(nèi)存中進(jìn)行數(shù)據(jù)裝配后輸出給一音視頻編碼器；所述GPU單元用于對(duì)經(jīng)過預(yù)處理的視頻幀數(shù)據(jù)依次進(jìn)行紋理裝配、特效合成和文本水印合成并直接將視頻幀數(shù)據(jù)的渲染結(jié)果輸出給一顯示設(shè)備。進(jìn)一步的，在上述系統(tǒng)中，所述CPU單元用于對(duì)視頻幀數(shù)據(jù)依次進(jìn)行預(yù)處理、特效合成和文本水印合成并將視頻幀數(shù)據(jù)的渲染結(jié)果輸出給一音視頻編碼器；所述GPU單元用于對(duì)經(jīng)過預(yù)處理的視頻幀數(shù)據(jù)依次進(jìn)行紋理裝配、特效合成和文本水印合成并直接將視頻幀數(shù)據(jù)的渲染結(jié)果輸出給一顯示設(shè)備。進(jìn)一步的，在上述系統(tǒng)中，所述CPU單元對(duì)音頻幀數(shù)據(jù)進(jìn)行渲染并將音頻幀數(shù)據(jù)的渲染結(jié)果輸出給播放設(shè)備和/或一音視頻編碼器。進(jìn)一步的，在上述系統(tǒng)中，所述獲取模塊通過一幀重采樣器獲取視頻文件的視頻 幀數(shù)據(jù)和/或音頻幀數(shù)據(jù)。與現(xiàn)有技術(shù)相比，本發(fā)明通過先預(yù)設(shè)目標(biāo)渲染特效，然后選定音視頻并獲取音視頻的視頻幀數(shù)據(jù)和/或音頻幀數(shù)據(jù)，接著渲染引擎根據(jù)所述目標(biāo)渲染特效對(duì)所述視頻幀數(shù)據(jù)和/或音頻幀數(shù)據(jù)進(jìn)行渲染并輸出渲染結(jié)果，能夠使用戶不再局限于在PC上進(jìn)行音視頻編輯工作，可以基于移動(dòng)終端對(duì)音視頻進(jìn)行多種實(shí)時(shí)編輯操作，有效提高用戶體驗(yàn)。
另外，本發(fā)明通過靈活地設(shè)計(jì)兩種對(duì)視頻幀數(shù)據(jù)進(jìn)行渲染的方式，使CPU單元和GPU單元在不同的渲染方式中承擔(dān)不同的渲染任務(wù)，實(shí)際應(yīng)用中可以根據(jù)移動(dòng)設(shè)備的實(shí)際計(jì)算能力與上下文動(dòng)態(tài)對(duì)不同視頻選擇不同渲染方式，以解決移動(dòng)終端的計(jì)算能力瓶頸問題，提高本發(fā)明在不同計(jì)算環(huán)境中的自適應(yīng)性，使用戶能在小屏幕移動(dòng)平臺(tái)下輕松地完成視頻編輯所需要的指令。


圖I是本發(fā)明實(shí)施例的音視頻編輯方法的流程圖；圖2是本發(fā)明實(shí)施例的第一種渲染方式的渲染引擎架構(gòu)圖；圖3是本發(fā)明實(shí)施例的第二種渲染方式的渲染引擎架構(gòu)圖；圖4是本發(fā)明實(shí)施例的單手柄按鈕法界面示意圖；圖5是本發(fā)明實(shí)施例的雙手柄按鈕法界面示意圖；圖6是本發(fā)明實(shí)施例的標(biāo)注文字界面示意圖；圖7是本發(fā)明實(shí)施例的第一應(yīng)用場(chǎng)景示意圖；圖8是本發(fā)明實(shí)施例的第二應(yīng)用場(chǎng)景示意圖；圖9是本發(fā)明實(shí)施例的視頻編輯界面示意圖；圖10是本發(fā)明實(shí)施例的特效界面示意圖；圖11是本發(fā)明實(shí)施例的音頻編輯界面示意圖；圖12是本發(fā)明實(shí)施例的音視頻編輯系統(tǒng)的功能模塊示意圖。
具體實(shí)施例方式為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能夠更加明顯易懂，下面結(jié)合附圖和具體實(shí)施方式
對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說明。如圖I 11所示，本發(fā)明提供一種音視頻編輯方法，包括步驟SI，預(yù)設(shè)目標(biāo)渲染特效；具體的,所述目標(biāo)渲染特效包括對(duì)音視頻標(biāo)注文字,所述目標(biāo)渲染特效還包括對(duì)多個(gè)音頻進(jìn)行混響疊加處理，例如在對(duì)音頻內(nèi)容進(jìn)行編輯時(shí)，還支持對(duì)原視頻本身所帶的音頻和用戶后來導(dǎo)入的音頻進(jìn)行混響疊加處理，用戶還可以根據(jù)需要，調(diào)節(jié)這兩種聲音的疊加結(jié)果即調(diào)整預(yù)設(shè)目標(biāo)渲染特效；步驟S2，選定音視頻并獲取音視頻的視頻幀數(shù)據(jù)和/或音頻幀數(shù)據(jù)；具體的，音頻的來源主要為音樂庫、麥克風(fēng)，所述音樂庫用于從本地存儲(chǔ)設(shè)備中導(dǎo)入音頻內(nèi)容，所述麥克風(fēng)用于錄制一段音頻作為音頻內(nèi)容，選定音頻時(shí)，用戶可選定操作界面的菜單鍵，在彈出的音頻來源頁，選定待編輯的音頻內(nèi)容，具體可選擇的音頻可包括從本地音樂庫導(dǎo)入音頻內(nèi)容或通過設(shè)備自帶的麥克風(fēng)錄制一段音頻作為音頻內(nèi)容；視頻來源主要為攝像頭和媒體庫，所述攝像頭用于錄制一段視頻作為視頻內(nèi)容，所述媒體庫用于從本地存儲(chǔ)設(shè)備中導(dǎo)入視頻內(nèi)容，選定視頻時(shí)，用戶可選定操作界面的菜單鍵，在彈出的視頻來源頁中選定待編輯的視頻內(nèi)容，具體可選擇的視頻包括從本地視頻庫導(dǎo)入視頻內(nèi)容或通過設(shè)備自帶的攝像頭錄制一段視頻作為視頻內(nèi)容；另外，獲取音視頻的視頻幀數(shù)據(jù)和/或音頻幀數(shù)據(jù)的步驟中，可通過一幀重采樣器獲取視頻文件的視頻幀數(shù)據(jù)和/或音頻幀數(shù)據(jù)，所述選定音視頻的步驟中，通過選擇音視頻起始位置和音視頻長(zhǎng)度來選定音視頻；步驟S3，渲染引擎根 據(jù)所述目標(biāo)渲染特效對(duì)所述視頻幀數(shù)據(jù)和/或音頻幀數(shù)據(jù)進(jìn)行渲染并輸出渲染結(jié)果；具體的，本發(fā)明旨在以移動(dòng)終端為主體，設(shè)計(jì)高性能的渲染引擎，通過渲染引擎音視頻數(shù)據(jù)可以按最高效的方式用最短的時(shí)間完成編輯處理請(qǐng)求，方便用戶在移動(dòng)終端進(jìn)行實(shí)時(shí)編輯音視頻的操作，使用戶不再局限于在PC上進(jìn)行相關(guān)編輯工作，所述渲染引擎包括CPU單元和GPU單元，對(duì)于音頻幀數(shù)據(jù)，由CPU單元的混音器進(jìn)行渲染并將音頻幀數(shù)據(jù)的渲染結(jié)果輸出給播放設(shè)備以實(shí)時(shí)獲取渲染結(jié)果和/或一音視頻編碼器，對(duì)于視頻幀數(shù)據(jù)，由CPU單元和GPU單元進(jìn)行渲染；步驟S3中，為了充分挖掘移動(dòng)終端的運(yùn)算能力，設(shè)計(jì)了非常靈活的計(jì)算調(diào)度控制，即對(duì)視頻幀數(shù)據(jù)進(jìn)行渲染的方式可分為兩種，以保證對(duì)視頻的實(shí)時(shí)編輯和預(yù)覽；如圖2所示，第一種渲染方式中，所述CPU單元先對(duì)視頻幀數(shù)據(jù)進(jìn)行預(yù)處理，然后所述GPU單元對(duì)經(jīng)過預(yù)處理的視頻幀數(shù)據(jù)依次進(jìn)行紋理裝配、特效合成和文本水印合成并直接將視頻幀數(shù)據(jù)的渲染結(jié)果輸出給一顯示設(shè)備如手機(jī)屏幕以供用戶實(shí)時(shí)預(yù)覽渲染結(jié)果，接著所述CPU單元將視頻幀數(shù)據(jù)的渲染結(jié)果在內(nèi)存中進(jìn)行數(shù)據(jù)裝配后輸出給一音視頻編碼器；如圖3所示，第二種渲染方式中，所述CPU單元先對(duì)視頻幀數(shù)據(jù)依次進(jìn)行預(yù)處理、特效合成和文本水印合成并將視頻幀數(shù)據(jù)的渲染結(jié)果輸出給一音視頻編碼器，同時(shí)所述GPU單元對(duì)經(jīng)過預(yù)處理的視頻幀數(shù)據(jù)依次進(jìn)行紋理裝配、特效合成和文本水印合成并直接將視頻幀數(shù)據(jù)的渲染結(jié)果輸出給一顯示設(shè)備如手機(jī)屏幕以供用戶實(shí)時(shí)預(yù)覽渲染結(jié)果；目前主流的移動(dòng)終端上的運(yùn)算平臺(tái)都同時(shí)擁有CPU與GPU兩個(gè)獨(dú)立的運(yùn)算單元，傳統(tǒng)的解決方案中大都只采用CPU進(jìn)行視頻處理，本發(fā)明提出GPU+CPU的運(yùn)算來解決移動(dòng)終端平臺(tái)的計(jì)算能力瓶頸問題，并利用可混合運(yùn)算的架構(gòu)，即可在移動(dòng)終端上采用針對(duì)不同的視頻采用不同的渲染方式以提高本發(fā)明在不同計(jì)算環(huán)境中的自適應(yīng)性，其中，第一種渲染方式是由CPU進(jìn)行音視頻數(shù)據(jù)IO與組裝，而由GPU進(jìn)行視頻數(shù)據(jù)主要的渲染處理，而第二種渲染方式是由CPU與GPU同步完成所有渲染處理，但GPU數(shù)據(jù)不拷貝回至主存，這樣可以減少數(shù)據(jù)阻塞時(shí)間，提高編輯效率，第一種渲染方式和第二種渲染方式在實(shí)際應(yīng)用中不互斥，可以根據(jù)設(shè)備的實(shí)際計(jì)算能力與上下文動(dòng)態(tài)選擇兩種架構(gòu)進(jìn)行每個(gè)視頻幀的渲染。進(jìn)一步地，在步驟S2中，對(duì)音視頻的選定操作可以包括單手柄按鈕法和雙手柄按鈕法如圖4所示，在單手柄按鈕法中，Ml表示音視頻編輯框，整個(gè)編輯框Ml形成了滑動(dòng)窗口，虛線框M2為音視頻選擇框，需要保留的音視頻內(nèi)容將落在虛線框M2的范圍以內(nèi)，虛線框M2右側(cè)的手柄按鈕M3為文中所述的單手柄按鈕，可以通過調(diào)節(jié)它以選定所需音視頻內(nèi)容的時(shí)長(zhǎng)，當(dāng)用戶導(dǎo)入音頻內(nèi)容后，音頻編輯框Ml顯示音頻波形，當(dāng)用戶導(dǎo)入視頻內(nèi)容后，視頻編輯框Ml顯示本段視頻的縮略圖，用戶可以繼續(xù)添加其他音視頻，以豐富內(nèi)容，當(dāng)導(dǎo)入待編輯的音視頻后，Ml下方將生成滑動(dòng)條，形成滑動(dòng)窗口，左右移動(dòng)滑動(dòng)條，音視頻內(nèi)容將被左右移動(dòng)，用戶可以方便地把需要保留的部分調(diào)整至M2內(nèi)，同時(shí)，左右移動(dòng)右側(cè)M3手柄按鈕可以增加或縮短音視頻的長(zhǎng)度，M3按鈕的位置選定后，再左右拖動(dòng)滑動(dòng)條，將在音視頻選擇框長(zhǎng)度一定的情況下，左右平移音視頻內(nèi)容，幫助用戶選定需要保留的內(nèi)容至M2內(nèi)；如圖5所示，在雙手柄按鈕法中，M4表示音視頻編輯框，整個(gè)編輯框形成了滑動(dòng)窗口，虛線框M5表示音視頻選擇框，虛線框M5內(nèi)是需要保留的音視頻內(nèi)容，其左右兩側(cè)的手柄按鈕M6和M7為文中所述的雙手柄按鈕，當(dāng)用戶導(dǎo)入音頻內(nèi)容后，音頻編輯框M4顯示音頻波形，當(dāng)用戶導(dǎo)入視頻內(nèi)容后，視頻編輯框M4顯示本段視頻的縮略圖，用戶可以繼續(xù)添加其他音視頻，以豐富內(nèi)容，導(dǎo)入待編輯的音視頻后，M4下方將生成滑動(dòng)條，形成滑動(dòng)窗口，左右移動(dòng)滑動(dòng)條，音視頻內(nèi)容會(huì)被左右移動(dòng)，用戶可以快捷地把需要保留的部分調(diào)整至M5內(nèi)，同時(shí)，左右移動(dòng)M7按鈕可以增加或縮短音視頻的長(zhǎng)度，M7按鈕的位置選定后，左右拖動(dòng)M6按鈕，可實(shí)現(xiàn)M5內(nèi)的內(nèi)容的左右平移即M5自身的左右平移，協(xié)助用戶選定音視頻內(nèi)容的起始位置和結(jié)束位置。另外，對(duì)標(biāo)注文字的編輯操作同樣可以使用上述的單手柄按鈕法和雙手柄按鈕法，以選定文字在視頻上出現(xiàn)的起始時(shí)間和結(jié)束時(shí)間，同時(shí)，用戶還可指定標(biāo)注文字所在的位置，用戶可以通過在視頻畫面范圍內(nèi)隨意移動(dòng)文字所在框，為標(biāo)注文字選擇合適的位置，如圖6所示，選用雙手柄按鈕法，M19為文字編輯框，M20表示文字選擇框，M20的長(zhǎng)度表示選定的文字在視頻上出現(xiàn)的時(shí)長(zhǎng)，在標(biāo)注添加框中輸入需要添加的標(biāo)注文字，如輸入文字和表情圖，用戶可以通過在視頻畫面范圍內(nèi)隨意移動(dòng)文字所在框M21，指定標(biāo)注文字所在的位置，并可以拖動(dòng)文字標(biāo)記頂部控制來調(diào)整標(biāo)注指向的位置。如圖7所示，所述渲染引擎可應(yīng)用于來源于攝像頭、麥克風(fēng)等實(shí)時(shí)采集設(shè)備的媒體數(shù)據(jù)及來源于音頻文件的處理，此時(shí)數(shù)據(jù)被同步地推送至渲染引擎完成預(yù)設(shè)目標(biāo)渲染特效。如圖8所示，所述渲染引擎還可應(yīng)用于來源于媒體文件編輯處理請(qǐng)求，這種情況下，可通過一個(gè)幀重采樣器將不同視頻段中的視頻幀邏輯上拼接為一個(gè)新的視頻源，將新的視頻源和音頻推送至渲染引擎完成預(yù)設(shè)目標(biāo)渲染特效，幀重采樣器的實(shí)現(xiàn)可以是一個(gè)高性能的解碼器，也可以是特定平臺(tái)提供的驅(qū)動(dòng)或系統(tǒng)的API (Application ProgrammingInterface，應(yīng)用程序編程接口)。舉例來說，如圖9所示，對(duì)待編輯的視頻進(jìn)行實(shí)時(shí)剪輯操作采用單手柄按鈕法時(shí)，M8是故事版，可以在M8中繼續(xù)添加待編輯的視頻內(nèi)容，選定某段視頻內(nèi)容后，M9即視頻編輯框?qū)@示相應(yīng)的視頻縮略圖，并形成滑動(dòng)窗口，可通過左右移動(dòng)滑動(dòng)條，來左右移動(dòng)視頻 片段，把需要保留的部分調(diào)整至視頻選擇框MlO內(nèi)；同時(shí)，左右移動(dòng)右側(cè)手柄按鈕Mll可以增加或縮短視頻的時(shí)長(zhǎng)，Mll按鈕的位置選定后，再左右拖動(dòng)滑動(dòng)條，將在視頻時(shí)長(zhǎng)一定的情況下，協(xié)助用戶選定需要保留的視頻內(nèi)容于MlO內(nèi)，如圖10所示，應(yīng)用本發(fā)明的渲染方式對(duì)視頻進(jìn)行實(shí)時(shí)的視頻特效處理時(shí)，可以在移動(dòng)終端如手機(jī)上通過點(diǎn)擊不同的特效按鈕M13，讓加載在M12上的視頻直接顯示和為目標(biāo)效果，當(dāng)點(diǎn)擊播放當(dāng)前視頻時(shí)即可顯示已加特效后的視頻結(jié)果，再次點(diǎn)擊M13，則取消該特效，當(dāng)播放該視頻時(shí)，只顯示原視頻。
如圖11所示，對(duì)音頻內(nèi)容使用雙手柄按鈕法進(jìn)行實(shí)時(shí)剪輯操作時(shí)，M14為音頻編輯框，導(dǎo)入音頻內(nèi)容后，音頻編輯框顯示音頻波形，可利用M14形成的滑動(dòng)窗口，左右移動(dòng)滑動(dòng)條，以移動(dòng)音頻波形的位置，把需要保留的部分調(diào)整至音頻選擇框M15內(nèi)；同時(shí)，左右移動(dòng)右側(cè)手柄按鈕M16以增加或縮短音頻的長(zhǎng)度，M16按鈕的位置選定后，再左右拖動(dòng)左側(cè)手柄按鈕M17，可實(shí)現(xiàn)M15內(nèi)的音頻內(nèi)容的左右移動(dòng)，M18為混響疊加編輯框，用戶可以根據(jù)需要，把原視頻本身帶有的音頻和后來導(dǎo)入的音頻進(jìn)行混響疊加處理，實(shí)現(xiàn)混音器的功能。如圖12所示，本發(fā)明還提供另一種音視頻編輯系統(tǒng)，包括特效模塊I、獲取模塊2和渲染引擎3。特效模塊I用于預(yù)設(shè)目標(biāo)渲染特效。獲取模塊2用于選定音視頻并獲取音視頻的視頻幀數(shù)據(jù)和/或音頻幀數(shù)據(jù)，具體的，所述獲取模塊通過一幀重采樣器4獲取視頻文件的視頻幀數(shù)據(jù)和/或音頻幀數(shù)據(jù)。
渲染引擎3用于根據(jù)所述目標(biāo)渲染特效對(duì)所述視頻幀數(shù)據(jù)和/或音頻幀數(shù)據(jù)進(jìn)行渲染并輸出渲染結(jié)果。具體的，所述渲染引擎包括CPU單元31和GPU單元32，所述CPU單元31對(duì)音頻幀數(shù)據(jù)進(jìn)行渲染并將音頻幀數(shù)據(jù)的渲染結(jié)果輸出給播放設(shè)備和/或一音視頻編碼器，所述CPU單元31和GPU單元32用于對(duì)視頻幀數(shù)據(jù)進(jìn)行渲染，在一種渲染引擎架構(gòu)中，所述CPU單元31用于對(duì)視頻幀數(shù)據(jù)進(jìn)行預(yù)處理及將視頻幀數(shù)據(jù)的渲染結(jié)果在內(nèi)存中進(jìn)行數(shù)據(jù)裝配后輸出給一音視頻編碼器，所述GPU單元32用于對(duì)經(jīng)過預(yù)處理的視頻幀數(shù)據(jù)依次進(jìn)行紋理裝配、特效合成和文本水印合成并直接將視頻幀數(shù)據(jù)的渲染結(jié)果輸出給一顯示設(shè)備；在另一種渲染引擎架構(gòu)中，所述CPU單元31用于對(duì)視頻幀數(shù)據(jù)依次進(jìn)行預(yù)處理、特效合成和文本水印合成并將視頻幀數(shù)據(jù)的渲染結(jié)果輸出給一音視頻編碼器，所述GPU單元31用于對(duì)經(jīng)過預(yù)處理的視頻幀數(shù)據(jù)依次進(jìn)行紋理裝配、特效合成和文本水印合成并直接將視頻幀數(shù)據(jù)的渲染結(jié)果輸出給一顯示設(shè)備，本發(fā)明提出GPU+CPU的運(yùn)算來解決移動(dòng)終端平臺(tái)的計(jì)算能力瓶頸問題，并利用可混合運(yùn)算的架構(gòu)，即可在移動(dòng)終端上采用針對(duì)不同的視頻采用不同的渲染引擎架構(gòu)方式以提高本發(fā)明在不同計(jì)算環(huán)境中的自適應(yīng)性，其中，第一種渲染引擎架構(gòu)方式是由CPU進(jìn)行音視頻數(shù)據(jù)IO與組裝，而由GPU進(jìn)行視頻數(shù)據(jù)主要的渲染處理，而第二種渲染引擎架構(gòu)方式是由CPU與GPU同步完成所有渲染處理，但GPU數(shù)據(jù)不拷貝回至主存，這樣可以減少數(shù)據(jù)阻塞時(shí)間，提高編輯效率，第一種渲染方式和第二種渲染方式在實(shí)際應(yīng)用中不互斥，可以根據(jù)設(shè)備的實(shí)際計(jì)算能力與上下文動(dòng)態(tài)選擇兩種架構(gòu)進(jìn)行每個(gè)視頻幀的渲染。本發(fā)明通過先預(yù)設(shè)目標(biāo)渲染特效，然后選定音視頻并獲取音視頻的視頻幀數(shù)據(jù)和/或音頻幀數(shù)據(jù)，接著渲染引擎根據(jù)所述目標(biāo)渲染特效對(duì)所述視頻幀數(shù)據(jù)和/或音頻幀數(shù)據(jù)進(jìn)行渲染并輸出渲染結(jié)果，能夠使用戶不再局限于在PC上進(jìn)行音視頻編輯工作，可以基于移動(dòng)終端對(duì)音視頻進(jìn)行多種實(shí)時(shí)編輯操作，有效提高用戶體驗(yàn)。另外，本發(fā)明通過靈活地設(shè)計(jì)兩種對(duì)視頻幀數(shù)據(jù)進(jìn)行渲染的方式，使CPU單元和GPU單元在不同的渲染方式中承擔(dān)不同的渲染任務(wù)，實(shí)際應(yīng)用中可以根據(jù)移動(dòng)設(shè)備的實(shí)際計(jì)算能力與上下文動(dòng)態(tài)對(duì)不同視頻選擇不同渲染方式，以解決移動(dòng)終端的計(jì)算能力瓶頸問題，提高本發(fā)明在不同計(jì)算環(huán)境中的自適應(yīng)性，使用戶能在小屏幕移動(dòng)平臺(tái)下輕松地完成視頻編輯所需要的指令。
本說明書中各個(gè)實(shí)施例采用遞進(jìn)的方式描述，每個(gè)實(shí)施例重點(diǎn)說明的都是與其他實(shí)施例的不同之處，各個(gè)實(shí)施例之間相同相似部分互相參見即可。對(duì)于實(shí)施例公開的系統(tǒng)而言，由于與實(shí)施例公開的方法相對(duì)應(yīng)，所以描述的比較簡(jiǎn)單，相關(guān)之處參見方法部分說明即可。專業(yè)人員還可以進(jìn)一步意識(shí)到，結(jié)合本文中所公開的實(shí)施例描述的各示例的單元及算法步驟，能夠以電子硬件、計(jì)算機(jī)軟件或者二者的結(jié)合來實(shí)現(xiàn)，為了清楚地說明硬件和軟件的可互換性，在上述說明中已經(jīng)按照功能一般性地描述了各示例的組成及步驟。這些功能究竟以硬件還是軟件方式來執(zhí)行，取決于技術(shù)方案的特定應(yīng)用和設(shè)計(jì)約束條件。專業(yè)技術(shù)人員可以對(duì)每個(gè)特定的應(yīng)用來使用不同方法來實(shí)現(xiàn)所描述的功能，但是這種實(shí)現(xiàn)不應(yīng)認(rèn)為超出本發(fā)明的范圍。 顯然，本領(lǐng)域的技術(shù)人員可以對(duì)發(fā)明進(jìn)行各種改動(dòng)和變型而不脫離本發(fā)明的精神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本發(fā)明也意圖包括這些改動(dòng)和變型在內(nèi)。
權(quán)利要求
1.一種音視頻編輯方法，其特征在于，包括 預(yù)設(shè)目標(biāo)渲染特效； 選定音視頻并獲取音視頻的視頻幀數(shù)據(jù)和/或音頻幀數(shù)據(jù)； 渲染引擎根據(jù)所述目標(biāo)渲染特效對(duì)所述視頻幀數(shù)據(jù)和/或音頻幀數(shù)據(jù)進(jìn)行渲染并輸出渲染結(jié)果。
2.如權(quán)利要求I所述的音視頻編輯方法，其特征在于，所述渲染引擎根據(jù)所述目標(biāo)渲染特效對(duì)所述視頻幀數(shù)據(jù)和/或音頻幀數(shù)據(jù)進(jìn)行渲染并輸出渲染結(jié)果的步驟中，所述渲染引擎的CPU單元和GPU單元對(duì)視頻幀數(shù)據(jù)進(jìn)行渲染。
3.如權(quán)利要求2所述的音視頻編輯方法，其特征在于，所述渲染引擎的CPU單元和GPU單元對(duì)視頻幀數(shù)據(jù)進(jìn)行渲染的步驟包括 所述CPU單元對(duì)視頻幀數(shù)據(jù)進(jìn)行預(yù)處理； 所述GPU單元對(duì)經(jīng)過預(yù)處理的視頻幀數(shù)據(jù)依次進(jìn)行紋理裝配、特效合成和文本水印合成并直接將視頻幀數(shù)據(jù)的渲染結(jié)果輸出給一顯示設(shè)備； 所述CPU單元將視頻幀數(shù)據(jù)的渲染結(jié)果在內(nèi)存中進(jìn)行數(shù)據(jù)裝配后輸出給一音視頻編碼器。
4.如權(quán)利要求2所述的音視頻編輯方法，其特征在于，所述渲染引擎的CPU和GPU單元對(duì)視頻幀數(shù)據(jù)進(jìn)行渲染的步驟包括 所述CPU單元對(duì)視頻幀數(shù)據(jù)依次進(jìn)行預(yù)處理、特效合成和文本水印合成并將視頻幀數(shù)據(jù)的渲染結(jié)果輸出給一音視頻編碼器； 所述GPU單元對(duì)經(jīng)過預(yù)處理的視頻幀數(shù)據(jù)依次進(jìn)行紋理裝配、特效合成和文本水印合成并直接將視頻幀數(shù)據(jù)的渲染結(jié)果輸出給一顯示設(shè)備。
5.如權(quán)利要求I所述的音視頻編輯方法，其特征在于，所述渲染引擎根據(jù)所述目標(biāo)渲染特效對(duì)所述視頻幀數(shù)據(jù)和/或音頻幀數(shù)據(jù)進(jìn)行渲染并輸出渲染結(jié)果的步驟中，所述渲染引擎的CPU單元對(duì)音頻幀數(shù)據(jù)進(jìn)行渲染并將音頻幀數(shù)據(jù)的渲染結(jié)果輸出給播放設(shè)備和/或一音視頻編碼器。
6.如權(quán)利要求I所述的音視頻編輯方法，其特征在于，所獲取音視頻的視頻幀數(shù)據(jù)和/或音頻幀數(shù)據(jù)的步驟中，通過一幀重采樣器獲取視頻文件的視頻幀數(shù)據(jù)和/或音頻幀數(shù)據(jù)。
7.如權(quán)利要求I所述的音視頻編輯方法，其特征在于，所述選定音視頻的步驟中，通過選擇首視頻起始位直和首視頻長(zhǎng)度來選定首視頻。
8.如權(quán)利要求I所述的音視頻編輯方法，其特征在于，所述目標(biāo)渲染特效包括對(duì)音視頻標(biāo)注文字。
9.如權(quán)利要求I所述的音視頻編輯方法，其特征在于，所述目標(biāo)渲染特效包括對(duì)多個(gè)首頻進(jìn)行混響置加處理。
10.一種音視頻編輯系統(tǒng)，其特征在于，包括 特效模塊，用于預(yù)設(shè)目標(biāo)渲染特效； 獲取模塊，用于選定音視頻并獲取音視頻的視頻幀數(shù)據(jù)和/或音頻幀數(shù)據(jù)； 渲染引擎，用于根據(jù)所述目標(biāo)渲染特效對(duì)所述視頻幀數(shù)據(jù)和/或音頻幀數(shù)據(jù)進(jìn)行渲染并輸出 宣染結(jié)果。
11.如權(quán)利要求10所述的音視頻編輯系統(tǒng)，其特征在于，所述渲染引擎包括CPU單元和GPU單元。
12.如權(quán)利要求11所述的音視頻編輯系統(tǒng)，其特征在于，所述CPU單元和GPU單元用于對(duì)視頻幀數(shù)據(jù)進(jìn)行渲染。
13.如權(quán)利要求12所述的音視頻編輯系統(tǒng)，其特征在于，所述CPU單元用于對(duì)視頻幀數(shù)據(jù)進(jìn)行預(yù)處理及將視頻幀數(shù)據(jù)的渲染結(jié)果在內(nèi)存中進(jìn)行數(shù)據(jù)裝配后輸出給一音視頻編碼器； 所述GPU單元用于對(duì)經(jīng)過預(yù)處理的視頻幀數(shù)據(jù)依次進(jìn)行紋理裝配、特效合成和文本水印合成并直接將視頻幀數(shù)據(jù)的渲染結(jié)果輸出給一顯示設(shè)備。
14.如權(quán)利要求12所述的音視頻編輯系統(tǒng)，其特征在于，所述CPU單元用于對(duì)視頻幀數(shù)據(jù)依次進(jìn)行預(yù)處理、特效合成和文本水印合成并將視頻幀數(shù)據(jù)的渲染結(jié)果輸出給一音視頻編碼器； 所述GPU單元用于對(duì)經(jīng)過預(yù)處理的視頻幀數(shù)據(jù)依次進(jìn)行紋理裝配、特效合成和文本水印合成并直接將視頻幀數(shù)據(jù)的渲染結(jié)果輸出給一顯示設(shè)備。
15.如權(quán)利要求10所述的音視頻編輯系統(tǒng)，其特征在于，所述CPU單元對(duì)音頻幀數(shù)據(jù)進(jìn)行渲染并將音頻幀數(shù)據(jù)的渲染結(jié)果輸出給播放設(shè)備和/或一音視頻編碼器。
16.如權(quán)利要求10所述的音視頻編輯系統(tǒng)，其特征在于，所述獲取模塊通過一幀重采樣器獲取視頻文件的視頻幀數(shù)據(jù)和/或音頻幀數(shù)據(jù)。
全文摘要
本發(fā)明涉及一種音視頻編輯方法及系統(tǒng)，所述方法包括預(yù)設(shè)目標(biāo)渲染特效；選定音視頻并獲取音視頻的視頻幀數(shù)據(jù)和/或音頻幀數(shù)據(jù)；渲染引擎根據(jù)所述目標(biāo)渲染特效對(duì)所述視頻幀數(shù)據(jù)和/或音頻幀數(shù)據(jù)進(jìn)行渲染并輸出渲染結(jié)果。本發(fā)明能夠使用戶不再局限于在PC上進(jìn)行音視頻編輯工作，可以基于移動(dòng)終端對(duì)音視頻進(jìn)行多種實(shí)時(shí)編輯操作，有效提高用戶體驗(yàn)。
文檔編號(hào)H04N5/262GK102638658SQ201210052270
公開日2012年8月15日 申請(qǐng)日期2012年3月1日 優(yōu)先權(quán)日2012年3月1日
發(fā)明者李軍, 楊繼珩, 趙志猛, 陸堅(jiān) 申請(qǐng)人:盛樂信息技術(shù)(上海)有限公司