本發(fā)明涉及一種視頻生成系統(tǒng)和方法。
背景技術(shù):
多媒體平臺可以是電視(television,簡稱TV)、機頂盒(set top box,簡稱STB)、移動設(shè)備、個人計算機(personal computer,簡稱PC)、智能手表,智能眼鏡、智能鏡、車載多媒體屏等。視頻化平臺可提供一種框架,該框架將內(nèi)容轉(zhuǎn)換成在多媒體平臺等多媒體環(huán)境下的個性化視頻內(nèi)容。視頻化系統(tǒng)就是一種提供這類視頻化平臺的系統(tǒng)。
諸如移動應(yīng)用程序、互聯(lián)網(wǎng)應(yīng)用程序等的多種應(yīng)用程序提供了多種視頻化系統(tǒng)。一些視頻化系統(tǒng)主要從互聯(lián)網(wǎng)獲取數(shù)據(jù)資源,如在購物比較、引擎搜索操作、在線屏幕播放、虛擬個人助理和社交媒體等行為中獲取。
技術(shù)實現(xiàn)要素:
根據(jù)一示例,提供了一種視頻生成方法。所述方法包括:獲取一個或多個數(shù)據(jù)部分,并使用所述一個或多個數(shù)據(jù)部分和一個或多個視頻生成模板生成可定制視頻;使用一個或多個對象定義在所述可定制視頻中確定一個或多個可選對象;接收指示,所述指示表明對應(yīng)于對象定義的至少一個可選對象的用戶選擇;獲取與對應(yīng)于所述指示的所述至少一個可選對象相關(guān)的附加數(shù)據(jù)部分;使用所述附加數(shù)據(jù)部分和對應(yīng)于所述指示的所述一個或多個數(shù)據(jù)部分再生成所述可定制視頻。
根據(jù)一示例,提供了一種視頻處理設(shè)備。所述設(shè)備包括存儲指令的存儲器和耦合到所述存儲器的處理器。所述處理器讀取并執(zhí)行所述指令,用以:獲取一個或多個數(shù)據(jù)部分,并使用所述一個或多個數(shù)據(jù)部分和一個或多個視頻生成模板生成可定制視頻;使用一個或多個對象定義在所述可定制視頻中確定一個或多個可選對象;接收指示,所述指示表明對應(yīng)于對象定義的至少一個可選對象的用戶選擇;獲取與對應(yīng)于所述指示的所述至少一個可選對象相關(guān)的附加數(shù)據(jù)部分;使用對應(yīng)于所述指示的所述附加數(shù)據(jù)部分再生成所述可定制視頻。
一種視頻處理設(shè)備,包括:數(shù)據(jù)獲取模塊,用于獲取一個或多個數(shù)據(jù)部分,并使用所述一個或多個數(shù)據(jù)部分和一個或多個視頻生成模板生成可定制視頻;確定模塊,用于使用一個或多個對象定義在所述可定制視頻中確定一個或多個可選對象;以及接收器,用于接收指示,所述指示表明對應(yīng)于對象定義的至少一個可選對象的用戶選擇;所述數(shù)據(jù)獲取模塊還用于獲取與對應(yīng)于所述指示的所述至少一個可選對象相關(guān)的附加數(shù)據(jù)部分,并使用對應(yīng)于所述指示的所述附加數(shù)據(jù)部分再生成所述可定制視頻。
附圖說明
為了更完整地理解本發(fā)明及其優(yōu)點,現(xiàn)在參考下文結(jié)合附圖進行的描述。
圖1示出了一實施例提供的可定制視頻系統(tǒng);
圖2示出了交互式視頻生成方法的一實施例;
圖3示出了在云服務(wù)中工作的視頻生成系統(tǒng)的一實施例;
圖4示出了視頻生成模板的生成過程的一實施例;
圖圖5示出了根據(jù)任何實施例的可用于實現(xiàn)如本文所述設(shè)備和方法的計算平臺。
具體實施方式
下文將詳細論述當(dāng)前優(yōu)選實施例的結(jié)構(gòu),制作和使用。然而,應(yīng)了解,本發(fā)明提供可在各種具體上下文中體現(xiàn)的許多適用的發(fā)明性概念。所論述的具體實施例僅僅說明用以實施和使用本發(fā)明的具體方式,而不限制本發(fā)明的范圍。
視頻自動生成通過視頻化和人機交互手段允許用戶與各種應(yīng)用程序動態(tài)交互。
視頻中的元素可以為動態(tài)成分,包括圖像、視頻片段、音頻片段、文本圖像、背景音樂和/或視頻相關(guān)的人聲或合成聲音等。
媒體元素特征可包括文本特征、音頻特征、視頻特征、圖像特征或其組合?;咎卣骺梢詾槔?,文本顏色、圖像大小、圖形形狀、視頻分辨率等。更高級的特征可以為例如,音樂情感、畫面語氣、句子情感等。
圖1示出了一實施例提供的可定制視頻系統(tǒng)100。本實施例中所示的所述可定制視頻系統(tǒng)100包括數(shù)據(jù)獲取組件105、內(nèi)容策展組件107、視頻生成組件109、呈現(xiàn)組件111和用戶界面組件101??蛇x地,所述可定制視頻系統(tǒng)100可包括自然語言界面103。在一些實施例中,所述數(shù)據(jù)獲取組件105至少耦合到所述用戶界面組件101和所述內(nèi)容策展組件107。所述內(nèi)容策展組件107還可耦合到所述視頻生成組件109,所述視頻生成組件109可耦合到所述呈現(xiàn)組件111。所述自然語言界面103可耦合到視頻服務(wù)系統(tǒng)113。
所述用戶界面組件101和所述呈現(xiàn)組件111可包括單獨組件,也可包括集成單元。在一些實施例中,所述自然語言界面103、所述數(shù)據(jù)獲取組件105、所述內(nèi)容策展組件107和所述視頻生成組件109包括視頻化引擎。
另外,所述可定制視頻系統(tǒng)100可包括一個或多個視頻生成模板。所述一個或多個視頻生成模板包括可用于處理、組合和/或生成視頻部分的模板。進一步地,所述視頻生成模板120可用于處理、組合和/或生成數(shù)據(jù)部分以得到視頻部分,包括組合和/或生成視頻、文本、音頻、圖像或動畫部分和/或任何其他合適數(shù)據(jù)。
所述可定制視頻系統(tǒng)100生成可定制視頻。用戶能夠使用所述可定制視頻系統(tǒng)100生成可定制視頻。所述用戶能夠使用所述可定制視頻系統(tǒng)100播放并觀看所述可定制視頻,其中,所述可定制視頻包括一個或多個可選對象。
用戶能夠在所述可定制視頻中選擇或指示可選對象,如突顯所述可選對象,將光標(biāo)或定點元素置于所述可選光標(biāo)之上或附近,確定用戶的眼動和/或凝視位置,接收來自用戶的聲音指示或其他合適指示等。作為響應(yīng),所述可定制視頻系統(tǒng)100能夠再生成所述可定制視頻,獲取附加主題并將其納入所述可定制視頻。所述附加主題可能與所述用戶選擇或指示的所述可選對象相關(guān)。因此,所述可定制視頻系統(tǒng)100快速且便捷地對所述可定制視頻進行修改,并呈現(xiàn)給所述用戶。這樣,用戶無需手動尋找并獲取所述附加主題。用戶也無需手動納入所述附加主題。
僅通過選擇所述可定制視頻中的一個或多個可選對象或顯示對其感興趣,用戶就能修改所述可定制視頻。通過連續(xù)地選擇所述可定制視頻中的可選對象,用戶能夠反復(fù)地改變或精細化所述可定制視頻。所述可定制視頻系統(tǒng)100能實時或接近實時地生成可定制視頻。所述可定制視頻系統(tǒng)100能夠在向用戶呈現(xiàn)所述可定制視頻期間再生成所述可定制視頻。
所述用戶界面組件101耦合到所述數(shù)據(jù)獲取組件105。所述用戶界面組件101可與用戶交互通信,例如,包括接收用戶輸入等。所述用戶輸入可包括任何合適的輸入,例如,包括機械輸入、音頻輸入、光輸入、電或磁輸入、或接近傳感器輸入等。其它輸入類型也予以考慮并且在說明書和權(quán)利要求書的范圍內(nèi)。
所述呈現(xiàn)組件111向用戶顯示(即呈現(xiàn))視頻。所述呈現(xiàn)組件111可包括顯示屏幕或屏幕。所述呈現(xiàn)組件111可包括揚聲器或其他音頻生成組件。所述呈現(xiàn)組件111可包括其他組件或附加組件。應(yīng)理解,在一些實施例中,所述呈現(xiàn)組件111可包括獨立組件,也可集成在所述用戶界面組件101。
若所述可定制視頻系統(tǒng)100包括所述自然語言界面,則用戶可使用所述自然語言界面103與所述可定制視頻系統(tǒng)100進行交互。例如,在一些實施例中,所述自然語言界面103進行語音分析,并響應(yīng)來自用戶的語音輸入和語音命令。在一些實施例中,所述自然語言界面103為用戶生成音頻指令和/或音頻反饋。
所述視頻生成組件109生成可定制視頻。在一些實施例中,所述視頻生成組件109將一個或多個部分進行組合和/或集成,從而創(chuàng)建可定制視頻。在一些實施例中,所述一個或多個數(shù)據(jù)部分包括視頻部分。但應(yīng)理解,所述一個或多個數(shù)據(jù)部分可包括其他數(shù)據(jù),包括圖像、動畫、音頻、文本以及其他數(shù)據(jù)部分。
作為生成可定制視頻的部件,所述可定制視頻系統(tǒng)100能夠在所述可定制視頻中確定可選對象。在一些實施例中,所述可定制視頻系統(tǒng)100可使用視頻生成模板xxx來確定可選對象。針對所述可定制視頻中確定的每個可選對象,生成對象定義。
所述確定可選對象可包括分析所述可定制視頻的部分。對可選對象的分析可包括對所述可定制視頻中的語音音頻進行自然語言處理。對可選對象的分析可包括對所述可定制視頻進行形態(tài)分析。對可選對象的分析可包括對所述可定制視頻中的語音音頻和/或文本進行語義分析。對可選對象的分析可包括對所述可定制視頻進行視頻分析。對可選對象的分析可包括對所述可定制視頻中的圖像進行圖像分析。所述對可選對象的分析可包括對所述可定制視頻進行音頻分析。所述音頻分析可以指出用戶(或其他觀看者)可能會感興趣的音頻部分。對可選對象的分析可包括對所述可定制視頻進行情感分析。所述情感分析可確定所述可定制視頻中正在傳達或試圖傳達的情感。
所述內(nèi)容策展組件107策展數(shù)據(jù)部分,以在可定制視頻中使用。所述內(nèi)容策展組件107可存儲數(shù)據(jù)部分。在一些實施例中,所述內(nèi)容策展組件107能夠處理數(shù)據(jù)部分,如過濾、銳化數(shù)據(jù)部分,改變數(shù)據(jù)部分的光線、顏色或?qū)Ρ榷龋蛱幚砗?或改進所述數(shù)據(jù)部分。在一些實施例中,所述內(nèi)容策展組件107組織數(shù)據(jù)部分。在一些實施例中,所述內(nèi)容策展組件107維護數(shù)據(jù)部分,包括獲取對數(shù)據(jù)部分的更新或改變。在一些實施例中,所述內(nèi)容策展組件107對數(shù)據(jù)部分進行分級、排列、排序,其中,所述可定制視頻系統(tǒng)100能夠區(qū)別多個類似或可互換的數(shù)據(jù)部分,并從中選擇所需的數(shù)據(jù)部分。
所述數(shù)據(jù)獲取組件105獲取數(shù)據(jù)部分,以在可定制視頻中使用。在一些實施例中,所述數(shù)據(jù)獲取組件105可搜索待獲取的數(shù)據(jù)部分。
視頻生成模板120包括一種構(gòu)造,該構(gòu)造能夠接受合適的輸入數(shù)據(jù)并過濾掉無法接受或不需要的輸入數(shù)據(jù)。視頻生成模板120包括一種構(gòu)造,該構(gòu)造能夠?qū)⑤斎霐?shù)據(jù)轉(zhuǎn)換成一種或多種可用的或更好的數(shù)據(jù)格式。視頻生成模板120包括一種構(gòu)造,該構(gòu)造能夠改進或優(yōu)化數(shù)據(jù)部分。視頻生成模板120包括一種構(gòu)造,該構(gòu)造能夠組合數(shù)據(jù)部分。視頻生成模板120包括一種構(gòu)造,該構(gòu)造能夠確定任一可選對象是否包括在所述數(shù)據(jù)部分中。
視頻生成模板120可包括數(shù)據(jù)接收規(guī)則或功能。視頻生成模板120可包括數(shù)據(jù)處理規(guī)則或功能。視頻生成模板120可包括視頻生成規(guī)則或功能。因此,視頻生成模板120能夠用于接收數(shù)據(jù)部分、處理數(shù)據(jù)部分、組合數(shù)據(jù)部分、包括和/或指出可定制視頻中的可選對象。
操作中,所述可定制視頻系統(tǒng)100接收用戶輸入和/或命令,以生成可定制視頻。所述可定制視頻系統(tǒng)100向用戶提供一種或多種視頻生成模板。所述可定制視頻系統(tǒng)100獲取一個或多個數(shù)據(jù)部分,使用一個或多個視頻生成模板組合所述一個或多個視頻部分,并生成所述可定制視頻。此外,所述可定制視頻系統(tǒng)100能夠使用所述一個或多個視頻生成模板以任何合適的方式處理數(shù)據(jù)部分。進一步地,所述可定制視頻系統(tǒng)100能夠使用所述一個或多個視頻生成模板來確定所述可定制視頻中的一個或多個可選對象。所述可定制視頻系統(tǒng)100使用一個或多個對象定義在所述可定制視頻中確定一個或多個可選對象。所述可定制視頻系統(tǒng)100接收指示,所述指示表明對應(yīng)于對象定義的至少一個可選對象的用戶選擇;獲取與對應(yīng)于所述指示的所述至少一個可選對象相關(guān)的附加數(shù)據(jù)部分;并使用所述附加數(shù)據(jù)部分和對應(yīng)于所述指示的所述一個或多個數(shù)據(jù)部分再生成所述可定制視頻。
所述視頻生成系統(tǒng)100向用戶提供視頻生成模板,并通過自然語言界面103與用戶進行交互。視頻化引擎110包括自然語言界面103、數(shù)據(jù)獲取模塊105、內(nèi)容策展模塊107、視頻生成模塊109和呈現(xiàn)模塊111。在一些實施例中,所述視頻化引擎110用于通過所述自然語言界面103與用戶進行交互。
在一些實施例中,所述數(shù)據(jù)獲取模塊105可通過其他搜索引擎和/或資源采集數(shù)據(jù),如產(chǎn)生圖像和視頻。所述內(nèi)容策展模塊107可選擇數(shù)據(jù)、準(zhǔn)備視頻場景、生成包含對象定義的可擴展標(biāo)記語言(extensible markup language,簡稱XML)文件。將所述XML文件和所述數(shù)據(jù)傳遞給所述視頻生成模塊。所述視頻生成模塊109可通過語音播報引擎生成音頻文件,組合圖象和音頻文件,并應(yīng)用動畫或特效來合成視頻。所述視頻通過所述呈現(xiàn)模塊呈現(xiàn)給用戶。生成的視頻與手動產(chǎn)生的視頻不同之處在于可定制性。這一視頻生成系統(tǒng)100可通過自然語言界面103或數(shù)據(jù)獲取模塊105與服務(wù)視頻系統(tǒng)產(chǎn)生聯(lián)系。在一些實施例中,所述數(shù)據(jù)獲取模塊105收集來自購物代理等服務(wù)模塊的數(shù)據(jù),所述購物代理對不同零售商的產(chǎn)品特征和價格進行比較。例如,這一視頻生成系統(tǒng)100能用于購物系統(tǒng)中向用戶呈現(xiàn)產(chǎn)品對比。根據(jù)顧客搜索的產(chǎn)品,可從該系統(tǒng)中生成視頻。這一系統(tǒng)也能應(yīng)用于視頻回鈴音的情況中,為客戶提供視頻鈴音;或應(yīng)用于銀行視頻化系統(tǒng),使用視頻化引擎以自動生成針對用戶定制的個人財務(wù)和銀行視頻;或應(yīng)用于即時通訊系統(tǒng),用戶通過視頻化引擎的自然語言界面創(chuàng)作消息,此消息可直接傳遞給即時通訊服務(wù)。
圖2示出了交互式視頻生成方法200的一實施例。所述方法包括:獲取一個或多個數(shù)據(jù)部分201,并使用所述一個或多個數(shù)據(jù)部分和一個或多個視頻生成模板203生成可定制視頻;使用一個或多個對象定義2053在所述可定制視頻205中確定一個或多個可選對象2051;接收指示,所述指示表明對應(yīng)于對象定義2053的至少一個可選對象2051的用戶選擇207;獲取與對應(yīng)于所述指示207的所述至少一個可選對象2051相關(guān)的附加數(shù)據(jù)部分;(209)使用所述附加數(shù)據(jù)部分和對應(yīng)于所述指示207的所述一個或多個數(shù)據(jù)部分201再生成所述可定制視頻205。
所述數(shù)據(jù)部分可包括能夠納入視頻中的任何數(shù)據(jù)。數(shù)據(jù)部分的大小和長度任意。在一些實施例中,數(shù)據(jù)部分可以為從互聯(lián)網(wǎng)或其他一些資源中能夠搜索到的最小元素。例如,數(shù)字、詞組、文件、關(guān)鍵詞、圖像、音頻片段等。但上述例子僅僅是為了說明而非限制或窮舉。
所述指示表明可選對象的用戶選擇。所述指示可由用戶或機器給出,用于顯示所述視頻生成程序平臺或視頻生成系統(tǒng)“理解”的指令。
可選對象包括可定制視頻中用戶可選擇或指示的對象。所述可選對象可以為音頻片段、視頻片段的一部分、圖像、圖形和/或文本的片段,或者可以為由于進一步的目的而選為待處理的對象的元素的組合,例如,為了指示播放器播放與所述對象相關(guān)的另一視頻片段而選擇的對象??蛇x對象也可以為整個視頻或視頻片段。
對象定義可以為描述對象的關(guān)聯(lián)信息的定義。對象的特征可以為顏色、大小、形狀等。所述對象定義可包括,例如:(1)對象的元數(shù)據(jù),如關(guān)于對象的附加描述、作者、版本號、版權(quán)信息、價格、相關(guān)描述性信息或任何其他合適的信息;(2)關(guān)于已開啟或允許互動的指令,例如,“點擊”顯示W(wǎng)eb URL,“打開鼠標(biāo)”顯示疊加一些元數(shù)據(jù),“按下按鈕1”執(zhí)行一些程序或者調(diào)用API等等。
所述確定一個或多個可選對象還可包括從所述一個或多個數(shù)據(jù)部分中提取媒體元素特征。所述確定一個或多個可選對象還可包括用所述一個或多個對象定義標(biāo)記不同級別的媒體元素特征。所述確定一個或多個可選對象還可包括將所述不同級別的媒體元素特征中的媒體元素特征標(biāo)記為可選對象。
所述對象定義可定義在文件中,例如,可擴展標(biāo)記語言(extensible markup language,簡稱XML)文件。因此,當(dāng)用戶選擇或指示可選對象時,所述視頻生成系統(tǒng)100的組件能傳遞或訪問對應(yīng)的XML文件。所述指示可包括將對象定義添加到視頻描述文件中的視頻描述文件。
所述方法還可包括根據(jù)用戶的調(diào)度更新所述可定制視頻。
所述方法還可包括再生成所述可定制視頻之后,使用更多對象定義確定更多可選對象。
視頻化將互聯(lián)網(wǎng)內(nèi)容和/或其他內(nèi)容轉(zhuǎn)換成可個性化的用戶友好型視頻內(nèi)容,可在TV、移動設(shè)備、PC、車載計算機或其他任何合適的設(shè)備上進行觀看。視頻化可允許用戶觀看和收聽互聯(lián)網(wǎng),而不必閱讀單個網(wǎng)頁。這樣一來,用戶能更好地鑒賞互聯(lián)網(wǎng)公共資源。根據(jù)本實施例,用戶可以被動地接收內(nèi)容,也可控制并定制內(nèi)容互聯(lián)網(wǎng)內(nèi)容可基于該內(nèi)容的資源和類型進行分類。在該系統(tǒng)中,每一分類均可呈現(xiàn)為單獨的頻道。例如,包括多個網(wǎng)頁的社交網(wǎng)絡(luò)互聯(lián)網(wǎng)網(wǎng)站可呈現(xiàn)為一個頻道,該網(wǎng)站的帖子可呈現(xiàn)為分集。
圖3示出了在云服務(wù)中工作的視頻生成系統(tǒng)的一實施例;視頻化云服務(wù)系統(tǒng)300包括視頻化層310、儲存庫層330和應(yīng)用層350??紤]到軟件設(shè)計原理,所述層的設(shè)計以對象為中心。所述層通過應(yīng)用程序接口(application programming interface,簡稱API)集成,所述應(yīng)用程序接口可作為簡單對象訪問協(xié)議(Simple Object Access Protocol,簡稱SOAP)和表征狀態(tài)轉(zhuǎn)移(Representational State Transfer,簡稱REST)等互聯(lián)網(wǎng)服務(wù)實現(xiàn)。本領(lǐng)域技術(shù)人員應(yīng)理解,也可應(yīng)用其他協(xié)議。
所述視頻化層310包括數(shù)據(jù)獲取模塊311、內(nèi)容策展模塊313和視頻生成模塊315。所述數(shù)據(jù)獲取模塊311包括社交提取器、網(wǎng)頁提取器、電子節(jié)目導(dǎo)航(electronic program guide,簡稱EPG)提取器、新聞提取器。在一實施例中,所述數(shù)據(jù)獲取模塊311包括社交提取器、網(wǎng)頁提取器和EPG提取器。不同種類(如社交媒體、新聞和產(chǎn)品)和格式(如XML、超文本標(biāo)記語言(Hypertext Markup Language,簡稱HTML)、圖像和視頻)的數(shù)據(jù)均可被收集和視頻化。內(nèi)容策展(content curation,簡稱CC)組件313包括形態(tài)分析、語義分析、情感分析、多情態(tài)分析、語音識別、啟發(fā)式規(guī)則、算法和信息呈現(xiàn)。
如本申請中前文所述,所述內(nèi)容策展模塊313可指收集、組織、顯示與特定主體相關(guān)的信息的過程。所述CC組件313可實現(xiàn)所述對象定義。
所述視頻生成組件315包括可視化模塊、轉(zhuǎn)碼模塊和腳本模塊。所述可視化模塊通過所述CC組件313提供的指令生成3D視頻內(nèi)容。所述轉(zhuǎn)碼模塊解碼收集到的多媒體內(nèi)容以供所述可視化模塊使用,并將所述可視化模塊的輸出編碼為所需格式。所述腳本模塊提供動作類和導(dǎo)演類腳本以供所述可視化模塊使用,并處理與其他模塊間的腳本集成。所述腳本模塊提供使用JavaScript技術(shù)的API。第三方開發(fā)者能使用所述API將自己的視聽動畫、動作、和導(dǎo)演模板添加到所述系統(tǒng)中。動作腳本是針對如補間、旋轉(zhuǎn)、縮放和平移等常見動作動畫的JavaScript指令。第三方開發(fā)者可使用提供的預(yù)定義腳本或?qū)⒆约旱膭赢嬏砑拥絼幼髂_本數(shù)據(jù)庫。導(dǎo)演腳本解析CC指令,并生成視頻時間軸,所述時間軸描述在何時、何地以及如何根據(jù)預(yù)定義模板將從網(wǎng)頁收集到的內(nèi)容呈現(xiàn)出來。第三方開發(fā)者可使用預(yù)定義腳本或根據(jù)其意圖添加自己的腳本。所述視頻化層310使用NLP、圖像處理和計算機制圖技術(shù)將獲取到的結(jié)構(gòu)內(nèi)容(如社交資料和網(wǎng)頁)轉(zhuǎn)換成視頻格式。所述儲存庫層330包括用戶資料、多媒體儲存庫、知識庫和視頻儲存庫。所述多媒體儲存庫存儲有視頻生成中的基本多媒體內(nèi)容,所述視頻儲存庫存儲生成的視頻。所述應(yīng)用層350包括視頻化API 353和前述多種頻道351。所述應(yīng)用層350包含高水平服務(wù),包括但不限于針對數(shù)據(jù)提取的與外部網(wǎng)站集成以及針對頻道的與用戶界面集成。在一實施例中,針對圖像和視頻處理模塊以C++實現(xiàn)軟件,兼以Java實現(xiàn)軟件。所述視頻化云服務(wù)系統(tǒng)包括預(yù)定義動畫的數(shù)據(jù)庫和以JavaScript寫成的導(dǎo)演腳本,使第三方開發(fā)者能將其自己的腳本添加到所述系統(tǒng)中。進一步地,可用的商業(yè)和開源軟件發(fā)展和管理工具包括但不限于用于圖像和視頻處理的OpenCV,以及用于NLP的OpenNLP。
提供了另一實施例。劇本系統(tǒng)的可視化包括內(nèi)容策展模塊,用于為視頻生成模塊創(chuàng)建劇本XML數(shù)據(jù)。所述內(nèi)容策展模塊指導(dǎo)所述劇本系統(tǒng)的可視化,并確定如何將提取的網(wǎng)頁內(nèi)容呈現(xiàn)給單個TV觀眾。所述內(nèi)容策展模塊支持自然語言處理、語義網(wǎng)頁、多情態(tài)總結(jié)和個性化研究挑戰(zhàn)。所述內(nèi)容策展模塊最終輸出稱為視頻化視頻描述語言的XML文件,定義生成視頻的內(nèi)容。所述視頻描述語言包括多個場景元素。每個場景元素可包括文本項、視覺項(圖像和視頻)和聽覺項。以下為視頻化視頻描述語言文件的句法的一個實例。
圖4示出了視頻生成模板的生成過程的一實施例。可從數(shù)據(jù)獲取模塊中提取認為有用的關(guān)鍵信息401在內(nèi)容策展模塊中,不同模塊研究不同規(guī)則或原理,如審美規(guī)則模塊4031、感知原理模塊4033、優(yōu)化呈現(xiàn)模塊4035或移動顯示器可讀性約束模塊4037,均可生成視頻模板405,從而后續(xù)視頻可參考所述視頻模板。視頻生成模塊可使用圖像和視頻處理將所述內(nèi)容策展模塊的輸出(如XML內(nèi)容)轉(zhuǎn)換成視頻。在轉(zhuǎn)換過程中,所述視頻生成模塊編輯視頻功能,如進行縮放、改變尺寸或過濾。例如,所有接收到的視覺、聽覺和文本內(nèi)容均視為演員,導(dǎo)演腳本通過解析并詮釋所述內(nèi)容策展模塊生成的XML為所述演員分配角色。動作腳本則定義了各個演員的入場和出場時間,以及每個執(zhí)行時間步驟中的相應(yīng)動作。
提供了另一實施例。一種視頻處理設(shè)備,包括:數(shù)據(jù)獲取模塊,用于獲取一個或多個數(shù)據(jù)部分,并使用所述一個或多個數(shù)據(jù)部分和一個或多個視頻生成模板生成可定制視頻;確定模塊,用于使用一個或多個對象定義在所述可定制視頻中確定一個或多個可選對象;以及接收器,用于接收指示,所述指示表明對應(yīng)于對象定義的至少一個可選對象的用戶選擇;所述數(shù)據(jù)獲取模塊還用于獲取與對應(yīng)于所述指示的所述至少一個可選對象相關(guān)的附加數(shù)據(jù)部分,并使用對應(yīng)于所述指示的所述附加數(shù)據(jù)部分再生成所述可定制視頻。
通過將所述視頻處理設(shè)備中的不同元素或模塊與所述實施例進行匹配,所述視頻處理設(shè)備可執(zhí)行如上所述的方法。
圖圖5示出了根據(jù)任何實施例的可用于實現(xiàn)如本文所述的設(shè)備和方法的計算平臺1100。特定設(shè)備可利用所有所示的組件或所述組件的僅一子集,且設(shè)備之間的集成程度可能不同。此外,設(shè)備可以包括組件的多個實例,如多個處理單元、處理器、存儲器、發(fā)射器、接收器等。實施例中的處理系統(tǒng)1101包括配備一個或多個輸入/輸出設(shè)備,例如揚聲器、麥克風(fēng)、鼠標(biāo)、觸摸屏、按鍵、鍵盤、打印機、顯示器等的處理單元(未示出)。處理單元1100可以包括連接至總線1140的中央處理器(central processing unit,簡稱CPU)1110、存儲器1120、大容量存儲器設(shè)備1130和I/O接口1160。
總線1140可以是任意類型的若干總線架構(gòu)中的一個或多個,包括存儲總線或存儲控制器、外設(shè)總線、視頻總線等等。所述CPU 1110可包括任何類型的電子數(shù)據(jù)處理器。存儲器1120可包括任意類型的非瞬時性系統(tǒng)存儲器,如靜態(tài)隨機存取存儲器(static random access memory,簡稱SRAM)、動態(tài)隨機存取存儲器(dynamic random access memory,簡稱DRAM)、同步DRAM(synchronous DRAM,簡稱SDRAM)、只讀存儲器(read-only memory,簡稱ROM)或其組合等等。在一實施例中,存儲器1120可包括在開機時使用的ROM以及在執(zhí)行程序時使用的存儲程序和數(shù)據(jù)的DRAM。
大容量存儲器設(shè)備1130可包括任意類型的非瞬時性存儲設(shè)備,用于存儲數(shù)據(jù)、程序和其它信息,并使這些數(shù)據(jù)、程序和其它信息通過總線訪問。例如,大容量存儲器設(shè)備1130可包括如下所述的一種或多種:固態(tài)磁盤、硬盤驅(qū)動器、磁盤驅(qū)動器、光盤驅(qū)動器等等。
I/O接口1160將外部輸入和輸出設(shè)備耦合到處理單元1100。如圖所示,輸入和輸出設(shè)備的示例包括耦合到I/O接口1160的顯示器和鼠標(biāo)/鍵盤/打印機(未示出)。其它設(shè)備可以耦合到處理器單元1100,并且可以使用額外或更少的接口設(shè)備。例如,可使用如通用串行總線(Universal Serial Bus,簡稱USB)(未示出)等串行接口為打印機提供接口。
處理單元還包括一個或多個網(wǎng)絡(luò)接口1150,網(wǎng)絡(luò)接口1150可包括以太網(wǎng)電纜等有線鏈路,和/或到接入節(jié)點或者不同網(wǎng)絡(luò)1180的無線鏈路。網(wǎng)絡(luò)接口1150允許處理單元通過網(wǎng)絡(luò)1180與遠程單元通信。例如,網(wǎng)絡(luò)接口1150可以通過一個或多個發(fā)射器/發(fā)射天線1170以及一個或多個接收器/接收天線提供無線通信。在一實施例中,所述處理單元與局域網(wǎng)或者廣域網(wǎng)耦合以進行數(shù)據(jù)處理以及與如其他處理單元、互聯(lián)網(wǎng)、遠端存儲設(shè)備等遠端設(shè)備進行通信。
例如,根據(jù)一示例,提供了一種視頻處理設(shè)備。所述設(shè)備包括存儲指令的存儲器,以及耦合到所述存儲器的處理器,所述處理器讀取并執(zhí)行所述指令,用以:獲取一個或多個數(shù)據(jù)部分,并使用所述一個或多個數(shù)據(jù)部分和一個或多個視頻生成模板生成可定制視頻;使用一個或多個對象定義在所述可定制視頻中確定一個或多個可選對象;接收指示,所述指示表明對應(yīng)于對象定義的至少一個可選對象的用戶選擇;獲取與對應(yīng)于所述指示的所述至少一個可選對象相關(guān)的附加數(shù)據(jù)部分;使用對應(yīng)于所述指示的所述附加數(shù)據(jù)部分再生成所述可定制視頻。
人們可將其生成的視頻上傳至自己的頻道,并隨時隨地地吸引和發(fā)展觀眾。
例如,用戶連接到一個或多個社交媒體平臺,社交媒體視頻系統(tǒng)根據(jù)用戶的需求從預(yù)定義的授權(quán)社交媒體平臺采集數(shù)據(jù)。
雖然本發(fā)明中已提供若干實施例,但應(yīng)理解,在不脫離本發(fā)明的精神或范圍的情況下,本發(fā)明所公開的系統(tǒng)和方法可以以許多其他特定形式來體現(xiàn)。本發(fā)明的實例應(yīng)被視為說明性而非限制性的,且本發(fā)明并不限于本文本所給出的細節(jié)。例如,各種元件或部件可以在另一系統(tǒng)中組合或合并,或者某些特征可以省略或不實施。
此外,在不脫離本發(fā)明的范圍的情況下,各種實施例中描述和說明為離散或單獨的技術(shù)、系統(tǒng)、子系統(tǒng)和方法可以與其它系統(tǒng)、模塊、技術(shù)或方法進行組合或合并。展示或論述為彼此耦合或直接耦合或通信的其它項也可以采用電方式、機械方式或其它方式通過某一接口、設(shè)備或中間部件間接地耦合或通信。其他變化、替代和改變的示例可以由本領(lǐng)域的技術(shù)人員在不脫離本文精神和所公開的范圍的情況下確定。