本發(fā)明屬于計算機技術(shù)領(lǐng)域,尤其涉及一種自動導(dǎo)播方法及裝置。
背景技術(shù):
在目前的導(dǎo)播課堂中,每次開課前需指派一名導(dǎo)播老師,專門負(fù)責(zé)直錄播課堂的導(dǎo)播工作;導(dǎo)播老師根據(jù)導(dǎo)播臺或?qū)Р?yīng)用控制多機位攝像頭的運動。導(dǎo)播分為自動導(dǎo)播、半自動導(dǎo)播和手動導(dǎo)播三種模式:自動導(dǎo)播模式是根據(jù)上課老師的特定動作進(jìn)行跟蹤識別,根據(jù)學(xué)生的坐下起立動作進(jìn)行跟蹤識別;半自動導(dǎo)播模式是具有自動導(dǎo)播的部分功能,同時又可以手動進(jìn)行切換;手動導(dǎo)播全部由導(dǎo)播老師進(jìn)行手動控制攝像頭切換跟蹤。即便是自動導(dǎo)播,若沒有識別出特定動作,也不能進(jìn)行跟蹤,因此每個教室都需要指派導(dǎo)播老師,造成人力浪費;每次開課都需要指派導(dǎo)播老師,且需要額外的導(dǎo)播臺或?qū)Р?yīng)用進(jìn)行控制,造成開發(fā)成本的浪費,且流程復(fù)雜。
技術(shù)實現(xiàn)要素:
本發(fā)明提供一種自動導(dǎo)播方法及裝置,以解決上述問題。
本發(fā)明公開了一種自動導(dǎo)播方法,包括:識別所采集的音頻信息;根據(jù)音頻識別結(jié)果從數(shù)據(jù)庫中查找出對應(yīng)的第一特征數(shù)據(jù);基于所述第一特征數(shù)據(jù)控制攝像設(shè)備的運動,完成導(dǎo)播。
本發(fā)明還公開了一種自動導(dǎo)播裝置,包括:音頻識別單元,用于識別所采集的音頻信息;
查找單元,用于根據(jù)音頻識別結(jié)果從數(shù)據(jù)庫中查找出對應(yīng)的第一特征數(shù)據(jù);導(dǎo)播單元,用于基于所述第一特征數(shù)據(jù)控制攝像設(shè)備的運動,完成導(dǎo)播。
根據(jù)本發(fā)明提供的技術(shù)方案,根據(jù)音頻識別結(jié)果控制攝像機的運動,完成自動導(dǎo)播,無需導(dǎo)播人員和導(dǎo)播設(shè)備的配置,保障課堂互動和直播效果。
此外,還可以結(jié)合課表完成自動開課過程,包括課程的開始、暫停和結(jié)束,也無需導(dǎo)播人員,提高了系統(tǒng)的智能型,也節(jié)省人力成本。
附圖說明
此處所說明的附圖用來提供對本發(fā)明的進(jìn)一步理解,構(gòu)成本申請的一部分,本發(fā)明的示意性實施例及其說明用于解釋本發(fā)明,并不構(gòu)成對本發(fā)明的不當(dāng)限定。在附圖中:
圖1所示為根據(jù)本發(fā)明的一較佳實施例提供的自動導(dǎo)播方法的流程圖;
圖2所示為根據(jù)本發(fā)明的一較佳實施例提供的自動導(dǎo)播裝置的框圖;
圖3所示為根據(jù)本發(fā)明的一較佳實施例提供的自動導(dǎo)播系統(tǒng)的示意圖。
具體實施方式
下文中將參考附圖并結(jié)合實施例來詳細(xì)說明本發(fā)明。需要說明的是,在不沖突的情況下,本申請中的實施例及實施例中的特征可以相互組合。
圖1所示為根據(jù)本發(fā)明的一較佳實施例提供的自動導(dǎo)播方法的流程圖。
如圖1所示,根據(jù)本發(fā)明的實施例的自動導(dǎo)播方法,包括:
步驟102,識別所采集的音頻信息;
步驟104,根據(jù)音頻識別結(jié)果從數(shù)據(jù)庫中查找出對應(yīng)的第一特征數(shù)據(jù);
步驟106,基于所述第一特征數(shù)據(jù)控制攝像設(shè)備的運動,完成導(dǎo)播。
該音頻信息主要是老師發(fā)出的音頻信息,例如上課過程中發(fā)出的指令,請小明回答問題,下面請看課件。在數(shù)據(jù)庫中提前存儲了與音頻識別結(jié)果對應(yīng)的第一特征數(shù)據(jù),根據(jù)該第一特征數(shù)據(jù)完成自動導(dǎo)播。第一特征數(shù)據(jù)除了人臉特征、物體特征之外,還可以是與音頻識別結(jié)果對應(yīng)的控制命令例如切換至學(xué)生跟蹤攝像機畫面或者切換至課件畫面的指令。
上述自動導(dǎo)播方法中的步驟106具體可以包括:
采集各目標(biāo)對象的第二特征數(shù)據(jù);
將所述第一特征數(shù)據(jù)與所述第二特征數(shù)據(jù)進(jìn)行匹配;
確定特征配對的目標(biāo)對象,控制所述攝像設(shè)備跟蹤所述配對的目標(biāo)對象。
其中,若所述音頻識別結(jié)果是預(yù)設(shè)第一關(guān)鍵詞信息,則所述第一特征數(shù)據(jù)是物體或人體特征,若所述音頻識別結(jié)果是預(yù)設(shè)第二關(guān)鍵詞信息,則所述第一特征數(shù)據(jù)是攝像機跟蹤參數(shù);
若所述第一特征數(shù)據(jù)是攝像機跟蹤參數(shù),則根據(jù)所述攝像機跟蹤參數(shù)跟蹤進(jìn)入所述攝像機拍攝視野的目標(biāo)對象。
音頻識別結(jié)果可以是人名或物體名稱,也可以是方位名稱、區(qū)域名稱、地點名稱,人名或物體名稱設(shè)置成第一關(guān)鍵詞,方位名稱、區(qū)域名稱、地點名稱設(shè)置成第二關(guān)鍵詞。預(yù)設(shè)這些關(guān)鍵詞對應(yīng)的第一特征數(shù)據(jù)。
當(dāng)識別出第一關(guān)鍵詞時,需采集現(xiàn)場的各目標(biāo)對象的第二特征數(shù)據(jù),例如各學(xué)生的人臉特征,動物的體型特征等等。與該第一關(guān)鍵詞對應(yīng)的第一特征數(shù)據(jù)也是人臉特征,將該第一特征數(shù)據(jù)與第二特征數(shù)據(jù)進(jìn)行匹配,即將現(xiàn)場的各人臉特征數(shù)據(jù)與數(shù)據(jù)庫中的人臉特征數(shù)據(jù)進(jìn)行匹配,若發(fā)現(xiàn)匹配的人臉,則確定跟蹤的學(xué)生或老師。例如,老師發(fā)出指令:請小明回答問題。識別出“小明”關(guān)鍵詞,并查找出小明的人臉特征。現(xiàn)場采集各學(xué)生的人臉特征,將該人臉特征與小明的人臉特征進(jìn)行匹配,從而發(fā)現(xiàn)小明并確定小明的位置,控制攝像機跟蹤小明,完成自動導(dǎo)播。
當(dāng)識別出第二關(guān)鍵詞時,對應(yīng)查找出數(shù)據(jù)庫中預(yù)存的第一特征數(shù)據(jù),該第一特征數(shù)據(jù)是攝像機跟蹤參數(shù)。例如,數(shù)據(jù)庫中預(yù)存黑板區(qū)域?qū)?yīng)的攝像機跟蹤參數(shù)A,學(xué)生區(qū)域?qū)?yīng)的攝像機跟蹤參數(shù)B。當(dāng)老師發(fā)出口令:請大家看黑板,則識別出第二關(guān)鍵詞“黑板”,查找出對應(yīng)的第一特征數(shù)據(jù)是攝像機跟蹤參數(shù)A,于是根據(jù)攝像機跟蹤參數(shù)A控制跟蹤攝像機的運動。
如果同時識別出第一關(guān)鍵詞和第二關(guān)鍵詞,則需要同時執(zhí)行兩種方案。例如當(dāng)老師發(fā)出口令:請小明到黑板上演算這道題。識別出第一關(guān)鍵詞“小明”,以及第二關(guān)鍵詞“黑板”。查找出對應(yīng)的第一特征數(shù)據(jù)包括小明的人臉特征,以及與黑板對應(yīng)的跟蹤攝像機參數(shù)。將現(xiàn)場的人臉特征與小明的人臉進(jìn)行匹配,定位到小明的位置,同時根據(jù)攝像機跟蹤參數(shù)控制跟蹤攝像機的運動。這樣,就能夠跟蹤小明,并對小明在黑板上的演算過程進(jìn)行特寫。
上述自動導(dǎo)播方法還可以包括:
獲取課表信息,根據(jù)所述課表信息完成自動導(dǎo)播。
其中,所述課表信息包括以下至少一種或多種:時間安排信息、片頭片尾信息和拼接信息;
根據(jù)所述時間安排信息,控制導(dǎo)播錄制的開啟、導(dǎo)播錄制的暫停以及導(dǎo)播錄制的啟動;
根據(jù)所述片頭片尾信息控制錄制視頻的片頭片尾的設(shè)置;
根據(jù)所述拼接信息對所述錄制視頻進(jìn)行剪切和拼接。
圖2所示為根據(jù)本發(fā)明的一較佳實施例提供的自動導(dǎo)播裝置的框圖。
如圖2所示,根據(jù)本發(fā)明的實施例的自動導(dǎo)播裝置200包括:
音頻識別單元202,用于識別所采集的音頻信息;
查找單元204,連接至所述音頻識別單元202,用于根據(jù)音頻識別結(jié)果從數(shù)據(jù)庫中查找出對應(yīng)的第一特征數(shù)據(jù);
導(dǎo)播單元206,連接至所述查找單元204,用于基于所述第一特征數(shù)據(jù)控制攝像設(shè)備的運動,完成導(dǎo)播。
上述自動導(dǎo)播裝置還可以包括:
圖像識別單元208,用于采集各目標(biāo)對象的第二特征數(shù)據(jù);
匹配單元210,用于將所述第一特征數(shù)據(jù)與所述第二特征數(shù)據(jù)進(jìn)行匹配;
目標(biāo)對象確定單元212,用于確定特征配對的目標(biāo)對象,控制所述攝像設(shè)備跟蹤所述配
對的目標(biāo)對象。
其中,若所述音頻識別結(jié)果是預(yù)設(shè)第一關(guān)鍵詞信息,則所述第一特征數(shù)據(jù)是物體或人體特征,若所述音頻識別結(jié)果是預(yù)設(shè)第二關(guān)鍵詞信息,則所述第一特征數(shù)據(jù)是攝像機跟蹤參數(shù);
所述導(dǎo)播單元在所述第一特征數(shù)據(jù)是攝像機跟蹤參數(shù)時,根據(jù)所述攝像機跟蹤參數(shù)跟蹤進(jìn)入所述攝像機拍攝視野的目標(biāo)對象。
其中,所述導(dǎo)播單元206包括:
課表獲取單元,用于獲取課表信息,根據(jù)所述課表信息完成自動導(dǎo)播。
其中,所述課表信息包括以下至少一種或多種:時間安排信息、片頭片尾信息和拼接信息;
所述課表獲取單元根據(jù)所述時間安排信息,控制導(dǎo)播錄制的開啟、導(dǎo)播錄制的暫停以及導(dǎo)播錄制的啟動,以及根據(jù)所述片頭片尾信息控制錄制視頻的片頭片尾的設(shè)置,以及根據(jù)所述拼接信息對所述錄制視頻進(jìn)行剪切和拼接。
圖3所示為根據(jù)本發(fā)明的一較佳實施例提供的自動導(dǎo)播系統(tǒng)的示意圖。
如圖3所示,從云服務(wù)平臺獲取各學(xué)生以及老師的基本信息以及本學(xué)期的課表信息并存儲于基礎(chǔ)數(shù)據(jù)庫,該基本信息包括人臉特征、年齡、特長、家庭地址、聯(lián)系方式等。對現(xiàn)場的學(xué)生和老師進(jìn)行身體特征采集,包括人臉特征。采集老師的音頻信息或動作信息,進(jìn)行語音識別和圖像識別。根據(jù)音頻識別結(jié)果從數(shù)據(jù)庫中查找出對應(yīng)的人臉特征,將人臉特征與采集的各人臉特征進(jìn)行比對,比對成功的人臉即定位成功的人臉,并對該定位成功的人臉進(jìn)行跟蹤。在跟蹤到定位的人臉時,可以在顯示屏上顯示該學(xué)生的一些基本信息例如愛好信息。
同時,在開課前,可以導(dǎo)出課表信息并根據(jù)課表信息完成自動導(dǎo)播,例如根據(jù)課程時間自動開始導(dǎo)播以及結(jié)束導(dǎo)播,無論是導(dǎo)播時間控制,還是導(dǎo)播跟蹤,均無需導(dǎo)播人員。
根據(jù)本發(fā)明提供的技術(shù)方案,根據(jù)音頻識別結(jié)果控制攝像機的運動,完成自動導(dǎo)播,無需導(dǎo)播人員和導(dǎo)播設(shè)備的配置,保障課堂互動和直播效果。此外,還可以結(jié)合課表完成自動開課過程,包括課程的開始、暫停和結(jié)束,也無需導(dǎo)播人員,提高了系統(tǒng)的智能型,也節(jié)省人力成本。
以上所述僅為本發(fā)明的優(yōu)選實施例而已,并不用于限制本發(fā)明,對于本領(lǐng)域的技術(shù)人員來說,本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi),所作的任何修改、等同替換、改進(jìn)等,均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。