所屬的技術人員能夠理解,本公開的各個方面可以實現(xiàn)為系統(tǒng)、方法或程序產品。因此,本公開的各個方面可以具體實現(xiàn)為以下形式,即:完全的硬件實施例、完全的軟件實施例(包括固件、微代碼等),或硬件和軟件方面結合的實施例,這里可以統(tǒng)稱為“電路”、“模塊”或“系統(tǒng)”。在一些可能的實施例中,根據(jù)本公開的電子設備可以至少包括至少一個處理單元、以及至少一個存儲單元。其中,所述存儲單元存儲有程序代碼,當所述程序代碼被所述處理單元執(zhí)行時,使得所述處理單元執(zhí)行本說明書上述“示例性方法”部分中描述的根據(jù)本公開各種示例性實施例的動態(tài)封面生成方法中的步驟。例如,所述處理單元可以執(zhí)行如圖2中所示的步驟s210,獲取目標媒體資源對應的初始靜態(tài)圖像。步驟s220,確定初始靜態(tài)圖像的圖像類別。步驟s230,根據(jù)圖像類別對初始靜態(tài)圖像進行動態(tài)視頻生成處理,得到目標媒體資源對應的動態(tài)視頻封面。下面參照圖11來描述根據(jù)本公開的這種實施例的電子設備1100。圖11顯示的電子設備1100僅僅是一個示例,不應對本公開實施例的功能和使用范圍帶來任何限制。如圖11所示,電子設備1100以通用計算設備的形式表現(xiàn)。電子設備1100的組件可以包括但不限于:上述至少一個處理單元1110、上述至少一個存儲單元1120、連接不同系統(tǒng)組件(包括存儲單元1120和處理單元1110)的總線1130、顯示單元1140。其中,所述存儲單元存儲有程序代碼,所述程序代碼可以被所述處理單元1110執(zhí)行,使得所述處理單元1110執(zhí)行本說明書上述“示例性方法”部分中描述的根據(jù)本公開各種示例性實施例的步驟。存儲單元1120可以包括易失性存儲單元形式的可讀介質,例如隨機存取存儲單元(ram)1121和/或高速緩存存儲單元1122,還可以進一步包括只讀存儲單元(rom)1123。存儲單元1120還可以包括具有一組(至少一個)程序模塊1125的程序/實用工具1124,這樣的程序模塊1125包括但不限于:操作系統(tǒng)、一個或者多個應用程序、其它程序模塊以及程序數(shù)據(jù),這些示例中的每一個或某種組合中可能包括網絡環(huán)境的實現(xiàn)??偩€1130可以表示幾類總線結構中的一種或多種,包括存儲單元總線或者存儲單元控制器、外圍總線、圖形加速端口、處理單元或者使用多種總線結構中的任意總線結構的局域總線。電子設備1100也可以與一個或多個外部設備1170(例如鍵盤、指向設備、藍牙設備等)通信,還可與一個或者多個使得用戶能與該電子設備1100交互的設備通信,和/或與使得該電子設備1100能與一個或多個其它計算設備進行通信的任何設備(例如路由器、調制解調器等等)通信。這種通信可以通過輸入/輸出(i/o)接口1150進行。并且,電子設備1100還可以通過網絡適配器1160與一個或者多個網絡(例如局域網(lan),廣域網(wan)和/或公共網絡,例如因特網)通信。如圖所示,網絡適配器1160通過總線1130與電子設備1100的其它模塊通信。應當明白,盡管圖中未示出,可以結合電子設備1100使用其它硬件和/或軟件模塊,包括但不限于:微代碼、設備驅動器、冗余處理單元、外部磁盤驅動陣列、raid系統(tǒng)、磁帶驅動器以及數(shù)據(jù)備份存儲系統(tǒng)等。應當注意,盡管在上文詳細描述中提及了動態(tài)封面生成裝置的若干單元/模塊或子單元/模塊,但是這種劃分僅僅是示例性的并非強制性的。實際上,根據(jù)本公開的實施方式,上文描述的兩個或更多單元/模塊的特征和功能可以在一個單元/模塊中具體化。反之,上文描述的一個單元/模塊的特征和功能可以進一步劃分為由多個單元/模塊來具體化。此外,盡管在附圖中以特定順序描述了本公開方法的操作,但是,這并非要求或者暗示必須按照該特定順序來執(zhí)行這些操作,或是必須執(zhí)行全部所示的操作才能實現(xiàn)期望的結果。附加地或備選地,可以省略某些步驟,將多個步驟合并為一個步驟執(zhí)行,和/或將一個步驟分解為多個步驟執(zhí)行。雖然已經參考若干具體實施方式描述了本公開的精神和原理,但是應該理解,本公開并不限于所公開的具體實施方式,對各方面的劃分也不意味著這些方面中的特征不能組合以進行受益,這種劃分僅是為了表述的方便。本公開旨在涵蓋所附權利要求的精神和范圍內所包括的各種修改和等同布置。
背景技術:
1、本部分旨在為權利要求書中陳述的本公開的實施方式提供背景或上下文。此處的描述不因為包括在本部分中就承認是現(xiàn)有技術。
2、隨著互聯(lián)網的快速發(fā)展,越來越多的人們開始通過網絡獲取媒體資源,如視頻、音樂、新聞等。例如,音樂服務平臺提供了廣泛的音樂內容供用戶在線播放、下載或收藏,包括各種類型的歌曲、專輯、藝術家、電臺和歌單等,以滿足不同用戶的音樂需求。
3、在用戶體驗音樂的過程中,視覺呈現(xiàn)與感知同樣占據(jù)著舉足輕重的地位。在歌曲視覺信息中,歌曲封面扮演著至關重要的角色。它不僅是歌曲的第一印象,更是作者想要傳達的深層情感和主題思想的補充與說明。通過精心設計的封面,觀眾能夠更直觀地理解歌曲內涵,與作者產生更深的情感共鳴。
技術實現(xiàn)思路
1、然而,相關方案中所采用的靜態(tài)封面未充分考慮歌曲的情感和主題內容,導致生成的封面與歌曲整體風格不相對應,生成的封面準確性不高。在采用傳統(tǒng)視頻制作方法創(chuàng)建動態(tài)封面的方案中,生成動態(tài)視頻對圖像數(shù)據(jù)、計算資源以及制作成本具有極高的要求。
2、為此,本公開提出一種改進的動態(tài)封面生成方法,以使采用媒體資源的單張靜態(tài)圖像生成對應的動態(tài)視頻封面,動態(tài)視頻封面能夠通過視覺元素的動態(tài)變化,傳遞出媒體資源的情感和主題,可以有效提升用戶體驗,增強平臺吸引力,進一步拓展媒體資源的傳播渠道。
3、在本上下文中,本公開的實施方式期望提供一種動態(tài)封面生成方法、動態(tài)封面生成裝置、計算機可讀存儲介質及電子設備、計算機程序產品。
4、在本公開實施方式的第一方面中,提供了一種動態(tài)封面生成方法,包括:獲取目標媒體資源對應的初始靜態(tài)圖像;確定所述初始靜態(tài)圖像的圖像類別;根據(jù)所述圖像類別對所述初始靜態(tài)圖像進行動態(tài)視頻生成處理,得到所述目標媒體資源對應的動態(tài)視頻封面。
5、在本公開的一個實施方式中,所述確定所述初始靜態(tài)圖像的圖像類別,包括:獲取預先配置的圖像分類模型,所述圖像分類模型包括人體檢測模型、人臉檢測模型、文字識別模型與圖像檢測模型中的一種或多種;采用所述圖像分類模型對所述初始靜態(tài)圖像進行圖像分類處理,得到所述圖像類別。
6、在本公開的一個實施方式中,所述采用所述圖像分類模型對所述初始靜態(tài)圖像進行圖像分類處理,得到所述圖像類別,包括:采用所述人體檢測模型或所述人臉檢測模型,對所述初始靜態(tài)圖像進行圖像分類檢測,根據(jù)得到的分類檢測結果確定人像類圖像;采用所述文字識別模型,對所述初始靜態(tài)圖像進行圖像分類檢測,根據(jù)得到的分類檢測結果確定文字類圖像;采用所述圖像檢測模型,對所述初始靜態(tài)圖像進行圖像分類檢測,根據(jù)得到的分類檢測結果確定常規(guī)類圖像,所述常規(guī)類圖像包括通用類別圖像、邊框類別圖像與無效類別圖像中的一種或多種。
7、在本公開的一個實施方式中,所述圖像類別包括人像類圖像,所述動態(tài)視頻封面包括第一人像動態(tài)封面與第二人像動態(tài)封面;所述根據(jù)所述圖像類別對所述初始靜態(tài)圖像進行動態(tài)視頻生成處理,得到所述目標媒體資源對應的動態(tài)視頻封面,包括:確定所述人像類圖像中人像區(qū)域的區(qū)域比例;根據(jù)所述區(qū)域比例將所述人像類圖像劃分為第一人像類圖像與第二人像類圖像,所述第一人像類圖像為所述區(qū)域比例大于預設比例閾值的圖像;對所述第一人像類圖像進行動態(tài)視頻生成處理,得到所述第一人像動態(tài)封面;對所述第二人像類圖像進行動態(tài)視頻生成處理,得到所述第二人像動態(tài)封面。
8、在本公開的一個實施方式中,所述對所述第一人像類圖像進行動態(tài)視頻生成處理,得到所述第一人像動態(tài)封面,包括:確定所述第一人像類圖像的圖像顏色類別,所述圖像顏色類別包括全圖顏色類別與邊緣顏色類別;根據(jù)所述全圖顏色類別與所述邊緣顏色類別,確定所述第一人像類圖像的動態(tài)特效模板;基于所述動態(tài)特效模板,生成所述第一人像動態(tài)封面。
9、在本公開的一個實施方式中,所述確定所述第一人像類圖像的圖像顏色類別,包括:確定所述第一人像類圖像中各顏色通道的第一通道像素;根據(jù)多個所述第一通道像素,確定各所述顏色通道的第一直方圖向量;將多個所述顏色通道的第一直方圖向量進行拼接處理,得到全圖直方圖向量;根據(jù)所述全圖直方圖向量確定所述全圖顏色類別。
10、在本公開的一個實施方式中,所述確定所述第一人像類圖像的圖像顏色類別,還包括:獲取所述第一人像類圖像的邊緣區(qū)域圖像,確定所述邊緣區(qū)域圖像中各顏色通道的第二通道像素;根據(jù)多個所述第二通道像素,確定各所述顏色通道的第二直方圖向量;將多個所述顏色通道的第二直方圖向量進行拼接處理,得到邊緣直方圖向量;根據(jù)所述邊緣直方圖向量確定所述邊緣顏色類別。
11、在本公開的一個實施方式中,所述根據(jù)所述全圖顏色類別與所述邊緣顏色類別,確定所述第一人像類圖像的動態(tài)特效模板,包括:獲取候選圖像封面對應的候選特效模板,所述候選特效模板包括候選全圖特效模板與候選邊框特效模板;確定圖像顏色類別與所述候選特效模板之間的匹配映射關系;根據(jù)所述全圖顏色類別與所述邊緣顏色類別,確定所述第一人像類圖像對應的目標圖像類別;根據(jù)所述匹配映射關系與所述目標圖像類別,從所述候選特效模板中確定所述動態(tài)特效模板;所述候選全圖特效模板通過對多個所述候選圖像封面的候選圖像全圖直方圖向量進行聚類處理得到,所述候選邊框特效模板通過對多個所述候選圖像封面的候選邊緣區(qū)域直方圖向量進行聚類處理得到。
12、在本公開的一個實施方式中,所述對所述第二人像類圖像進行動態(tài)視頻生成處理,得到所述第二人像動態(tài)封面,包括:確定所述第二人像類圖像的人像區(qū)域,對所述人像區(qū)域進行掩碼處理,得到掩碼人像圖像,所述掩碼人像圖像包括掩碼人像區(qū)域與掩碼外部區(qū)域;確定所述掩碼人像區(qū)域在所述掩碼人像圖像中的人像區(qū)域比例,根據(jù)所述人像區(qū)域比例確定動態(tài)視頻生成參數(shù);基于所述動態(tài)視頻生成參數(shù),對所述掩碼外部區(qū)域的圖像進行動態(tài)視頻生成處理,得到所述第二人像動態(tài)封面。
13、在本公開的一個實施方式中,所述圖像類別包括文字類圖像,所述動態(tài)視頻封面包括文字動態(tài)封面;所述根據(jù)所述圖像類別對所述初始靜態(tài)圖像進行動態(tài)視頻生成處理,得到所述目標媒體資源對應的動態(tài)視頻封面,包括:獲取預先配置的文字視頻生成模型,所述文字視頻生成模型基于文字視頻樣本訓練得到;采用所述文字視頻生成模型,對所述文字類圖像進行動態(tài)視頻生成處理,得到所述文字動態(tài)封面。
14、在本公開的一個實施方式中,所述圖像類別包括邊框類別圖像,所述動態(tài)視頻封面包括邊框圖像動態(tài)封面;所述根據(jù)所述圖像類別對所述初始靜態(tài)圖像進行動態(tài)視頻生成處理,得到所述目標媒體資源對應的動態(tài)視頻封面,包括:確定所述邊框類別圖像的邊框點坐標,基于所述邊框點坐標確定邊框區(qū)域;基于所述邊框區(qū)域確定邊框區(qū)域內圖像,對所述邊框區(qū)域內圖像進行動態(tài)視頻生成處理,得到初始動態(tài)圖像;將所述初始動態(tài)圖像填充至所述邊框區(qū)域內,得到所述邊框圖像動態(tài)封面。
15、在本公開的一個實施方式中,所述邊框點坐標包括第一邊框點坐標與第二邊框點坐標,所述確定所述邊框類別圖像的邊框點坐標,包括:分別對所述邊框類別圖像進行橫向像素累加處理與縱向像素累加處理,得到橫向像素累加向量與縱向像素累加向量;按照從左到右的順序,計算所述橫向像素累加向量的橫向向量梯度;將所述橫向向量梯度中橫向梯度值大于梯度閾值的像素點,作為所述第一邊框點坐標;按照從右到左的順序,計算所述縱向像素累加向量的縱向向量梯度;將所述縱向向量梯度中縱向梯度值大于梯度閾值的像素點,作為所述第二邊框點坐標。
16、在本公開實施方式的第二方面中,提供了一種動態(tài)封面生成裝置,包括:初始圖像獲取模塊,用于獲取目標媒體資源對應的初始靜態(tài)圖像;圖像類別確定模塊,用于確定所述初始靜態(tài)圖像的圖像類別;動態(tài)封面生成模塊,用于根據(jù)所述圖像類別對所述初始靜態(tài)圖像進行動態(tài)視頻生成處理,得到所述目標媒體資源對應的動態(tài)視頻封面。
17、在本公開的一個實施方式中,所述圖像類別確定模塊包括圖像類別確定單元,用于:獲取預先配置的圖像分類模型,所述圖像分類模型包括人體檢測模型、人臉檢測模型、文字識別模型與圖像檢測模型中的一種或多種;采用所述圖像分類模型對所述初始靜態(tài)圖像進行圖像分類處理,得到所述圖像類別。
18、在本公開的一個實施方式中,所述圖像類別確定單元包括圖像類別確定子單元,用于:采用所述人體檢測模型或所述人臉檢測模型,對所述初始靜態(tài)圖像進行圖像分類檢測,根據(jù)得到的分類檢測結果確定人像類圖像;采用所述文字識別模型,對所述初始靜態(tài)圖像進行圖像分類檢測,根據(jù)得到的分類檢測結果確定文字類圖像;采用所述圖像檢測模型,對所述初始靜態(tài)圖像進行圖像分類檢測,根據(jù)得到的分類檢測結果確定常規(guī)類圖像,所述常規(guī)類圖像包括通用類別圖像、邊框類別圖像與無效類別圖像中的一種或多種。
19、在本公開的一個實施方式中,所述圖像類別包括人像類圖像,所述動態(tài)視頻封面包括第一人像動態(tài)封面與第二人像動態(tài)封面;所述動態(tài)封面生成模塊包括人像封面生成單元,用于:確定所述人像類圖像中人像區(qū)域的區(qū)域比例;根據(jù)所述區(qū)域比例將所述人像類圖像劃分為第一人像類圖像與第二人像類圖像,所述第一人像類圖像為所述區(qū)域比例大于預設比例閾值的圖像;對所述第一人像類圖像進行動態(tài)視頻生成處理,得到所述第一人像動態(tài)封面;對所述第二人像類圖像進行動態(tài)視頻生成處理,得到所述第二人像動態(tài)封面。
20、在本公開的一個實施方式中,所述人像封面生成單元包括第一人像封面生成子單元,用于:確定所述第一人像類圖像的圖像顏色類別,所述圖像顏色類別包括全圖顏色類別與邊緣顏色類別;根據(jù)所述全圖顏色類別與所述邊緣顏色類別,確定所述第一人像類圖像的動態(tài)特效模板;基于所述動態(tài)特效模板,生成所述第一人像動態(tài)封面。
21、在本公開的一個實施方式中,所述第一人像封面生成子單元包括第一顏色類別生成子單元,用于:確定所述第一人像類圖像中各顏色通道的第一通道像素;根據(jù)多個所述第一通道像素,確定各所述顏色通道的第一直方圖向量;將多個所述顏色通道的第一直方圖向量進行拼接處理,得到全圖直方圖向量;根據(jù)所述全圖直方圖向量確定所述全圖顏色類別。
22、在本公開的一個實施方式中,所述第一人像封面生成子單元還包括第二顏色類別生成子單元,用于:獲取所述第一人像類圖像的邊緣區(qū)域圖像,確定所述邊緣區(qū)域圖像中各顏色通道的第二通道像素;根據(jù)多個所述第二通道像素,確定各所述顏色通道的第二直方圖向量;將多個所述顏色通道的第二直方圖向量進行拼接處理,得到邊緣直方圖向量;根據(jù)所述邊緣直方圖向量確定所述邊緣顏色類別。
23、在本公開的一個實施方式中,所述第一人像封面生成子單元包括特效生成子單元,用于:獲取候選圖像封面對應的候選特效模板,所述候選特效模板包括候選全圖特效模板與候選邊框特效模板;確定圖像顏色類別與所述候選特效模板之間的匹配映射關系;根據(jù)所述全圖顏色類別與所述邊緣顏色類別,確定所述第一人像類圖像對應的目標圖像類別;根據(jù)所述匹配映射關系與所述目標圖像類別,從所述候選特效模板中確定所述動態(tài)特效模板;所述候選全圖特效模板通過對多個所述候選圖像封面的候選圖像全圖直方圖向量進行聚類處理得到,所述候選邊框特效模板通過對多個所述候選圖像封面的候選邊緣區(qū)域直方圖向量進行聚類處理得到。
24、在本公開的一個實施方式中,所述人像封面生成單元包括第二人像封面生成子單元,用于:確定所述第二人像類圖像的人像區(qū)域,對所述人像區(qū)域進行掩碼處理,得到掩碼人像圖像,所述掩碼人像圖像包括掩碼人像區(qū)域與掩碼外部區(qū)域;確定所述掩碼人像區(qū)域在所述掩碼人像圖像中的人像區(qū)域比例,根據(jù)所述人像區(qū)域比例確定動態(tài)視頻生成參數(shù);基于所述動態(tài)視頻生成參數(shù),對所述掩碼外部區(qū)域的圖像進行動態(tài)視頻生成處理,得到所述第二人像動態(tài)封面。
25、在本公開的一個實施方式中,所述圖像類別包括文字類圖像,所述動態(tài)視頻封面包括文字動態(tài)封面;所述動態(tài)封面生成模塊包括文字封面生成單元,用于:獲取預先配置的文字視頻生成模型,所述文字視頻生成模型基于文字視頻樣本訓練得到;采用所述文字視頻生成模型,對所述文字類圖像進行動態(tài)視頻生成處理,得到所述文字動態(tài)封面。
26、在本公開的一個實施方式中,所述圖像類別包括邊框類別圖像,所述動態(tài)視頻封面包括邊框圖像動態(tài)封面;所述動態(tài)封面生成模塊包括邊框封面生成單元,用于:確定所述邊框類別圖像的邊框點坐標,基于所述邊框點坐標確定邊框區(qū)域;基于所述邊框區(qū)域確定邊框區(qū)域內圖像,對所述邊框區(qū)域內圖像進行動態(tài)視頻生成處理,得到初始動態(tài)圖像;將所述初始動態(tài)圖像填充至所述邊框區(qū)域內,得到所述邊框圖像動態(tài)封面。
27、在本公開的一個實施方式中,所述邊框點坐標包括第一邊框點坐標與第二邊框點坐標,所述邊框封面生成單元包括邊框坐標確定子單元,用于:分別對所述邊框類別圖像進行橫向像素累加處理與縱向像素累加處理,得到橫向像素累加向量與縱向像素累加向量;按照從左到右的順序,計算所述橫向像素累加向量的橫向向量梯度;將所述橫向向量梯度中橫向梯度值大于梯度閾值的像素點,作為所述第一邊框點坐標;按照從右到左的順序,計算所述縱向像素累加向量的縱向向量梯度;將所述縱向向量梯度中縱向梯度值大于梯度閾值的像素點,作為所述第二邊框點坐標。
28、在本公開實施方式的第三方面中,提供了一種計算機可讀存儲介質,其上存儲有計算機程序,所述計算機程序被處理器執(zhí)行時實現(xiàn)如上述任意一項所述的動態(tài)封面生成方法。
29、在本公開實施方式的第四方面中,提供了一種電子設備,包括:處理器;以及存儲器,所述存儲器上存儲有計算機可讀指令,所述計算機可讀指令被所述處理器執(zhí)行時實現(xiàn)如上述任意一項所述的動態(tài)封面生成方法。
30、根據(jù)本公開實施例的第五方面,提供一種計算機程序產品,包括計算機程序,該計算機程序被處理器執(zhí)行時實現(xiàn)上述任意一項所述的動態(tài)封面生成方法。
31、根據(jù)本公開實施方式的技術方案,一方面,采用媒體資源的單張靜態(tài)圖像生成的動態(tài)視頻封面,能夠通過視覺元素的動態(tài)變化,使得每個媒體資源具有獨特的個性化標簽,傳遞出媒體資源的情感和主題,更好地吸引用戶的注意力,并有效提升用戶體驗。另一方面,所生成的媒體資源的動態(tài)視頻封面為媒體資源服務平臺提供了更加豐富和多樣的視覺素材,增強平臺吸引力。又一方面,媒體資源的動態(tài)視頻封面可以在各類平臺上分享和傳播,進一步拓展了媒體資源的傳播渠道。