本發(fā)明涉及圖像處理領域，具體而言，涉及一種視頻情感識別方法、裝置和計算機設備。

背景技術：

1、從圖像內容中識別出人類的情緒在實際生活中有很廣大的應用前景，例如醫(yī)療保健領域與人機交互系統(tǒng)領域等。普通深度網絡的情感分析研究主要集中在對面部表情的感知上，其中最有辨別力的方法是基于人臉圖像的情感分析系統(tǒng)，但是在人臉部分不清晰的情況下，情感判斷的準確率不高。

2、針對上述的問題，目前尚未提出有效的解決方案。

技術實現思路

1、本發(fā)明實施例提供了一種視頻情感識別方法、裝置和計算機設備，以至少解決相關技術中基于人臉圖像進行情感分析的準確率不高的技術問題。

2、根據本發(fā)明實施例的一個方面，提供了一種視頻情感識別方法，包括：獲取待識別視頻；將待識別視頻輸入預先訓練的神經網絡模型，由神經網絡模型輸出待識別視頻中對象的情感，其中，神經網絡模型對待識別視頻中的面部視頻進行特征提取，以及對待識別視頻中除了面部視頻之外的背景視頻進行特征提取，并根據對面部視頻提取的面部特征和對背景視頻提取的背景特征，確定對象的情感。

3、可選地，將待識別視頻輸入預先訓練的神經網絡模型，由神經網絡模型輸出待識別視頻中對象的情感，包括：將待識別視頻輸入分割單元，由分割單元將待識別視頻分割為面部視頻和背景視頻，其中，神經網絡模型包括分割單元；將面部視頻輸入第一三維卷積單元，由第一三維卷積單元對面部視頻進行特征提取，得到面部特征，其中，神經網絡模型包括第一三維卷積單元；將背景視頻輸入特征提取模塊，由特征提取模塊對背景視頻進行特征提取，得到背景特征，其中，神經網絡模型包括特征提取模塊；拼接面部特征和背景特征，并將拼接后的特征輸入分類單元，由分類單元輸出對象的情感，其中，神經網絡模型包括分類單元。

4、可選地，將背景視頻輸入特征提取模塊，由特征提取模塊對背景視頻進行特征提取，得到背景特征，包括：將背景視頻輸入第二三維卷積單元，由第二三維卷積單元對背景視頻進行特征提取，得到初始背景特征，其中，特征提取模塊包括第二三維卷積單元；將初始背景特征輸入注意力機制單元，由注意力機制單元確定初始背景特征的權重其中，特征提取模塊包括注意力機制單元；將初始背景特征的權重與初始背景特征相乘，得到背景特征。

5、可選地，將面部視頻輸入第一三維卷積單元，由第一三維卷積單元對面部視頻進行特征提取，得到面部特征，包括：采用空間卷積層對面部視頻進行卷積，得到面部視頻的空間特征，其中，第一三維卷積單元包括空間卷積層；采用時間卷積層對面部視頻的空間特征進行卷積，得到面部特征，其中，第一三維卷積單元包括時間卷積層。

6、可選地，拼接面部特征和背景特征，并將拼接后的特征輸入分類單元，由分類單元輸出對象的情感，包括：采用第一平均池化層對面部特征進行取樣，采用第二平均池化層對背景特征進行取樣；將取樣后的面部特征和取樣后的背景特征拼接，得到拼接后的特征；將拼接后的特征輸入分類單元，由分類單元輸出對象的情感。

7、可選地，神經網絡模型通過如下方式得到：獲取訓練樣本，其中，訓練樣本包括樣本視頻，以及樣本視頻對應的情感類型；將樣本視頻以及對應的情感類型輸入原始神經網絡模型，由原始神經網絡模型對樣本視頻進行特征提取，并根據提取的特征確定初始情感類型，根據初始情感類型與樣本視頻對應的情感類型，調整原始神經網絡模型包括的參數，得到神經網絡模型。

8、根據本發(fā)明實施例的另一方面，還提供了一種視頻情感識別裝置，包括：獲取模塊，用于獲取待識別視頻；識別模塊，用于將待識別視頻輸入預先訓練的神經網絡模型，由神經網絡模型輸出待識別視頻中對象的情感，其中，神經網絡模型對待識別視頻中的面部視頻進行特征提取，以及對待識別視頻中除了面部視頻之外的背景視頻進行特征提取，并根據對面部視頻提取的面部特征和對背景視頻提取的背景特征，確定對象的情感。

9、根據本發(fā)明實施例的又一方面，還提供了一種非易失性存儲介質，非易失性存儲介質包括存儲的程序，其中，在程序運行時控制非易失性存儲介質所在設備執(zhí)行上述中任意一項視頻情感識別方法。

10、根據本發(fā)明實施例的再一方面，還提供了一種計算機設備，計算機設備包括處理器，處理器用于運行程序，其中，程序運行時執(zhí)行上述中任意一項視頻情感識別方法。

11、根據本發(fā)明實施例的再一方面，還提供了一種計算機程序產品，包括計算機程序，計算機程序被處理器執(zhí)行時實現上述中任意一項視頻情感識別方法。

12、在本發(fā)明實施例中，通過獲取待識別視頻；將待識別視頻輸入預先訓練的神經網絡模型，由神經網絡模型輸出待識別視頻中對象的情感，其中，神經網絡模型對待識別視頻中的面部視頻進行特征提取，以及對待識別視頻中除了面部視頻之外的背景視頻進行特征提取，并根據對面部視頻提取的面部特征和對背景視頻提取的背景特征，確定對象的情感，達到了綜合考慮視頻中人臉部分以及背景部分識別對象情感的目的，從而實現了提高識別情感的準確率的技術效果，進而解決了相關技術中基于人臉圖像進行情感分析的準確率不高的技術問題。

技術特征：

1.一種視頻情感識別方法，其特征在于，包括：

2.根據權利要求1所述的方法，其特征在于，所述將所述待識別視頻輸入預先訓練的神經網絡模型，由所述神經網絡模型輸出所述待識別視頻中對象的情感，包括：

3.根據權利要求2所述的方法，其特征在于，所述將所述背景視頻輸入特征提取模塊，由所述特征提取模塊對所述背景視頻進行特征提取，得到所述背景特征，包括：

4.根據權利要求2所述的方法，其特征在于，所述將所述面部視頻輸入第一三維卷積單元，由所述第一三維卷積單元對所述面部視頻進行特征提取，得到所述面部特征，包括：

5.根據權利要求2所述的方法，其特征在于，所述拼接所述面部特征和所述背景特征，并將拼接后的特征輸入分類單元，由所述分類單元輸出所述對象的情感，包括：

6.根據權利要求1至5中任意一項所述的方法，其特征在于，所述神經網絡模型通過如下方式得到：

7.一種視頻情感識別裝置，其特征在于，包括：

8.一種非易失性存儲介質，其特征在于，所述非易失性存儲介質包括存儲的程序，其中，在所述程序運行時控制所述非易失性存儲介質所在設備執(zhí)行權利要求1至6中任意一項所述視頻情感識別方法。

9.一種計算機設備，其特征在于，包括：存儲器和處理器，

10.一種計算機程序產品，包括計算機指令，其特征在于，所述計算機指令被處理器執(zhí)行權利要求1至6中任意一項所述視頻情感識別方法。

技術總結
本發(fā)明公開了一種視頻情感識別方法、裝置和計算機設備。其中，該方法包括：獲取待識別視頻；將待識別視頻輸入預先訓練的神經網絡模型，由神經網絡模型輸出待識別視頻中對象的情感，其中，神經網絡模型對待識別視頻中的面部視頻進行特征提取，以及對待識別視頻中除了面部視頻之外的背景視頻進行特征提取，并根據對面部視頻提取的面部特征和對背景視頻提取的背景特征，確定對象的情感。本發(fā)明解決了相關技術中基于人臉圖像進行情感分析的準確率不高的技術問題。

技術研發(fā)人員：吳振國
受保護的技術使用者：天翼電子商務有限公司
技術研發(fā)日：
技術公布日：2024/11/21