本發(fā)明涉及視頻剪輯，具體涉及一種基于人物追蹤的橫屏轉豎屏播出方法。

背景技術：

1、現(xiàn)在電視節(jié)目的終端播出設備中，將手機作為顯示終端的比例越來越大。這緣于智能手機已越來越成為大眾必備的通信設備，隨著智能手機功能越來越強大，網絡通信速度和方式越來越普及，便于攜帶和隨時移動等諸多優(yōu)點，會引導著很多人用手機直接看電視節(jié)目。

2、通常的電視節(jié)目一般為16：9或4：3，而目前手機的顯示屏幕比例常見的是9：16、9：18、9：19等。通常情況下，如果一個手機要播放電視節(jié)目，只要以橫屏的方式展示，則無論是上述哪個比例，即使是經過縮放，所產生的誤差都可以忽略不計。然而現(xiàn)實中，絕大多數(shù)人并沒有橫屏看電視的習慣。這或是緣于橫屏時攜帶不方便，或是橫屏時難以擺放，這時的觀眾在收看電視節(jié)目的時候，寧愿豎屏觀看。要觀看同樣的節(jié)目，豎屏時，播放器只能在屏幕正中間開辟一個以屏幕寬度為寬，以該寬度的9/16為高的區(qū)域作為播放區(qū)，其它區(qū)域為黑色背景或顯示其它內容的“遮幅式”(masked?wide-screen?film)效果，或者只能播放整個電視節(jié)目畫面中的其中一部分。這很顯然不太符合一些喜歡豎屏看電視的觀眾的習慣。

技術實現(xiàn)思路

1、針對現(xiàn)有技術中存在的上述問題，現(xiàn)提供一種基于人物追蹤的橫屏轉豎屏播出方法。

2、具體技術方案如下：

3、一種基于人物追蹤的橫屏轉豎屏播出方法，包括：

4、步驟s1：針對待裁剪視頻，依次識別每一幀的單幀圖像中的待判別人物，并對所述待判別人物分配說話計數(shù)參數(shù)；

5、步驟s2：在每幀所述單幀圖像中，分別對每個所述待判別人物的口型長寬比進行判斷，隨后依照判斷結果對所述待判別人物的所述說話計數(shù)參數(shù)進行更新；

6、步驟s3：依照所述說話計數(shù)參數(shù)確定所述單幀圖像中的裁剪對象人物，針對所述裁剪對象人物進行裁剪。

7、另一方面，所述步驟s1包括：

8、步驟s11：自所述待裁剪視頻中依次提取一幀所述單幀圖像；

9、步驟s12：采用人臉識別模型對所述待判別人物進行識別并添加標注框；

10、于開始識別前，預先對所述待判別人物分配標注編號，并生成對應的所述說話計數(shù)參數(shù)；

11、步驟s13：返回所述步驟s11，直至遍歷了所有的所述單幀圖像后轉向所述步驟s2。

12、另一方面，針對每個所述待判別人物，還分別創(chuàng)建有丟失計數(shù)參數(shù)；

13、所述步驟s12包括：

14、步驟s121：采用人臉識別模型對所述單幀圖像中出現(xiàn)的臉部區(qū)域進行識別；

15、步驟s122：將所述臉部區(qū)域分別與所述待判別人物進行匹配，并對匹配到的所述待判別人物的所述丟失計數(shù)參數(shù)進行清零；

16、步驟s123：判斷所述待判別人物中是否存在所述單幀圖像中未匹配到的丟失人物；

17、若是，對所述丟失人物所對應的丟失計數(shù)參數(shù)加一，隨后轉向所述步驟s13；

18、若否，轉向所述步驟s13；

19、在執(zhí)行所述步驟s13后，執(zhí)行所述步驟s2之前，將所述丟失計數(shù)參數(shù)達到丟失閾值的所述待判別人物去除。

20、另一方面，所述步驟s122包括：

21、步驟s1221：對每個所述臉部區(qū)域分別與所述待判別人物進行首次匹配，并將未匹配成功的所述臉部區(qū)域標記為未匹配臉部區(qū)域，將未匹配成功的所述待判別人物標記為未匹配人物；

22、步驟s1222：針對所述未匹配人物，自之前的所述單幀圖像中提取所述未匹配人物的人物位置坐標，將最近的所述未匹配臉部區(qū)域指向所述人物位置坐標以進行匹配。

23、另一方面，所述步驟s2包括：

24、步驟s21：分別對所述單幀圖像中識別到的所述待判別人物計算所述口型長寬比；

25、步驟s22：依照所述口型長寬比確定所述待判別人物是否張嘴；

26、若是，對所述說話計數(shù)參數(shù)的數(shù)值加一，然后轉向步驟s23；

27、若否，對所述說話計數(shù)參數(shù)的數(shù)值加一，然后轉向步驟s23；

28、步驟s23：返回所述步驟s21，以遍歷所有的所述單幀圖像后轉型所述步驟s3。

29、另一方面，所述步驟s21包括：

30、步驟s211：針對當前的所述單幀圖像，分別對每個所述待判別人物識別得到嘴部輪廓點；

31、步驟s212：自所述嘴部輪廓點中提取兩側嘴角頂點位置、上下嘴唇的頂點位置作為輪廓信息；

32、步驟s213：依照所述輪廓信息計算所述口型長寬比。

33、另一方面，所述步驟s3包括：

34、步驟s31：依照所述說話計數(shù)參數(shù)確定所述待裁剪視頻中的多個時間區(qū)間，以及所述時間區(qū)間中的說話主體；

35、步驟s32：分別在所述時間區(qū)間中，將所述說話主體作為裁剪對象人物；

36、步驟s33：依照所述裁剪對象人物作為畫面中心對所述待裁剪視頻進行裁剪。

37、另一方面，所述步驟s31中，當首次識別到所述說話主體時，將所述說話主體在所述單幀圖像中消失的時間點作為所述時間區(qū)間的結束點。

38、上述技術方案具有如下優(yōu)點或有益效果：

39、針對現(xiàn)有技術中的手機豎屏場景在觀看橫屏類的訪談內容效果不佳的問題，本方案中，引入了針對畫面中出現(xiàn)的待判別人物進行識別的過程，通過識別訪談類界面中，實際說話的主體并作為裁剪對象人物，隨后對視頻進行二次構圖、裁剪，使得橫屏視頻內容能夠被重新構圖成適合豎屏觀看的內容，且有效保留了觀看過程中的主體，提升用戶體驗。

技術特征：

1.一種基于人物追蹤的橫屏轉豎屏播出方法，其特征在于，包括：

2.根據權利要求1所述的橫屏轉豎屏播出方法，其特征在于，所述步驟s1包括：

3.根據權利要求1所述的橫屏轉豎屏播出方法，其特征在于，針對每個所述待判別人物，還分別創(chuàng)建有丟失計數(shù)參數(shù)；

4.根據權利要求3所述的橫屏轉豎屏播出方法，其特征在于，所述步驟s122包括：

5.根據權利要求1所述的橫屏轉豎屏播出方法，其特征在于，所述步驟s2包括：

6.根據權利要求5所述的橫屏轉豎屏播出方法，其特征在于，所述步驟s21包括：

7.根據權利要求1所述的橫屏轉豎屏播出方法，其特征在于，所述步驟s3包括：

8.根據權利要求7所述的橫屏轉豎屏播出方法，其特征在于，所述步驟s31中，當首次識別到所述說話主體時，將所述說話主體在所述單幀圖像中消失的時間點作為所述時間區(qū)間的結束點。

技術總結
本發(fā)明涉及視頻剪輯技術領域，具體涉及一種基于人物追蹤的橫屏轉豎屏播出方法，包括：針對待裁剪視頻，依次識別每一幀的單幀圖像中的待判別人物，并對待判別人物分配說話計數(shù)參數(shù)；在每幀單幀圖像中，分別對每個待判別人物的口型長寬比進行判斷，隨后依照判斷結果對待判別人物的說話計數(shù)參數(shù)進行更新；依照說話計數(shù)參數(shù)確定單幀圖像中的裁剪對象人物，針對裁剪對象人物進行裁剪。針對手機豎屏場景在觀看橫屏類的訪談內容效果不佳的問題，通過識別訪談類界面中，實際說話的主體并作為裁剪對象人物，隨后對視頻進行二次構圖、裁剪，使得橫屏視頻內容能夠被重新構圖成適合豎屏觀看的內容，且有效保留了觀看過程中的主體，提升用戶體驗。

技術研發(fā)人員：金逸樂,李毓琪,蔣曉峰,周鑫
受保護的技術使用者：上海東方傳媒技術有限公司
技術研發(fā)日：
技術公布日：2024/12/10