本發(fā)明涉及視頻處理相關(guān)技術(shù)領(lǐng)域，尤其是指基于場景的移動視頻智能播放交互控制方法。
背景技術(shù)：
視頻(Video)泛指將一系列靜態(tài)影像以電信號的方式加以捕捉、紀(jì)錄、處理、儲存、傳送與重現(xiàn)的各種技術(shù)。連續(xù)的圖像變化每秒超過24幀(frame)畫面以上時，根據(jù)視覺暫留原理，人眼無法辨別單幅的靜態(tài)畫面；看上去是平滑連續(xù)的視覺效果，這樣連續(xù)的畫面叫做視頻。視頻技術(shù)最早是為了電視系統(tǒng)而發(fā)展，但現(xiàn)在已經(jīng)發(fā)展為各種不同的格式以利消費(fèi)者將視頻記錄下來。網(wǎng)絡(luò)技術(shù)的發(fā)達(dá)也促使視頻的紀(jì)錄片段以串流媒體的形式存在于因特網(wǎng)之上并可被電腦接收與播放。視頻與電影屬于不同的技術(shù)，后者是利用照相術(shù)將動態(tài)的影像捕捉為一系列的靜態(tài)照片。
一直以來視頻的播放是一個被動孤立的過程，視頻界面和觀看者之間毫無聯(lián)系。視頻本身無法感知觀看者的存在，因此缺乏互動，無法讓播放過程變得更加有趣。視頻播放狀態(tài)的每一次變化都必須由觀看者手動觸發(fā)，所謂的播放交互控制都是人為干預(yù)的結(jié)果。
技術(shù)實現(xiàn)要素：
本發(fā)明是為了克服現(xiàn)有技術(shù)中存在上述的不足，提供了一種能夠?qū)崿F(xiàn)視頻與觀看者之間交互的基于場景的移動視頻智能播放交互控制方法。
為了實現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：
基于場景的移動視頻智能播放交互控制方法，采用智能移動設(shè)備通過預(yù)設(shè)場景結(jié)合對外部對象的識別及內(nèi)部狀態(tài)的感知，自動匹配并輸出交互行為，實現(xiàn)對視頻播放的智能控制，具體包括如下預(yù)設(shè)場景：
(1)用戶連續(xù)觀看視頻超過一定時間，產(chǎn)生一次交互行為；
(2)視頻播放過程中，手機(jī)設(shè)備檢測到人臉消失，產(chǎn)生交互行為；
(3)視頻播放中，用戶未以正確的姿勢觀看視頻，產(chǎn)生交互行為；
(4)視頻播放中，在檢測到人臉消失后，恢復(fù)檢測到人臉，產(chǎn)生交互行為；
(5)通過對播放器狀態(tài)的感知，針對不同的狀態(tài)，產(chǎn)生不同的交互行為；
(6)通過對智能移動設(shè)備屏幕角度的識別，產(chǎn)生交互行為；
其中：所述的智能移動設(shè)備包括智能手機(jī)、平板電腦和筆記本電腦，所述的智能移動設(shè)備上設(shè)有攝像頭。
本專利致力于尋求在視頻播放和觀看者之間建立起某種聯(lián)系，并基于某些預(yù)設(shè)場景，自動形成對視頻與觀看者之間的交互及對視頻播放過程的智能控制。本發(fā)明帶來了一種更加有趣、人性化的播放體驗，在不干擾用戶觀看視頻的前提下，整個播放過程變得更加活潑不再枯燥，特別針對情節(jié)性較弱的視頻(例如教學(xué)視頻)，提示了用戶觀看興趣。同時，離開自動暫停、進(jìn)入自動播放的能力及各種狀態(tài)的友好提示，極大的提升了對用戶的人文關(guān)懷，在播放的智能化、交互的多樣化影響下，使得視頻觀看體驗達(dá)到一種前所未有的高度。
作為優(yōu)選，在預(yù)設(shè)場景(1)中，所述的智能移動設(shè)備內(nèi)設(shè)有連續(xù)觀看視頻時長的時長閾值和用戶頭像各角度的角度閾值，首先，通過智能移動設(shè)備上的攝像頭結(jié)合人臉識別技術(shù)，對用戶頭像識別結(jié)果的角度進(jìn)行計算，根據(jù)計算結(jié)果可以得出側(cè)臉、抬頭及低頭的角度，在設(shè)定的角度閾值內(nèi)則認(rèn)為是有效觀看，精確判斷用戶觀看視頻的姿勢是否處于有效觀看狀態(tài)，如果處于有效觀看狀態(tài)，則進(jìn)行觀看時長的記錄與追蹤；如果不處于有效觀看狀態(tài)，則繼續(xù)通過人臉識別技術(shù)對用戶觀看視頻的姿勢進(jìn)行判斷；之后，通過對人臉的連續(xù)識別追蹤，計算觀看時長，如果連續(xù)有效的識別觀看時長達(dá)到設(shè)定的時長閾值，則進(jìn)行交互行為；如果沒有連續(xù)處于有效觀看狀態(tài)，則繼續(xù)通過人臉識別技術(shù)對用戶觀看視頻的姿勢進(jìn)行判斷。
作為優(yōu)選，在預(yù)設(shè)場景(2)中，所述的智能移動設(shè)備內(nèi)設(shè)有人臉識別的檢測周期和用于限定檢測周期次數(shù)的檢測量X，首先，通過智能移動設(shè)備上的攝像頭結(jié)合人臉識別技術(shù)，確定檢測到用戶的人臉；之后，在設(shè)定的檢測周期內(nèi)無法檢測到人臉，并持續(xù)經(jīng)歷X個檢測周期都無法檢測到人臉，則認(rèn)為無人在觀看視頻，進(jìn)行交互行為，同時視頻會被自動暫停。
作為優(yōu)選，在預(yù)設(shè)場景(3)中，所述的智能移動設(shè)備內(nèi)設(shè)有用戶頭像各角度的角度閾值和人臉面積與屏幕面積之比的比例上限閾值N和比例下限閾值M，通過智能移動設(shè)備上的攝像頭結(jié)合人臉識別技術(shù)，對用戶頭像識別結(jié)果的角度進(jìn)行計算，根據(jù)計算結(jié)果可以得出側(cè)臉、抬頭及低頭的角度，大于設(shè)定的角度閾值則認(rèn)為是無效觀看行為，則進(jìn)行交互行為；通過智能移動設(shè)備上的攝像頭結(jié)合人臉識別技術(shù)，計算識別出的人臉面積與屏幕面積的比例，并與設(shè)定的比例上限閾值N和比例下限閾值M進(jìn)行比對，如果人臉面積與屏幕面積的比例大于比例上限閾值N，則認(rèn)定為距離屏幕太近；如果人臉面積與屏幕面積的比例小于比例下限閾值M，則認(rèn)定為距離屏幕太遠(yuǎn)；并進(jìn)行交互行為。
作為優(yōu)選，在預(yù)設(shè)場景(4)中，所述的智能移動設(shè)備內(nèi)設(shè)有人臉識別的檢測周期，通過智能移動設(shè)備上的攝像頭結(jié)合人臉識別技術(shù)，在一個檢測周期內(nèi)，正確識別出人臉，則認(rèn)為用戶返回，暫停的視頻自動繼續(xù)播放，并進(jìn)行交互行為。
作為優(yōu)選，在預(yù)設(shè)場景(5)中，所述的播放器狀態(tài)包括視頻開始播放、視頻暫停播放、視頻結(jié)束播放、視頻緩沖中和視頻播放異常。
作為優(yōu)選，在預(yù)設(shè)場景(6)中，所述的智能移動設(shè)備內(nèi)設(shè)有屏幕傾斜角度的傾斜度閾值，利用智能設(shè)備上陀螺儀的動態(tài)感應(yīng)，檢測到屏幕向下的傾斜角度，當(dāng)傾斜角度小于設(shè)置的傾斜度閾值，則認(rèn)定用戶不適合以該角度進(jìn)行觀看，并進(jìn)行交互行為。
作為優(yōu)選，所述的智能移動設(shè)備內(nèi)設(shè)有交互數(shù)據(jù)庫，所述的交互數(shù)據(jù)庫內(nèi)設(shè)有交互類型、交互行為和響應(yīng)數(shù)據(jù)，所述的交互類型與預(yù)設(shè)場景相對應(yīng)，所述的交互行為與響應(yīng)數(shù)據(jù)相對應(yīng)，其中：每個交互類型內(nèi)含有若干交互行為，每個交互類型中選擇的交互行為是隨機(jī)的。需要強(qiáng)調(diào)的是：該交互數(shù)據(jù)庫可由使用本發(fā)明的某些App內(nèi)部預(yù)置的，同時該交互數(shù)據(jù)可以通過云端進(jìn)行更新，使得交互行為可以在線更新，從而更加多樣化。
作為優(yōu)選，所述的交互行為包括控制視頻的開始播放、暫停播放、繼續(xù)播放、結(jié)束播放及展示的動畫、語音、圖片、文字或震動中的一種或多種。
作為優(yōu)選，所述的圖片包括靜態(tài)圖片和gif圖片。
本發(fā)明的有益效果是：自動形成對視頻與觀看者之間的交互及對視頻播放過程的智能控制，極大的提升了對用戶的人文關(guān)懷，在播放的智能化、交互的多樣化影響下，能夠帶來更好的用戶體驗。
具體實施方式
下面結(jié)合具體實施方式對本發(fā)明做進(jìn)一步的描述。
基于場景的移動視頻智能播放交互控制方法，采用智能移動設(shè)備通過預(yù)設(shè)場景結(jié)合對外部對象的識別及內(nèi)部狀態(tài)的感知，自動匹配并輸出交互行為，實現(xiàn)對視頻播放的智能控制，具體包括如下預(yù)設(shè)場景：
(1)用戶連續(xù)觀看視頻超過一定時間，產(chǎn)生一次交互行為；
(2)視頻播放過程中，手機(jī)設(shè)備檢測到人臉消失，產(chǎn)生交互行為；
(3)視頻播放中，用戶未以正確的姿勢觀看視頻，產(chǎn)生交互行為；
(4)視頻播放中，在檢測到人臉消失后，恢復(fù)檢測到人臉，產(chǎn)生交互行為；
(5)通過對播放器狀態(tài)的感知，針對不同的狀態(tài)，產(chǎn)生不同的交互行為；
(6)通過對智能移動設(shè)備屏幕角度的識別，產(chǎn)生交互行為。
其中：智能移動設(shè)備包括智能手機(jī)、平板電腦和筆記本電腦，智能移動設(shè)備上設(shè)有攝像頭。智能移動設(shè)備內(nèi)設(shè)有交互數(shù)據(jù)庫，交互數(shù)據(jù)庫內(nèi)設(shè)有交互類型、交互行為和響應(yīng)數(shù)據(jù)，交互類型與預(yù)設(shè)場景相對應(yīng)，交互行為與響應(yīng)數(shù)據(jù)相對應(yīng)，其中：每個交互類型內(nèi)含有若干交互行為，每個交互類型中選擇的交互行為是隨機(jī)的。交互行為包括控制視頻的開始播放、暫停播放、繼續(xù)播放、結(jié)束播放及展示的動畫、語音、圖片、文字或震動中的一種或多種。圖片包括靜態(tài)圖片和gif圖片。需要強(qiáng)調(diào)的是：該交互數(shù)據(jù)庫可由使用本專利的某些App內(nèi)部預(yù)置的，同時該交互數(shù)據(jù)可以通過云端進(jìn)行更新，使得交互行為可以在線更新，從而更加多樣化。
在預(yù)設(shè)場景(1)中，智能移動設(shè)備內(nèi)設(shè)有連續(xù)觀看視頻時長的時長閾值和用戶頭像各角度的角度閾值，首先，通過智能移動設(shè)備上的攝像頭結(jié)合人臉識別技術(shù)，對用戶頭像識別結(jié)果的角度進(jìn)行計算，根據(jù)計算結(jié)果可以得出側(cè)臉、抬頭及低頭的角度，在設(shè)定的角度閾值內(nèi)則認(rèn)為是有效觀看，精確判斷用戶觀看視頻的姿勢是否處于有效觀看狀態(tài)，如果處于有效觀看狀態(tài)，則進(jìn)行觀看時長的記錄與追蹤；如果不處于有效觀看狀態(tài)，則繼續(xù)通過人臉識別技術(shù)對用戶觀看視頻的姿勢進(jìn)行判斷；之后，通過對人臉的連續(xù)識別追蹤，計算觀看時長，如果連續(xù)有效的識別觀看時長達(dá)到設(shè)定的時長閾值，則進(jìn)行交互行為；如果沒有連續(xù)處于有效觀看狀態(tài)，則繼續(xù)通過人臉識別技術(shù)對用戶觀看視頻的姿勢進(jìn)行判斷。該場景提升了一些時間稍長但是又相對比較枯燥的視頻觀看體驗。針對同一類場景，可以有多種交互行為定義，每次可以隨機(jī)取一種，從用戶角度來看每次的交互體驗或感知都不一樣。在本場景中的交互行為包括但不局限于提示文字、顯示圖片、顯示動畫及播放語音中的一個或者多個組合(圖片包括靜態(tài)圖片、gif圖片)。例如連續(xù)觀看教學(xué)視頻超過3分鐘，提示用戶“你很認(rèn)真哦！”，并伴隨動畫或語音。
在預(yù)設(shè)場景(2)中，智能移動設(shè)備內(nèi)設(shè)有人臉識別的檢測周期和用于限定檢測周期次數(shù)的檢測量X，首先，通過智能移動設(shè)備上的攝像頭結(jié)合人臉識別技術(shù)，確定檢測到用戶的人臉；之后，在設(shè)定的檢測周期內(nèi)無法檢測到人臉，并持續(xù)經(jīng)歷X個檢測周期都無法檢測到人臉，則認(rèn)為無人在觀看視頻，進(jìn)行交互行為，同時視頻會被自動暫停。本場景需要精確檢測從有到無的過程，合理控制檢測周期，當(dāng)設(shè)定的多個檢測周期都未能檢測到人臉，則認(rèn)定用戶已經(jīng)離開，同時匹配并輸出交互行為。例如：做出“咦，你去哪啦？”或“親，你還在嗎？”等類似的提示，同時視頻會被自動暫停，以免錯過精彩片段。這樣就解決了用戶由于突發(fā)事件(例如接電話)需要離開，錯過了精彩片段的情況。本場景中語音提示結(jié)合自動暫停視頻能帶來更好的用戶體驗。
在預(yù)設(shè)場景(3)中，智能移動設(shè)備內(nèi)設(shè)有用戶頭像各角度的角度閾值和人臉面積與屏幕面積之比的比例上限閾值N和比例下限閾值M，通過智能移動設(shè)備上的攝像頭結(jié)合人臉識別技術(shù)，對用戶頭像識別結(jié)果的角度進(jìn)行計算，根據(jù)計算結(jié)果可以得出側(cè)臉、抬頭及低頭的角度，大于設(shè)定的角度閾值則認(rèn)為是無效觀看行為，則進(jìn)行交互行為；通過智能移動設(shè)備上的攝像頭結(jié)合人臉識別技術(shù)，計算識別出的人臉面積與屏幕面積的比例，并與設(shè)定的比例上限閾值N和比例下限閾值M進(jìn)行比對，如果人臉面積與屏幕面積的比例大于比例上限閾值N，則認(rèn)定為距離屏幕太近；如果人臉面積與屏幕面積的比例小于比例下限閾值M，則認(rèn)定為距離屏幕太遠(yuǎn)；并進(jìn)行交互行為?？梢钥闯稣Ｓ^看的人臉識別結(jié)果，采集到的“眼睛”部位特征關(guān)鍵點幾乎是在一條水平線上的，但是側(cè)臉的圖譜中采集到的特征關(guān)鍵點存在一定的角度，通過對這個角度的計算及與角度閾值的比較才可以判斷出是否處于有效觀看狀態(tài)。例如：做出“看哪呢？”等類似的提示。
在預(yù)設(shè)場景(4)中，智能移動設(shè)備內(nèi)設(shè)有人臉識別的檢測周期，通過智能移動設(shè)備上的攝像頭結(jié)合人臉識別技術(shù)，在一個檢測周期內(nèi)，正確識別出人臉，則認(rèn)為用戶返回，暫停的視頻自動繼續(xù)播放，并進(jìn)行交互行為。例如：提示文字“小主人，我想死你了！”等類似的提示。
在預(yù)設(shè)場景(5)中，播放器狀態(tài)包括視頻開始播放、視頻暫停播放、視頻結(jié)束播放、視頻緩沖中和視頻播放異常。例如：提示文字“緩沖中”等類似的提示。
在預(yù)設(shè)場景(6)中，智能移動設(shè)備內(nèi)設(shè)有屏幕傾斜角度的傾斜度閾值，利用智能設(shè)備上陀螺儀的動態(tài)感應(yīng)，檢測到屏幕向下的傾斜角度，當(dāng)傾斜角度小于設(shè)置的傾斜度閾值，則認(rèn)定用戶不適合以該角度進(jìn)行觀看，并進(jìn)行交互行為。本場景的交互行為包括但不限于手機(jī)震動、動畫、文字、語音提示等。例如：提示文字“你躺著看的嗎？”等類似的提示。
本文中提到的人臉識別技術(shù)，采用了特征臉方法，其基本思想是：尋找人臉圖像分布的基本元素，即人臉圖像樣本集協(xié)方差矩陣的特征向量，以此近似地表征人臉圖像，這些特征向量稱為特征臉。實際上，特征臉反映了隱含在人臉樣本集合內(nèi)部的信息和人臉的結(jié)構(gòu)關(guān)系。將眼睛、面頰、下頜的樣本集協(xié)方差矩陣的特征向量稱為特征眼、特征頜和特征唇，統(tǒng)稱特征子臉。特征子臉在相應(yīng)的圖像空間中生成子空間，稱為子臉空間。計算出測試圖像窗口在子臉空間的投影距離，若窗口圖像滿足閾值比較條件，則判斷其為人臉。
特征臉的方法，是先確定眼虹膜、鼻翼、嘴角等面像五官輪廓的大小、位置、距離等屬性，然后再計算出它們的幾何特征量，而這些特征量形成一描述該面像的特征向量。其技術(shù)的核心實際為“局部人體特征分析”，最終它根據(jù)一組人臉訓(xùn)練圖像構(gòu)造主元子空間，由于主元具有臉的形狀，也稱為特征臉，識別時將測試圖像投影到主元子空間上，得到一組投影系數(shù)，和各個已知人的人臉圖像比較進(jìn)行識別。據(jù)統(tǒng)計：在200個人的3000幅圖像中得到95％的正確識別率。本發(fā)明利用采集到的上千萬張6-12歲年齡段孩子的不同特征臉，并依此進(jìn)行訓(xùn)模，極大的增加了特征臉的數(shù)據(jù)庫整體基數(shù)，使得在這個年齡段的識別率達(dá)到了99.9％。
本發(fā)明帶來了一種更加有趣、人性化的播放體驗，在不干擾用戶觀看視頻的前提下，整個播放過程變得更加活潑不再枯燥，特別針對情節(jié)性較弱的視頻(例如教學(xué)視頻)，提示了用戶觀看興趣。同時，離開自動暫停、進(jìn)入自動播放的能力及各種狀態(tài)的友好提示，極大的提升了對用戶的人文關(guān)懷，在播放的智能化、交互的多樣化影響下，使得視頻觀看體驗達(dá)到一種前所未有的高度。