智能電視及其內(nèi)容推薦的方法、裝置的制造方法
【專利摘要】本發(fā)明實施例提供了一種智能電視及其內(nèi)容推薦的方法、裝置，其中方法包括：根據(jù)對捕捉到的人臉進(jìn)行圖像采集生成的人臉圖像進(jìn)行識別并在所述人臉圖像中進(jìn)行人臉定位；對在一系列所述人臉圖像上追蹤到的人臉進(jìn)行特征識別，以在一系列的所述人臉圖像上對定位到的人臉進(jìn)行追蹤；根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征判斷觀看興趣，根據(jù)判定的觀看興趣進(jìn)行播放內(nèi)容的推薦，由于人臉特征與觀眾是一一對應(yīng)，可以將觀看記錄與觀眾一一對應(yīng)起來，因此，在推薦內(nèi)容的時候，準(zhǔn)確地向觀眾進(jìn)行內(nèi)容推薦。
【專利說明】
智能電視及其內(nèi)容推薦的方法、裝置
技術(shù)領(lǐng)域
[0001]本發(fā)明實施例涉及智能電視技術(shù)領(lǐng)域，尤其涉及一種智能電視及其內(nèi)容推薦的方法、裝置。
【背景技術(shù)】
[0002]傳統(tǒng)電視和互聯(lián)網(wǎng)的結(jié)合造就了智能電視的產(chǎn)生。智能電視具有主控芯片和全開放式軟件平臺，搭載了操作系統(tǒng)，可以自行安裝和卸載軟件、游戲等第三方服務(wù)商提供的程序，通過此類程序來不斷對電視的功能進(jìn)行擴(kuò)充，并可以通過網(wǎng)線、無線網(wǎng)絡(luò)來實現(xiàn)上網(wǎng)沖浪，從而實現(xiàn)電視的“需求定制化”、“電視娛樂化”。
[0003]相比于傳統(tǒng)電視，智能電視一方面由于具備了上網(wǎng)功能，實時接入互聯(lián)網(wǎng)，可以在線網(wǎng)絡(luò)游戲、在線音樂欣賞、適時天氣查詢、適時股票查詢、新聞快報等；另外一方面，由于搭載了主控芯片、操作系統(tǒng)、存儲功能等，可以實現(xiàn)回訪重播、點(diǎn)播等，而傳統(tǒng)電視只能被動看節(jié)目，只能選擇頻道，不能點(diǎn)播內(nèi)容；只能實時按序收看，不能回放重播；只能接收信息，不能互動?；谏鲜鰞?yōu)點(diǎn)，智能電視相比與傳統(tǒng)電視來說，變得越來越普及。
[0004]但是，由于電視可以接入互聯(lián)網(wǎng)，而互聯(lián)網(wǎng)具有大量的數(shù)據(jù)資源，如何實現(xiàn)觀眾與互聯(lián)網(wǎng)上大量數(shù)據(jù)資源的對接，即向觀眾推薦其感興趣的資源，比如視頻、電視節(jié)目等，從而與觀眾形成良好的互動成為亟待解決的技術(shù)問題。
[0005]現(xiàn)有技術(shù)中，往往通過收集觀眾的觀看記錄等反應(yīng)觀眾觀看習(xí)慣的數(shù)據(jù)來向觀眾推薦內(nèi)容，但是，對于一個家庭來說，觀看的觀眾較多，如果通過觀眾的觀看習(xí)慣數(shù)據(jù)來推薦內(nèi)容，需要收集大量的觀看記錄，而對于電視來說，無法將觀看記錄與觀眾一一對應(yīng)起來，因此，在推薦內(nèi)容的時候，準(zhǔn)確度較差。

【發(fā)明內(nèi)容】

[0006]本發(fā)明實施例的目的在于提供一種智能電視及其內(nèi)容推薦的方法、裝置，用以解決現(xiàn)有技術(shù)中僅通過收集觀眾的觀看記錄來向觀眾推薦內(nèi)容時，由于同一臺電視觀看的觀眾較多，無法將觀看記錄與觀眾一一對應(yīng)起來導(dǎo)致的內(nèi)容推薦準(zhǔn)確度較差的缺陷。
[0007]本發(fā)明實施例采用的技術(shù)方案如下:
[0008]本發(fā)明實施例提供一種智能電視播放內(nèi)容的推薦方法，其包括:
[0009]根據(jù)對捕捉到的人臉進(jìn)行圖像采集生成的人臉圖像進(jìn)行識別并在所述人臉圖像中進(jìn)行人臉定位；
[0010]對在一系列所述人臉圖像上追蹤到的人臉進(jìn)行特征識別，以在一系列的所述人臉圖像上對定位到的人臉進(jìn)行追蹤；
[0011]根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征判斷觀看興趣，根據(jù)判定的觀看興趣進(jìn)行播放內(nèi)容的推薦。
[0012]優(yōu)選地，在本發(fā)明的一實施例中，根據(jù)對捕捉到的人臉進(jìn)行圖像采集生成的人臉圖像進(jìn)行識別并在所述人臉圖像中進(jìn)行人臉定位包括:
[0013]根據(jù)人臉上的不變特征對生成的人臉圖像進(jìn)行識別并在所述人臉圖像中進(jìn)行人臉定位，所述人臉上的不變特征至少包括:形狀、膚色、紋理、邊緣信息。
[0014]優(yōu)選地，在本發(fā)明的一實施例中，根據(jù)對捕捉到的人臉進(jìn)行圖像采集生成的人臉圖像進(jìn)行識別并在所述人臉圖像中進(jìn)行人臉定位包括:
[0015]根據(jù)人臉圖像上的像素灰度特征對對生成的人臉圖像進(jìn)行識別并在所述人臉圖像中進(jìn)行人臉定位。
[0016]優(yōu)選地，在本發(fā)明的一實施例中，根據(jù)對捕捉到的人臉進(jìn)行圖像采集生成的人臉圖像進(jìn)行識別并在所述人臉圖像中進(jìn)行人臉定位包括:
[0017]根據(jù)神經(jīng)元互聯(lián)生成的神經(jīng)網(wǎng)絡(luò)對采集生成的人臉圖像進(jìn)行識別并在所述人臉圖像中進(jìn)行人臉定位。
[0018]優(yōu)選地，在本發(fā)明的一實施例中，根據(jù)對捕捉到的人臉進(jìn)行圖像采集生成的人臉圖像進(jìn)行識別并在所述人臉圖像中進(jìn)行人臉定位包括:
[0019]根據(jù)三維人臉訓(xùn)練數(shù)據(jù)和待識別三維人臉數(shù)據(jù)進(jìn)行分類處理對采集生成的人臉圖像進(jìn)行識別并在所述人臉圖像中進(jìn)行人臉定位。
[0020]優(yōu)選地，在本發(fā)明的一實施例中，所述對在一系列所述人臉圖像上追蹤到的人臉進(jìn)行特征識別，以在一系列的所述人臉圖像上對定位到的人臉進(jìn)行追蹤包括:
[0021]在圖象序列中根據(jù)人臉的部分或局部器官的分布信息進(jìn)行特征識別，并確定人臉的運(yùn)動軌跡及大小，以在一系列的所述人臉圖像上對定位到的人臉進(jìn)行追蹤，所述圖像序列包括一系列的所述人臉圖像。
[0022]優(yōu)選地，在本發(fā)明的一實施例中，根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征判斷觀看興趣，根據(jù)判定的觀看興趣進(jìn)行播放內(nèi)容的推薦包括:
[0023]根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征，生成觀眾興趣表征數(shù)據(jù)；
[0024]根據(jù)所述觀眾興趣表征數(shù)據(jù)排定觀看興趣，根據(jù)判定的觀看興趣進(jìn)行播放內(nèi)容的推薦。
[0025]優(yōu)選地，在本發(fā)明的一實施例中，根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征，生成觀眾興趣表征數(shù)據(jù)包括:根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征，生成觀眾的年齡、性別、表情其一或者多者組合的相關(guān)數(shù)據(jù)，所述觀眾興趣表征數(shù)據(jù)包括觀眾的年齡、性別、表情相關(guān)數(shù)據(jù)。
[0026]優(yōu)選地，在本發(fā)明的一實施例中，在根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征，生成觀眾的年齡相關(guān)數(shù)據(jù)包括:
[0027]在根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征生成年齡特征向量，以及經(jīng)訓(xùn)練得到的年齡特征模型，生成觀眾的年齡相關(guān)數(shù)據(jù)。
[0028]優(yōu)選地，在本發(fā)明的一實施例中，根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征，生成觀眾的性別的相關(guān)數(shù)據(jù)包括:
[0029]根據(jù)在追蹤到的一系列所述人臉圖像上識別到的整體特征和局部特征，生成觀眾的性別的相關(guān)數(shù)據(jù)。
[0030]優(yōu)選地，在本發(fā)明的一實施例中，根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征，生成觀眾的表情的相關(guān)數(shù)據(jù)包括:
[0031]根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征的運(yùn)動屬性和形變屬性，生成觀眾的表情的相關(guān)數(shù)據(jù)。
[0032]本發(fā)明實施例還提供一種智能電視播放內(nèi)容的推薦裝置，其包括:
[0033]人臉定位單元，用于根據(jù)對捕捉到的人臉進(jìn)行圖像采集生成的人臉圖像進(jìn)行識別并在所述人臉圖像中進(jìn)行人臉定位；
[0034]人臉追蹤單元，用于對在一系列所述人臉圖像上追蹤到的人臉進(jìn)行特征識別，以在一系列的所述人臉圖像上對定位到的人臉進(jìn)行追蹤；
[0035]內(nèi)容推薦單元，用于根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征判斷觀看興趣，根據(jù)判定的觀看興趣進(jìn)行播放內(nèi)容的推薦。
[0036]本發(fā)明實施例還提供一種智能電視，其包括硬件處理器，所述硬件處理器執(zhí)行如下步驟的指令:
[0037]根據(jù)對捕捉到的人臉進(jìn)行圖像采集生成的人臉圖像進(jìn)行識別并在所述人臉圖像中進(jìn)行人臉定位；
[0038]對在一系列所述人臉圖像上追蹤到的人臉進(jìn)行特征識別，以在一系列的所述人臉圖像上對定位到的人臉進(jìn)行追蹤；
[0039]根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征判斷觀看興趣，根據(jù)判定的觀看興趣進(jìn)行播放內(nèi)容的推薦。
[0040]本發(fā)明實施例的技術(shù)方案具有以下優(yōu)點(diǎn):
[0041]根據(jù)對捕捉到的人臉進(jìn)行圖像采集生成的人臉圖像進(jìn)行識別并在所述人臉圖像中進(jìn)行人臉定位;對在一系列所述人臉圖像上追蹤到的人臉進(jìn)行特征識別，以在一系列的所述人臉圖像上對定位到的人臉進(jìn)行追蹤;根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征判斷觀看興趣，根據(jù)判定的觀看興趣進(jìn)行播放內(nèi)容的推薦，由于人臉特征與觀眾是一一對應(yīng)，可以將觀看記錄與觀眾一一對應(yīng)起來，因此，在推薦內(nèi)容的時候，準(zhǔn)確地向觀眾進(jìn)行內(nèi)容推薦。
【附圖說明】
[0042]為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作一簡單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0043]圖1為本發(fā)明實施例一智能電視播放內(nèi)容的推薦方法流程示意圖；
[0044]圖2為本發(fā)明實施例二智能電視播放內(nèi)容的推薦方法流程示意圖；
[0045]圖3為本發(fā)明實施例三智能電視播放內(nèi)容的推薦方法流程示意圖；
[0046]圖4為本發(fā)明實施例四智能電視播放內(nèi)容的推薦方法流程示意圖；
[0047]圖5為本發(fā)明實施例五智能電視播放內(nèi)容的推薦方法流程示意圖；
[0048]圖6為本發(fā)明實施例六智能電視播放內(nèi)容的推薦方法流程示意圖；
[0049]圖7為本發(fā)明實施例七智能電視播放內(nèi)容的推薦裝置；
[0050]圖8為本發(fā)明實施例八智能電視結(jié)構(gòu)示意圖。
【具體實施方式】
[0051]為使本發(fā)明實施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實施例是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護(hù)的范圍。
[0052]本發(fā)明下述實施例中，可以利用智能電視上集成的攝像頭，或者外置攝像頭捕捉人臉，攝像頭的數(shù)量和規(guī)格不做特別限定。
[0053]本發(fā)明下述實施例中，內(nèi)容推薦可以包括多媒體內(nèi)容推薦如電影、電視劇，以及定制頻道內(nèi)容推薦如體育、演唱會等。
[0054]圖1為本發(fā)明實施例一智能電視播放內(nèi)容的推薦方法流程示意圖；如圖1所示，其可以包括:
[0055]S101、根據(jù)對捕捉到的人臉進(jìn)行圖像采集生成的人臉圖像進(jìn)行識別并在所述人臉圖像中進(jìn)行人臉定位；
[0056]本實施例中，人臉的識別和定位可以基于幾何特征、代數(shù)特征、連接機(jī)制、三維數(shù)據(jù)機(jī)制的人臉識別方法，詳細(xì)詳見后述實施例記載，在此不再贅述。
[0057]S102、對在一系列所述人臉圖像上追蹤到的人臉進(jìn)行特征識別，以在一系列的所述人臉圖像上對定位到的人臉進(jìn)行追蹤；
[0058]本實施例中，人臉的追蹤即在一些列人臉圖像上確定出捕捉到的人臉，詳細(xì)詳見后述實施例，有基于特征匹配的人臉跟蹤或者基于區(qū)域匹配的人臉跟蹤或基于模型匹配的跟蹤。
[0059]基于特征匹配的跟蹤方案中，由于一系列人臉圖像在時序上的運(yùn)動是平滑的，因此，通過人臉的一些個體特征來進(jìn)行跟蹤，比如眼睛、眉毛、下巴等。具體地，通過提取實時人臉圖像和參考人臉圖像的特征并進(jìn)行比對，如果兩者的相似度在預(yù)定的誤差范圍內(nèi)，即復(fù)核距離最小原則，則圖像中的人臉即為跟蹤到的對象。
[0060]基于區(qū)域匹配的跟蹤方案中，通過把圖像中的人臉連通區(qū)域的共有特征作為單一的特征信息或者多個特征信息作為特征點(diǎn)，在連續(xù)的一系列圖像中的區(qū)域信息比如紋理信息、顏色信息，獲取區(qū)域和原始人臉的相關(guān)性來判斷跟蹤物體的位置。
[0061]基于模型匹配的跟蹤方案，通過建立一個跟蹤模型，通過在采集到的人臉圖像上跟蹤這個模型來達(dá)到跟蹤的目的，跟蹤模型主要有自由變形模型以及參數(shù)形式的變形模型，詳細(xì)不再贅述。
[0062]S103、根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征判斷觀看興趣，根據(jù)判定的觀看興趣進(jìn)行播放內(nèi)容的推薦。
[0063]本實施例中，通過觀眾在觀看的過程中反應(yīng)到臉上的表現(xiàn)，進(jìn)而體現(xiàn)在人臉圖像上特征的不同上，根據(jù)這些特征判定觀眾的觀看興趣，比如在收看喜劇的時候，通常會有會發(fā)生嬉笑，這些表情都會在人臉上得以體現(xiàn)，由于嬉笑時，人臉部位的特征會有明顯變化，因此，通過這種特征的變化，判斷觀眾的興趣在于喜劇，因此，可以向該觀眾推薦喜劇類型的內(nèi)容比如電影等等。
[0064]需要說明的是，可以收集觀眾在一段時間內(nèi)的特征，進(jìn)行綜合分析，從而判斷觀看興趣，從而更為準(zhǔn)確的進(jìn)行播放內(nèi)容的推薦。
[0065]圖2為本發(fā)明實施例二智能電視播放內(nèi)容的推薦方法流程示意圖；如圖2所示，其可以包括:
[0066]S201、根據(jù)人臉上的不變特征對生成的人臉圖像進(jìn)行識別并在所述人臉圖像中進(jìn)行人臉定位，所述人臉上的不變特征至少包括:形狀、膚色、紋理、邊緣信息。
[0067]本實施例中，通過在一系列的人臉圖像上尋找不變特征，并利用這些特征來定位入臉，具體包括模板匹配法和基于外觀形狀的方法。
[0068]模板匹配法中，制作標(biāo)準(zhǔn)模板(固定模板)或?qū)⒛０逑刃袇?shù)化(可變模板)，然后在檢測人臉時，計算輸入圖像與模板之間的相關(guān)值，這個相關(guān)值通常都是獨(dú)立計算臉部輪廓、眼睛、鼻子和嘴各自的匹配程度后得出的綜合描述，最后再根據(jù)相關(guān)值和預(yù)先設(shè)定的閾值來確定圖像中是否存在人臉。
[0069]基于外觀形狀的方法，通過使用如主成分分析方法(PCA)、支持向量機(jī)(SVM)^g網(wǎng)絡(luò)方法(ANN)等對大量的人臉和非人臉樣本組成的訓(xùn)練集進(jìn)行學(xué)習(xí)，再將學(xué)習(xí)而成的模板或者說分類器用于人臉識別。
[0070]S202、對在一系列所述人臉圖像上追蹤到的人臉進(jìn)行特征識別，以在一系列的所述人臉圖像上對定位到的人臉進(jìn)行追蹤；
[0071]S203、根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征判斷觀看興趣，根據(jù)判定的觀看興趣進(jìn)行播放內(nèi)容的推薦。
[0072]本實施例中，步驟S202-203參見上述圖1相關(guān)記載，詳細(xì)不再贅述。
[0073]圖3為本發(fā)明實施例三智能電視播放內(nèi)容的推薦方法流程示意圖；如圖3所示，其可以包括:
[0074]S301、根據(jù)人臉圖像上的像素灰度特征對對生成的人臉圖像進(jìn)行識別并在所述人臉圖像中進(jìn)行人臉定位。
[0075]本實施例中，在基于代數(shù)特征的人臉識別中，每一幅人臉圖像被看成是以像素點(diǎn)灰度為元素的矩陣，用反映特定性質(zhì)的數(shù)據(jù)特征來表示人臉的特征，然后利用圖像投影間的距離度量來確定圖像間的相似度來進(jìn)行人臉的識別。
[0076]S302、對在一系列所述人臉圖像上追蹤到的人臉進(jìn)行特征識別，以在一系列的所述人臉圖像上對定位到的人臉進(jìn)行識別；
[0077]S303、根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征判斷觀看興趣，根據(jù)判定的觀看興趣進(jìn)行播放內(nèi)容的推薦。
[0078]本實施例中，步驟S302-303詳見上述圖1的記載，在此不再贅述。
[0079]圖4為本發(fā)明實施例四智能電視播放內(nèi)容的推薦方法流程示意圖；如圖4所示，其可以包括:
[0080]S401、根據(jù)神經(jīng)元互聯(lián)生成的神經(jīng)網(wǎng)絡(luò)對采集生成的人臉圖像進(jìn)行識別并在所述人臉圖像中進(jìn)行人臉定位。
[0081]神經(jīng)網(wǎng)絡(luò)通過大量簡單神經(jīng)元互聯(lián)來構(gòu)成復(fù)雜系統(tǒng)，常用的神經(jīng)網(wǎng)絡(luò)有:BP網(wǎng)絡(luò)、卷積網(wǎng)絡(luò)、徑向基函數(shù)網(wǎng)絡(luò)、自組織網(wǎng)絡(luò)以及模糊神經(jīng)網(wǎng)絡(luò)等。BP網(wǎng)絡(luò)的運(yùn)算量較小耗時也短，它的自適應(yīng)功能使系統(tǒng)的魯棒性增強(qiáng)。具體地，BP網(wǎng)絡(luò)中的彈性匹配法采用屬性拓?fù)鋱D代表人臉，拓?fù)鋱D的每個頂點(diǎn)包含一個特征向量，以此來記錄人臉在該頂點(diǎn)位置周圍的特征信息。拓?fù)鋱D的頂點(diǎn)是采用小波變換特征，對光線、角度和尺寸都具有一定的適應(yīng)性，且能適應(yīng)表情和視角的變化。
[0082]S402、對在一系列所述人臉圖像上追蹤到的人臉進(jìn)行特征識別，以在一系列的所述人臉圖像上對定位到的人臉進(jìn)行追蹤；
[0083]S403、根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征判斷觀看興趣，根據(jù)判定的觀看興趣進(jìn)行播放內(nèi)容的推薦。
[0084]本實施例中，步驟S402-403詳見上述圖1的記載，在此不再贅述。
[0085]圖5為本發(fā)明實施例五智能電視播放內(nèi)容的推薦方法流程示意圖；如圖5所示，其可以包括:
[0086]S501、根據(jù)三維人臉訓(xùn)練數(shù)據(jù)和待識別三維人臉數(shù)據(jù)進(jìn)行分類處理對采集生成的人臉圖像進(jìn)行識別并在所述人臉圖像中進(jìn)行人臉定位。
[0087]本實施例中，定義一個候選窗口作為檢測窗口，該檢測窗口為一矩形區(qū)域，搜索一系列人臉圖象中矩形區(qū)域(檢測窗口)作為候選窗口，對每個候選窗口按照如下步驟進(jìn)行處理:比如使用雙眼模板匹配進(jìn)行粗篩選;然后對窗口內(nèi)圖象進(jìn)行均方差標(biāo)準(zhǔn)化，消除光照變化的影響;接下來使用人臉模板進(jìn)行匹配，若匹配度超過閾值，則將窗口區(qū)域輸入人工神經(jīng)網(wǎng)進(jìn)行分類;若超過設(shè)定的閾值，則作為候選人臉輸出。
[0088]S502、對在一系列所述人臉圖像上追蹤到的人臉進(jìn)行特征識別，以在一系列的所述人臉圖像上對定位到的人臉進(jìn)行追蹤；
[0089]S503、根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征判斷觀看興趣，根據(jù)判定的觀看興趣進(jìn)行播放內(nèi)容的推薦。
[0090]本實施例中，步驟S502-503詳見上述圖1的記載，在此不再贅述。
[0091]圖6為本發(fā)明實施例六智能電視播放內(nèi)容的推薦方法流程示意圖；如圖6所示，其可以包括:
[0092]S601、根據(jù)對捕捉到的人臉進(jìn)行圖像采集生成的人臉圖像進(jìn)行識別并在所述人臉圖像中進(jìn)行人臉定位；
[0093]本實施例中，步驟S603可以參照圖1-圖5中相關(guān)記載，在此不再贅述。
[0094]S602、在圖象序列中根據(jù)人臉的部分或局部器官的分布信息進(jìn)行特征識別，并確定人臉的運(yùn)動軌跡及大小，以在一系列的所述人臉圖像上對定位到的人臉進(jìn)行追蹤，所述圖像序列包括一系列的所述人臉圖像。
[0095]本實施例中，在人臉追蹤時可以基于膚色信息、基于運(yùn)動信息、基于運(yùn)動模型的方法、基于局部器官特征等。這些方法的共同出發(fā)點(diǎn)是利用相關(guān)的啟發(fā)性知識(如根據(jù)膚色和運(yùn)動信息限定搜索空間)達(dá)到快速跟蹤的目的，通常只使用了人臉的一小部分或局部器官的分布信息，在一些典型的約束環(huán)境下(如背景簡單靜止的視頻、工作臺前的人臉或頭肩部人臉視頻等)可以取得很好的人臉跟蹤效果。需要說明的是這些方法一般建立在人臉初始位置大致已知的基礎(chǔ)上，需要使用其它方法解決起始幀中人臉的檢測問題。當(dāng)我們考慮較大范圍的復(fù)雜動態(tài)變化背景下的人臉跟蹤問題時，以人臉檢測技術(shù)為基礎(chǔ)，利用圖象序列前后幀中人臉在位置和大小上存在的關(guān)聯(lián)性限定搜索空間，實現(xiàn)快速可靠的人臉跟蹤。
[0096]S603、根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征判斷觀看興趣，根據(jù)判定的觀看興趣進(jìn)行播放內(nèi)容的推薦。
[0097]本實施例中，步驟S603中，根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征判斷觀看興趣，根據(jù)判定的觀看興趣進(jìn)行播放內(nèi)容的推薦時可以包括:根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征，生成觀眾興趣表征數(shù)據(jù)；
[0098]優(yōu)選地，在本實施例中或者其他任意實施例中，根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征，生成觀眾興趣表征數(shù)據(jù)包括:根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征，生成觀眾的年齡、性別、表情其一或者多者組合的相關(guān)數(shù)據(jù)，所述觀眾興趣表征數(shù)據(jù)包括觀眾的年齡、性別、表情相關(guān)數(shù)據(jù)。
[0099]具體地，在本實施例中或者其他任意實施例中，在根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征，生成觀眾的年齡相關(guān)數(shù)據(jù)包括:在根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征生成年齡特征向量，以及經(jīng)訓(xùn)練得到的年齡特征模型，生成觀眾的年齡相關(guān)數(shù)據(jù)。
[0100]具體地，在本實施例中或者其他任意實施例中，根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征，生成觀眾的性別的相關(guān)數(shù)據(jù)包括:根據(jù)在追蹤到的一系列所述人臉圖像上識別到的整體特征和局部特征，生成觀眾的性別的相關(guān)數(shù)據(jù)。
[0101]具體地，在本實施例中或者其他任意實施例中，根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征，生成觀眾的表情的相關(guān)數(shù)據(jù)包括:根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征的運(yùn)動屬性和形變屬性，生成觀眾的表情的相關(guān)數(shù)據(jù)。
[0102]圖7為本發(fā)明實施例七智能電視播放內(nèi)容的推薦裝置;如圖7所示，其包括:
[0103]人臉定位單元701，用于根據(jù)對捕捉到的人臉進(jìn)行圖像采集生成的人臉圖像進(jìn)行識別并在所述人臉圖像中進(jìn)行人臉定位；
[0104]人臉追蹤單元702，用于對在一系列所述人臉圖像上追蹤到的人臉進(jìn)行特征識別，以在一系列的所述人臉圖像上對定位到的人臉進(jìn)行追蹤；
[0105]內(nèi)容推薦單元703，用于根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征判斷觀看興趣，根據(jù)判定的觀看興趣進(jìn)行播放內(nèi)容的推薦。
[0106]在本實施例中，或者其他任意實施例中，人臉定位單元701進(jìn)一步用于根據(jù)人臉上的不變特征對生成的人臉圖像進(jìn)行識別并在所述人臉圖像中進(jìn)行人臉定位，所述人臉上的不變特征至少包括:形狀、膚色、紋理、邊緣信息;或者
[0107]在本實施例中，或者其他任意實施例中，人臉定位單元701進(jìn)一步用于根據(jù)人臉圖像上的像素灰度特征對對生成的人臉圖像進(jìn)行識別并在所述人臉圖像中進(jìn)行人臉定位;或者
[0108]在本實施例中，或者其他任意實施例中，人臉定位單元701進(jìn)一步用于根據(jù)神經(jīng)元互聯(lián)生成的神經(jīng)網(wǎng)絡(luò)對采集生成的人臉圖像進(jìn)行識別并在所述人臉圖像中進(jìn)行人臉定位；或者，
[0109]在本實施例中，或者其他任意實施例中，人臉定位單元701進(jìn)一步用于根據(jù)三維人臉訓(xùn)練數(shù)據(jù)和待識別三維人臉數(shù)據(jù)進(jìn)行分類處理對采集生成的人臉圖像進(jìn)行識別并在所述人臉圖像中進(jìn)行人臉定位。
[0110]在本實施例中，或者其他任意實施例中，人臉追蹤單元702進(jìn)一步用于在圖象序列中根據(jù)人臉的部分或局部器官的分布信息進(jìn)行特征識別，并確定人臉的運(yùn)動軌跡及大小，以在一系列的所述人臉圖像上對定位到的人臉進(jìn)行追蹤，所述圖像序列包括一系列的所述人臉圖像。
[0111]在本實施例中，或者其他任意實施例中，內(nèi)容推薦單元703進(jìn)一步用于根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征，生成觀眾興趣表征數(shù)據(jù)；以及根據(jù)所述觀眾興趣表征數(shù)據(jù)排定觀看興趣，根據(jù)判定的觀看興趣進(jìn)行播放內(nèi)容的推薦。
[0112]在本實施例中，或者其他任意實施例中，內(nèi)容推薦單元703進(jìn)一步用于根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征，生成觀眾的年齡、性別、表情其一或者多者組合的相關(guān)數(shù)據(jù)，所述觀眾興趣表征數(shù)據(jù)包括觀眾的年齡、性別、表情相關(guān)數(shù)據(jù)。
[0113]在本實施例中，或者其他任意實施例中，內(nèi)容推薦單元703進(jìn)一步用于在根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征生成年齡特征向量，以及經(jīng)訓(xùn)練得到的年齡特征模型，生成觀眾的年齡相關(guān)數(shù)據(jù)。
[0114]在本實施例中，或者其他任意實施例中，內(nèi)容推薦單元703進(jìn)一步用于根據(jù)在追蹤到的一系列所述人臉圖像上識別到的整體特征和局部特征，生成觀眾的性別的相關(guān)數(shù)據(jù)。
[0115]在本實施例中，或者其他任意實施例中，內(nèi)容推薦單元703進(jìn)一步用于根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征的運(yùn)動屬性和形變屬性，生成觀眾的表情的相關(guān)數(shù)據(jù)。
[0116]圖8為本發(fā)明實施例八智能電視結(jié)構(gòu)示意圖；如圖8所示，智能電視800包括硬件處理器801，所述硬件處理器801執(zhí)行如下步驟的指令:根據(jù)對捕捉到的人臉進(jìn)行圖像采集生成的人臉圖像進(jìn)行識別并在所述人臉圖像中進(jìn)行人臉定位;對在一系列所述人臉圖像上追蹤到的人臉進(jìn)行特征識別，以在一系列的所述人臉圖像上對定位到的人臉進(jìn)行追蹤；以及根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征判斷觀看興趣，根據(jù)判定的觀看興趣進(jìn)行播放內(nèi)容的推薦。
[0117]本實施例中，硬件處理器801在執(zhí)行上述步驟的指令時，可以參考圖1-7任意實施例的相關(guān)記載，詳細(xì)不再贅述。
[0118]以上所描述的裝置實施例僅僅是示意性的，其中所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個網(wǎng)絡(luò)單元上。可以根據(jù)實際的需要選擇其中的部分或者全部模塊來實現(xiàn)本實施例方案的目的。本領(lǐng)域普通技術(shù)人員在不付出創(chuàng)造性的勞動的情況下，即可以理解并實施。
[0119]通過以上的實施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到各實施方式可借助軟件加必需的通用硬件平臺的方式來實現(xiàn)，當(dāng)然也可以通過硬件。基于這樣的理解，上述技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機(jī)軟件產(chǎn)品可以存儲在計算機(jī)可讀存儲介質(zhì)中，如R0M/RAM、磁碟、光盤等，包括若干指令用以使得一臺計算機(jī)設(shè)備(可以是個人計算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行各個實施例或者實施例的某些部分所述的方法。
[0120]最后應(yīng)說明的是:以上實施例僅用以說明本發(fā)明的技術(shù)方案，而非對其限制;盡管參照前述實施例對本發(fā)明進(jìn)行了詳細(xì)的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可以對前述各實施例所記載的技術(shù)方案進(jìn)行修改，或者對其中部分技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實施例技術(shù)方案的精神和范圍。
【主權(quán)項】
1.一種智能電視播放內(nèi)容的推薦方法，其特征在于，包括: 根據(jù)對捕捉到的人臉進(jìn)行圖像采集生成的人臉圖像進(jìn)行識別并在所述人臉圖像中進(jìn)行人臉定位； 對在一系列所述人臉圖像上追蹤到的人臉進(jìn)行特征識別，以在一系列的所述人臉圖像上對定位到的人臉進(jìn)行追蹤； 根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征判斷觀看興趣，根據(jù)判定的觀看興趣進(jìn)行播放內(nèi)容的推薦。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)對捕捉到的人臉進(jìn)行圖像采集生成的人臉圖像進(jìn)行識別并在所述人臉圖像中進(jìn)行人臉定位包括: 根據(jù)人臉上的不變特征對生成的人臉圖像進(jìn)行識別并在所述人臉圖像中進(jìn)行人臉定位，所述人臉上的不變特征至少包括:形狀、膚色、紋理、邊緣信息。3.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)對捕捉到的人臉進(jìn)行圖像采集生成的人臉圖像進(jìn)行識別并在所述人臉圖像中進(jìn)行人臉定位包括: 根據(jù)人臉圖像上的像素灰度特征對對生成的人臉圖像進(jìn)行識別并在所述人臉圖像中進(jìn)行人臉定位。4.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)對捕捉到的人臉進(jìn)行圖像采集生成的人臉圖像進(jìn)行識別并在所述人臉圖像中進(jìn)行人臉定位包括: 根據(jù)神經(jīng)元互聯(lián)生成的神經(jīng)網(wǎng)絡(luò)對采集生成的人臉圖像進(jìn)行識別并在所述人臉圖像中進(jìn)行人臉定位。5.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)對捕捉到的人臉進(jìn)行圖像采集生成的人臉圖像進(jìn)行識別并在所述人臉圖像中進(jìn)行人臉定位包括: 根據(jù)三維人臉訓(xùn)練數(shù)據(jù)和待識別三維人臉數(shù)據(jù)進(jìn)行分類處理對采集生成的人臉圖像進(jìn)行識別并在所述人臉圖像中進(jìn)行人臉定位。6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對在一系列所述人臉圖像上追蹤到的人臉進(jìn)行特征識別，以在一系列的所述人臉圖像上對定位到的人臉進(jìn)行追蹤包括: 在圖象序列中根據(jù)人臉的部分或局部器官的分布信息進(jìn)行特征識別，并確定人臉的運(yùn)動軌跡及大小，以在一系列的所述人臉圖像上對定位到的人臉進(jìn)行追蹤，所述圖像序列包括一系列的所述人臉圖像。7.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征判斷觀看興趣，根據(jù)判定的觀看興趣進(jìn)行播放內(nèi)容的推薦包括: 根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征，生成觀眾興趣表征數(shù)據(jù)； 根據(jù)所述觀眾興趣表征數(shù)據(jù)排定觀看興趣，根據(jù)判定的觀看興趣進(jìn)行播放內(nèi)容的推薦。8.根據(jù)權(quán)利要求7所述的方法，其特征在于，根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征，生成觀眾興趣表征數(shù)據(jù)包括:根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征，生成觀眾的年齡、性別、表情其一或者多者組合的相關(guān)數(shù)據(jù)，所述觀眾興趣表征數(shù)據(jù)包括觀眾的年齡、性別、表情相關(guān)數(shù)據(jù)。9.根據(jù)權(quán)利要求8所述的方法，其特征在于，在根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征，生成觀眾的年齡相關(guān)數(shù)據(jù)包括: 在根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征生成年齡特征向量，以及經(jīng)訓(xùn)練得到的年齡特征模型，生成觀眾的年齡相關(guān)數(shù)據(jù)。10.根據(jù)權(quán)利要求8所述的方法，其特征在于，根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征，生成觀眾的性別的相關(guān)數(shù)據(jù)包括: 根據(jù)在追蹤到的一系列所述人臉圖像上識別到的整體特征和局部特征，生成觀眾的性別的相關(guān)數(shù)據(jù)。11.根據(jù)權(quán)利要求8所述的方法，其特征在于，根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征，生成觀眾的表情的相關(guān)數(shù)據(jù)包括: 根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征的運(yùn)動屬性和形變屬性，生成觀眾的表情的相關(guān)數(shù)據(jù)。12.—種智能電視播放內(nèi)容的推薦裝置，其特征在于，包括: 人臉定位單元，用于根據(jù)對捕捉到的人臉進(jìn)行圖像采集生成的人臉圖像進(jìn)行識別并在所述人臉圖像中進(jìn)行人臉定位； 人臉追蹤單元，用于對在一系列所述人臉圖像上追蹤到的人臉進(jìn)行特征識別，以在一系列的所述人臉圖像上對定位到的人臉進(jìn)行追蹤； 內(nèi)容推薦單元，用于根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征判斷觀看興趣，根據(jù)判定的觀看興趣進(jìn)行播放內(nèi)容的推薦。13.—種智能電視，其特征在于，包括硬件處理器，所述硬件處理器執(zhí)行如下步驟的指令: 根據(jù)對捕捉到的人臉進(jìn)行圖像采集生成的人臉圖像進(jìn)行識別并在所述人臉圖像中進(jìn)行人臉定位； 對在一系列所述人臉圖像上追蹤到的人臉進(jìn)行特征識別，以在一系列的所述人臉圖像上對定位到的人臉進(jìn)行追蹤； 根據(jù)在追蹤到的一系列所述人臉圖像上識別到的特征判斷觀看興趣，根據(jù)判定的觀看興趣進(jìn)行播放內(nèi)容的推薦。
【文檔編號】H04N21/442GK105979366SQ201610262539
【公開日】2016年9月28日
【申請日】2016年4月25日
【發(fā)明人】張文, 朱守權(quán)
【申請人】樂視控股（北京）有限公司, 樂視致新電子科技（天津）有限公司