專(zhuān)利名稱(chēng)：個(gè)性化節(jié)目選擇系統(tǒng)和方法
技術(shù)領(lǐng)域：
本公開(kāi)涉及數(shù)據(jù)處理領(lǐng)域，并且更具體地說(shuō)，涉及用于基于面部檢測(cè)/跟蹤(例如面部表情、性別、年齡和/或面部標(biāo)識(shí)/識(shí)別)以及手姿勢(shì)識(shí)別選擇ー個(gè)或多個(gè)節(jié)目的方法、設(shè)備和系統(tǒng)。
背景技術(shù)：
一些推薦系統(tǒng)將家庭電視客戶(hù)端(例如機(jī)頂盒(STB))或因特網(wǎng)電視看作最終用戶(hù)并從其中收集察看歷史?；诳傮w察看歷史和節(jié)目之間的相關(guān)性，推薦系統(tǒng)選擇未察看的節(jié)目并將他們的介紹推向家庭電視客戶(hù)端。然而，這個(gè)方法的缺點(diǎn)是，家庭電視客戶(hù)端經(jīng)常由多人共享。因此，多個(gè)用戶(hù)的總體或合并的察看歷史不一定反映任一用戶(hù)的偏好。


在附圖中，相似的附圖標(biāo)記一般指示同樣的、功能類(lèi)似和/或結(jié)構(gòu)類(lèi)似的單元。單元首次在其中出現(xiàn)的附圖由附圖標(biāo)記中最左邊的數(shù)字指示。將參考附圖來(lái)描述本發(fā)明，附圖中:
圖1例證了符合本公開(kāi)各種實(shí)施例的、用于基于對(duì)消費(fèi)者的面部分析選擇并顯示節(jié)目給消費(fèi)者的系統(tǒng)的ー個(gè)實(shí)施例；
圖2例證了符合本公開(kāi)各種實(shí)施例的面部檢測(cè)模塊的ー個(gè)實(shí)施例；
圖3例證了符合本公開(kāi)各種實(shí)施例的手檢測(cè)模塊的ー個(gè)實(shí)施例；
圖4描繪了符合本公開(kāi)ー個(gè)實(shí)施例的“拇指向上”手姿勢(shì)(左手)的圖像；
圖5例證了符合本公開(kāi)各種實(shí)施例的節(jié)目選擇模塊的一個(gè)實(shí)施例；
圖6是例證符合本公開(kāi)的、用于選擇并顯示節(jié)目的一個(gè)實(shí)施例的流程圖；以及 圖7是例證符合本公開(kāi)的、用于選擇并顯示節(jié)目的另ー個(gè)實(shí)施例的流程圖。
具體實(shí)施例方式作為概述，一般而言，本公開(kāi)針對(duì)用于基于從ー個(gè)或多個(gè)圖像中標(biāo)識(shí)的消費(fèi)者特性與節(jié)目簡(jiǎn)檔的節(jié)目數(shù)據(jù)庫(kù)的比較選擇一個(gè)或多個(gè)節(jié)目以呈現(xiàn)給消費(fèi)者的系統(tǒng)、設(shè)備和方法?？墒褂妹娌糠治龊?或手姿勢(shì)分析從圖像中標(biāo)識(shí)消費(fèi)者特性。一般而言，該系統(tǒng)可包含用于捕獲消費(fèi)者的一個(gè)或多個(gè)圖像的攝像機(jī)、配置成分析圖像以確定消費(fèi)者的ー個(gè)或多個(gè)特性的面部檢測(cè)模塊和手檢測(cè)模塊以及配置成基于從圖像中標(biāo)識(shí)的消費(fèi)者特性與節(jié)目簡(jiǎn)檔的節(jié)目數(shù)據(jù)庫(kù)的比較來(lái)選擇節(jié)目以提供給消費(fèi)者的節(jié)目選擇模塊。本文所用的術(shù)語(yǔ)“節(jié)目”打算指任何電視內(nèi)容，包含一次性廣播、電視劇和電視電影(例如為電視制作的電影和在電視上廣播的影院電影)。現(xiàn)在轉(zhuǎn)到圖1，概括地例證了符合本公開(kāi)的系統(tǒng)10的一個(gè)實(shí)施例。系統(tǒng)10包含節(jié)目選擇系統(tǒng)12、攝像機(jī)14、內(nèi)容提供商16和媒體裝置18。如本文更詳細(xì)討論的那樣，節(jié)目選擇系統(tǒng)12配置成從由攝像機(jī)14捕獲的ー個(gè)或多個(gè)圖像20中標(biāo)識(shí)至少ー個(gè)消費(fèi)者特性，并從媒體提供商16中選擇節(jié)目以便在媒體裝置18上呈現(xiàn)給消費(fèi)者。具體地說(shuō)，節(jié)目選擇系統(tǒng)12包含面部檢測(cè)模塊22、手檢測(cè)模塊25、消費(fèi)者簡(jiǎn)檔數(shù)據(jù)庫(kù)24、節(jié)目數(shù)據(jù)庫(kù)26和節(jié)目選擇模塊28。面部檢測(cè)模塊22配置成接收由至少ー個(gè)攝像機(jī)14捕獲的ー個(gè)或多個(gè)數(shù)字圖像20。攝像機(jī)20包含用于捕獲代表包含ー個(gè)或多個(gè)人的環(huán)境的數(shù)字圖像20的任何裝置(已知的或后來(lái)發(fā)現(xiàn)的)，并且可具有足夠的分辨率用于如本文所描述的那樣對(duì)環(huán)境中的ー個(gè)或多個(gè)人的面部分析。例如，攝像機(jī)20可包含靜態(tài)攝像機(jī)(即配置成捕獲靜態(tài)照片的攝像機(jī))或視頻攝像機(jī)(即配置成捕獲多個(gè)幀中的多個(gè)運(yùn)動(dòng)圖像的攝像機(jī))。攝像機(jī)20可配置成具有可見(jiàn)光譜的光，或具有電磁頻譜的其它部分(例如但不限于紅外光譜、紫外光譜等)。攝像機(jī)20例如可包含(可與個(gè)人計(jì)算機(jī)和/或TV監(jiān)視器相關(guān)聯(lián)的)web攝像機(jī)、手持裝置攝像機(jī)(例如蜂窩電話(huà)攝像機(jī)、智能電話(huà)攝像機(jī)(例如與iPhone 、Trio 、Blackberry 等相關(guān)聯(lián)的攝像機(jī))、膝上型計(jì)算機(jī)攝像機(jī)、平板計(jì)算機(jī)(例如但不限于iPad 、Galaxy Tab 諸如此類(lèi))等。面部檢測(cè)模塊22配置成標(biāo)識(shí)圖像20內(nèi)(例如由點(diǎn)劃線(xiàn)參考的插圖(inset) 23b中的長(zhǎng)方形框23所表示)的面部和/或面部區(qū)域，并確定消費(fèi)者的ー個(gè)或多個(gè)特性(即消費(fèi)者特性30)。雖然面部檢測(cè)模塊22可使用基于標(biāo)記的方法(即應(yīng)用于消費(fèi)者的面部的一個(gè)或多個(gè)標(biāo)記)，但在ー些實(shí)施例中，面部檢測(cè)模塊22可利用基于無(wú)標(biāo)記的方法。例如，面部檢測(cè)模塊22可包含定制的、專(zhuān)有的、已知的和/或后開(kāi)發(fā)的面部識(shí)別代碼(或指令集)、硬件和/或固件，所述定制的、專(zhuān)有的、已知的和/或后開(kāi)發(fā)的面部識(shí)別代碼(或指令集)、硬件和/或固件一般而言定義明確并可操作用于接收標(biāo)準(zhǔn)格式圖像(例如但不限于RGB彩色圖像)并至少在某種程度上標(biāo)識(shí)圖像中的面部。此外，面部檢測(cè)模塊22還可包含定制的、專(zhuān)有的、已知的和/或后開(kāi)發(fā)的面部特性代碼(或指令集)，所述定制的、專(zhuān)有的、已知的和/或后開(kāi)發(fā)的面部特性代碼(或指令集)一般而言定義明確并可操作用于接收標(biāo)準(zhǔn)格式圖像(例如但不限于RGB彩色圖像)并至少在某種程度上標(biāo)識(shí)圖像中的ー個(gè)或多個(gè)面部特性。這種已知的面部特性系統(tǒng)包含但不限于標(biāo)準(zhǔn)Viola-Jones增強(qiáng)級(jí)聯(lián)框架，其可在公共開(kāi)源計(jì)算機(jī)視覺(jué)(OpenCV )包中找到。如本文更詳細(xì)討論的，消費(fèi)者特性30可包含但不限于消費(fèi)者身份(例如與消費(fèi)者相關(guān)聯(lián)的標(biāo)識(shí)符)和/或面部特性(例如但不限于消費(fèi)者年齡、消費(fèi)者年齡分類(lèi)(例如小孩或成人)、消費(fèi)者性別、消費(fèi)者種族)和/或消費(fèi)者表情標(biāo)識(shí)(例如高興、傷心、微笑、皺眉、驚訝、興奮
寸ノ o面部檢測(cè)模塊22可以比較圖像22 (例如對(duì)應(yīng)于圖像20中面部23的面部模式)與消費(fèi)者簡(jiǎn)檔數(shù)據(jù)庫(kù)24中的消費(fèi)者簡(jiǎn)檔32(l)-32(n)(下文単獨(dú)地稱(chēng)為“消費(fèi)者簡(jiǎn)檔32”)以標(biāo)識(shí)消費(fèi)者。如果在搜索消費(fèi)者簡(jiǎn)檔數(shù)據(jù)庫(kù)24之后沒(méi)發(fā)現(xiàn)匹配，則面部檢測(cè)模塊22可配置成基于捕獲的圖像20中的面部23創(chuàng)建新消費(fèi)者簡(jiǎn)檔32。面部檢測(cè)模塊22可配置成通過(guò)從對(duì)象的面部23的圖像20中提取標(biāo)志(landmark)或特征來(lái)標(biāo)識(shí)面部23。例如，面部檢測(cè)模塊22例如可分析眼睛、鼻子、顴骨和下頜的相對(duì)位置、大小和/或形狀以形成面部模式。面部檢測(cè)模塊22可使用所標(biāo)識(shí)面部模式來(lái)捜索消費(fèi)者簡(jiǎn)檔32(l)-32(n)以得到具有匹配的面部模式的其它圖像，從而標(biāo)識(shí)消費(fèi)者。該比較可基于應(yīng)用于ー組突出面部特征的模板匹配技術(shù)，從而提供一類(lèi)壓縮面部表示。這種已知的面部識(shí)別系統(tǒng)可基于但不限于幾何技術(shù)(其查看有區(qū)別的特征)和/或光度技術(shù)(其是將圖像提取成值并將這些值與模板比較以去除方差的統(tǒng)計(jì)方法)。雖然不是窮盡列表，但面部檢測(cè)模塊22可利用具有Eigenface的主要成分分析、線(xiàn)性判別分析、弾性束圖匹配fisherface、隱馬爾可夫模型和神經(jīng)元激勵(lì)的動(dòng)態(tài)鏈路匹配。根據(jù)ー個(gè)實(shí)施例，消費(fèi)者可生成消費(fèi)者簡(jiǎn)檔32，井向節(jié)目選擇系統(tǒng)12登記消費(fèi)者簡(jiǎn)檔32。備選地(或附加地)，如本文所討論的那樣，節(jié)目選擇模塊28可生成和/或更新一個(gè)或多個(gè)消費(fèi)者簡(jiǎn)檔32 (1)-32 (n)。每個(gè)消費(fèi)者簡(jiǎn)檔32包含消費(fèi)者標(biāo)識(shí)符和消費(fèi)者人口學(xué)數(shù)據(jù)。如本文所描述的那樣，消費(fèi)者標(biāo)識(shí)符可包含配置成基于面部檢測(cè)模塊22所使用的面部識(shí)別技術(shù)唯一地標(biāo)識(shí)消費(fèi)者的數(shù)據(jù)(諸如但不限于模式識(shí)別等)。消費(fèi)者人口學(xué)數(shù)據(jù)表示消費(fèi)者的某些特性和/或偏好。例如，消費(fèi)者人口學(xué)數(shù)據(jù)可包含對(duì)于某些類(lèi)型商品或服務(wù)的偏好、性別、種族、年齡或年齡分類(lèi)、收入、殘疾、移動(dòng)性(在工作的行程時(shí)間或可用車(chē)輛數(shù)量方面)、教育程度、房屋所有權(quán)或租用、就業(yè)狀況和/或位置。消費(fèi)者人口學(xué)數(shù)據(jù)還可包含對(duì)于某些類(lèi)型/種類(lèi)廣告技術(shù)的偏好。廣告技術(shù)的類(lèi)型/種類(lèi)的示例可包含但不限于喜劇、戲劇、基于現(xiàn)實(shí)的廣告等等。一般而言，手檢測(cè)模塊25可配置成處理ー個(gè)或多個(gè)圖像20以標(biāo)識(shí)圖像20內(nèi)的手和/或手姿勢(shì)(例如由點(diǎn)劃線(xiàn)參考的插圖27a中的手姿勢(shì)27)。如本文所討論的那樣，可由攝像機(jī)14捕獲的手姿勢(shì)27的示例包含“停止”手、“拇指向右”手、“拇指向左”手、“拇指向上”手、“拇指向下”手和“OK符號(hào)”手。當(dāng)然，這些僅是可與本公開(kāi)一起使用的手姿勢(shì)27的類(lèi)型的示例，并且這些不打算是可與本公開(kāi)一起使用的手姿勢(shì)類(lèi)型的窮盡列表。手檢測(cè)模塊25可包含定制的、專(zhuān)有的、已知的和/或后開(kāi)發(fā)的手識(shí)別代碼(或指令集)，所述定制的、專(zhuān)有的、已知的和/或后開(kāi)發(fā)的手識(shí)別代碼(或指令集)一般而言定義明確并可操作用于接收標(biāo)準(zhǔn)格式圖像(例如RGB彩色圖像)并至少在某種程度上標(biāo)識(shí)圖像中的手。這種已知的手檢測(cè)系統(tǒng)包含用于對(duì)象識(shí)別的計(jì)算機(jī)視覺(jué)系統(tǒng)、3D重構(gòu)系統(tǒng)、2D哈爾小波響應(yīng)系統(tǒng)(及其派生)、基于皮膚顔色的方法、基于形狀的檢測(cè)、快速魯棒特征(SURF)面部識(shí)別方案(及其擴(kuò)展和/或派生)等。手檢測(cè)模塊25的結(jié)果又可包含在由節(jié)目選擇模塊28接收的消費(fèi)者特性30中。消費(fèi)者特性30因此可包含面部檢測(cè)模塊22的結(jié)果和/或手檢測(cè)模塊25的結(jié)果。節(jié)目選擇模塊28可配置成比較消費(fèi)者特性30 (如果消費(fèi)者身份已知?jiǎng)t還有任何消費(fèi)者人ロ學(xué)數(shù)據(jù))與存儲(chǔ)在節(jié)目數(shù)據(jù)庫(kù)26中的節(jié)目簡(jiǎn)檔34 (I) -34 (n)(下文単獨(dú)地稱(chēng)為“節(jié)目簡(jiǎn)檔34”)。如本文更詳細(xì)描述的那樣，節(jié)目選擇模塊28可使用各種統(tǒng)計(jì)分析技術(shù)來(lái)基于消費(fèi)者特性30與節(jié)目簡(jiǎn)檔34(l)-34(n)之間的比較選擇ー個(gè)或多個(gè)節(jié)目。例如，節(jié)目選擇模塊28可利用加權(quán)平均統(tǒng)計(jì)分析(包含但不限于加權(quán)算木均值、加權(quán)幾何均值和/或加權(quán)調(diào)和均值)。節(jié)目選擇模塊28可基于消費(fèi)者特性30和當(dāng)前正在觀(guān)看的具體節(jié)目和/或節(jié)目簡(jiǎn)檔32更新消費(fèi)者簡(jiǎn)檔32。例如，節(jié)目選擇模塊28可更新消費(fèi)者簡(jiǎn)檔32以反映消費(fèi)者特性30中所標(biāo)識(shí)的消費(fèi)者對(duì)具體節(jié)目和節(jié)目的對(duì)應(yīng)節(jié)目簡(jiǎn)檔32的反應(yīng)(例如討人喜歡的、不討人喜歡的等)。消費(fèi)者的反應(yīng)可直接與由手檢測(cè)模塊25檢測(cè)到的手姿勢(shì)27相關(guān)。節(jié)目選擇模塊28還可配置成向內(nèi)容提供商16傳送全部的消費(fèi)者簡(jiǎn)檔32 (I)-32 (n)或部分的消費(fèi)者簡(jiǎn)檔32 (1)-32 (n)。本文所用的術(shù)語(yǔ)“內(nèi)容提供商”包含廣播公司、廣告代理、制作工作室和廣告商。內(nèi)容提供商16然后可利用該信息來(lái)基于類(lèi)似觀(guān)眾開(kāi)發(fā)將來(lái)的節(jié)目。例如，節(jié)目選擇模塊28可配置成對(duì)對(duì)應(yīng)于消費(fèi)者簡(jiǎn)檔32(l)-32(n)的數(shù)據(jù)進(jìn)行加密并分組以便通過(guò)網(wǎng)絡(luò)36向內(nèi)容提供商16傳送。可認(rèn)識(shí)到，網(wǎng)絡(luò)36可包含有線(xiàn)通信路徑和/或無(wú)線(xiàn)通信路徑，諸如但不限于因特網(wǎng)、衛(wèi)星路徑、光纖路徑、線(xiàn)纜路徑或任何其它適當(dāng)?shù)挠芯€(xiàn)通信路徑或無(wú)線(xiàn)通信路徑或這種路徑的組合。節(jié)目簡(jiǎn)檔34 (1)-34 (n)可由內(nèi)容提供商16提供(例如通過(guò)網(wǎng)絡(luò)36)，并且可包含節(jié)目標(biāo)識(shí)符/分類(lèi)符和/或節(jié)目人口學(xué)參數(shù)。節(jié)目標(biāo)識(shí)符/分類(lèi)符可用于標(biāo)識(shí)具體節(jié)目和/或?qū)⒕唧w節(jié)目分類(lèi)到ー個(gè)或多個(gè)預(yù)定義類(lèi)別。例如，節(jié)目標(biāo)識(shí)符/分類(lèi)符可用于將具體節(jié)目分類(lèi)到廣義類(lèi)別，諸如但不限干“喜劇”、“家居改善”、“戲劇”、“基于現(xiàn)實(shí)的”、“體育運(yùn)動(dòng)”等。節(jié)目標(biāo)識(shí)符/分類(lèi)符還可用于/可備選地用于將具體節(jié)目分類(lèi)到較窄類(lèi)別，諸如但不限干“棒球”、“足球”、“游戲秀”、“動(dòng)作電影”、“戲劇電影”、“喜劇電影”等。節(jié)目人口學(xué)參數(shù)可包含各種人口學(xué)參數(shù)，諸如但不限于性別、種族、年齡或年齡特性、收入、殘疾、移動(dòng)性(在工作的行程時(shí)間或可用車(chē)輛數(shù)量方面)、教育程度、房屋所有權(quán)或租用、就業(yè)狀況和/或位置。內(nèi)容提供商16可對(duì)節(jié)目人口學(xué)參數(shù)進(jìn)行加權(quán)和/或優(yōu)先化。媒體裝置18配置成顯示已經(jīng)由節(jié)目選擇系統(tǒng)12選擇的、來(lái)自?xún)?nèi)容提供商16的節(jié)目。媒體裝置18可包含任何類(lèi)型顯示器，包含但不限于電視、電子告示牌、數(shù)字標(biāo)牌(digital signage)、個(gè)人計(jì)算機(jī)(例如桌上型計(jì)算機(jī)、膝上型計(jì)算機(jī)、上網(wǎng)本、平板計(jì)算機(jī)等)、移動(dòng)電話(huà)(例如智能電話(huà)等)、音樂(lè)播放器等等。節(jié)目選擇系統(tǒng)12(或其部分)可集成到機(jī)頂盒(STB)中，機(jī)頂盒(STB)包含但不限于電纜STB、衛(wèi)星STB、IP-STB、地面STB、集成接入裝置(IAD)、數(shù)字視頻記錄器(DVR)、智能電話(huà)(例如但不限于iPhone 、Trio 、Blackberry 、Droid 等)、個(gè)人計(jì)算機(jī)(包含但不限于桌上型計(jì)算機(jī)、膝上型計(jì)算機(jī)、上網(wǎng)本計(jì)算機(jī)、平板計(jì)算機(jī)(例如但不限于iPad 、GalazyTab 諸如此類(lèi))等。現(xiàn)在轉(zhuǎn)到圖2，概括地例證了符合本公開(kāi)的面部檢測(cè)模塊22a的一個(gè)實(shí)施例。面部檢測(cè)模塊22a可配置成接收?qǐng)D像20，并至少在某種程度上標(biāo)識(shí)圖像20中的ー個(gè)面部(或多個(gè)面部)。面部檢測(cè)模塊22a還可配置成至少在某種程度上標(biāo)識(shí)圖像20中的ー個(gè)或多個(gè)面部特性，并確定一個(gè)或多個(gè)消費(fèi)者特性30 (其還可包含本文所討論的手姿勢(shì)信息)。如本文討論的那樣，可至少部分地基于由面部檢測(cè)模塊22a標(biāo)識(shí)的ー個(gè)或多個(gè)面部參數(shù)生成消費(fèi)者特性30。消費(fèi)者特性30可包含但不限于消費(fèi)者身份(例如與消費(fèi)者相關(guān)聯(lián)的標(biāo)識(shí)符)和/或面部特性(例如但不限于消費(fèi)者年齡、消費(fèi)者年齡分類(lèi)(例如小孩或成人)、消費(fèi)者性別、消費(fèi)者種族)和/或消費(fèi)者表情標(biāo)識(shí)(例如高興、傷心、微笑、皺眉、驚訝、興奮等))。例如，面部檢測(cè)模塊22a的一個(gè)實(shí)施例可包含面部檢測(cè)/跟蹤模塊40、標(biāo)志檢測(cè)模塊44、面部標(biāo)準(zhǔn)化模塊42和面部模式模塊46。面部檢測(cè)/跟蹤模塊40可包含定制的、專(zhuān)有的、已知的和/或后開(kāi)發(fā)的面部跟蹤代碼(或指令集)，所述定制的、專(zhuān)有的、已知的和/或后開(kāi)發(fā)的面部跟蹤代碼(或指令集)一般而言定義明確并可操作用于檢測(cè)并至少在某種程度上標(biāo)識(shí)從攝像機(jī)接收的靜止圖像或視頻流中人面部的大小和位置。這種已知的面部檢測(cè)/跟蹤系統(tǒng)例如包含公布為 Paul Viola和 Michael Jones, Rapid Object Detectionusing a Boos tea cascade of simple Features (Accepted Comerence on し omputerVision and Pattern Recognition, 2001)的 Viola 和 Jones 的技術(shù)。這些技術(shù)使用自適應(yīng)增強(qiáng)(AdaBoost)分類(lèi)符的級(jí)聯(lián)通過(guò)在圖像上窮盡地掃描窗ロ來(lái)檢測(cè)面部。面部檢測(cè)/跟蹤模塊40還可跟蹤多個(gè)圖像20上標(biāo)識(shí)的面部或面部區(qū)域。面部標(biāo)準(zhǔn)化模塊42可包含定制的、專(zhuān)有的、已知的和/或后開(kāi)發(fā)的面部標(biāo)準(zhǔn)化代碼(或指令集)，所述定制的、專(zhuān)有的、已知的和/或后開(kāi)發(fā)的面部標(biāo)準(zhǔn)化代碼(或指令集)一般而言定義明確并可操作用于標(biāo)準(zhǔn)化圖像20中標(biāo)識(shí)的面部。例如，面部標(biāo)準(zhǔn)化模塊42可配置成旋轉(zhuǎn)圖像以對(duì)準(zhǔn)眼睛(如果眼睛的坐標(biāo)已知的話(huà))，將圖像剪裁到一般而言對(duì)應(yīng)于面部大小的更小大小，縮放圖像以使眼睛之間的距離恒定，施加將不在含有典型面部的橢圓中的像素清零的掩蔽，對(duì)圖像進(jìn)行直方圖均衡以平滑未掩蔽像素的灰度值的分布，和/或標(biāo)準(zhǔn)化圖像，因此未掩蔽的像素具有均值0和標(biāo)準(zhǔn)差I(lǐng)。標(biāo)志檢測(cè)模塊44可包含定制的、專(zhuān)有的、已知的和/或后開(kāi)發(fā)的標(biāo)志檢測(cè)代碼(或指令集)，所述定制的、專(zhuān)有的、已知的和/或后開(kāi)發(fā)的標(biāo)志檢測(cè)代碼(或指令集)一般而言定義明確并可操作用于至少在某種程度上檢測(cè)并標(biāo)識(shí)圖像20中面部的各種面部特征。標(biāo)志檢測(cè)中隱含的是至少在某種程度上已經(jīng)檢測(cè)到面部。可能已經(jīng)(例如由面部標(biāo)準(zhǔn)化模塊42)執(zhí)行了某種程度的定位(例如路線(xiàn)定位)，以標(biāo)識(shí)/聚焦圖像20的、在其中可能發(fā)現(xiàn)標(biāo)志的區(qū)段/區(qū)域上。例如，標(biāo)志檢測(cè)模塊44可基于試探分析，并可配置成標(biāo)識(shí)和/或分析眼睛(和/或眼角)、鼻子(例如鼻尖)、下巴(例如下巴尖)、顴骨和下頜的相對(duì)位置、大小和/或形狀。這種已知的標(biāo)志檢測(cè)系統(tǒng)包含六面部點(diǎn)(即左/右眼的眼角和嘴角)和六個(gè)面部點(diǎn)(即綠點(diǎn))。還可使用基于Viola-Jones的分類(lèi)符檢測(cè)眼角和嘴角。幾何約束可被結(jié)合到六個(gè)面部點(diǎn)以反映它們的幾何關(guān)系。面部模式模塊46可包含定制的、專(zhuān)有的、已知的和/或后開(kāi)發(fā)的面部模式代碼(或指令集)，所述定制的、專(zhuān)有的、已知的和/或后開(kāi)發(fā)的面部模式代碼(或指令集)一般而言定義明確并可操作用于基于圖像20中標(biāo)識(shí)的面部標(biāo)志來(lái)標(biāo)識(shí)和/或生成面部模式。如可認(rèn)識(shí)到的那樣，面部模式模塊46可被視為面部檢測(cè)/跟蹤模塊40的一部分。面部檢測(cè)模塊22a可包含面部識(shí)別模塊48、性別/年齡標(biāo)識(shí)模塊50和/或面部表情檢測(cè)模塊52中的ー個(gè)或多個(gè)。具體地說(shuō)，面部識(shí)別模塊48可包含定制的、專(zhuān)有的、已知的和/或后開(kāi)發(fā)的面部標(biāo)識(shí)代碼(或指令集)，所述定制的、專(zhuān)有的、已知的和/或后開(kāi)發(fā)的面部標(biāo)識(shí)代碼(或指令集)一般而言定義明確并可操作用于匹配面部模式與存儲(chǔ)在數(shù)據(jù)庫(kù)中的對(duì)應(yīng)面部模式。例如，面部識(shí)別模塊48可配置成比較由面部模式模塊46標(biāo)識(shí)的面部模式，并將標(biāo)識(shí)的面部模式和與消費(fèi)者簡(jiǎn)檔數(shù)據(jù)庫(kù)24中的消費(fèi)者簡(jiǎn)檔32 (I) -32 (n)相關(guān)聯(lián)的面部模式相比較，以確定圖像20中的消費(fèi)者身份。面部識(shí)別模塊48可利用幾何分析(其查看有區(qū)別的特征)和/或光度分析(其是將圖像提取成值并將這些值與模板比較以去除方差的統(tǒng)計(jì)方法)來(lái)比較這些模式。ー些面部識(shí)別技術(shù)包含但不限于具有Eigenface的主要成分分析(及其派生)、線(xiàn)性判別分析(及其派生)、弾性束圖匹配fi sherface (及其派生)、隱馬爾可夫模型(及其派生)和神經(jīng)元激勵(lì)的動(dòng)態(tài)鏈路匹配。面部識(shí)別模塊48可配置成，如果未發(fā)現(xiàn)與現(xiàn)有消費(fèi)者簡(jiǎn)檔32的匹配，則促使在消費(fèi)者簡(jiǎn)檔數(shù)據(jù)庫(kù)24中創(chuàng)建新消費(fèi)者簡(jiǎn)檔32。例如，面部識(shí)別模塊48可配置成將表示標(biāo)識(shí)的消費(fèi)者特性30的數(shù)據(jù)傳遞到消費(fèi)者簡(jiǎn)檔數(shù)據(jù)庫(kù)24。然后可創(chuàng)建與新消費(fèi)者簡(jiǎn)檔32相關(guān)聯(lián)的標(biāo)識(shí)符。性別/年齡標(biāo)識(shí)模塊50可包含定制的、專(zhuān)有的、已知的和/或后開(kāi)發(fā)的性別和/或年齡標(biāo)識(shí)代碼(或指令集)，所述定制的、專(zhuān)有的、已知的和/或后開(kāi)發(fā)的性別和/或年齡標(biāo)識(shí)代碼(或指令集)一般而言定義明確并可操作用于檢測(cè)并標(biāo)識(shí)圖像20中人的性別和/或至少在某種程度上檢測(cè)并標(biāo)識(shí)圖像20中人的年齡。例如，性別/年齡標(biāo)識(shí)模塊50可配置成分析從圖像20中生成的面部模式以標(biāo)識(shí)圖像20中人的性別。標(biāo)識(shí)的面部模式可與包含各種面部模式與性別之間相關(guān)性的性別數(shù)據(jù)庫(kù)比較。性別/年齡標(biāo)識(shí)模塊50還可配置成確定和/或近似圖像20中人的年齡和/或年齡分類(lèi)。例如，性別/年齡標(biāo)識(shí)模塊50可配置成比較標(biāo)識(shí)的面部模式與包含各種面部模式與年齡之間相關(guān)性的年齡數(shù)據(jù)庫(kù)。年齡數(shù)據(jù)庫(kù)可配置成近似人的實(shí)際年齡，和/或?qū)⑷朔诸?lèi)成ー個(gè)或多個(gè)年齡組。年齡組的示例可包含但不限于成人、小孩、青少年、老人/長(zhǎng)者等。面部表情檢測(cè)模塊52可包含定制的、專(zhuān)有的、已知的和/或后開(kāi)發(fā)的面部表情檢測(cè)和/或標(biāo)識(shí)代碼(或指令集)，所述定制的、專(zhuān)有的、已知的和/或后開(kāi)發(fā)的面部表情檢測(cè)和/或標(biāo)識(shí)代碼(或指令集)一般而言定義明確并可操作用于檢測(cè)和/或標(biāo)識(shí)圖像20中人的面部表情。例如，面部表情檢測(cè)模塊52可確定面部特征(例如眼睛、嘴巴、面頰、牙齒等)的大小和/或位置，并比較面部特征與包含具有對(duì)應(yīng)面部特征分類(lèi)(例如微笑、皺眉、興奮、傷心等)的多個(gè)樣本面部特征的面部特征數(shù)據(jù)庫(kù)。在一個(gè)示例實(shí)施例中，面部檢測(cè)模塊22a的ー個(gè)或多個(gè)方面(例如但不限于面部檢測(cè)/跟蹤模塊40、識(shí)別模塊48、性別/年齡模塊50和/或面部表情檢測(cè)模塊52)可使用將ー個(gè)或多個(gè)輸入迭代地映射在一個(gè)或多個(gè)輸出上的多層感知器(MLP)模型。MLP模型的一般框架是已知的并且是明確定義的，并且一般而言包含通過(guò)區(qū)別不可線(xiàn)性分離的數(shù)據(jù)在標(biāo)準(zhǔn)線(xiàn)性感知器模型上改進(jìn)的前饋神經(jīng)網(wǎng)絡(luò)。在這個(gè)示例中，到MLP模型的輸入可包含由標(biāo)志檢測(cè)模塊44生成的ー個(gè)或多個(gè)形狀特征。MLP模型可包含由多個(gè)輸入節(jié)點(diǎn)定義的輸入層。每個(gè)節(jié)點(diǎn)可包括面部圖像的形狀特征。MLP模型還可包含“隱藏”層或由“隱藏”神經(jīng)元定義的迭代層。通常，M小于N，并且輸入層的每個(gè)節(jié)點(diǎn)都連接到“隱藏”層中的每個(gè)神經(jīng)元。MLP模型還可包含由多個(gè)輸出神經(jīng)元定義的輸出層。每個(gè)輸出神經(jīng)元都可連接到“隱藏”層中的每個(gè)神經(jīng)元。一般而言，輸出神經(jīng)元表示預(yù)定義輸出的概率。輸出的數(shù)量可以是預(yù)定義的，并且在本公開(kāi)的上下文中，可以匹配可由面部檢測(cè)/跟蹤模塊40、面部識(shí)別模塊48、性別/年齡模塊50和/或面部表情檢測(cè)模塊52標(biāo)識(shí)的面部和/或面部姿勢(shì)的數(shù)量。由此，例如，每個(gè)輸出神經(jīng)元都可指示面部和/或面部姿勢(shì)圖像的匹配概率，并且最后的輸出指示最大的概率。在MLP模型的每層中，在給定層m的輸入的情況下，層n+1的輸出Li被計(jì)算為:
權(quán)利要求
1.一種用于選擇節(jié)目以呈現(xiàn)給消費(fèi)者的方法，所述方法包括: 由面部檢測(cè)模塊檢測(cè)圖像中的面部區(qū)域； 由手檢測(cè)模塊檢測(cè)所述圖像中的手姿勢(shì)； 由所述面部檢測(cè)模塊和所述手檢測(cè)模塊基于所述消費(fèi)者的所述檢測(cè)到的面部區(qū)域和所述檢測(cè)到的手姿勢(shì)標(biāo)識(shí)一個(gè)或多個(gè)消費(fèi)者特性； 由節(jié)目選擇模塊基于所述消費(fèi)者特性與包含多個(gè)節(jié)目簡(jiǎn)檔的節(jié)目數(shù)據(jù)庫(kù)的比較來(lái)標(biāo)識(shí)ー個(gè)或多個(gè)節(jié)目以呈現(xiàn)給所述消費(fèi)者；以及 在媒體裝置上將所述所標(biāo)識(shí)節(jié)目中選擇的節(jié)目呈現(xiàn)給所述消費(fèi)者。
2.按權(quán)利要求1所述的方法，其中所述消費(fèi)者特性選自由所述圖像中所述消費(fèi)者的年齡、年齡分類(lèi)、性別和面部表情組成的組。
3.按權(quán)利要求1所述的方法，其中所述消費(fèi)者特性包含代表手姿勢(shì)的數(shù)據(jù)。
4.按權(quán)利要求3所述的方法，還包括:由所述面部檢測(cè)模塊標(biāo)識(shí)消費(fèi)者簡(jiǎn)檔數(shù)據(jù)庫(kù)中存儲(chǔ)的、對(duì)應(yīng)于所述圖像中所述面部區(qū)域的消費(fèi)者簡(jiǎn)檔，其中所述消費(fèi)者簡(jiǎn)檔包含所述消費(fèi)者的觀(guān)看歷史。
5.按權(quán)利要求4所述的方法，還包括:基于所述手姿勢(shì)與正在呈現(xiàn)給所述消費(fèi)者的節(jié)目的節(jié)目簡(jiǎn)檔之間的相關(guān)性更新所述消費(fèi)者簡(jiǎn)檔。
6.按權(quán)利要求1所述的方法，其中所述消費(fèi)者特性選自由所述圖像中所述消費(fèi)者的年齡、年齡分類(lèi)、性別和面部表情組成的組，并且消費(fèi)者特性包含代表手姿勢(shì)的數(shù)據(jù)，并且其中所述消費(fèi)者特性與所 述節(jié)目數(shù)據(jù)庫(kù)的所述比較還包括排列所述消費(fèi)者的所述年齡、年齡分類(lèi)、性別、所述消費(fèi)者簡(jiǎn)檔和所述面部表情中的ー個(gè)或多個(gè)。
7.按權(quán)利要求4所述的方法，還包括向內(nèi)容提供商傳送至少部分所述消費(fèi)者簡(jiǎn)檔。
8.一種用于選擇節(jié)目以呈現(xiàn)給消費(fèi)者的設(shè)備，所述設(shè)備包括: 面部檢測(cè)模塊，配置成檢測(cè)圖像中的面部區(qū)域，并標(biāo)識(shí)所述圖像中所述消費(fèi)者的ー個(gè)或多個(gè)消費(fèi)者特性； 手檢測(cè)模塊，配置成標(biāo)識(shí)所述圖像中的手姿勢(shì)，并更新所述消費(fèi)者特性； 節(jié)目數(shù)據(jù)庫(kù)，包含多個(gè)節(jié)目簡(jiǎn)檔；以及 節(jié)目選擇模塊，配置成基于所述消費(fèi)者特性與所述多個(gè)節(jié)目簡(jiǎn)檔的比較來(lái)選擇ー個(gè)或多個(gè)節(jié)目以呈現(xiàn)給所述消費(fèi)者。
9.按權(quán)利要求8所述的設(shè)備，其中所述消費(fèi)者特性選自由所述圖像中所述消費(fèi)者的年齡、年齡分類(lèi)、性別和面部表情組成的組。
10.按權(quán)利要求8所述的設(shè)備，其中所述面部檢測(cè)模塊還配置成標(biāo)識(shí)消費(fèi)者簡(jiǎn)檔數(shù)據(jù)庫(kù)中存儲(chǔ)的、對(duì)應(yīng)于所述圖像中所述面部區(qū)域的消費(fèi)者簡(jiǎn)檔，其中所述消費(fèi)者簡(jiǎn)檔包含所述消費(fèi)者的觀(guān)看歷史。
11.按權(quán)利要求8所述的設(shè)備，其中所述節(jié)目選擇模塊還配置成基于所述手姿勢(shì)與正在呈現(xiàn)給所述消費(fèi)者的節(jié)目的節(jié)目簡(jiǎn)檔之間的相關(guān)性更新所述消費(fèi)者簡(jiǎn)檔。
12.按權(quán)利要求8所述的設(shè)備，其中所述消費(fèi)者特性包括所述圖像中所述消費(fèi)者的至少ー個(gè)面部表情。
13.按權(quán)利要求9所述的設(shè)備，其中所述消費(fèi)者特性選自由所述圖像中所述消費(fèi)者的年齡、年齡分類(lèi)、性別和面部表情組成的組，并且消費(fèi)者特性包含代表手姿勢(shì)的數(shù)據(jù)，并且其中所述節(jié)目選擇模塊還配置成基于對(duì)ー個(gè)或多個(gè)如下項(xiàng)的排列來(lái)比較所述消費(fèi)者特性與所述節(jié)目數(shù)據(jù)庫(kù):所述消費(fèi)者的所述年齡、年齡分類(lèi)、性別、所述消費(fèi)者簡(jiǎn)檔、所述面部表情和所述手姿勢(shì)。
14.按權(quán)利要求11所述的設(shè)備，其中所述系統(tǒng)配置成向內(nèi)容提供商傳送至少部分所述消費(fèi)者簡(jiǎn)檔。
15.一種有形計(jì)算機(jī)可讀媒體，包含其上存儲(chǔ)的、當(dāng)由一個(gè)或多個(gè)處理器運(yùn)行時(shí)促使計(jì)算機(jī)系統(tǒng)執(zhí)行包括如下步驟的操作的指令: 檢測(cè)圖像中的面部區(qū)域； 檢測(cè)所述圖像中的手姿勢(shì)； 基于所述消費(fèi)者的所述檢測(cè)到的面部區(qū)域和所述檢測(cè)到的手姿勢(shì)標(biāo)識(shí)ー個(gè)或多個(gè)消費(fèi)者特性；以及 基于所述消費(fèi)者特性與包含多個(gè)節(jié)目簡(jiǎn)檔的節(jié)目數(shù)據(jù)庫(kù)的比較來(lái)標(biāo)識(shí)ー個(gè)或多個(gè)節(jié)目以呈現(xiàn)給所述消費(fèi)者。
16.按權(quán)利要求15所述的有形計(jì)算機(jī)可讀媒體，其中所述所標(biāo)識(shí)消費(fèi)者特性包括所述圖像中所述消費(fèi)者的年齡、年齡分類(lèi)、性別和至少ー個(gè)面部表情中的至少ー個(gè)。
17.按權(quán)利要求15所述的有形計(jì)算機(jī)可讀媒體，其中當(dāng)由ー個(gè)或多個(gè)所述處理器運(yùn)行時(shí)導(dǎo)致如下附加操作的指令包括: 標(biāo)識(shí)消費(fèi)者簡(jiǎn)檔數(shù)據(jù)庫(kù)中存儲(chǔ)的、對(duì)應(yīng)于所述圖像中所述面部區(qū)域的消費(fèi)者簡(jiǎn)檔，其中所述消費(fèi)者簡(jiǎn)檔包含所述消費(fèi)者的觀(guān)看歷史。
18.按權(quán)利要求15所述的有形計(jì)算機(jī)可讀媒體，其中所述消費(fèi)者特性選自由所述圖像中所述消費(fèi)者的年齡、年齡分類(lèi)、性別、面部表情組成的組，并且消費(fèi)者特性包含代表手姿勢(shì)的數(shù)據(jù)，并且其中當(dāng)由一個(gè)或多個(gè)所述處理器運(yùn)行時(shí)導(dǎo)致如下附加操作的指令包括:排列所述消費(fèi)者的所述年齡、年齡分類(lèi)、性別、所述消費(fèi)者簡(jiǎn)檔和所述面部表情中的一個(gè)或多個(gè)。
19.按權(quán)利要求17所述的有形計(jì)算機(jī)可讀媒體，其中當(dāng)由ー個(gè)或多個(gè)所述處理器運(yùn)行時(shí)導(dǎo)致如下附加操作的指令包括: 基于所述手姿勢(shì)與正在呈現(xiàn)給所述消費(fèi)者的節(jié)目的節(jié)目簡(jiǎn)檔之間的相關(guān)性更新所述消費(fèi)者簡(jiǎn)檔。
全文摘要
一種用于選擇節(jié)目以呈現(xiàn)給消費(fèi)者的系統(tǒng)和方法包含檢測(cè)圖像中的面部區(qū)域；檢測(cè)圖像中的手姿勢(shì)；標(biāo)識(shí)所述圖像中所述消費(fèi)者的一個(gè)或多個(gè)消費(fèi)者特性(心情、性別、年齡、手姿勢(shì)等)；基于所述消費(fèi)者特性與包含多個(gè)節(jié)目簡(jiǎn)檔的節(jié)目數(shù)據(jù)庫(kù)的比較來(lái)標(biāo)識(shí)一個(gè)或多個(gè)節(jié)目以呈現(xiàn)給所述消費(fèi)者；以及在媒體裝置上將所述所標(biāo)識(shí)節(jié)目中選擇的節(jié)目呈現(xiàn)給所述消費(fèi)者。
文檔編號(hào)G06K9/62GK103098079SQ201180004731
公開(kāi)日2013年5月8日 申請(qǐng)日期2011年4月11日 優(yōu)先權(quán)日2011年4月11日
發(fā)明者J·宋, T·王, P·王, W·李, Q·李 申請(qǐng)人:英特爾公司