一種基于人臉表情圖像的信息推薦效果的評價方法及手的制造方法
【專利摘要】本發(fā)明涉及一種基于人臉表情圖像的信息推薦效果的評價方法及手機，該方法將推薦信息如圖片、文字、視頻、游戲等給用戶閱讀觀看，采集用戶閱讀時的人臉表情圖像，抽取人臉表情圖像特征，采用人臉表情分類器判斷用戶當(dāng)時的情感狀況，將情感狀態(tài)作為信息推薦的評價效果。本發(fā)明還公開了一種基于人臉表情圖像的信息推薦效果評價手機，包括：推薦信息閱讀模塊，人臉表情圖像采集模塊，人臉表情圖像的特征向量構(gòu)造模塊，人臉表情分類模塊，信息推薦效果評價模塊，以及一個人臉表情訓(xùn)練樣本數(shù)據(jù)庫。本發(fā)明的效果是人臉表情采集更自然，評價更真實，使用更方便，可應(yīng)用于改進廣告投放方法，改進視頻的推薦方法，改進游戲的設(shè)計策略等。
【專利說明】一種基于人臉表情圖像的信息推薦效果的評價方法及手機

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種基于人臉表情圖像的信息推薦效果的評價方法及手機，屬于信息推薦和模式識別領(lǐng)域。

【背景技術(shù)】
[0002]信息推薦是近年來的一個熱門領(lǐng)域，如電子商務(wù)，社交網(wǎng)站等，它為用戶解決了信息的過載問題，承擔(dān)了在識別客戶消費偏好的基礎(chǔ)上，使客戶避免信息“超載”所帶來的麻煩。精準廣告投放是另一種特殊的信息推薦，目前很多商家不惜在廣告上花費巨資，希望利用龐大的用戶群，進行大范圍地推廣廣告，這類信息推薦減少了對用戶的困擾。還有一類信息推薦，用來改進營銷策略和開展新業(yè)務(wù)，例如在電信、銀行、保險、零售等行業(yè)，準確的信息推薦，有利于引導(dǎo)用戶消費，拓展市場。信息推薦中的信息是指展現(xiàn)給用戶觀看的任何信息，包括圖片、文字、視頻、游戲等，推薦的效果則是指這些信息對用戶產(chǎn)生的吸引力和心理反映，如感到驚奇，厭惡，高興等，這些效果進一步導(dǎo)致用戶的偏好行為，消費傾向改變和購買行動等，因此可以利用這些評價作為反饋來改進信息的推薦方法，例如改進廣告的投放方法，改進視頻的推薦方法，改進游戲的設(shè)計策略等。
[0003]推薦系統(tǒng)不但要考慮推薦的精度，還要考慮信息的來源和用戶對信息微妙的情感因素，而這些因素在現(xiàn)有推薦算法中難以建模和衡量?，F(xiàn)有推薦系統(tǒng)也沒有考慮用戶在領(lǐng)域內(nèi)的動態(tài)成長模型，例如推薦內(nèi)容對用戶行為的影響，用戶對推薦信息的評價等。沒有將用戶對推薦信息的評價作為負反饋，推薦系統(tǒng)是不穩(wěn)定的。存在這些困難的主要原因之一是現(xiàn)有推薦算法沒有準確地判斷用戶對推薦信息的心理反映。本發(fā)明直接通過用戶在閱讀推薦信息時的人臉表情來推斷用戶對推薦信息的滿意程度，以此評價信息推薦的效果。人臉表情包含了豐富的情感信息，是我們理解情感的重要途徑，因此通過人臉表情分析就可以實現(xiàn)人類的情感狀態(tài)判別，進而獲得用戶對推薦信息效果的評價。
[0004]智能手機的普及以及移動互聯(lián)網(wǎng)的發(fā)展使得很多推薦系統(tǒng)能夠?qū)⑼扑]的信息發(fā)送到手機上，很多人也習(xí)慣用手機來閱讀這些推薦的信息。手機具有攝像功能，人們在閱讀推薦的信息時，人臉表情是用戶對推薦信息的滿意程度的自然反映，因此通過自動采集用戶閱讀推薦信息時的人臉表情，進而通過人臉表情分析就可以判斷用戶的情感狀態(tài)，以此推斷信息推薦的效果。目前國內(nèi)還沒有發(fā)現(xiàn)通過用手機人臉表情來評估信息推薦效果的方法。


【發(fā)明內(nèi)容】

[0005]本發(fā)明要解決的技術(shù)問題是:現(xiàn)有信息推薦系統(tǒng)缺乏對推薦信息的自動評估問題，特別是沒有考慮用戶對推薦信息的心理反映，難以取得滿意的推薦效果。
[0006]本發(fā)明涉及一種基于人臉表情圖像的信息推薦效果的評價方法，其特征在于該方法包括以下步驟:
[0007][I]用戶閱讀推薦信息如圖片、文字、網(wǎng)頁、視頻、游戲等形式的信息
[0008][2]采集用戶閱讀推薦信息時的人臉表情圖像
[0009][3]抽取人臉表情圖像的情感特征，構(gòu)造特征向量
[0010][4]利用人臉表情分類模型預(yù)測用戶的情感狀態(tài)
[0011][5]將用戶的情感狀態(tài)作為推薦效果的評價
[0012]其中人臉情感分類模型的獲取過程包含以下步驟
[0013][I]采集N個人臉表情圖像及其對應(yīng)的情感類別
[0014][2]構(gòu)造每個人臉表情圖像的特征向量
[0015][3]構(gòu)造訓(xùn)練數(shù)據(jù)，以人臉表情圖像的特征向量為輸入，其對應(yīng)的情感類別為輸出，構(gòu)成訓(xùn)練樣本集合
[0016][4]采用訓(xùn)練樣本集合，學(xué)習(xí)人臉情感分類模型
[0017][5]以M倍交叉驗證方式選擇人臉情感分類模型的最佳參數(shù)，進而獲得對應(yīng)參數(shù)的人臉情感分類模型。
[0018]本發(fā)明還涉及一種基于人臉表情圖像的信息推薦效果的評價手機，其特征在于，所述的手機系統(tǒng)包括:一個人臉表情訓(xùn)練樣本數(shù)據(jù)庫，推薦信息閱讀模塊，手機攝像頭控制模塊，人臉表情圖像采集模塊，人臉表情圖像的特征向量構(gòu)造模塊，人臉表情分類模塊，信息推薦效果評價模塊，人臉表情分類模型學(xué)習(xí)模塊，信息推薦效果顯示模塊，信息推薦效果檔案管理模塊。其中推薦信息閱讀模塊的輸出與手機攝像頭控制模塊的輸入連接，手機攝像頭控制模塊的輸出與人臉表情圖像采集模塊的輸入連接，人臉表情圖像采集模塊的輸出與人臉表情圖像的特征向量構(gòu)造模塊的輸入連接，人臉表情圖像的特征向量構(gòu)造模塊的輸出與人臉表情分類模塊的輸入連接，人臉表情分類模型學(xué)習(xí)模塊的輸出與人臉表情分類模塊的輸入連接，人臉表情分類模塊的輸出與信息推薦效果評價模塊的輸入連接，信息推薦效果評價模塊的輸出與信息推薦效果顯示模塊的輸入連接，信息推薦效果顯示模塊的輸出與信息推薦效果檔案管理模塊的輸入連接。
[0019]有益效果
[0020]與現(xiàn)有技術(shù)相比，本發(fā)明的一種基于人臉表情圖像的信息推薦效果的評價方法及手機具有以下優(yōu)點:
[0021][I]手機閱讀推薦信息時，系統(tǒng)自動采集閱讀者的人臉表情圖像，不需要用戶特別關(guān)注，這樣采集的人臉表情更自然，分析的結(jié)果更真實。
[0022][2]僅使用日用手機就能對用戶的推薦信息的效果進行實時分析，簡單易用；
[0023][3]應(yīng)用范圍廣泛，可應(yīng)用于改進廣告投放方法，改進視頻的推薦方法，改進游戲的設(shè)計策略等。

【專利附圖】

【附圖說明】
[0024]圖1 一種基于人臉表情圖像的信息推薦效果的評價方法的流程圖
[0025]圖2 —種基于人臉表情圖像的情感分類模型的訓(xùn)練流程
[0026]圖3 —種基于人臉表情圖像的信息推薦效果的評價手機的結(jié)構(gòu)圖

【具體實施方式】
[0027]本發(fā)明提出的一種基于人臉表情圖像的信息推薦效果的評價方法及手機，結(jié)合附圖和實施例說明如下。
[0028]如圖1所示，為一種基于人臉表情圖像的信息推薦效果的評價方法的流程圖，
[0029]該方法包括以下步驟:
[0030][I]用戶閱讀推薦的信息，例如用圖片游覽器觀看推薦的圖片，用視頻播放器觀看推薦的視頻，用IE游覽器游覽推薦的網(wǎng)頁等。
[0031][2]采集用戶閱讀時的人臉表情圖像，按設(shè)定時間間隔采集人臉表情圖像，并以采集時的時間為文件名稱將采集的人臉表情圖像保存為JPEG格式的圖片文件。
[0032][3]提取每個JPEG格式圖片文件的圖像情感特征，形成一個情感特征向量。
[0033][4]采用支持向量機作為情感分類器，對每個人臉情感特征向量分類，判斷的情感類別為憤怒，高興，悲傷，驚訝，厭惡，恐懼和平靜。
[0034][5]用戶閱讀推薦信息期間，將獲得多幅人臉情感圖像及對應(yīng)的情感狀態(tài)，除平靜狀態(tài)外，對其余的所有情感狀態(tài)進行投票，將獲得最多票數(shù)的情感狀態(tài)作為推薦效果的評價值。
[0035]其中人臉表情分類模型是通過機器學(xué)習(xí)獲得的，包括以下步驟
[0036][I]采集1000個人臉表情圖像及對應(yīng)的情感類別
[0037][2]抽取每個人臉表情圖像的特征向量
[0038][3]構(gòu)造訓(xùn)練數(shù)據(jù)，以人臉表情圖像特征向量為輸入，其對應(yīng)的情感類別為輸出，構(gòu)成訓(xùn)練樣本集合
[0039][4]利用訓(xùn)練樣本集合，訓(xùn)練支持向量機，獲得人臉表情分類模型
[0040][5]以10倍交叉驗證方式選擇支持向量機的合適參數(shù),進而獲得對應(yīng)的支持向量機人臉表情分類模型
[0041]本實施案例中，人臉圖像處理采用Android OpenCV提供的API函數(shù)實現(xiàn),AndroidOpenCV是OpenCV在Android手機上的移植版。情感分類器采用支持向量機。在一種基于人臉表情圖像的信息推薦效果的評價方法中，關(guān)鍵步驟的是人臉圖像的采集與人臉檢測，人臉圖像的特征向量構(gòu)造，和支持向量機情感分類器，現(xiàn)對它們的實現(xiàn)描述如下。
[0042]人臉采集與檢測方法
[0043]首先是人臉圖像的采集，通過攝像頭等圖像捕捉工具獲取人臉的靜態(tài)圖像，然后完成圖像預(yù)處理，包括圖像的大小和灰度的歸一化，頭部姿態(tài)的矯正，和人臉圖像的檢測等
[0044]人臉檢測算法采用V1la-Jones的級聯(lián)分類器算法，它是現(xiàn)在的一個比較優(yōu)秀的人臉檢測算法。這種算法使用基于Haar特征的級聯(lián)分類器策略，可快速且有效地找到多種姿態(tài)和尺寸的人臉圖像。在Android OpenCV上有一個該算法的實現(xiàn)。Android OpenCV是Intel開源計算機視覺庫(Computer Vers1n),由一系列C函數(shù)和少量C++類構(gòu)成,實現(xiàn)了圖像處理和計算機視覺方面的很多通用算法。Android OpenCV擁有包括300多個C函數(shù)的跨平臺的中、高層API Android OpenCV對非商業(yè)應(yīng)用和商業(yè)應(yīng)用都是免費的。同時AndroidOpenCV提供了對硬件的訪問，可以直接訪問攝像頭，因而我們利用Android OpenCV編程實現(xiàn)人臉圖像的采集和檢測，從而獲得人臉圖像。包括兩個步驟。第I步是圖片預(yù)處理，從攝像頭中獲得一個幀(一張圖片)后，先對這張圖片進行一些預(yù)處理:將圖片從RGB模式轉(zhuǎn)為灰度圖，然后進行灰度圖直方圖均衡化操作，這步在Android OpenCV中的實現(xiàn)非常簡單。第2步，檢測并標記人臉目標，在Android OpenCV中，對于人臉檢測的模型已經(jīng)建立為一個XML文件，其中包含了上面提到的Haar特征的分類器的訓(xùn)練結(jié)果，我們直接使用這個結(jié)果，將待檢測的人臉圖像和級聯(lián)分類器模型一同傳遞給Android OpenCV的目標檢測算法即得到一個檢測到的人臉圖像。
[0045]人臉表情圖像的特征向量構(gòu)造方法
[0046]本實施案例提取人臉表情圖像的特征有兩類:第I類，先利用二維離散小波在不明顯損失圖像信息的基礎(chǔ)上對表情圖像進行變換，變換后的圖像數(shù)據(jù)量大大減少，再利用離散于余弦變換變換提取代表原圖像絕大部分能量的數(shù)據(jù)作為表情特征矢量。第2類，首先對人臉情感圖像進行分割、消噪處理，然后對其作標準化處理，包括尺度歸一化和灰度均衡化。對標準化處理后的圖像使用固定像素的網(wǎng)格進一步分割，對每一個網(wǎng)格進行Gabor小波變換，取Gabor變換后的小波系數(shù)模的均值、方差作為該網(wǎng)格的情感特征向量。最后將兩類特征向量串接為一個特征向量作為人臉表情圖像的特征向量。
[0047]本實施案例利用Android OpenCV提供的多種API函數(shù)來構(gòu)造圖像的特征向量。
[0048]情感分類模型采用支持向量機
[0049]本實施案例的情感分類模型采用支持向量機(Support Vector Machine, SVM)。支持向量機(Support Vector Machine, SVM)是近幾年剛發(fā)展起來的一種分類方法,它基于結(jié)構(gòu)風(fēng)險最小化原則，具有良好的泛化能力。給定訓(xùn)練樣本
[0050]{(x1? Y1), (x1? Y1),…，(xN，yN)}集，其中 Xi e Rn 為輸入向量，L e {+1,-1}為對應(yīng)的類別，SVM在特征空間中尋找能將兩類樣本正確分開的最優(yōu)分界超平面。對于輸入空間中的向量X，假如使用z = Φ (X)表示其在特征空間中對應(yīng)的特征向量，則最優(yōu)分界超平面表示為W.z+b = O。相應(yīng)的決策方程為f (X) = sign(w.z+b)。在任何情況下，SVM并不要求知道映射Φ。引入核函數(shù)k(.)，特征空間中向量間的點積能在輸入空間中通過核函數(shù)表示為Z1.Z2 = k(x1； x2)。
[0051]訓(xùn)練SVM等價于求解如下最優(yōu)化問題:
MaxL = Y4Ql -^α,α-Xj)
[0052]I s.L O < α7 < C
Σα'兄=0
[0053]這是正定的二次規(guī)劃問題，目標方程由拉格朗日乘子向量a決定。一旦向量a已知，決策方程中的權(quán)重向量w和閾值b能夠通過KKT條件容易地計算出來。KKT條件是上述二次規(guī)劃問題的充分必要條件。定義
[0054]P, = ^'z,~y, =T,ajyMxj^-y>
[0055]則KKT條件為
Qi = O <=> - 6) > O
[0056]< O<af <Coty/(F/ ~b) = 0

a,
[0057]其中ai不為零對應(yīng)的樣本就是支持向量，它們通常只是全體樣本中的少部分。計算出支持向量后，便得到?jīng)Q策函數(shù)
[0058]/(x) = δ§η{Σai yMx, *x) + b}


X,€S
[0059]其中S為支持向量集合。決策函數(shù)中的常用核函數(shù)有:
[0060]多項式核k(xi; χ」)=(Xi.Xj+l)d
[0061]徑向基核函數(shù)(RBF):k(xi； χ」)=exp {-1 χ「χ」I |2/2α2}
[0062]Sigmoid 核函數(shù) k (Xi, Xj) = tanh [b (Xi.Xj) +c]等。
[0063]本實施案例選擇徑向基核函數(shù)RBF作為核函數(shù)，以預(yù)測性能為準則，以10倍交叉驗證方式選擇SVM的合適參數(shù)，進而獲得對應(yīng)的支持向量機分類模型。
[0064]如圖3所示，為一種基于人臉圖像的信息推薦效果的評價手機的結(jié)構(gòu)圖，其特征在于，所述的手機包括:一個人臉表情訓(xùn)練樣本數(shù)據(jù)庫310，用以儲存多個人臉表情圖像的特征向量和對應(yīng)的情感狀態(tài)；一個信息推薦效果檔案數(shù)據(jù)庫311，用以儲存推薦的信息及對應(yīng)情感狀態(tài)的檔案數(shù)據(jù)，其中每個記錄包含推薦的信息內(nèi)容，人臉表情的特征向量，人臉表情對應(yīng)的情感狀態(tài)，和時間。推薦信息閱讀模塊300，手機攝像頭控制模塊301，人臉表情圖像采集模塊302，人臉表情圖像的特征向量構(gòu)造模塊303，人臉表情分類模塊304，人臉表情分類模型學(xué)習(xí)模塊305，信息推薦效果評價模塊306，信息推薦效果顯示模塊307，信息推薦效果檔案管理模塊308。其中推薦信息閱讀模塊300的輸出與手機攝像頭控制模塊301的輸入連接，手機攝像頭控制模塊301的輸出與人臉表情圖像采集模塊302的輸入連接，人臉表情圖像采集模塊302的輸出與人臉表情圖像的特征向量構(gòu)造模塊303的輸入連接，人臉表情圖像的特征向量構(gòu)造模塊303的輸出與人臉表情分類模塊304的輸入連接，人臉表情分類模型學(xué)習(xí)模塊305的輸出與人臉表情分類模塊304的輸入連接，人臉表情分類模塊的輸出304與信息推薦效果評價模塊306的輸入連接，信息推薦效果評價模塊306的輸出與信息推薦效果顯示模塊307的輸入連接，信息推薦效果顯示模塊307的輸出與信息推薦效果檔案管理模塊308的輸入連接。
[0065]I)推薦信息閱讀模塊300，通過手機的閱讀軟件閱讀信息推薦系統(tǒng)推薦的信息，包括圖片、文字、網(wǎng)頁、視頻、游戲等
[0066]2)手機攝像頭控制模塊301，通過控制手機的照相機對人臉照相，采集人臉表情圖像。
[0067]3)人臉表情圖像采集模塊302，對手機攝像頭控制模塊301采集的人臉表情圖像進行預(yù)處理，去除背景，獲得預(yù)處理后的人臉表情圖像。
[0068]4)人臉表情圖像的特征向量構(gòu)造模塊303，負責(zé)將檢測的人臉表情圖像抽取特征，轉(zhuǎn)化為人臉表情圖像的特征向量表示。
[0069]5)人臉表情分類模塊304，采用支持向量機分類器對人臉表情圖像的特征向量進行情感分類，獲得情感類別。
[0070]6)人臉表情分類模型學(xué)習(xí)模塊305，通過人臉表情訓(xùn)練樣本數(shù)據(jù)庫310中的學(xué)習(xí)樣本集，訓(xùn)練支持向量機分類器，獲得支持向量機分類模型。
[0071]7)信息推薦效果評價模塊306，根據(jù)人臉表情的情感類別，給出對應(yīng)的效果評價值。這里直接將用戶的情感類別作為信息推薦效果的評價類別，例如推薦的信息令人驚奇(情感狀態(tài)為驚奇)。
[0072]8)信息推薦效果顯示模塊307，將推薦的信息，預(yù)測的情感類別，及時間顯示在手機屏上。
[0073]9)血壓檔案管理模塊308，將推薦的信息，預(yù)測的情感類別，時間等信息保存到信息推薦效果檔案數(shù)據(jù)庫311，并能查詢信息推薦效果檔案數(shù)據(jù)庫311的歷史記錄。
[0074]本實施案例中的手機采用Android智能手機。Android平臺提供了應(yīng)用程序框架，提供了傳感器、語音識別、桌面組件開發(fā)、Android游戲引擎設(shè)計、Android應(yīng)用優(yōu)化等各類開發(fā)工具，提供了對音頻、視頻和圖片等多媒體的支持，提供了用于結(jié)構(gòu)化數(shù)據(jù)存儲的關(guān)系型數(shù)據(jù)庫SQLite3。本實施案例采用Android的SDK和Android OpenCV來編寫程序?qū)崿F(xiàn)人臉圖像的采集、處理和保存，用SQLite3數(shù)據(jù)庫來實現(xiàn)對訓(xùn)練及檔案數(shù)據(jù)的管理。
[0075]本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解，本發(fā)明的技術(shù)方案可以進行修改，變形或等同變換，而不脫離本發(fā)明技術(shù)方案的本質(zhì)和范圍，均覆蓋在本發(fā)明的權(quán)利要求范圍之中。
【權(quán)利要求】
1.一種基于人臉表情圖像的信息推薦效果的評價方法，其特征在于該方法包括以下步驟: [1]用戶閱讀推薦的信息 [2]按設(shè)定時間間隔采集用戶閱讀推薦信息時的人臉表情圖像，得到多幅人臉表情圖像 [3]抽取每幅人臉表情圖像的情感特征，構(gòu)造特征向量 [4]利用人臉表情分類模型預(yù)測每幅人臉表情圖像的情感狀態(tài) [5]將預(yù)測的用戶的各類情感狀態(tài)的統(tǒng)計值作為推薦效果的評價。用戶閱讀推薦信息期間，將獲得多幅人臉情感圖像及對應(yīng)的情感狀態(tài)類別，統(tǒng)計每類情感狀態(tài)類別的次數(shù)，然后將各個情感狀態(tài)類別的統(tǒng)計次數(shù)作為推薦效果的評價值。
2.根據(jù)權(quán)利要求1所述的一種基于人臉表情圖像的信息推薦效果的評價方法，其特征在于所述的步驟[2]按設(shè)定時間間隔采集用戶閱讀推薦信息時的人臉表情圖像，得到多幅人臉表情圖像。
3.根據(jù)權(quán)利要求1所述的一種基于人臉表情圖像的信息推薦效果的評價方法，其特征在于所述的步驟[5]將預(yù)測的用戶閱讀推薦信息時的各類人臉情感狀態(tài)的統(tǒng)計值作為推薦效果的評價。
4.本發(fā)明一種基于人臉表情圖像的信息推薦效果的評價手機，其特征在于所述的手機包括:人臉表情訓(xùn)練樣本數(shù)據(jù)庫，手機攝像頭控制模塊，推薦信息閱讀模塊，人臉表情圖像采集模塊，人臉表情圖像的特征向量構(gòu)造模塊，人臉表情分類模塊，信息推薦效果評價模塊，人臉表情分類模型學(xué)習(xí)模塊，信息推薦效果顯示模塊，信息推薦效果檔案管理模塊。其中推薦信息閱讀模塊的輸出與手機攝像頭控制模塊的輸入連接，手機攝像頭控制模塊的輸出與人臉表情圖像采集模塊的輸入連接，人臉表情圖像采集模塊的輸出與人臉表情圖像的特征向量構(gòu)造模塊的輸入連接，人臉表情圖像的特征向量構(gòu)造模塊的輸出與人臉表情分類模塊的輸入連接，人臉表情分類模型學(xué)習(xí)模塊的輸出與人臉表情分類模塊的輸入連接，人臉表情分類模塊的輸出與信息推薦效果評價模塊的輸入連接，信息推薦效果評價模塊的輸出與信息推薦效果顯示模塊的輸入連接，信息推薦效果顯示模塊的輸出與信息推薦效果檔案管理模塊的輸入連接。
【文檔編號】G06K9/66GK104298682SQ201310302929
【公開日】2015年1月21日 申請日期:2013年7月18日 優(yōu)先權(quán)日:2013年7月18日
【發(fā)明者】不公告發(fā)明人 申請人:廣州華久信息科技有限公司