本發(fā)明屬于情感分析技術(shù)領(lǐng)域，更具體地，涉及一種基于深度學(xué)習(xí)的用戶情感分析方法。

背景技術(shù)：

隨著互聯(lián)網(wǎng)的快速發(fā)展，用戶規(guī)模呈爆發(fā)式增長，同時(shí)促進(jìn)了人們社交網(wǎng)絡(luò)的形成與拓展。社交網(wǎng)絡(luò)已經(jīng)在我們的日常生活中成為不可代替的一部分。每個(gè)用戶都可以隨時(shí)把自己的心情，態(tài)度，觀點(diǎn)發(fā)布于網(wǎng)絡(luò)，也可以利用社交網(wǎng)絡(luò)發(fā)現(xiàn)具有相同觀念的好友，快速獲取最新的知識。情感分析是數(shù)據(jù)挖掘領(lǐng)域的研究熱點(diǎn)之一，傳統(tǒng)的情感分析方法在進(jìn)行文本相關(guān)特征提取時(shí)會產(chǎn)生一定的噪聲或信息缺失，同時(shí)在情感預(yù)測方面也存在一定缺陷。基于深度學(xué)習(xí)的情感分析方法可以自動的學(xué)習(xí)并在模型中利用文本相關(guān)特征，然而現(xiàn)有深度學(xué)習(xí)方法對于文本的用戶等信息利用不全面。

用戶情感分析的關(guān)鍵之一在于合理的利用用戶信息。利用用戶信息的分析任務(wù)通常是利用用戶信息來提升情感分析的效果?；蚶蒙缃痪W(wǎng)絡(luò)中用戶的關(guān)注關(guān)系等發(fā)現(xiàn)社區(qū)或計(jì)算用戶影響力，或利用用戶的相關(guān)行為特征進(jìn)行推薦。但傳統(tǒng)的方法在利用用戶的信息或用戶表現(xiàn)的相關(guān)特征行為時(shí)均需要特征提取，而提取的特征不僅大多為離散的、多個(gè)不相關(guān)特征的疊加(如將用戶的入度和出度分別作為一個(gè)特征)而且通常需要花費(fèi)大量的計(jì)算代價(jià)。且提取的特征具有以下缺點(diǎn)：(1)特征維度大，易造成維度災(zāi)難和數(shù)據(jù)稀疏性，特征提取過程繁瑣，特征提取的結(jié)果不完善或存在噪聲；(2)傳統(tǒng)特征提取往往不具有語義信息，故會造成原有文本語義信息的丟失，對于文本中的情感轉(zhuǎn)移現(xiàn)象以及深層語義情感分析效果不理想。

技術(shù)實(shí)現(xiàn)要素：

針對現(xiàn)有技術(shù)的以上缺陷或改進(jìn)需求，本發(fā)明的目的在于提供了一種基于深度學(xué)習(xí)的用戶情感分析方法，由此解決傳統(tǒng)的用戶情感分析方法在利用用戶的信息或用戶表現(xiàn)的相關(guān)特征行為時(shí)均需要特征提取，且提取的特征不僅大多為離散的、多個(gè)不相關(guān)特征的疊加而且通常需要花費(fèi)大量計(jì)算代價(jià)，從而導(dǎo)致情感分析的準(zhǔn)確度及效率較低的技術(shù)問題。

為實(shí)現(xiàn)上述目的，按照本發(fā)明的一個(gè)方面，提供了一種基于深度學(xué)習(xí)的用戶情感分析方法，包括以下步驟：

對原始數(shù)據(jù)集中的所有用戶及其發(fā)表的文本內(nèi)容進(jìn)行預(yù)處理得到目標(biāo)數(shù)據(jù)集，對目標(biāo)數(shù)據(jù)集中的單詞進(jìn)行訓(xùn)練得到各單詞對應(yīng)的詞向量，對目標(biāo)數(shù)據(jù)集中的文本進(jìn)行訓(xùn)練得到各文本對應(yīng)的文本向量；

對于每個(gè)用戶，基于用戶ux的用戶信息及用戶ux發(fā)表的文本中單詞的詞向量(w1,w2,w3,...,wt)，最大化概率得到用戶ux的第一特征向量，其中，wt表示詞向量(w1,w2,w3,...,wt)中的任意詞向量；

最大化概率得到用戶ux的第二特征向量，其中，n為用戶數(shù)目，c為用戶ux發(fā)表的文本內(nèi)容的個(gè)數(shù)，tj為用戶ux發(fā)表的第j個(gè)文本的文本向量；

將用戶ux的第一特征向量以及用戶ux的第二特征向量進(jìn)行拼接得到用戶ux的目標(biāo)特征向量，通過所有用戶的目標(biāo)特征向量對待分析用戶進(jìn)行情感分析。

優(yōu)選地，所述對目標(biāo)數(shù)據(jù)集中的文本進(jìn)行訓(xùn)練得到各文本對應(yīng)的文本向量，包括：

對于目標(biāo)數(shù)據(jù)集中的每段文本使用卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)將文本表示為與各文本對應(yīng)的文本向量，其中，卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)為：

卷積神經(jīng)網(wǎng)絡(luò)的第一層輸入文本對應(yīng)的單詞序列；

卷積神經(jīng)網(wǎng)絡(luò)的第二層為對第一層輸入的卷積操作，卷積操作使用多個(gè)filter得到多個(gè)特征層；

卷積神經(jīng)網(wǎng)絡(luò)的第三層為池化層，對每個(gè)特征層向量取均值得到輸出結(jié)果；

卷積神經(jīng)網(wǎng)絡(luò)的第四層為線性層，輸出長度為文本向量的長度；

卷積神經(jīng)網(wǎng)絡(luò)的第五層為激活層，使用htanh函數(shù)使得輸出結(jié)果介于-1到1之間。

優(yōu)選地，所述對于目標(biāo)數(shù)據(jù)集中的每段文本使用卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)將文本表示為與各文本對應(yīng)的文本向量，包括：

設(shè)每個(gè)詞向量的長度為d，輸入文本序列s的句子長度為|s|，則卷積神經(jīng)網(wǎng)絡(luò)的第一層的輸入矩陣記為s且

卷積神經(jīng)網(wǎng)絡(luò)的第二層使用多個(gè)filter對每m個(gè)單詞做卷積操作得到n個(gè)輸出向量c，將n個(gè)輸出向量c記為矩陣c，其中，

將矩陣c作為卷積神經(jīng)網(wǎng)絡(luò)第三層池化層的輸入，第三層對輸入的每個(gè)向量c去均值，將矩陣轉(zhuǎn)換為n維向量將作為卷積神經(jīng)網(wǎng)絡(luò)第四層的輸入；

設(shè)文本向量的輸出長度也為d，則經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)第四層線性層后得到d維輸出向量：y＝c^t·w+b,其中y為第四層的輸出，表示輸入文本序列s的d維向量表示，w為參數(shù)，b為偏置；

卷積神經(jīng)網(wǎng)絡(luò)第五層的輸出記為r，則：r＝htanh(w1·y^t+b),其中，y為第四層的輸出，w1為權(quán)重，b為偏置，htanh的計(jì)算方式為：

替換文本序列s中的單詞為所有單詞中的一個(gè)隨機(jī)單詞得到新的文本序列，然后分別將原始序列和新的序列作為輸入至卷積神經(jīng)網(wǎng)絡(luò)并得到兩個(gè)不同的輸出值，則理論上兩個(gè)結(jié)果差值較大，故該神經(jīng)網(wǎng)絡(luò)的損失函數(shù)記為：max(0,1-r1+r2)，然后根據(jù)輸出的損失函數(shù)優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)，其中r1和r2分別為兩個(gè)序列的輸出結(jié)果；

使用卷積神經(jīng)網(wǎng)絡(luò)第四層線性層的輸出作為文本的向量表示。

優(yōu)選地，所述對每m個(gè)單詞做卷積操作的計(jì)算方式為：

對于第i至i+m-1個(gè)單詞做卷積時(shí)的計(jì)算方式為：其中，(f×si)l表示f和si矩陣的第l維向量的叉乘結(jié)果。

優(yōu)選地，所述由所有用戶的目標(biāo)特征向量對待分析用戶進(jìn)行情感分析，包括：

獲得整合待分析用戶信息的文本向量；

根據(jù)整合待分析用戶信息的文本向量，依據(jù)情感分析的不同任務(wù)進(jìn)行調(diào)整，得到最終的情感分析結(jié)果。

優(yōu)選地，所述獲得整合待分析用戶信息的文本向量包括：

查找待分析用戶發(fā)表的文本中的單詞的詞向量，若單詞不存在則使用預(yù)設(shè)的向量表示該單詞；

查找待分析用戶的特征向量；

使用卷積神經(jīng)網(wǎng)絡(luò)對待分析用戶發(fā)表的文本進(jìn)行卷積操作后，在采樣層加入待分析用戶信息，以使在采樣層中使得原有文本的語義按待分析用戶的性格有所偏移，在此基礎(chǔ)上得到最終的文本向量表示，其中，在卷積神經(jīng)網(wǎng)絡(luò)的第二層增加輸入為待分析用戶的特征向量。

優(yōu)選地，在所述得到最終的情感分析結(jié)果之后，所述方法還包括：

根據(jù)情感分析結(jié)果與實(shí)際結(jié)果的偏差信息，使用反向傳播算法和隨機(jī)梯度下降對卷積神經(jīng)網(wǎng)絡(luò)中的參數(shù)進(jìn)行更新，對于卷積神經(jīng)網(wǎng)絡(luò)中每個(gè)神經(jīng)元的權(quán)重，按照以下方式進(jìn)行更新：將輸入的數(shù)據(jù)和輸出的損失相乘，從而獲得權(quán)重的梯度；將梯度乘上一個(gè)預(yù)設(shè)比率并取反后加到該神經(jīng)元的各參數(shù)權(quán)重上。

總體而言，本發(fā)明方法與現(xiàn)有技術(shù)方案相比，能夠取得下列有益效果：

(1)對于已有用戶及其相關(guān)的文本資源，首先學(xué)習(xí)詞向量表示并將文本內(nèi)容表示為文本向量，然后基于文本向量及詞向量學(xué)習(xí)用戶的特征向量，即使用特定長度的向量作為用戶的特征向量，采用本發(fā)明的用戶特征向量由于具有豐富的用戶畫像信息，使得基于該用戶特征向量對文本進(jìn)行情感分析時(shí)提升了情感分析的準(zhǔn)確度及效率。

(2)本發(fā)明的用戶情感分析方法依賴于用戶發(fā)表的相關(guān)文本得到用戶的特征表示，所以相比于傳統(tǒng)的用戶特征表示方法(比如將年齡、性別、好友數(shù)分別作為一個(gè)特征)更能在一定程度代表用戶的性格或興趣、同時(shí)對于新增的用戶也不需要額外的計(jì)算便可以直接得到對應(yīng)的用戶特征向量。

(3)對于得到的用戶特征向量可以結(jié)合不同情感分析任務(wù)設(shè)計(jì)不同的網(wǎng)絡(luò)結(jié)構(gòu)，用以進(jìn)行多種類型的情感分析。針對不同的情感分析任務(wù)可以使用不同的參數(shù)學(xué)習(xí)方法提升情感分析準(zhǔn)確度

附圖說明

圖1為本發(fā)明實(shí)施例公開的一種基于深度學(xué)習(xí)的用戶情感分析方法的示意圖；

圖2為本發(fā)明實(shí)施例公開的一種用戶特征表示方法；

圖3為本發(fā)明實(shí)施例公開的另一種用戶特征表示方法；

圖4為本發(fā)明實(shí)施例公開的一種用戶情感分析方法。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。此外，下面所描述的本發(fā)明各個(gè)實(shí)施方式中所涉及到的技術(shù)特征只要彼此之間未構(gòu)成沖突就可以相互組合。

如圖1所示為根據(jù)本發(fā)明的基于深度學(xué)習(xí)的用戶情感分析方法示意圖。其中包括了數(shù)據(jù)預(yù)處理、詞向量學(xué)習(xí)、文本向量學(xué)習(xí)、用戶特征向量表示、用戶情感分析、模型更新六個(gè)步驟。該方法依賴于用戶發(fā)表的相關(guān)文本得到用戶的特征表示，并依賴于使用本學(xué)習(xí)方法得到的用戶特征向量具有豐富的用戶畫像信息提升了對用戶相關(guān)文本進(jìn)行情感分析的準(zhǔn)確度。

本方法需要事先對模型進(jìn)行預(yù)訓(xùn)練，其中訓(xùn)練的語料集為包含用戶信息的文本內(nèi)容，且該文本內(nèi)容標(biāo)注了情感傾向性信息。可選的文本語料來源可以是twitter、weibo等社交媒體或yelp等評論網(wǎng)站，其中twitter、weibo中的文本內(nèi)容依據(jù)句中的表情符號進(jìn)行句子的情感傾向性的判定，yelp等評論信息則依據(jù)該評論的打分情況決定文本的情感傾向性。同時(shí)為了驗(yàn)證訓(xùn)練得到模型的效果，每次均將數(shù)據(jù)集的80％作為訓(xùn)練集，另外20％作為測試集。本方法具體的實(shí)施過程如下所述：

s1、對原始數(shù)據(jù)集中的所有用戶及其發(fā)表的文本內(nèi)容進(jìn)行預(yù)處理得到目標(biāo)數(shù)據(jù)集，對目標(biāo)數(shù)據(jù)集中的單詞進(jìn)行訓(xùn)練得到各單詞對應(yīng)的詞向量，對目標(biāo)數(shù)據(jù)集中的文本進(jìn)行訓(xùn)練得到各文本對應(yīng)的文本向量；

其中，對所有用戶及其發(fā)表的文本內(nèi)容進(jìn)行預(yù)處理得到目標(biāo)數(shù)據(jù)集可以采用以下方式實(shí)現(xiàn)：

對已有的用戶及文本信息進(jìn)行預(yù)處理，每個(gè)文本內(nèi)容均對應(yīng)相關(guān)的用戶。首先過濾所有句子長度小于6個(gè)單詞的文本。然后統(tǒng)計(jì)文本中所有詞語及標(biāo)點(diǎn)符號的出現(xiàn)次數(shù)，對于次數(shù)少于特定值的詞語使用特殊的標(biāo)記符號進(jìn)行替換，如將次數(shù)少于3次的詞語或標(biāo)點(diǎn)符號均替換為<n_u_l_l>。最后對于每個(gè)用戶計(jì)算其發(fā)表的文本的數(shù)量，若用戶發(fā)表的有效文本數(shù)少于2，則將該用戶及其相關(guān)的文本從數(shù)據(jù)集中刪除。

其中，對目標(biāo)數(shù)據(jù)集中的單詞進(jìn)行訓(xùn)練得到各單詞對應(yīng)的詞向量可以采用以下方式實(shí)現(xiàn)：

在得到目標(biāo)數(shù)據(jù)集之后，可以使用word2vec中的skip-gram模型訓(xùn)練得到單詞及特殊標(biāo)記符號(本實(shí)施例為<n_u_l_l>)的向量表示。由于已經(jīng)對詞語進(jìn)行了預(yù)處理，所以在使用google的word2vec時(shí)只需要設(shè)置最小詞頻的計(jì)數(shù)與預(yù)處理后的詞頻相同即可，詞向量訓(xùn)練結(jié)果存儲在文本中供接下來的步驟使用。然而本發(fā)明實(shí)施例的詞向量訓(xùn)練方式不局限于skip-gram模型，例如還可以采用cbow模型。

其中，對目標(biāo)數(shù)據(jù)集中的文本進(jìn)行訓(xùn)練得到各文本對應(yīng)的文本向量，可以采用以下方式實(shí)現(xiàn)：

對于目標(biāo)數(shù)據(jù)集中的每段文本使用卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)將文本表示為與各文本對應(yīng)的文本向量，其中，卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)為：

卷積神經(jīng)網(wǎng)絡(luò)的第一層輸入文本對應(yīng)的單詞序列；

卷積神經(jīng)網(wǎng)絡(luò)的第二層為對第一層輸入的卷積操作，卷積操作使用多個(gè)filter得到多個(gè)特征層；

卷積神經(jīng)網(wǎng)絡(luò)的第三層為池化層，對每個(gè)特征層向量取均值得到輸出結(jié)果；

卷積神經(jīng)網(wǎng)絡(luò)的第四層為線性層，輸出長度為文本向量的長度；

卷積神經(jīng)網(wǎng)絡(luò)的第五層為激活層，使用htanh函數(shù)使得輸出結(jié)果介于-1到1之間。

其中，對于目標(biāo)數(shù)據(jù)集中的每段文本使用卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)將文本表示為與各文本對應(yīng)的文本向量，可以采用以下方式實(shí)現(xiàn)：

設(shè)每個(gè)詞向量的長度為d，輸入文本序列s的句子長度為|s|，則卷積神經(jīng)網(wǎng)絡(luò)的第一層的輸入矩陣記為s且

卷積神經(jīng)網(wǎng)絡(luò)的第二層使用多個(gè)filter對每m個(gè)單詞做卷積操作得到n個(gè)輸出向量c，將n個(gè)輸出向量c記為矩陣c，其中，

對每m個(gè)單詞做卷積操作的計(jì)算方式為：

對于第i至i+m-1個(gè)單詞做卷積時(shí)的計(jì)算方式為：其中，其中si表示第i至i+m-1個(gè)單詞向量構(gòu)成的輸入矩陣，f表示每個(gè)filter層的初始參數(shù)權(quán)重矩陣，矩陣中的數(shù)值可以使用隨機(jī)化初始為[-0.5,0.5]區(qū)間內(nèi)的小數(shù)。(f×si)l表示f和si矩陣的第l維向量的叉乘結(jié)果，卷積神經(jīng)網(wǎng)絡(luò)的第二層使用多個(gè)filter則得到n個(gè)f矩陣，即

將矩陣c作為卷積神經(jīng)網(wǎng)絡(luò)第三層池化層的輸入，第三層對輸入的每個(gè)向量c去均值，將矩陣轉(zhuǎn)換為n維向量將作為卷積神經(jīng)網(wǎng)絡(luò)第四層的輸入；

設(shè)文本向量的輸出長度也為d，則經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)第四層線性層后得到d維輸出向量：y＝c^t·w+b，其中y為第四層的輸出，表示輸入文本序列s的d維向量表示，w為參數(shù)，b為偏置；

卷積神經(jīng)網(wǎng)絡(luò)第五層的輸出記為r，則：r＝htanh(w1·y^t+b),其中，y為第四層的輸出，w1為權(quán)重，b為偏置，htanh的計(jì)算方式為：

其中，卷積神經(jīng)網(wǎng)絡(luò)第五層的輸出的目的在于計(jì)算損失函數(shù)，以此提升文本向量表示的準(zhǔn)確度。

替換文本序列s中的單詞為所有單詞中的一個(gè)隨機(jī)單詞得到新的文本序列，然后分別將原始序列和新的序列作為輸入至卷積神經(jīng)網(wǎng)絡(luò)并得到兩個(gè)不同的輸出值，則理論上兩個(gè)結(jié)果差值較大，故該神經(jīng)網(wǎng)絡(luò)的損失函數(shù)記為：max(0,1-r1+r2)，然后根據(jù)輸出的損失函數(shù)優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)，其中r1和r2分別為兩個(gè)序列的輸出結(jié)果；

使用卷積神經(jīng)網(wǎng)絡(luò)第四層線性層的輸出作為文本的向量表示。

s2、對于每個(gè)用戶，基于用戶ux的用戶信息及用戶ux發(fā)表的文本中單詞的詞向量(w1,w2,w3,...,wt)，最大化概率得到用戶ux的第一特征向量，其中，wt表示詞向量(w1,w2,w3,...,wt)中的任意詞向量；

s3、最大化概率得到用戶ux的第二特征向量，其中，n為用戶數(shù)目，c為用戶ux發(fā)表的文本內(nèi)容的個(gè)數(shù)，tj為用戶ux發(fā)表的第j個(gè)文本的文本向量；

例如，對于用戶1發(fā)表了“我在昆明工作”，用戶2發(fā)表了“我在北京工作”，則一個(gè)好的用戶特征向量應(yīng)該盡可能滿足以下兩種情況：

情況1：p(昆明|我,在,工作,用戶1)>p(北京|我,在,工作,用戶2)

情況2：p(我在昆明工作|用戶1)>p(我在昆明工作|用戶2)

因此本發(fā)明在進(jìn)行用戶特征向量表示時(shí)以實(shí)現(xiàn)以上兩種情況為出發(fā)點(diǎn)，首先經(jīng)過上述步驟s1得到了詞向量表示，文本向量，然后利用以上信息訓(xùn)練用戶的特征向量，該過程使用圖2和圖3所示的兩種方法分兩個(gè)步驟進(jìn)行：

步驟s2的目的是學(xué)習(xí)用戶特征向量使得該特征向量可以滿足情況1，其網(wǎng)絡(luò)結(jié)構(gòu)如圖2，詳細(xì)過程如下：

給定用戶ux及用戶ux發(fā)表的文本中單詞的詞向量(w1,w2,w3,...,wt)，對(w1,w2,w3,...,wt)中的每個(gè)詞向量wt，則在給定詞向量wt-k,...,wt+k以及用戶ux的情況下詞向量wt出現(xiàn)的概率和為：

模型應(yīng)該使得以上概率最大化，且該任務(wù)為一個(gè)多分類任務(wù)，可以通過softmax函數(shù)來計(jì)算輸出結(jié)果，因此p(wt|wt-k,...,wt+k,ux)的計(jì)算方式為：

其中，表示每個(gè)可能輸出的詞向量wi的概率，且a，u為softmax函數(shù)的參數(shù)，函數(shù)h表示對(wi-k,...,wi+k,ux)中的詞向量進(jìn)行求和或均值，模型中參數(shù)學(xué)習(xí)的過程通常采用隨機(jī)梯度下降的方法。

步驟s3的目的學(xué)習(xí)到用戶特征向量使得該特征向量可以滿足情況2，步驟s3的訓(xùn)練過程與步驟s2的訓(xùn)練過程類似，其網(wǎng)絡(luò)結(jié)構(gòu)如圖3，但對于用戶ux的關(guān)聯(lián)文本向量tj應(yīng)該最大化以下概率：

s4、將用戶ux的第一特征向量以及用戶ux的第二特征向量進(jìn)行拼接得到用戶ux的目標(biāo)特征向量，以由所有用戶的目標(biāo)特征向量對待分析用戶進(jìn)行情感分析。

其中，由所有用戶的目標(biāo)特征向量對待分析用戶進(jìn)行情感分析過程為：

一是獲得具有用戶信息的文本向量表示，二則是依據(jù)一得到的向量及不同的情感分析任務(wù)選擇不同的激活函數(shù)實(shí)現(xiàn)函數(shù)的輸出。

其中，獲得整合用戶信息的文本向量表示的過程為：

如圖4所示為基于步驟s1、s2、s3以及s4得到詞向量、文本向量以及用戶特征向量表示后進(jìn)行用戶情感分析的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖，該步驟首先將用戶文本中的詞語在詞向量表中查找相應(yīng)單詞的向量表示，若單詞表中不存在該單詞則使用特定的向量表示該單詞。同時(shí)在用戶特征向量表中查找該用戶的特征向量。然后使用卷積神經(jīng)網(wǎng)絡(luò)先對文本進(jìn)行卷積得到文本表示后在采樣層加入所屬用戶的信息，即在此層中使得原有文本的語義按用戶的性格有所偏移，在此基礎(chǔ)上得到最終的文本向量表示。其中卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)為：

卷積神經(jīng)網(wǎng)絡(luò)的第一層輸入文本的對應(yīng)的單詞序列；

卷積神經(jīng)網(wǎng)絡(luò)的第二層為對第一層輸入的卷積操作，同時(shí)在第二層添加輸入為用戶特征向量，卷積操作使用多個(gè)filter得到多個(gè)特征層；

卷積神經(jīng)網(wǎng)絡(luò)的第三層為池化層，對每個(gè)特征層向量取均值得到輸出結(jié)果；

本步驟的神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)與步驟s1類似，區(qū)別在于第二層的卷積操作加入了用戶特征向量的卷積，所以對于最終的情感分析結(jié)果產(chǎn)生了影響。

上述步驟s1中對文本中每m個(gè)單詞做卷積操作得到輸出向量c的計(jì)算方法為：則在加入用戶的卷積操作時(shí)與原神經(jīng)網(wǎng)絡(luò)的區(qū)別在于si矩陣每次都由m個(gè)單詞向量及用戶特征向量ux拼接得到。該層得到的池化結(jié)果同步驟s1與filter的個(gè)數(shù)有關(guān)，n個(gè)filter的池化層輸出向量為該層的輸出向量同時(shí)具備了文本的語義信息及用戶的信息，該層的輸出向量用于不同的用戶情感分析任務(wù)。

用戶情感分析：該步驟的具體的輸出或神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)依據(jù)情感分析任務(wù)的不同進(jìn)行適當(dāng)?shù)恼{(diào)整。例如獲得整合用戶信息的文本向量為一個(gè)n維向量，基于該向量可以直接結(jié)合logistic函數(shù)實(shí)現(xiàn)文本情感的二分類。或者可以和步驟s1類似添加一個(gè)線性層將n維向量轉(zhuǎn)化為其他維度后結(jié)合softmax函數(shù)實(shí)現(xiàn)文本情感的多分類或結(jié)合logistic函數(shù)實(shí)現(xiàn)文本情感的二分類。

對于輸入向量x以及與其維度相同的權(quán)重向量θ，logistic函數(shù)的計(jì)算方法如下：

對于輸入向量x以及與其維度相同的權(quán)重向量θ，softmax函數(shù)的輸出y屬于某一類別i的計(jì)算方法如下：

作為一種可選的實(shí)施方式，在得到最終的情感分析結(jié)果之后，還包括參數(shù)更新的操作：

對于上述的所有卷積神經(jīng)網(wǎng)絡(luò)，根據(jù)情感分析結(jié)果與實(shí)際結(jié)果的偏差信息，使用反向傳播算法和隨機(jī)梯度下降對模型中的參數(shù)進(jìn)行更新。對于神經(jīng)網(wǎng)絡(luò)中每個(gè)神經(jīng)元的權(quán)重，按照以下步驟進(jìn)行更新：將輸入的數(shù)據(jù)和輸出的損失相乘，從而獲得權(quán)重的梯度；將這個(gè)梯度乘上一個(gè)預(yù)設(shè)比率(學(xué)習(xí)率)并取反后加到該神經(jīng)元各參數(shù)的權(quán)重上。梯度的方向指明了誤差擴(kuò)大的方向，因此在更新權(quán)重的時(shí)候需要對其取反，從而減小權(quán)重引起的誤差，其中預(yù)設(shè)比率可以由經(jīng)驗(yàn)或者實(shí)際需要進(jìn)行確定。

在本發(fā)明中用到的多為神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，其中神經(jīng)網(wǎng)絡(luò)的部分中間層以及部分使用卷積層和采樣層的結(jié)構(gòu)在示意圖中均使用一層表示，但是不同的網(wǎng)絡(luò)結(jié)構(gòu)可能適用于不同的任務(wù)，所以在實(shí)際的設(shè)計(jì)過程中可以是對于不同種中間層或卷積層的多個(gè)組合。

本領(lǐng)域的技術(shù)人員容易理解，以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。