專(zhuān)利名稱(chēng)：廣告拷貝質(zhì)量檢測(cè)及評(píng)分的制作方法
廣告拷貝質(zhì)量檢測(cè)及評(píng)分
背景技術(shù)：
在線廣告交易使得廣告商從出版商處購(gòu)買(mǎi)在線廣告空間。出版商(內(nèi)容和財(cái)產(chǎn)所有者)可以在每次點(diǎn)擊付費(fèi)的基礎(chǔ)上或者在其他基礎(chǔ)上拍賣(mài)廣告空間，其中出版商對(duì)于顯示廣告所得到的價(jià)格取決于觀看者對(duì)于廣告的正面響應(yīng)。一些廣告可能含有語(yǔ)法錯(cuò)誤的文本或者其他文本錯(cuò)誤，從而阻礙觀看者點(diǎn)擊廣告。

發(fā)明內(nèi)容
提供本概要是為了以簡(jiǎn)化形式介紹將在下面的詳細(xì)描述部分中進(jìn)一步描述的概念的選擇。本概要不意圖標(biāo)識(shí)出所要求保護(hù)的主題內(nèi)容的關(guān)鍵或本質(zhì)特征，也不意圖被單獨(dú)用來(lái)幫助確定所要求保護(hù)的主題內(nèi)容的范圍。本發(fā)明的實(shí)施例利用來(lái)自語(yǔ)言模型的輸出評(píng)估在線廣告內(nèi)的文本的質(zhì)量。來(lái)自語(yǔ) 言模型的輸出可以被機(jī)器學(xué)習(xí)算法用來(lái)生成對(duì)應(yīng)于一則單獨(dú)廣告的質(zhì)量分?jǐn)?shù)?？梢栽谠诰€拍賣(mài)中過(guò)濾具有較差質(zhì)量的文本的廣告或者對(duì)其征稅。廣告質(zhì)量分?jǐn)?shù)還可以被用來(lái)對(duì)提交所述廣告的廣告商進(jìn)行評(píng)級(jí)或評(píng)分。在一個(gè)實(shí)施例中，將廣告商的質(zhì)量分?jǐn)?shù)與一則單獨(dú)廣告的質(zhì)量分?jǐn)?shù)組合，從而產(chǎn)生被用來(lái)評(píng)估所述廣告的最終分?jǐn)?shù)。廣告商等級(jí)/分?jǐn)?shù)和廣告質(zhì)量分?jǐn)?shù)可以被傳送到廣告商以作為廣告商反饋。


下面將參照附圖詳細(xì)描述本發(fā)明的實(shí)施例，其中
圖I是適于實(shí)施本發(fā)明的實(shí)施例的示例性計(jì)算環(huán)境的方框 圖2是根據(jù)本發(fā)明的一個(gè)實(shí)施例的適于檢測(cè)廣告內(nèi)的文本質(zhì)量的計(jì)算系統(tǒng)體系結(jié)構(gòu)的圖示；
圖3是示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的被用來(lái)生成最終模型的各個(gè)組件的圖示，其中所述最終模型生成對(duì)應(yīng)于廣告的質(zhì)量分?jǐn)?shù)；
圖4是示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的針對(duì)廣告生成質(zhì)量分?jǐn)?shù)的圖示；
圖5是示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的如何能夠使用語(yǔ)言模型內(nèi)的η元語(yǔ)法的分布來(lái)檢測(cè)較差質(zhì)量的廣告文本的曲線 圖6示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的文本性廣告；
圖7是示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的基于在線廣告的文本確定所述在線廣告的質(zhì)量的方法的流程 圖8是示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的基于在線廣告的文本確定所述在線廣告的質(zhì)量的方法的流程圖；以及
圖9是示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的基于在線廣告的文本來(lái)確定所述在線廣告的質(zhì)量的方法的流程圖。
具體實(shí)施方式
質(zhì)量分?jǐn)?shù)可以被用來(lái)濾除具有較差文本質(zhì)量的廣告。質(zhì)量分?jǐn)?shù)還可以被用來(lái)對(duì)在線拍賣(mài)內(nèi)的廣告進(jìn)行征稅或懲罰。與未被征稅的廣告相比，在線拍賣(mài)中的征稅可以導(dǎo)致廣告商支付更多來(lái)展示廣告或贏得拍賣(mài)。在非拍賣(mài)廣告情境中，對(duì)具有較差文本質(zhì)量的廣告的評(píng)級(jí)可以低于具有良好文本質(zhì)量的其他廣告，并因此不太可能被顯示。在另一個(gè)實(shí)施例中，在通過(guò)廣告交易進(jìn)行顯示之前，具有處于一定范圍內(nèi)的質(zhì)量分?jǐn)?shù)的廣告可以被指定進(jìn)行編輯評(píng)論。廣告質(zhì)量分?jǐn)?shù)還可以被用來(lái)對(duì)提交廣告的廣告商進(jìn)行評(píng)級(jí)或評(píng)分。在一個(gè)實(shí)施例中，將廣告商的質(zhì)量分?jǐn)?shù)與一則單獨(dú)廣告的質(zhì)量分?jǐn)?shù)組合，從而產(chǎn)生被用來(lái)評(píng)估所述廣告的最終分?jǐn)?shù)。廣告商等級(jí)/分?jǐn)?shù)和廣告質(zhì)量分?jǐn)?shù)可以被傳送到廣告商以作為廣告商反饋。相應(yīng)地，在一個(gè)實(shí)施例中，在一個(gè)或更多計(jì)算機(jī)可讀介質(zhì)上具體實(shí)現(xiàn)有計(jì)算機(jī)可執(zhí)行指令(所述計(jì)算機(jī)可執(zhí)行指令是針對(duì)具有計(jì)算機(jī)可執(zhí)行指令的一個(gè)或更多計(jì)算機(jī)可讀介質(zhì)而具體實(shí)現(xiàn)的)，當(dāng)由計(jì)算設(shè)備執(zhí)行時(shí)，所述計(jì)算機(jī)可執(zhí)行指令施行一種基于在線廣告的文本確定所述在線廣告的質(zhì)量的方法。所述方法包括接收包含文本的廣告，將所述文本解析成一個(gè)或更多η元語(yǔ)法(n-grams)，以及至少部分地基于所述一個(gè)或更多η元語(yǔ)法在語(yǔ) 言模型內(nèi)的出現(xiàn)頻率生成對(duì)應(yīng)于所述廣告的質(zhì)量分?jǐn)?shù)。在另一個(gè)實(shí)施例中涉及一種基于在線廣告的文本來(lái)確定所述在線廣告的質(zhì)量的方法。所述方法包括接收描述多則在線廣告當(dāng)中的每一則的質(zhì)量的人類(lèi)輸入。所述方法還包括利用來(lái)自多則廣告的文本生成語(yǔ)言模型，其中所述語(yǔ)言模型允許確定η元語(yǔ)法在所述多則廣告內(nèi)的出現(xiàn)頻率。所述方法包括基于語(yǔ)言模型與人類(lèi)輸入的組合生成最終模型。所述方法還包括利用最終模型計(jì)算對(duì)應(yīng)于在線廣告的質(zhì)量分?jǐn)?shù)。所述方法還包括將質(zhì)量分?jǐn)?shù)與標(biāo)識(shí)出所述質(zhì)量分?jǐn)?shù)被指派的在線廣告的指示存儲(chǔ)在一起。在一個(gè)實(shí)施例中，在一個(gè)或更多計(jì)算機(jī)可讀介質(zhì)上具體實(shí)現(xiàn)有計(jì)算機(jī)可執(zhí)行指令，當(dāng)由計(jì)算設(shè)備執(zhí)行時(shí)，所述計(jì)算機(jī)可執(zhí)行指令施行一種基于在線廣告的文本確定所述在線廣告的質(zhì)量的方法。所述方法包括接收具有文本性標(biāo)題和文本性描述的在線廣告。所述方法還包括利用機(jī)器學(xué)習(xí)算法為在線廣告指派質(zhì)量分?jǐn)?shù)，其中所述機(jī)器學(xué)習(xí)算法是利用來(lái)自語(yǔ)言模型的輸出和人類(lèi)注釋作為基本事實(shí)數(shù)據(jù)來(lái)訓(xùn)練的。所述方法還包括將質(zhì)量分?jǐn)?shù)與標(biāo)識(shí)出所述質(zhì)量分?jǐn)?shù)被指派的在線廣告的指示存儲(chǔ)在一起。前面簡(jiǎn)要描述了本發(fā)明的實(shí)施例的總覽，下面將詳細(xì)描述適用于實(shí)施本發(fā)明的實(shí)施例的示例性操作環(huán)境。示例性操作環(huán)境
總體上參照附圖并且首先特別參照?qǐng)D1，用于實(shí)施本發(fā)明的實(shí)施例的示例性操作環(huán)境被示出并且總體上標(biāo)記為計(jì)算設(shè)備100。計(jì)算設(shè)備100僅僅是適當(dāng)?shù)挠?jì)算環(huán)境的一個(gè)例子，而不意圖暗示關(guān)于本發(fā)明的使用或功能范圍的任何限制。計(jì)算設(shè)備100也不應(yīng)當(dāng)被解釋成關(guān)于所示出的任何組件或組件組合具有任何依賴(lài)性或要求。本發(fā)明可以在計(jì)算機(jī)代碼或機(jī)器可用指令的一般情境中來(lái)描述，其中包括諸如程序組件之類(lèi)的計(jì)算機(jī)可執(zhí)行指令，其由計(jì)算機(jī)或者諸如個(gè)人數(shù)據(jù)助理或其他手持式設(shè)備之類(lèi)的其他機(jī)器來(lái)執(zhí)行。一般來(lái)說(shuō)，包括例程、程序、對(duì)象、組件、數(shù)據(jù)結(jié)構(gòu)等等的程序組件指的是施行特定任務(wù)或?qū)嵤┨囟ǔ橄髷?shù)據(jù)類(lèi)型的代碼?？梢栽诙喾N系統(tǒng)配置中實(shí)踐本發(fā)明的實(shí)施例，其中包括手持式設(shè)備、消費(fèi)電子裝置、通用計(jì)算機(jī)、專(zhuān)用計(jì)算設(shè)備等等。還可以在分布式計(jì)算環(huán)境中實(shí)踐本發(fā)明的實(shí)施例，其中各項(xiàng)任務(wù)由通過(guò)通信網(wǎng)絡(luò)鏈接在一起的遠(yuǎn)程處理設(shè)備施行。繼續(xù)參照?qǐng)D1，計(jì)算設(shè)備100包括總線110，其直接或間接地耦合以下設(shè)備存儲(chǔ)器112、一個(gè)或更多處理器114、一個(gè)或更多呈現(xiàn)組件116、輸入/輸出(I/O)端口 118、I/O組件120以及說(shuō)明性電源122?？偩€110可以表示一條或更多條總線(比如地址總線、數(shù)據(jù)總線或其組合)。雖然為了清楚起見(jiàn)用線條示出了圖I的各個(gè)方框，但是在實(shí)際情況中對(duì)于各個(gè)組件的界定則沒(méi)有這么明確，比方說(shuō)所述線條更準(zhǔn)確地將是灰色且模糊的。舉例來(lái)說(shuō)，可以把諸如顯示設(shè)備之類(lèi)的呈現(xiàn)組件視為I/O組件120。此外，處理器具有存儲(chǔ)器。本發(fā)明的發(fā)明人認(rèn)識(shí)到這正是本領(lǐng)域的特性，并且重申圖I的圖示僅僅是為了說(shuō)明可以與本發(fā)明的一個(gè)或更多實(shí)施例相結(jié)合地使用的示例性計(jì)算設(shè)備。在諸如“工作站”、“服務(wù)器”、“膝上型計(jì)算機(jī)”、“手持式設(shè)備”等類(lèi)別之間不做區(qū)分，因?yàn)樗羞@些類(lèi)別都被設(shè)想到落在圖I的范圍內(nèi)并且指的是“計(jì)算機(jī)”或“計(jì)算設(shè)備”。計(jì)算設(shè)備100通常包括多種計(jì)算機(jī)存儲(chǔ)介質(zhì)。作為舉例而非限制，計(jì)算機(jī)存儲(chǔ) 介質(zhì)可以包括隨機(jī)存取存儲(chǔ)器(RAM);只讀存儲(chǔ)器(ROM);電可擦寫(xiě)可編程只讀存儲(chǔ)器(EEPROM);閃存或其他存儲(chǔ)器技術(shù)；緊致盤(pán)只讀存儲(chǔ)器(⑶ROM)、數(shù)字通用盤(pán)(DVD)或者其他光學(xué)或全息介質(zhì)；磁盒、磁帶、磁盤(pán)存儲(chǔ)裝置或其他磁性存儲(chǔ)設(shè)備；或者能夠被用來(lái)編碼所期望的信息并且由計(jì)算設(shè)備100訪問(wèn)的任何其他介質(zhì)。存儲(chǔ)器112包括采取易失性和/或非易失性存儲(chǔ)器的形式的計(jì)算機(jī)存儲(chǔ)介質(zhì)。存儲(chǔ)器112可以是可移除的、不可移除的或者其組合。示例性的存儲(chǔ)器包括固態(tài)存儲(chǔ)器、硬盤(pán)驅(qū)動(dòng)器、光盤(pán)驅(qū)動(dòng)器等等。計(jì)算設(shè)備100包括一個(gè)或更多處理器114，其從諸如總線110、存儲(chǔ)器112和/或I/O組件120之類(lèi)的各種實(shí)體讀取數(shù)據(jù)。(多個(gè))呈現(xiàn)組件116為用戶或其他設(shè)備呈現(xiàn)數(shù)據(jù)指示。示例性的呈現(xiàn)組件116包括顯示設(shè)備、揚(yáng)聲器、打印組件、振動(dòng)組件等等。I/O端口 118允許計(jì)算設(shè)備100通過(guò)邏輯方式耦合到包括I/O組件120在內(nèi)的其他設(shè)備，其中一些可以是內(nèi)建的。說(shuō)明性的I/O組件120包括麥克風(fēng)、操縱桿、游戲手柄、碟形衛(wèi)星信號(hào)收發(fā)天線、掃描儀、打印機(jī)、無(wú)線設(shè)備等等。示例性系統(tǒng)體系結(jié)構(gòu)
現(xiàn)在參照?qǐng)D2，其中示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的適于評(píng)估廣告內(nèi)的文本的示例性計(jì)算系統(tǒng)體系結(jié)構(gòu)200。圖2中所示的計(jì)算系統(tǒng)體系結(jié)構(gòu)200是一種適當(dāng)?shù)挠?jì)算系統(tǒng)體系結(jié)構(gòu)200的一個(gè)例子。計(jì)算系統(tǒng)體系結(jié)構(gòu)200運(yùn)行在與參照?qǐng)DI描述的計(jì)算設(shè)備100類(lèi)似的一個(gè)或更多計(jì)算設(shè)備上。計(jì)算系統(tǒng)體系結(jié)構(gòu)200不應(yīng)當(dāng)被解釋成關(guān)于其中所示出的任何單個(gè)模塊/組件或者模塊/組件的任何組合具有任何依賴(lài)性或要求。計(jì)算系統(tǒng)體系結(jié)構(gòu)200包括廣告數(shù)據(jù)存儲(chǔ)庫(kù)210、廣告接收接口 220、廣告文本質(zhì)量評(píng)分組件230、廣告商評(píng)級(jí)組件240、廣告商反饋組件250、廣告遞送引擎260以及編輯輸入組件270。計(jì)算系統(tǒng)體系結(jié)構(gòu)200可以是在線廣告交易的一部分或者與之一起使用。在線廣告交易幫助出版商向廣告商銷(xiāo)售廣告空間。廣告數(shù)據(jù)存儲(chǔ)庫(kù)210存儲(chǔ)多則在線廣告。在線廣告可以被顯示在網(wǎng)頁(yè)上或者通過(guò)其他電子媒介顯示。搜索結(jié)果網(wǎng)頁(yè)是可以在其上顯示在線廣告的網(wǎng)頁(yè)的一個(gè)例子?？梢酝ㄟ^(guò)與廣告相關(guān)聯(lián)的關(guān)鍵詞以及與網(wǎng)頁(yè)或文檔相關(guān)聯(lián)的關(guān)鍵詞把在線廣告匹配到適當(dāng)?shù)木W(wǎng)頁(yè)。搜索結(jié)果網(wǎng)頁(yè)上的關(guān)鍵詞可以是從搜索查詢中的單詞提取的，或者與搜索查詢中的單詞有關(guān)。在線廣告可以是付費(fèi)搜索結(jié)果。在線廣告可以包括圖形元素以及文本。廣告接收接口 220接收來(lái)自廣告商的廣告。廣告接收接口 220可以提供圖形用戶接口，廣告借以被上傳到廣告交易。廣告接收接口 220可以將廣告?zhèn)魉偷綇V告數(shù)據(jù)存儲(chǔ)庫(kù)210。廣告接收接口 220可以允許用戶把關(guān)鍵詞與廣告相關(guān)聯(lián)、提交針對(duì)廣告空間的競(jìng)價(jià)以及規(guī)定針對(duì)顯示廣告的其他標(biāo)準(zhǔn)。廣告文本質(zhì)量評(píng)分組件230基于廣告內(nèi)的文本為廣告指派質(zhì)量分?jǐn)?shù)?？梢詫①|(zhì)量分?jǐn)?shù)與廣告相關(guān)聯(lián)，并且將其存儲(chǔ)在廣告數(shù)據(jù)存儲(chǔ)庫(kù)210或單獨(dú)的數(shù)據(jù)存儲(chǔ)庫(kù)(未示出)內(nèi)以供后來(lái)使用。后面將更加詳細(xì)地解釋廣告文本質(zhì)量評(píng)分組件230的操作。簡(jiǎn)而言之，其利用機(jī)器學(xué)習(xí)算法評(píng)估廣告內(nèi)的文本，并且產(chǎn)生質(zhì)量分?jǐn)?shù)。所述機(jī)器學(xué)習(xí)算法使用來(lái)自語(yǔ)言模型的輸出，其中所述語(yǔ)言模型是利用從隨機(jī)廣告樣本取得的文本資料庫(kù)(corpus)建立的。一般來(lái)說(shuō)，所述機(jī)器學(xué)習(xí)算法可以對(duì)于包含在訓(xùn)練廣告資料庫(kù)內(nèi)很少出現(xiàn)的單詞或一系列單詞的廣告給出較低分?jǐn)?shù)。來(lái)自語(yǔ)言模型的輸出允許機(jī)器學(xué)習(xí)算法確定單詞、短語(yǔ)和字符在廣告內(nèi)的出現(xiàn)頻率。廣告商評(píng)級(jí)組件240為已經(jīng)向廣告交易提交了一則或更多則廣告的廣告商指派質(zhì)量分?jǐn)?shù)或質(zhì)量等級(jí)。廣告商的等級(jí)與被指派給由該廣告商提交的廣告的質(zhì)量分?jǐn)?shù)有關(guān)。在一個(gè)實(shí)施例中，廣告商質(zhì)量分?jǐn)?shù)是被指派給由該廣告商提交的各則廣告的平均質(zhì)量分?jǐn)?shù)。廣告商反饋組件250將廣告商反饋傳送到廣告商。廣告商反饋可以是廣告商的分?jǐn)?shù)或者被指派給由該廣告商提交的各則單獨(dú)廣告的質(zhì)量分?jǐn)?shù)。廣告商反饋組件可以共享與響應(yīng)于被指派給廣告商的廣告的質(zhì)量分?jǐn)?shù)而采取的動(dòng)作有關(guān)的懲罰、征稅或其他信息。廣告商反饋組件250可以在廣告由于低質(zhì)量分?jǐn)?shù)而被過(guò)濾時(shí)通知廣告商。過(guò)濾掉的廣告被禁·止通過(guò)廣告交易顯示。廣告遞送引擎260向可以通過(guò)廣告交易獲得的出版空間遞送廣告。廣告遞送引擎260可以使用多種方法來(lái)確定在特定情況下將把哪一則廣告遞送到特定廣告空間。舉例來(lái)說(shuō)，部分地通過(guò)與網(wǎng)頁(yè)中的廣告相關(guān)聯(lián)的關(guān)鍵詞測(cè)量的廣告對(duì)于網(wǎng)頁(yè)的相關(guān)性可以確定要遞送哪一則廣告。由廣告商針對(duì)在某一空間內(nèi)顯示其廣告而提交的競(jìng)價(jià)價(jià)格是另一個(gè)因素。此外還可以考慮所述廣告在所述空間內(nèi)的性能或預(yù)期性能。在一個(gè)實(shí)施例中，使用質(zhì)量分?jǐn)?shù)來(lái)估計(jì)廣告的預(yù)期性能。在一些廣告交易中，廣告商在每次點(diǎn)擊付費(fèi)(CPC)的基礎(chǔ)上為顯示廣告而付費(fèi)。換句話說(shuō)，只有當(dāng)觀看者點(diǎn)擊其廣告時(shí)廣告商才付費(fèi)。在這種情況下，在贏得競(jìng)價(jià)時(shí)要考慮到將會(huì)點(diǎn)擊廣告的觀看者的預(yù)期百分比。換句話說(shuō)，與愿意為20%點(diǎn)擊率支付每次點(diǎn)擊5美元的競(jìng)價(jià)者相比，愿意為相同的20%點(diǎn)擊率支付每次點(diǎn)擊7美元的廣告商將會(huì)獲勝。一般來(lái)說(shuō)，可以預(yù)期具有較低文本質(zhì)量的廣告會(huì)接收到來(lái)自觀看者的較低點(diǎn)擊百分比。在這種情況下，質(zhì)量分?jǐn)?shù)可以是被用來(lái)估計(jì)特定廣告的預(yù)期性能的另一個(gè)因素。在評(píng)估將要展示哪一則廣告時(shí)，廣告遞送引擎260可以從廣告數(shù)據(jù)存儲(chǔ)庫(kù)210或其他數(shù)據(jù)存儲(chǔ)庫(kù)中調(diào)取質(zhì)量分?jǐn)?shù)。在一個(gè)實(shí)施例中，其質(zhì)量分?jǐn)?shù)低于一定閾值的廣告被廣告遞送引擎260排除遞送。實(shí)際上，其質(zhì)量分?jǐn)?shù)低于閾值的廣告被過(guò)濾掉。在一個(gè)實(shí)施例中，質(zhì)量分?jǐn)?shù)可以被用來(lái)確定在其上遞送多則廣告的頁(yè)面上展示某一廣告的位置。換句話說(shuō)，可以為具有高質(zhì)量分?jǐn)?shù)的廣告給出頁(yè)面頂部的位置，同時(shí)為具有低質(zhì)量分?jǐn)?shù)的廣告給出頁(yè)面底部的較不理想的位置。編輯輸入組件270便于接收描述廣告質(zhì)量的人類(lèi)輸入。人類(lèi)輸入可以被用作由廣告文本質(zhì)量評(píng)分組件230所使用的機(jī)器學(xué)習(xí)算法內(nèi)的訓(xùn)練數(shù)據(jù)。所述輸入還可以被用來(lái)調(diào)節(jié)由于為廣告指派的質(zhì)量等級(jí)落在指定范圍之內(nèi)而被指定進(jìn)行編輯評(píng)論的所述廣告的質(zhì)
量等級(jí)。在一個(gè)實(shí)施例中，編輯輸入組件270生成向用戶顯示廣告的接口。所述接口允許用戶提供對(duì)應(yīng)于廣告的總體質(zhì)量分?jǐn)?shù)。在一個(gè)實(shí)施例中，質(zhì)量分?jǐn)?shù)是1、2、3、4或5的等級(jí)。所述接口還允許用戶選擇文本的各個(gè)部分并且將該文本部分與特定缺陷相關(guān)聯(lián)。缺陷的例子包括拼寫(xiě)錯(cuò)誤、語(yǔ)法錯(cuò)誤、多余大寫(xiě)、費(fèi)解文本、句子殘缺、文本截?cái)?、語(yǔ)義錯(cuò)誤以及其他缺陷。編輯輸入組件270收集用戶數(shù)據(jù)并且將所述數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)提交給機(jī)器學(xué)習(xí)算法。現(xiàn)在參照?qǐng)D3，其中示出了說(shuō)明根據(jù)本發(fā)明的一個(gè)實(shí)施例的生成對(duì)廣告中的文本進(jìn)行評(píng)分的最終模型的圖示。最終模型340可以是基于機(jī)器學(xué)習(xí)算法。一般來(lái)說(shuō)，機(jī)器學(xué)習(xí)算法基于被提供給該算法的數(shù)據(jù)自動(dòng)學(xué)習(xí)辨識(shí)復(fù)雜模式。一旦識(shí)別出訓(xùn)練數(shù)據(jù)中的模式之后，就可以對(duì)新的輸入進(jìn)行評(píng)估以確定新輸入是否與已知模式相匹配。最終模型被訓(xùn)練成辨識(shí)廣告文本當(dāng)中的與文本質(zhì)量相關(guān)的模式。基于在廣告文本中辨識(shí)出的模式生成質(zhì)量分?jǐn)?shù)。可以被用在本發(fā)明的實(shí)施例中的機(jī)器學(xué)習(xí)算法的例子包括支持矢量機(jī)、神經(jīng)網(wǎng)絡(luò)和貝葉斯網(wǎng)絡(luò)。廣告貯存庫(kù)310存儲(chǔ)包含文本的一組在線廣告。廣告貯存庫(kù)310可以類(lèi)似于前面參照?qǐng)D2描述的廣告數(shù)據(jù)存儲(chǔ)庫(kù)210。來(lái)自廣告貯存庫(kù)310中的廣告的文本構(gòu)成文本資料庫(kù)，其被用來(lái)建立提供用在最終模型340中的輸出的語(yǔ)言模型320。語(yǔ)言模型320可以被用來(lái)確定一則廣告的文本內(nèi)的特定單詞、字符或短語(yǔ)在廣告貯存庫(kù)310內(nèi)的所有廣告內(nèi)的出現(xiàn)頻率。語(yǔ)言模型是從已有的廣告資料庫(kù)建立的，并且應(yīng)用統(tǒng)計(jì)閾值來(lái)識(shí)別落在各個(gè)類(lèi)別中的廣告。統(tǒng)計(jì)η元語(yǔ)法語(yǔ)言模型借助于概率分布為來(lái)自廣告資料庫(kù)的由m個(gè)單詞構(gòu)成的序列指派概率。在η元語(yǔ)法模型中，觀測(cè)到句子wl，...，wm的概率PCw1,…，Wm)被近似為
權(quán)利要求
1.其上具體實(shí)現(xiàn)有計(jì)算機(jī)可執(zhí)行指令的一個(gè)或更多計(jì)算機(jī)可讀介質(zhì)，當(dāng)由計(jì)算設(shè)備執(zhí)行時(shí)，所述計(jì)算機(jī)可執(zhí)行指令施行一種基于在線廣告的文本確定所述在線廣告的質(zhì)量的方法，所述方法包括 接收包含文本的廣告； 將所述文本解析成一個(gè)或更多η元語(yǔ)法；以及 至少部分地基于所述一個(gè)或更多η元語(yǔ)法在語(yǔ)言模型內(nèi)的出現(xiàn)頻率生成對(duì)應(yīng)于所述廣告的質(zhì)量分?jǐn)?shù)。
2.權(quán)利要求I的介質(zhì)，其中，所述質(zhì)量分?jǐn)?shù)是基于所述一個(gè)或更多η元語(yǔ)法當(dāng)中的每一個(gè)在語(yǔ)言模型內(nèi)的出現(xiàn)頻率的總和。
3.權(quán)利要求I的介質(zhì)，其中，所述方法還包括利用機(jī)器學(xué)習(xí)算法生成質(zhì)量分?jǐn)?shù)，其中所述機(jī)器學(xué)習(xí)算法使用來(lái)自語(yǔ)言模型的輸出。
4.權(quán)利要求I的介質(zhì)，其中，所述方法還包括利用機(jī)器學(xué)習(xí)算法生成質(zhì)量分?jǐn)?shù)，其中所述機(jī)器學(xué)習(xí)算法使用來(lái)自語(yǔ)言模型的輸出以及與特定的η元語(yǔ)法或η元語(yǔ)法序列相關(guān)聯(lián)的人類(lèi)注釋數(shù)據(jù)。
5.權(quán)利要求I的介質(zhì)，其中，所述方法還包括防止顯示其質(zhì)量分?jǐn)?shù)低于一定閾值分?jǐn)?shù)的廣告。
6.一種基于在線廣告的文本確定所述在線廣告的質(zhì)量的方法，所述方法包括 接收描述多則在線廣告當(dāng)中的每一則的質(zhì)量的人類(lèi)輸入； 利用來(lái)自多則廣告的文本生成語(yǔ)言模型，其中所述語(yǔ)言模型允許確定η元語(yǔ)法在所述多則廣告內(nèi)的出現(xiàn)頻率； 基于語(yǔ)言模型與人類(lèi)輸入的組合生成最終模型； 利用最終模型計(jì)算對(duì)應(yīng)于在線廣告的質(zhì)量分?jǐn)?shù)；以及 將所述質(zhì)量分?jǐn)?shù)與標(biāo)識(shí)出該質(zhì)量分?jǐn)?shù)被指派的在線廣告的指示一起存儲(chǔ)。
7.權(quán)利要求6的方法,其中,所述人類(lèi)輸入描述廣告的總體質(zhì)量。
8.權(quán)利要求6的方法，其中，所述方法還包括把針對(duì)顯示在線廣告的收費(fèi)價(jià)格提高一定額外費(fèi)用，其中對(duì)應(yīng)于每一則在線廣告的額外費(fèi)用是根據(jù)對(duì)應(yīng)于所述在線廣告的相應(yīng)質(zhì)量分?jǐn)?shù)來(lái)計(jì)算的。
9.權(quán)利要求8的方法，其中，所述額外費(fèi)用還是基于廣告商質(zhì)量分?jǐn)?shù)，其中所述廣告商質(zhì)量分?jǐn)?shù)是基于被指派給由該廣告商提交的廣告的廣告質(zhì)量分?jǐn)?shù)來(lái)計(jì)算的。
10.權(quán)利要求6的方法，其中，所述方法還包括指定其質(zhì)量分?jǐn)?shù)處于指定范圍內(nèi)的廣告以給出編輯意見(jiàn)。
11.權(quán)利要求6的方法，其中，當(dāng)從在線廣告內(nèi)的文本導(dǎo)出的η元語(yǔ)法在被用來(lái)建立語(yǔ)言模型的所述多則廣告內(nèi)很少出現(xiàn)時(shí)，所述質(zhì)量分?jǐn)?shù)表明較低質(zhì)量的文本。
12.其上具體實(shí)現(xiàn)有計(jì)算機(jī)可執(zhí)行指令的一個(gè)或更多計(jì)算機(jī)可讀介質(zhì)，當(dāng)由計(jì)算設(shè)備執(zhí)行時(shí)，所述計(jì)算機(jī)可執(zhí)行指令施行一種基于在線廣告的文本確定所述在線廣告的質(zhì)量的方法，所述方法包括 接收具有文本性標(biāo)題和文本性描述的在線廣告； 利用機(jī)器學(xué)習(xí)算法為所述在線廣告指派質(zhì)量分?jǐn)?shù)，其中所述機(jī)器學(xué)習(xí)算法是利用來(lái)自語(yǔ)言模型的輸出來(lái)訓(xùn)練的；以及將所述質(zhì)量分?jǐn)?shù)與標(biāo)識(shí)出該質(zhì)量分?jǐn)?shù)被指派的在線廣告的指示一起存儲(chǔ)。
13.權(quán)利要求12的介質(zhì)，其中，所述方法還包括 接收關(guān)于多則在線廣告當(dāng)中的每一則的質(zhì)量的人類(lèi)輸入； 利用來(lái)自多則廣告的文本生成語(yǔ)言模型，其中所述語(yǔ)言模型允許確定η元語(yǔ)法在所述多則廣告內(nèi)的出現(xiàn)頻率；以及 基于來(lái)自語(yǔ)言模型的輸出與人類(lèi)輸入的組合訓(xùn)練所述機(jī)器學(xué)習(xí)算法。
14.權(quán)利要求13的介質(zhì),其中，所述人類(lèi)輸入描述歸于在線廣告內(nèi)的文本的一個(gè)或更多部分的具體缺陷。
15.權(quán)利要求12的介質(zhì)，其中，所述方法還包括根據(jù)對(duì)應(yīng)于在線廣告的相應(yīng)質(zhì)量分?jǐn)?shù)和廣告商質(zhì)量分?jǐn)?shù)提高針對(duì)顯示所述在線廣告的收費(fèi)價(jià)格，其中所述廣告商質(zhì)量分?jǐn)?shù)是基于被指派給由廣告商提交的多則廣告的廣告質(zhì)量分?jǐn)?shù)來(lái)計(jì)算的。
全文摘要
提供了利用來(lái)自語(yǔ)言模型的輸出來(lái)評(píng)估在線廣告內(nèi)的文本質(zhì)量的方法、系統(tǒng)和計(jì)算機(jī)可讀介質(zhì)。來(lái)自語(yǔ)言模型的輸出可以被機(jī)器學(xué)習(xí)算法用來(lái)生成對(duì)應(yīng)于一則單獨(dú)廣告的質(zhì)量分?jǐn)?shù)。所述質(zhì)量分?jǐn)?shù)可以被用來(lái)在在線拍賣(mài)中濾除具有較差文本質(zhì)量的廣告或者對(duì)其進(jìn)行征稅或懲罰。廣告質(zhì)量分?jǐn)?shù)還可以被用來(lái)對(duì)提交所述廣告的廣告商進(jìn)行評(píng)級(jí)或評(píng)分。在一個(gè)實(shí)施例中，將廣告商的質(zhì)量分?jǐn)?shù)與一則單獨(dú)廣告的質(zhì)量分?jǐn)?shù)組合，從而產(chǎn)生被用來(lái)評(píng)估所述廣告的最終分?jǐn)?shù)。廣告商等級(jí)/分?jǐn)?shù)和廣告質(zhì)量分?jǐn)?shù)可以被傳送到廣告商以作為廣告商反饋。
文檔編號(hào)G06Q30/02GK102934138SQ201180029775
公開(kāi)日2013年2月13日 申請(qǐng)日期2011年6月1日 優(yōu)先權(quán)日2010年6月17日
發(fā)明者A.Y.辛雅金, 葉揚(yáng), 王逸民, 王冠三 申請(qǐng)人:微軟公司