專利名稱：改進(jìn)廣告批準(zhǔn)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及作廣告。具體地講，本發(fā)明涉及用于批準(zhǔn)諸如Web廣告的廣告的過程。
背景技術(shù)：
使用諸如電視、收音機(jī)、報(bào)紙和雜志的傳統(tǒng)媒體作廣告是眾所周知的。最近，通過更互動(dòng)的媒體作廣告已變得流行。例如，隨著使用互聯(lián)網(wǎng)的人數(shù)增加，廣告商(advertiser)已意識(shí)到通過互聯(lián)網(wǎng)提供的媒體和服務(wù)是一種潛在的有影響力的作廣告方式。
基于網(wǎng)頁的廣告(也稱為“Web廣告”)通常以“橫幅廣告”的形式(即，包括圖形組件的矩形框)呈現(xiàn)給它們的廣告受眾。當(dāng)一些廣告受眾(在該說明書中不失一般地稱為“觀眾”或“用戶”)通過點(diǎn)擊這些橫幅廣告中的一個(gè)橫幅廣告來選擇該橫幅廣告時(shí)，嵌入的超文本鏈接通常指引觀眾進(jìn)入廣告商的網(wǎng)站的網(wǎng)頁(該網(wǎng)頁可稱為廣告的“登陸頁面”)，在廣告商的網(wǎng)站可給觀眾呈現(xiàn)市場(chǎng)信息和/或觀眾可在廣告商的網(wǎng)站完成交易。
典型地，各個(gè)網(wǎng)站將來自各個(gè)廣告商的Web廣告投放在它們的頁面上。通過從廣告商為這樣的投放收取費(fèi)用，網(wǎng)站得到收入來源。此外，一些實(shí)體接受來自廣告商的廣告，并將這些廣告提供給其它實(shí)體以投放在這些其它實(shí)體的網(wǎng)頁或這些網(wǎng)頁的頁面閱覽上。有時(shí)將該情況稱為“聯(lián)合投放(syndication)”。網(wǎng)站要么在其自己的頁面上為廣告提供服務(wù)，要么到聯(lián)合投放合作方的頁面為廣告提供服務(wù)，這樣的網(wǎng)站可稱為“廣告網(wǎng)絡(luò)”。
在將廣告投放在其自己的網(wǎng)站上之前，或者在把廣告聯(lián)合投放(syndicate)到另一網(wǎng)站之前，審核廣告以確保它是正確的和合適的是很重要的。這樣的審核可用于識(shí)別這樣的情況，僅舉幾個(gè)例子，比如不正確的標(biāo)點(diǎn)符號(hào)、大寫、語法、文本行距或價(jià)格。此外，這樣的審核可用于識(shí)別禁止文本、不接受的內(nèi)容、不適當(dāng)?shù)牧斜?、重?fù)、不合適的過分夸大、促銷報(bào)價(jià)或太普通的目標(biāo)關(guān)鍵字或其它服務(wù)約束等。
在一些當(dāng)前的廣告網(wǎng)絡(luò)中，審核的廣告的數(shù)量可很容易達(dá)到上千或上萬。人工審核過程昂貴并且耗時(shí)，而且容易出現(xiàn)人工錯(cuò)誤。因此，期望一種改進(jìn)的審核過程。

發(fā)明內(nèi)容
在根據(jù)本發(fā)明的一個(gè)實(shí)施例中，選擇廣告組(或廣告集合)的子集，人工地批準(zhǔn)或不批準(zhǔn)該子集的每個(gè)廣告，使用未批準(zhǔn)的廣告的數(shù)量比該子集中的廣告的總數(shù)來確定記分(比如，百分比)，并且如果記分沒有超過預(yù)定閾值，則自動(dòng)地接受該廣告組中不在所述子集里的廣告中的至少一個(gè)。在根據(jù)本發(fā)明的至少一些實(shí)施例中，記分的確定可利用每個(gè)未批準(zhǔn)理由的嚴(yán)重性。
在根據(jù)本發(fā)明的至少一個(gè)實(shí)施例中，自動(dòng)地批準(zhǔn)從信任的廣告商接收的廣告組的至少一個(gè)廣告。
在根據(jù)本發(fā)明的至少一個(gè)實(shí)施例中，選擇由信任的廣告商提供的第一廣告組的子集，使用該子集中未批準(zhǔn)的廣告的數(shù)量和該子集中的廣告的總數(shù)(并且可能還使用未批準(zhǔn)理由)來確定記分(比如，百分比)，并且如果記分超過預(yù)定閾值，則從發(fā)行中取出從信任的廣告商接收的第二廣告組中的至少一個(gè)廣告。


圖1是示出可參與自動(dòng)廣告批準(zhǔn)過程的實(shí)體的示圖。
圖2是示出可由根據(jù)本發(fā)明的自動(dòng)廣告批準(zhǔn)系統(tǒng)執(zhí)行的操作和可由所述系統(tǒng)產(chǎn)生和/或存儲(chǔ)的信息的氣泡圖。
圖3是示出可用于以根據(jù)本發(fā)明的方式對(duì)廣告進(jìn)行預(yù)處理的示例性方法的流程圖。
圖4是示出可用于以根據(jù)本發(fā)明的方式確定不信任記分的示例性方法的流程圖。
圖5是可以用根據(jù)本發(fā)明的方式執(zhí)行一個(gè)或多個(gè)操作并存儲(chǔ)所使用和/或產(chǎn)生的信息的機(jī)器的框圖。
具體實(shí)施例方式
本發(fā)明可涉及用于幫助廣告網(wǎng)絡(luò)使批準(zhǔn)廣告進(jìn)入發(fā)行(circulation)/聯(lián)合投放的過程至少部分自動(dòng)化的新穎方法、裝置、消息格式和/或數(shù)據(jù)結(jié)構(gòu)。提出以下描述以使本領(lǐng)域的技術(shù)人員能夠理解和使用本發(fā)明，并且以下描述是在特定的應(yīng)用及其要求的背景下提供的。因此，根據(jù)本發(fā)明的實(shí)施例的下面的描述提供了實(shí)例和描述，但是其意圖不在于使本發(fā)明是窮盡的或限于所公開的精確形式。所公開的實(shí)施例的各種修改將對(duì)本領(lǐng)域的技術(shù)人員是清楚的，以下闡述的一般原理可應(yīng)用于其它實(shí)施例和應(yīng)用。例如，雖然可參照流程圖描述一系列動(dòng)作，但是當(dāng)一個(gè)動(dòng)作的執(zhí)行不取決于另一動(dòng)作的完成時(shí)，在其它實(shí)現(xiàn)中，動(dòng)作順序可不同。此外，可并行地執(zhí)行獨(dú)立動(dòng)作。除非這樣明確地描述，否則不應(yīng)該將描述中使用的要素、動(dòng)作或指令理解為對(duì)本發(fā)明是關(guān)鍵或必需的。此外，如這里所使用的，冠詞“a”意在包括一項(xiàng)或多項(xiàng)。當(dāng)只有一項(xiàng)時(shí)，使用術(shù)語“one”或類似的語言。因此，本發(fā)明意欲不限于所示的實(shí)施例，并且發(fā)明人把他們的發(fā)明視為所描述的任何可取得專利的主題內(nèi)容。
以下，在§4.1中描述本發(fā)明可操作的環(huán)境。然后，在§4.2中描述本發(fā)明的示例性實(shí)施例。最后，在§4.3中闡述關(guān)于本發(fā)明的一些總結(jié)。
§4.1本發(fā)明可操作的環(huán)境圖1示出可使用本發(fā)明的示例性環(huán)境。組件可以能夠相互通信，諸如經(jīng)由網(wǎng)絡(luò)或內(nèi)部網(wǎng)絡(luò)(未顯示)。一個(gè)或多個(gè)廣告商110中的每個(gè)具有他們想呈現(xiàn)給潛在的消費(fèi)者(未顯示)的廣告。廣告網(wǎng)絡(luò)140的興趣在于將廣告投放在潛在的消費(fèi)者(諸如使用和觀看廣告使用者150的網(wǎng)頁的個(gè)人)可看見廣告的發(fā)行位置。廣告商110經(jīng)由廣告網(wǎng)絡(luò)140直接或間接地為將其廣告展示給潛在的消費(fèi)者的這個(gè)機(jī)會(huì)向廣告使用者150(例如，其它網(wǎng)站提供者)支付報(bào)酬。此外，在使用或不使用另外的軟件來控制廣告的投放的情況下，廣告網(wǎng)絡(luò)140可將廣告銷售給其它廣告使用者150(比如，其它網(wǎng)站提供者)。這有時(shí)稱為“聯(lián)合投放”。
廣告網(wǎng)絡(luò)140可有利地使用批準(zhǔn)系統(tǒng)120用于在其140網(wǎng)站或聯(lián)合投放廣告的使用者的網(wǎng)站上公布提交的廣告之前審核該提交的廣告。該審核通常為人工操作，在該人工操作中，廣告網(wǎng)絡(luò)140的雇員或代理對(duì)每個(gè)廣告檢查問題。這樣的問題可包括不正確的標(biāo)點(diǎn)符號(hào)、大寫、語法、拼寫或行距。問題的其它示例可包括不正確的價(jià)格或禁止的文本。另外的示例可包括不合適的內(nèi)容、列表、過分夸大、促銷報(bào)價(jià)、競(jìng)爭(zhēng)索賠、不合適的產(chǎn)品、不合適的服務(wù)和重復(fù)。
此外，廣告服務(wù)可使用來自用戶的查詢的特定關(guān)鍵詞，以觸發(fā)與該關(guān)鍵字相關(guān)的特定廣告的服務(wù)。例如，如果用戶對(duì)豐田汽車執(zhí)行在線搜索，則可將豐田廣告投放在搜索結(jié)果頁面上。這是廣告網(wǎng)絡(luò)140可將許多廣告投放在許多不同的用戶所看到的各個(gè)頁面閱覽上的一種方式。然而，如果由廣告商110所請(qǐng)求的目標(biāo)關(guān)鍵字太普通，則可能為該廣告商的廣告提供服務(wù)太頻繁。這可導(dǎo)致較差的用戶體驗(yàn)以及較差定價(jià)的廣告和頁面閱覽。因此，批準(zhǔn)系統(tǒng)120中的提交的廣告的人工審核可包括將這樣的“太普通的”目標(biāo)關(guān)鍵字(或一些其它服務(wù)約束)識(shí)別為問題，而不批準(zhǔn)內(nèi)容提供者140使用那些廣告。
在根據(jù)本發(fā)明的一個(gè)實(shí)施例中，批準(zhǔn)系統(tǒng)120是至少部分自動(dòng)化的。如以下更詳細(xì)地解釋的，根據(jù)本發(fā)明的至少一些實(shí)施例可組合對(duì)提交的廣告的子集的人工審核和對(duì)這些廣告中的其余廣告的自動(dòng)審核?？墒褂貌恍湃斡浄謥泶_定自動(dòng)審核是否合適?？墒褂萌斯徍酥械木芙^率和/或人工審核中發(fā)現(xiàn)的問題的嚴(yán)重性來確定不信任記分。
一旦批準(zhǔn)廣告，這些廣告就可獲得廣告服務(wù)系統(tǒng)130的服務(wù)。當(dāng)為廣告提供服務(wù)時(shí)，將批準(zhǔn)的廣告投放在廣告網(wǎng)絡(luò)140自己的網(wǎng)站上，或者將其聯(lián)合投放到其它內(nèi)容提供者的網(wǎng)站上。
圖2是示出可由根據(jù)本發(fā)明的自動(dòng)廣告批準(zhǔn)系統(tǒng)執(zhí)行的操作和由該系統(tǒng)產(chǎn)生和/或存儲(chǔ)的信息的氣泡圖。在本發(fā)明的一個(gè)實(shí)施例中，特定廣告商210將廣告215提交到廣告網(wǎng)絡(luò)。廣告被放置在輸入廣告存儲(chǔ)設(shè)施220中。如果有來自特定廣告商(比如，如果廣告商210是大廣告商(提交大量廣告)或者是經(jīng)常向廣告網(wǎng)絡(luò)提交廣告的廣告商)的大的廣告集，則可將這些廣告轉(zhuǎn)遞到廣告預(yù)處理操作230。如果來自廣告商210的廣告集太小，則可將提交的廣告轉(zhuǎn)遞到人工審核設(shè)施260，人工審核設(shè)施260可以是廣告網(wǎng)絡(luò)的另一組織或工作組。來自廣告商的廣告集是否為“大”可取決于是否可分析其廣告的達(dá)到統(tǒng)計(jì)顯著水平的樣本。
對(duì)于轉(zhuǎn)遞到廣告預(yù)處理操作230的廣告，可使用廣告商信息240來確定廣告商210是否為信任的廣告商。例如，查找表242可包括大量條目，每個(gè)條目包括廣告商ID246及其相應(yīng)的“信任”狀態(tài)248，廣告商ID246可用作查找關(guān)鍵字。如果廣告商210不是信任的廣告商，則廣告預(yù)處理操作230可選擇提交的廣告的合適的子集(例如，20％或某個(gè)在統(tǒng)計(jì)上顯著的數(shù)量)用于分析。廣告處理操作230可請(qǐng)求人工審核該子集中的每個(gè)廣告的問題。可對(duì)每個(gè)識(shí)別的問題廣告進(jìn)行標(biāo)記。而且，可為標(biāo)記的問題分配一個(gè)與問題的嚴(yán)重性相應(yīng)的權(quán)重因子。例如，可認(rèn)為包含不合適的文本的廣告具有比拼寫錯(cuò)誤更嚴(yán)重的問題。因此，“不合適的內(nèi)容”可具有權(quán)重因子3，而拼寫錯(cuò)誤可具有權(quán)重因子1。
子集中批準(zhǔn)的和未批準(zhǔn)的(拒絕的)廣告的數(shù)量和/或未批準(zhǔn)的理由或問題嚴(yán)重性權(quán)重可用于確定(或更新)關(guān)于廣告商的不信任記分。在根據(jù)本發(fā)明的一個(gè)實(shí)施例中，使用權(quán)重因子來調(diào)整子集中未批準(zhǔn)的廣告的百分比。
然后可將不信任記分與預(yù)定閾值進(jìn)行比較。如果不信任記分低于閾值，則可認(rèn)為廣告商“是信任的”并且可自動(dòng)地接受由該廣告商提交的整個(gè)廣告組，而不需要進(jìn)一步人工審核不包括在子集中的廣告。此外，如下所述，可將廣告商210識(shí)別為“信任的廣告商”，并且可自動(dòng)地批準(zhǔn)由該廣告商提交的后來的廣告。因此，例如，如果廣告的子集具有少數(shù)問題的組合并且嚴(yán)重問題相對(duì)地缺少，則可認(rèn)為廣告組的其余廣告一般是可接受的。
然而，如果不信任記分等于或超過預(yù)定閾值，則將廣告組的其余廣告從存儲(chǔ)設(shè)施220轉(zhuǎn)移到人工審核設(shè)施260。此外，廣告商210將不會(huì)接收到信任的廣告商的稱號(hào)。
返回到不信任記分小于預(yù)定閾值的情況下，廣告預(yù)處理操作230將使得數(shù)據(jù)庫220中來自廣告商210的組中的所有廣告轉(zhuǎn)移到自動(dòng)檢查操作250。自動(dòng)檢查操作250可以是針對(duì)廣告文本來審查預(yù)選內(nèi)容的自動(dòng)過濾器。這樣的內(nèi)容可以是不合適的詞、不合適的URL或不合適的詞組或短語?？蓪⒂蛇^濾器操作250標(biāo)記為包含所述預(yù)選內(nèi)容中的任何內(nèi)容的廣告轉(zhuǎn)遞到人工審核設(shè)施260?？蓪]有標(biāo)記為包含所述預(yù)選內(nèi)容中的任何內(nèi)容的廣告存儲(chǔ)在批準(zhǔn)廣告數(shù)據(jù)庫270中。當(dāng)為廣告提供服務(wù)時(shí)(比如，在廣告網(wǎng)絡(luò)自己的網(wǎng)頁上或者諸如通過將廣告提供給其它內(nèi)容提供商以用在他們的網(wǎng)頁上來進(jìn)行聯(lián)合投放)，廣告服務(wù)操作280可使用數(shù)據(jù)庫270中的廣告。
人工審核設(shè)施260可以是可人工檢查由于不合適的關(guān)鍵字而標(biāo)記的廣告的組，并且可糾正這些廣告。如果廣告是正確的，則可將這樣的廣告轉(zhuǎn)移回自動(dòng)檢查操作250以用于最終篩選，或者可將這樣的廣告存儲(chǔ)為批準(zhǔn)廣告270。
人工審核設(shè)施260還可對(duì)來自存儲(chǔ)設(shè)施220的太小的廣告集進(jìn)行審核(比如，由既不是大的廣告商又不是頻繁的廣告商的廣告商210提交的廣告集)。
在根據(jù)本發(fā)明的另一實(shí)施例中，如果廣告商210為信任的廣告商，則可將放置到存儲(chǔ)設(shè)施220中并且轉(zhuǎn)移到廣告預(yù)處理操作230的廣告識(shí)別為是由信任的廣告商提供的。然后廣告預(yù)處理操作230可將這些廣告直接轉(zhuǎn)移到自動(dòng)檢查操作250，以如上所述進(jìn)行進(jìn)一步處理。
在根據(jù)本發(fā)明的又一實(shí)施例中，可通過抽查操作290選擇由信任的廣告商210提交的批準(zhǔn)廣告270的樣本，以用于人工審核和確定新的不信任記分。如果新的不信任記分低于閾值，則可繼續(xù)將來自該信任的廣告商的所有廣告直接發(fā)送到自動(dòng)檢查操作250。相反，如果新的不信任記分等于或大于閾值，則抽查操作290可自動(dòng)地從該信任的廣告商取出先前發(fā)行/聯(lián)合投放的所有廣告或部分廣告。另外，抽查操作290可從廣告信息240中去除“信任的廣告商”的稱號(hào)。此時(shí)，廣告網(wǎng)絡(luò)將與廣告商210一起工作以改進(jìn)由廣告商210提交的后來的廣告，從而他們將符合信任的廣告商的標(biāo)準(zhǔn)。因此，抽查操作290可用于(連續(xù)地、周期性地、響應(yīng)于一些條件的發(fā)生等)檢驗(yàn)信任的廣告商的狀態(tài)。
由于廣告商210會(huì)不想失去其信任的廣告商的狀態(tài)，這樣會(huì)導(dǎo)致對(duì)提交的廣告的批準(zhǔn)變慢，所以廣告商210可具有在將后來的廣告提交到廣告網(wǎng)絡(luò)之前更仔細(xì)地監(jiān)督他所提交的廣告并改進(jìn)其質(zhì)量控制的刺激。
因此，本發(fā)明允許大量廣告的自動(dòng)批準(zhǔn)，而不是使用在發(fā)行/聯(lián)合投放之前人工地批準(zhǔn)每個(gè)廣告的笨拙的、易出錯(cuò)的方法。
§4.2示例性實(shí)施例§4.2.1示例性方法圖3是以根據(jù)本發(fā)明的方式對(duì)廣告進(jìn)行預(yù)處理的示例性方法300的流程圖。接受來自廣告商的廣告集(塊310)，并識(shí)別廣告商(塊320)。如果廣告商為信任的廣告商，則自動(dòng)檢查該廣告集(塊380)。在這樣的情況下，不對(duì)提交的廣告進(jìn)行人工審核。
如果廣告商不是信任的廣告商，則對(duì)該廣告集的大小進(jìn)行評(píng)估(塊340)。如果廣告的數(shù)量太少，則提交廣告商不是將標(biāo)識(shí)為信任的廣告商的候選者，并且將這些廣告轉(zhuǎn)遞到人工審核設(shè)施(塊345)。如果廣告的數(shù)量足以認(rèn)為該廣告商為信任的廣告商，則確定不信任記分(塊350)。
如果確定的不信任記分低于預(yù)定閾值(比如，3％至5％)(塊360)，則將該廣告商指示為信任的廣告商(塊370)。然后對(duì)提交的廣告集中的、在確定不信任記分的過程(塊350)中沒有進(jìn)行人工審核的廣告進(jìn)行自動(dòng)檢查(塊380)，而不需要進(jìn)一步的人工審核。
另一方面，如果確定的不信任記分不低于閾值(塊360)，則將提交的廣告集中的、在確定不信任記分的過程(塊350)中沒有進(jìn)行人工審核的廣告直接轉(zhuǎn)遞到人工審核設(shè)施(塊345)。
圖4是可用于以根據(jù)本發(fā)明的方式確定不信任記分的示例性方法400的流程圖。選擇或接受提交的廣告集的子集(塊410)。該子集可以是廣告集的任何期望的代表性的樣本。提供廣告的子集用于人工審核，并且接收人工審核(塊420)。最后，至少使用接收的人工審核的未批準(zhǔn)率來確定不信任記分(塊430)。不信任記分的確定還可考慮通過人工審核所發(fā)現(xiàn)的任何問題的嚴(yán)重性。不信任記分的確定還可考慮先前的廣告商信任信息。
因此，可考慮未批準(zhǔn)的廣告的數(shù)量和未批準(zhǔn)的理由。然后可將每個(gè)廣告的未批準(zhǔn)理由轉(zhuǎn)化為關(guān)于該未批準(zhǔn)的權(quán)重因子。可根據(jù)未批準(zhǔn)的廣告的權(quán)重因子來調(diào)整子集中未批準(zhǔn)的廣告對(duì)該子集中廣告的總數(shù)的百分比。
§4.2.2操作的示例示例1假設(shè)，例如，提交的廣告集中的廣告的數(shù)量為10,000。將樣本(子集)選擇為來自這10,000個(gè)廣告的1000個(gè)隨機(jī)選擇的廣告。對(duì)這些廣告進(jìn)行人工審核。假設(shè)未批準(zhǔn)30個(gè)廣告；20個(gè)廣告是由于拼寫錯(cuò)誤(權(quán)重因子為1)；10個(gè)廣告是由于不合適的內(nèi)容(權(quán)重因子為3)。
廣告總數(shù)10,000子集1,000問題20個(gè)拼寫問題×1.0(因子)＝2010個(gè)內(nèi)容問題×3.0(因子)＝30總共30或3％(原始的)50或5％(調(diào)整的)
未批準(zhǔn)的廣告的原始百分比為30÷1000或者3％。然而，在根據(jù)基于未批準(zhǔn)的理由的權(quán)重應(yīng)用所述因子之后，加權(quán)后的總數(shù)為50，這導(dǎo)致調(diào)整的百分比為50÷1000或者5％。還可將該調(diào)整的百分比表征為不信任記分5％。
如果預(yù)先確定的閾值為4％，則不信任記分5％將超過該閾值(圖3上的塊360)，并且廣告商將不是信任的廣告商。然后轉(zhuǎn)遞所有的10,000個(gè)廣告用于人工審核(重新調(diào)用圖3上的塊345)。
相反，如果將所述閾值設(shè)置為6％，則可將該示例中的廣告商標(biāo)識(shí)為信任的廣告商，并且可對(duì)廣告集中的所有10,000個(gè)廣告(或者還沒有進(jìn)行人工檢查的其余的9,000個(gè)廣告)進(jìn)行自動(dòng)檢查(重新調(diào)用圖3的塊380)。此外，可自動(dòng)地批準(zhǔn)由該信任的廣告商提交的新廣告(重新調(diào)用圖3的塊330)，并且可對(duì)這些新廣告進(jìn)行自動(dòng)檢查(重新調(diào)用塊380)。
示例2廣告商A具有當(dāng)前210,000個(gè)廣告組的未結(jié)訂單。已對(duì)18,600個(gè)廣告組的樣本進(jìn)行了人工審核。樣本中未批準(zhǔn)的廣告的數(shù)量為334。因此，發(fā)現(xiàn)少于2％(0.017＝334/18,600)的廣告組包含錯(cuò)誤——大多數(shù)為編輯錯(cuò)誤(比如，行距、多余的句號(hào)等)。
以下列出其聯(lián)合投放將遭到拒絕的廣告組的數(shù)量以及未批準(zhǔn)的理由(除了將由自動(dòng)檢查操作捕捉的禁止的廣告文本和不接受的內(nèi)容之外)3,700(＝210,000*.017)*未批準(zhǔn)的主要理由38％ 標(biāo)點(diǎn)符號(hào)15％ 大寫9％不正確的價(jià)格8％禁止的廣告文本(將由過濾器捕捉并路由到人工審核倉)7％語法
2％ 不接受的內(nèi)容(將由過濾器捕捉并路由到人工審核倉)其它原因重復(fù)、文本行距、列表、擴(kuò)分夸大、促銷報(bào)價(jià)、太普通的關(guān)鍵字將由自動(dòng)檢查操作來捕捉由于禁止的廣告文本或不接受的內(nèi)容而未被批準(zhǔn)的廣告組，并將其發(fā)送到人工審核倉?？蓪?duì)未批準(zhǔn)的理由進(jìn)行跟蹤，并將其報(bào)告給廣告商A以幫助他們避免以后不被批準(zhǔn)。
如果將對(duì)前述的所有廣告組進(jìn)行人工審核，則估計(jì)將花費(fèi)5個(gè)人28周的時(shí)間對(duì)當(dāng)前未結(jié)訂單進(jìn)行審核，其中潛在的人工錯(cuò)誤為3％-5％。
§4.2.3替換和改進(jìn)在一個(gè)實(shí)施例中，如果確定的不信任記分(塊350)接近于閾值，則可對(duì)更大的樣本集或子集進(jìn)行人工評(píng)估，以澄清對(duì)于指示廣告商是否為信任的廣告商的確定。
在另一實(shí)施例中，自動(dòng)檢查可用于對(duì)廣告篩選預(yù)選內(nèi)容。如果所述廣告中的任一個(gè)廣告包含這樣的內(nèi)容，則要么可不批準(zhǔn)這樣的廣告(a)，要么可將這樣的廣告轉(zhuǎn)移到人工審核設(shè)施(b)。將不包含所述預(yù)選內(nèi)容中的任何內(nèi)容的廣告存儲(chǔ)為批準(zhǔn)廣告，這些廣告可獲得服務(wù)。
偶爾或基于“抽查”，可識(shí)別由信任的廣告商提交的廣告的樣本或子集，并且可為它們確定不信任記分。如果確定不信任記分大于閾值，則可取出該廣告商的所有現(xiàn)有的批準(zhǔn)的廣告。另外，可對(duì)廣告組進(jìn)行人工審核。最后，可去除信任的廣告商的稱號(hào)。然而，如果來自信任的廣告商的廣告的不信任記分低于閾值，則信任的廣告商將保留該稱號(hào)。
可選地，當(dāng)對(duì)信任的廣告商進(jìn)行抽查時(shí)，可使用不同的閾值，閾值可比正常閾值高，也可比正常閾值低，但是優(yōu)選地為比正常閾值高。
在另一實(shí)施例中，由于表明來自信任的廣告商的廣告的質(zhì)量開始下滑，所以該信任的廣告商的不信任記分的任何顯著增加可發(fā)起更嚴(yán)格的審核。類似地，可對(duì)不信任記分或從其推出不信任記分的信息進(jìn)行時(shí)間加權(quán)，從而可放大最近的改進(jìn)或拒絕。
雖然參照來自廣告商的廣告集描述了本發(fā)明，但是本發(fā)明可應(yīng)用于來自任何源的廣告集。例如，第三方公司可提供廣告復(fù)制服務(wù)。可將這樣的第三方命名為“信任源”。
雖然參照人工審核設(shè)施描述了以上的實(shí)施例中的至少一些，但是在根據(jù)本發(fā)明的至少一些實(shí)施例中，可使用除人工審核過程之外的一些其它審核過程。這樣的其它審核過程可能在(a)時(shí)間、(b)金錢、(c)人力資源、(d)計(jì)算機(jī)資源等方面是昂貴的。
§4.2.4示例性設(shè)備圖5是可執(zhí)行以上所討論的操作中的一個(gè)或多個(gè)操作的機(jī)器500的框圖。機(jī)器500可包括一個(gè)或多個(gè)處理器560、一個(gè)或多個(gè)輸入/輸出接口單元530、一個(gè)或多個(gè)存儲(chǔ)設(shè)備550以及有助于在耦合的部件中進(jìn)行信息通信的一個(gè)或多個(gè)系統(tǒng)總線和/或網(wǎng)絡(luò)540。一個(gè)或多個(gè)輸入設(shè)備510和一個(gè)或多個(gè)輸出設(shè)備520可與一個(gè)或多個(gè)輸入/輸出接口530耦合。
一個(gè)或多個(gè)處理器560可執(zhí)行機(jī)器可執(zhí)行指令(比如，在從PaloAlto，California的Sun Microsystem Inc.可獲得的Solaris操作系統(tǒng)上或從諸如Durham，North Carolina的Red Hat Inc.的一些廠商可獲得的Linux操作系統(tǒng)上運(yùn)行的C或C++)，以執(zhí)行本發(fā)明的一個(gè)或多個(gè)方面?？蓪C(jī)器可執(zhí)行指令的至少一部分(臨時(shí)或較永久地)存儲(chǔ)在一個(gè)或多個(gè)存儲(chǔ)設(shè)備550上，和/或可經(jīng)由一個(gè)或多個(gè)輸入/輸出接口單元530從外部源接收機(jī)器可執(zhí)行指令的至少一部分。
在一個(gè)實(shí)施例中，機(jī)器500可以是一個(gè)或多個(gè)傳統(tǒng)的個(gè)人電腦。在這種情況下，處理單元560可以是一個(gè)或多個(gè)微處理器。總線540可包括系統(tǒng)總線。存儲(chǔ)設(shè)備550可包括系統(tǒng)存儲(chǔ)器，諸如只讀存儲(chǔ)器(ROM)和/或隨機(jī)存取存儲(chǔ)器(RAM)。存儲(chǔ)設(shè)備550還可包括用于從硬盤讀取和寫入硬盤的硬盤驅(qū)動(dòng)器、用于從(比如，可拆卸)磁盤讀取或?qū)懭?比如，可拆卸)磁盤的磁盤驅(qū)動(dòng)器以及用于從可拆卸(磁)光盤讀取或?qū)懭肟刹鹦?磁)光盤的光盤驅(qū)動(dòng)器，可拆卸(磁)光盤諸如壓縮盤或其它(磁)光學(xué)媒介。
用戶可通過輸入設(shè)備510，諸如鍵盤和點(diǎn)擊設(shè)備(比如，鼠標(biāo))將命令和信息鍵入個(gè)人電腦。還可(或可選地)包括其它輸入設(shè)備，諸如麥克風(fēng)、控制桿、游戲手柄、衛(wèi)星天線、掃描儀等。這些輸入設(shè)備和其它輸入設(shè)備通常通過與系統(tǒng)總線540耦合的合適的接口530與處理單元560連接。輸出設(shè)備520可包括監(jiān)控器或其它類型的顯示設(shè)備，輸出設(shè)備520也可經(jīng)由合適的接口與系統(tǒng)總線540連接。除了監(jiān)控器之外(或代替監(jiān)控器)，個(gè)人電腦可包括其它(外圍)輸出設(shè)備(未顯示)，諸如揚(yáng)聲器和打印機(jī)。
可通過一個(gè)或多個(gè)機(jī)器500執(zhí)行上述各種操作，并且可將上述各種信息存儲(chǔ)在一個(gè)或多個(gè)機(jī)器500上。
§4.3總結(jié)可從前面的公開內(nèi)容看出，本發(fā)明可用于自動(dòng)地批準(zhǔn)由廣告商提交的廣告，而不是采用對(duì)由廣告商提交的許多廣告中的每個(gè)進(jìn)行笨拙的、昂貴的且容易出錯(cuò)的人工審核，人工審核導(dǎo)致延遲發(fā)行/聯(lián)合投放這些廣告?？赏ㄟ^使用本發(fā)明的一些實(shí)施例來使該過程的許多部分自動(dòng)化。自動(dòng)檢查還確保了廣告的質(zhì)量，以最小化發(fā)行/聯(lián)合投放不合適或不正確的廣告的可能性。
本發(fā)明的優(yōu)選實(shí)施例的前面的描述提供了實(shí)例和描述，但是其不是意欲進(jìn)行窮舉的或?qū)⒈景l(fā)明限于所公開的精確形式的。根據(jù)以上教導(dǎo)，進(jìn)行修改和改變是可能的，或者可從本發(fā)明的實(shí)施獲得修改和改變。
權(quán)利要求
1.一種方法，包括a)接受特定源的廣告集；b)選擇所述廣告集的子集；c)從第一審核過程接收對(duì)所述子集的廣告的批準(zhǔn)或拒絕；d)使用關(guān)于來自第一審核過程的、對(duì)所述子集的廣告的批準(zhǔn)或拒絕的信息來確定所述源的記分；和e)如果廣告商記分指示所述特定源為信任的廣告商，則使用第二審核過程對(duì)所述集中的不在所述子集中的廣告進(jìn)行自動(dòng)批準(zhǔn)。
2.如權(quán)利要求1所述的方法，其中，所述第一審核過程為人工審核過程。
3.如權(quán)利要求1所述的方法，其中，所述記分為信任記分。
4.如權(quán)利要求1所述的方法，其中，所述記分為不信任記分。
5.如權(quán)利要求1所述的方法，其中，確定所述源的記分還包括確定所述子集中拒絕的廣告的百分比。
6.如權(quán)利要求5所述的方法，其中，確定記分還對(duì)拒絕所述子集中的被拒絕的廣告的理由進(jìn)行利用。
7.如權(quán)利要求1所述的方法，其中，所述廣告集包括Web廣告。
8.如權(quán)利要求1所述的方法，還包括f)針對(duì)預(yù)選的詞或短語自動(dòng)地篩選批準(zhǔn)的廣告。
9.如權(quán)利要求8所述的方法，其中，所述預(yù)選的詞中的至少一個(gè)為URL。
10.一種廣告批準(zhǔn)方法，包括a)接收具有源指示的廣告集；b)確定指示的源是否為信任的源；和c)如果確定所述指示的源為信任的源，則不對(duì)所述廣告集中的至少一個(gè)廣告進(jìn)行人工審核就批準(zhǔn)所述廣告集。
11.如權(quán)利要求10所述的方法，還包括d)如果確定所述指示的源不是信任的源，則-選擇所述廣告集的子集；-批準(zhǔn)或拒絕所述子集的廣告；-使用關(guān)于人工批準(zhǔn)或拒絕的廣告的信息來確定所述源的記分；和-如果所述源的記分指示所述特定源為信任的，則將所述源識(shí)別為信任的源。
12.如權(quán)利要求11所述的方法，其中，所述記分為信任記分。
13.如權(quán)利要求11所述的方法，其中，所述記分為不信任記分。
14.如權(quán)利要求11所述的方法，其中，所述批準(zhǔn)或拒絕所述子集中的廣告的步驟使用人工審核過程。
15.一種廣告批準(zhǔn)方法，包括a)選擇由信任的源提供的第一廣告組的子集；b)接受對(duì)所述子集中未批準(zhǔn)的廣告的確定；c)使用關(guān)于所述子集中未批準(zhǔn)的廣告、所述子集中批準(zhǔn)的廣告和任何未批準(zhǔn)的理由的信息來確定記分；和d)如果所述記分表示所述源不再是信任的源，則從發(fā)行中取出從信任的源接收的第二廣告組中的至少一個(gè)廣告。
16.如權(quán)利要求15所述的方法，其中，從人工審核過程接受對(duì)所述子集中未批準(zhǔn)的廣告的確定。
17.一種設(shè)備，包括a)用于接受特定源的廣告集的輸入；b)用于選擇所述廣告集的子集的裝置；c)用于從第一審核過程接收對(duì)所述子集的廣告的批準(zhǔn)或拒絕的裝置；d)用于使用關(guān)于來自第一審核過程的、對(duì)所述子集的廣告的批準(zhǔn)或拒絕的信息來確定所述源的記分的裝置；和e)用于如果廣告商記分指示所述特定源為信任的廣告商，則使用第二審核過程對(duì)所述集中的不在所述子集中的廣告進(jìn)行自動(dòng)批準(zhǔn)的裝置。
18.如權(quán)利要求17所述的設(shè)備，其中，所述第一審核過程為人工審核過程。
19.如權(quán)利要求17所述的設(shè)備，其中，所述記分為信任記分。
20.如權(quán)利要求17所述的設(shè)備，其中，所述記分為不信任記分。
21.如權(quán)利要求17所述的設(shè)備，其中，所述用于確定所述源的記分的裝置包括用于確定所述子集中拒絕的廣告的百分比的裝置。
22.如權(quán)利要求21所述的設(shè)備，其中，所述用于確定記分的裝置在其確定過程中對(duì)拒絕所述子集中的被拒絕的廣告的理由進(jìn)行利用。
23.如權(quán)利要求17所述的設(shè)備，其中，所述廣告集包括Web廣告。
24.如權(quán)利要求17所述的設(shè)備，還包括f)用于針對(duì)預(yù)選的詞或短語自動(dòng)地篩選批準(zhǔn)的廣告的裝置。
25.如權(quán)利要求24所述的設(shè)備，其中，所述預(yù)選的詞中的至少一個(gè)為URL。
26.一種廣告批準(zhǔn)設(shè)備，包括a)用于接收具有源指示的廣告集的輸入；b)用于確定指示的源是否為信任的源的裝置；和c)用于如果確定所述指示的源為信任的源，則不對(duì)所述廣告集中的至少一個(gè)廣告進(jìn)行人工審核就批準(zhǔn)所述廣告集的裝置。
27.如權(quán)利要求26所述的設(shè)備，還包括d)下述裝置，該裝置用于如果確定所述指示的源不是信任的源，則-選擇所述廣告集的子集；-批準(zhǔn)或拒絕所述子集的廣告；-使用關(guān)于人工批準(zhǔn)或拒絕的廣告的信息來確定所述源的記分；和-如果所述源的記分指示所述特定源為信任的，則將所述源識(shí)別為信任的源。
28.如權(quán)利要求27所述的設(shè)備，其中，所述記分為信任記分。
29.如權(quán)利要求27所述的設(shè)備，其中，所述記分為不信任記分。
30.如權(quán)利要求27所述的設(shè)備，其中，所述用于批準(zhǔn)或拒絕所述子集中的廣告的裝置使用人工審核過程。
31.一種廣告批準(zhǔn)設(shè)備，包括a)用于選擇由信任的源提供的第一廣告組的子集的裝置；b)用于接受對(duì)所述子集中未批準(zhǔn)的廣告的確定的裝置；c)用于使用關(guān)于所述子集中未批準(zhǔn)的廣告、所述子集中批準(zhǔn)的廣告和任何未批準(zhǔn)的理由的信息來確定記分的裝置；和d)用于如果所述記分表示所述源不再是信任的源，則從發(fā)行中取出從信任的源接收的第二廣告組中的至少一個(gè)廣告的裝置。
32.如權(quán)利要求31所述的設(shè)備，其中，從人工審核過程接受對(duì)所述子集中未批準(zhǔn)的廣告的確定。
全文摘要
可至少部分地自動(dòng)批準(zhǔn)大量的Web廣告組。選擇廣告組的子集，人工審核過程用于確定子集中哪些廣告是不可接受的，可能還確定未批準(zhǔn)的理由。然后可使用子集中未批準(zhǔn)的廣告來確定不信任記分。不信任記分還可使用未批準(zhǔn)的理由。然后可將不信任記分與預(yù)定閾值進(jìn)行比較。如果不信任記分小于閾值，則可接受廣告組中的廣告。如果不信任記分等于或大于閾值，則不自動(dòng)地接受廣告組。
文檔編號(hào)G06F7/00GK1981261SQ200580014810
公開日2007年6月13日 申請(qǐng)日期2005年3月30日 優(yōu)先權(quán)日2004年3月31日
發(fā)明者克里斯丁·柯伊特, 凱倫·克勞, 阿蘭納·凱倫, 伊梅爾·穆特魯 申請(qǐng)人:Google公司