一種內(nèi)容無關(guān)的文本快速過濾方法
【專利摘要】本發(fā)明涉及計(jì)算機(jī)信息檢索領(lǐng)域，具體涉及一種應(yīng)用于圖書館信息檢索、抄襲檢測(cè)、著作權(quán)侵權(quán)檢測(cè)等場(chǎng)合中的內(nèi)容無關(guān)的文本快速過濾方法。使用分隔符將母文本A和目標(biāo)文本B各自分割成系列片段，對(duì)每一文本片段使用能值函數(shù)求值，所述能值函數(shù)與文本內(nèi)容無關(guān)且與文本包含的噪聲正相關(guān)；在求得的母文本A和目標(biāo)文本B的能值中，將小于預(yù)定義能值閾值H的量濾去，得到能值序列N與M；對(duì)M作自相似分析；在允許誤差約束下將M與N作匹配比較，如果窮盡N，目標(biāo)文本B與母文本A的任意一部分內(nèi)容的匹配度均低于閾值，則目標(biāo)文本B被排除。使用本發(fā)明的文本快速過濾方法，避免了對(duì)文本內(nèi)容的分析，計(jì)算量小，過濾速度快，且可以屏蔽部分噪聲影響。
【專利說明】
一種內(nèi)容無關(guān)的文本快速過濾方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及計(jì)算機(jī)信息檢索領(lǐng)域，具體涉及一種應(yīng)用于圖書館信息檢索、抄襲檢 測(cè)、著作權(quán)侵權(quán)檢測(cè)等需要進(jìn)行文本過濾的場(chǎng)合中的內(nèi)容無關(guān)的文本快速過濾方法。
【背景技術(shù)】
[0002] 文本是人類的自然語言的書寫表示，是半結(jié)構(gòu)或無結(jié)構(gòu)的，缺乏計(jì)算機(jī)可理解的 語義。文本處理技術(shù)廣泛應(yīng)用于信息檢索、搜索引擎、抄襲檢測(cè)、著作權(quán)保護(hù)等領(lǐng)域，其作用 是從海量、異構(gòu)、分布的文本中發(fā)現(xiàn)隱含知識(shí)和模式。文本處理技術(shù)以適當(dāng)?shù)臄?shù)學(xué)模型表示 文本，使之既要包含足夠的信息以反映文本的特征，又不至于過于復(fù)雜而超出計(jì)算機(jī)的處 理能力。目前主要的方法是使用分詞算法和詞頻統(tǒng)計(jì)技術(shù)從文本中抽取特征詞，并對(duì)其向 量化。當(dāng)文本較大時(shí)，文本向量的維度會(huì)相應(yīng)增大，給后續(xù)工作帶來巨大的計(jì)算開銷，并且 損害分類、聚類處理的精確性。對(duì)這個(gè)問題正面的解決辦法是對(duì)文本向量作凈化處理，在保 證原文含義的基礎(chǔ)上，找出對(duì)文本特征類別最具代表性的文本特征，即通過特征選擇來降 維。這要求特征項(xiàng)要能夠確實(shí)標(biāo)識(shí)文本內(nèi)容，具有將目標(biāo)文本與其他文本相區(qū)分的能力，且 分離也比較容易實(shí)現(xiàn)。
[0003] 在中文文本中可以采用字、詞或短語作為表示文本的特征項(xiàng)。字、詞、短語雖都是 文本內(nèi)容，相比較而言，詞比字具有更強(qiáng)的表達(dá)能力，而詞和短語相比，詞的切分難度比短 語的切分難度小得多。因此，目前大多數(shù)中文文本分類系統(tǒng)都采用詞作為特征項(xiàng)，稱作特征 詞。這些特征詞作為文本的中間表示形式，用來實(shí)現(xiàn)文本與文本、文本與用戶目標(biāo)之間的相 似度計(jì)算。
[0004] 在浩如煙海的網(wǎng)絡(luò)信息中，80 %的信息以文本的形式存放，這些來自網(wǎng)絡(luò)的文本 可能帶有噪聲，且對(duì)某些應(yīng)用來說80%以上是無關(guān)的。如能不觸及文本內(nèi)容，快速過濾掉無 關(guān)的含噪聲的文本，將大大節(jié)約計(jì)算機(jī)系統(tǒng)的計(jì)算能力。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明解決的技術(shù)問題在于提供一種內(nèi)容無關(guān)的文本快速過濾方法，快速排除與 母文本A中的任意一部分內(nèi)容匹配度低于匹配閾值的含有噪音的目標(biāo)文本B。
[0006] 為了實(shí)現(xiàn)上述目的，本發(fā)明采用了如下技術(shù)方案：
[0007] -種內(nèi)容無關(guān)的文本快速過濾方法，用于對(duì)含有噪音的目標(biāo)文本B，當(dāng)其與母文本 A中的任意一部分內(nèi)容匹配度低于匹配閾值時(shí)，將其快速排除，其中A=(am 2. . .ai. . .ax)，B = (bib2. . .bi. . .1^)，31￡5，比￡3且1>7,5為出現(xiàn)在母文本六和目標(biāo)文本8中的所有符號(hào)的 集合，包括但不限于文字、字母、標(biāo)點(diǎn)、數(shù)理記號(hào)、分段符、換行符;包括如下步驟：
[0008] S1、定義能值函數(shù)F(cpcp+i. . .Cq) = q_p+1，其中，CiGS，p彡;Kq，所述能值函數(shù)的 函數(shù)值是與文本內(nèi)容無關(guān)但與文本包含的噪聲正相關(guān)的實(shí)數(shù)，預(yù)定義能值閾值為H，并定義 能值序列N和M，所述能值序列中的元素為所述能值函數(shù)的函數(shù)值，所述能值序列N和M初始 時(shí)為空；
[0009] S2、定義有限集合L={l|l = (ld2. . .1*)，11￡3 4彡1}，其中，1為在5中任意選取 的分隔符和/或標(biāo)點(diǎn)符號(hào)組成的長度大于等于1的序列；定義L的子集L'，即Cci：，L' = u，li^a'dY-.rthriGspiMrGL，；
[0010] S3、以1對(duì)母文本A作分割，即A=(aia2. ? .las. ? .atl. ? .ax)，從左至右對(duì)每一個(gè)片段 (as. . .at)使用所述能值函數(shù)求值:n = F(as. . .81；) = 1：-8+1;如果11<11，忽略11;如果11>11，則 將n加入能值序列N的末尾;如此處理母文本A后得到能值序列N=(mn2. . .nz)，z<=x;
[0011 ] S4、以1 '對(duì)目標(biāo)文本B作分割，即B = (bib2. . . 1 'bu. . .bvl ' . . .by)，從左至右對(duì)每一 個(gè)片段(bu. . .bv)使用所述能值函數(shù)求值:m = F(bu. . .1^)=￥-11+1;如果111彡11，忽略111;如果111 >H，則將m加入能值序列M的末尾;如此處理目標(biāo)文本B后得到能值序列M= (mim2. . .mw)，w< =y；
[0012] S5、對(duì)所述能值序列M作自相似性分析，得到M的自相似性序列為Rm = (m ? .ri. ? .rw)，其中ri為整數(shù)且riG [0? .w];
[0013] S6、預(yù)定義能值誤差上限e和累積誤差上限E;取i的初值為l，g的初值為0,將能值 序列M= (mim2…mw)與N= (rurn+i. ? .m+w-1)從左到右按序作比較，即，當(dāng)變量j從1增加至w 時(shí)，對(duì)每個(gè)j:
[0014] a?如果|mj-ru+j-11 >e，且i = z-w+l，貝lj認(rèn)為目標(biāo)文本B與母文本A中的任意一部分 內(nèi)容匹配度低于匹配閾值，排除目標(biāo)文本B;
[0015] b?如果 |mj-ru+j-11 >e，且i辛z-w+1，貝lj令i = i+j-1-rj，并令g = 0,變量j加 1 后繼續(xù) 進(jìn)行比較；
[0016] c ?如果 |mj-ru+j-11 <e，則令g = g+|mj-m+j-11 ;若g>E且i = z-w+l，則認(rèn)為目標(biāo)文本B 與母文本A中的任意一部分內(nèi)容匹配度低于閾值，排除目標(biāo)文本B;若g>E，且i辛z-w+1，則令 1 =丨+」-1-：^，并令8 = 0，變量」加1后繼續(xù)進(jìn)行比較；
[0017] 若變量j增加至w后，目標(biāo)文本B仍未排除，則保留目標(biāo)文本B;B是否與A匹配取決于 后續(xù)的內(nèi)容相似度比較。
[0018] 進(jìn)一步的，步驟S4中，求取ri的步驟如下：
[0019] S51、從mi開始從左往右列出mi所有左序子序列：（mi)，（mim2)，（mim2m3)...... (mim2 …mi-1)
[0020] S52、從mi開始從右往左列出mi所有右序子序列：（mi)，（mi-inn)，（mi-2mi-inn)...... …mi)
[0021] S53、取左序子序列和右序子序列中共有項(xiàng)的最大長度為ri。
[0022] 本發(fā)明的內(nèi)容無關(guān)的文本快速過濾方法，使用分隔符將母文本A和目標(biāo)文本B各自 分割成系列片段，對(duì)每一文本片段使用能值函數(shù)求值，所述能值函數(shù)與文本內(nèi)容無關(guān)且與 文本包含的噪聲正相關(guān)。在求得的母文本A和目標(biāo)文本B的能值中，將小于預(yù)定義能值閾值H 的量濾去，得到能值序列N與M。再對(duì)M作自相似分析以加快比較速度;之后，在允許誤差約束 下將M與N作匹配比較，如果窮盡N，目標(biāo)文本B與母文本A的任意一部分內(nèi)容的匹配度均低于 閾值，則目標(biāo)文本B被排除。
[0023] 使用本發(fā)明的文本快速過濾方法，在進(jìn)行信息檢索、搜索引擎、抄襲檢測(cè)、著作權(quán) 保護(hù)等領(lǐng)域的文本處理時(shí)，避免了對(duì)文本內(nèi)容的分析，計(jì)算量小，過濾速度快，且可以屏蔽 部分噪聲影響。實(shí)際應(yīng)用中，大部分網(wǎng)頁內(nèi)容可以被過濾掉，從而減少了加入內(nèi)容庫的內(nèi) 容，并降低了后續(xù)內(nèi)容匹配計(jì)算的計(jì)算量，減輕了系統(tǒng)負(fù)擔(dān)。本發(fā)明也可應(yīng)用于圖書信息檢 索、抄襲檢測(cè)等需要處理大規(guī)模文本的場(chǎng)合。
【附圖說明】
[0024] 圖1為一種網(wǎng)絡(luò)著作權(quán)侵權(quán)檢測(cè)系統(tǒng)的架構(gòu)圖；
[0025] 圖2為本發(fā)明的實(shí)施例的流程示意圖。
【具體實(shí)施方式】
[0026] 為了進(jìn)一步理解本發(fā)明，下面結(jié)合實(shí)施例對(duì)本發(fā)明優(yōu)選實(shí)施方案進(jìn)行描述，但是 應(yīng)當(dāng)理解，這些描述只是為進(jìn)一步說明本發(fā)明的特征和優(yōu)點(diǎn)，而不是對(duì)本發(fā)明權(quán)利要求的 限制。
[0027] 本發(fā)明可在文學(xué)作品著作權(quán)網(wǎng)絡(luò)侵權(quán)的檢測(cè)中得到典型應(yīng)用。
[0028] 著作權(quán)，英美法系術(shù)語稱為版權(quán)，是最普遍知識(shí)產(chǎn)權(quán)形式，凡是人的智力活動(dòng)產(chǎn) 生、具有獨(dú)創(chuàng)性并且可復(fù)制的作品皆擁有著作權(quán)。著作權(quán)載體以文藝作品最為常見，如小 說、詩歌、劇本、音樂、戲劇、曲藝、舞蹈、雜技、美術(shù)、攝影、電影等;科學(xué)和工程作品也有著作 權(quán)，如工程設(shè)計(jì)圖、產(chǎn)品設(shè)計(jì)圖、地圖、示意圖、計(jì)算機(jī)軟件等。
[0029]隨著博客、微博、社交媒體、朋友圈、文庫等各種形式的網(wǎng)絡(luò)媒體蓬勃發(fā)展，一方面 促進(jìn)了文化傳播，另一方面也使著作權(quán)侵權(quán)行為日益泛濫，嚴(yán)重侵害了作者的合法權(quán)益，擾 亂了經(jīng)濟(jì)秩序。因此，需要通過計(jì)算機(jī)技術(shù)手段，構(gòu)造著作權(quán)保護(hù)的平臺(tái)。
[0030]圖1給出了一種網(wǎng)絡(luò)著作權(quán)侵權(quán)檢測(cè)系統(tǒng)的架構(gòu)圖。如圖所示，該系統(tǒng)運(yùn)行于集群 并行的硬件平臺(tái)上，分為以下幾個(gè)部分：
[0031] 1 )Web內(nèi)容獲取:根據(jù)一定策略將網(wǎng)上數(shù)據(jù)抓取到內(nèi)容庫；
[0032] 2)特征生成:對(duì)原作進(jìn)行特征提取，存入特征索引庫；
[0033] 3)侵權(quán)檢測(cè):執(zhí)行侵權(quán)檢測(cè)；
[0034] 4)電子取證:如確認(rèn)存在侵權(quán)，由取證服務(wù)器對(duì)侵權(quán)現(xiàn)場(chǎng)進(jìn)行取證，產(chǎn)生可信的司 法證據(jù)。
[0035]由于爬蟲抓取網(wǎng)絡(luò)內(nèi)容具有盲目性，99%以上的內(nèi)容是不侵犯任何著作權(quán)的。用 于侵權(quán)檢測(cè)的文本內(nèi)容特征提取、基于特征的相似性比較都是耗時(shí)的計(jì)算，如不能將這 99 %的內(nèi)容快速濾去大部分，將影響系統(tǒng)的性能乃至可行性。在互聯(lián)網(wǎng)內(nèi)容進(jìn)入內(nèi)容庫之 前，可使用本發(fā)明的文本快速過濾方法對(duì)其進(jìn)行過濾。步驟如下：
[0036] 一、定義要素
[0037] 符號(hào)集S為文字、字母、標(biāo)點(diǎn)、數(shù)理記號(hào)、分段符、換行符等所有出現(xiàn)在文本中的符 號(hào)的集合。定義能值函數(shù)F(cPc P+i. . .Cq)=p_q+1，其中，CiGS，p彡;Kq。該能值函數(shù)的函數(shù) 值即能值是文本(cPcP+i. . .cq)的長度，它與文本內(nèi)容無關(guān)，而文本越長可能包含的噪聲越 大。定義能值閥值H= 15;
[0038] 定義能值序列N和M，所述能值序列中的元素為所述能值函數(shù)的函數(shù)值，N和M初始 時(shí)為空。
[0039] 二、處理原作庫
[0040]原作庫包含一批需保護(hù)的文學(xué)作品原作，數(shù)據(jù)量大，是十億、百億級(jí)的文字量。打 通作品界限將其連成一個(gè)長串，記為母文本A=(am2. . .m. . .&〇，&1￡5。原作庫中的原作為 標(biāo)準(zhǔn)txt文本，定義有限集合L= {11 l = (lil2. . . It)，liGS，t彡1}為S中的分隔符集，其中，1 為在S中任意選取的分隔符和/或標(biāo)點(diǎn)符號(hào)組成的長度大于等于1的序列。
[0041] 本實(shí)施例中，1選取為ASCII碼的回車換行。以1對(duì)母文本A作分割，即A = (aia2. ? ? las. ? .atl. ? .ax)，從左至右對(duì)每一個(gè)片段(as. . .at)使用所述能值函數(shù)求值:n = F (as. . .at) = t-s+1;如果n<H，忽略n;如果n>H，則將n加入能值序列N的末尾;如此處理母文 本A后得到能值序列N=(mn2. ? .nz)，z<=x。
[0042] 以上過程只需計(jì)算一次。當(dāng)新的文本加入原作庫時(shí)，對(duì)其做同樣的分割和能值計(jì) 算，結(jié)果附于能值序列N末尾即可。
[0043] 三、處理網(wǎng)絡(luò)內(nèi)容
[0044]網(wǎng)絡(luò)內(nèi)容通常為片段，數(shù)據(jù)量較小，萬把字、甚至幾千字的量級(jí)為多見。且網(wǎng)絡(luò)內(nèi) 容可能含有噪聲，如亂碼、錯(cuò)誤碼、短廣告、網(wǎng)站標(biāo)志性插入文字等，應(yīng)盡量消除其影響。 [0045] 設(shè)爬蟲程序抓取到一個(gè)的網(wǎng)絡(luò)內(nèi)容為目標(biāo)文本B=(bib2. . .bi. . .1^)，匕￡5且7< X，定義有限集合…l'thl'ASj彡1}為L的子集，即廠[乙，令l'G L，。
[0046] 本實(shí)施例中，1'選取為HTML分割標(biāo)記為分隔符，包括<br>，<p>等；以1'對(duì)B作分割， 艮PB= (bib2. . . 1 'bu. . .bvl ' . . .by)，從左至右對(duì)每一個(gè)片段(bu. ? .bv)使用所述能值函數(shù)求 值:m=F(bu...bv)=v-u+l;如果m < H，忽略m;如果m > H，則將m加入能值序列M的末尾;如此 處理目標(biāo)文本B后得到能值序列M=(mim2. ? .mw)，w<=y。
[0047] 繼而對(duì)M作自相似性分析。M的自相似性序列為RM=(nr2. . .ri. . .rw)，其中ri為整 數(shù)且:TiG [0. .w]。求取ri的步驟如下：
[0048] S41、從mi開始從左往右列出mi所有左序子序列：（mi)，（mim2)，（mim2m3)...... (mim2 …mi-1)
[0049] S42、從mi開始從右往左列出mi所有右序子序列：（mi)，（mi-inn)，（mi-2mi-inn)...... …mi)
[0050] S43、取左序子序列和右序子序列中共有項(xiàng)的最大長度為ri。
[0051] 四、過濾
[0052]預(yù)定義能值誤差上限e = 4,累積誤差上限E=109。實(shí)際E可根據(jù)統(tǒng)計(jì)經(jīng)驗(yàn)得出，這 里E取極大數(shù)表示不作累積誤差檢查。
[0053]取i的初值為l，g的初值為0;
[OOM] 將能值序列M=(mim2. ? .mw)與N=(mm+i. ? .m+w-1)從左到右按序作比較，即，當(dāng)變 量j從1增加至w時(shí)，對(duì)每個(gè)j:
[0055] 如果>e，且i = z-w+l，貝lj認(rèn)為目標(biāo)文本B與母文本A中的任意一部分內(nèi) 容匹配度低于匹配閾值，排除目標(biāo)文本B;
[0056] 如果11 >e，且i辛z-w+1，則令i = i+j-l_rj，并令g = 0,變量j加1后繼續(xù)進(jìn) 行比較；
[0057] 如果 | mj-rn+j-11 彡e，則令g = g+ | mj-ru+j-11 ;若g>E且i = z_w+l，貝IJ認(rèn)為目標(biāo)文本B與 母文本A中的任意一部分內(nèi)容匹配度低于閾值，排除目標(biāo)文本B;若g>E，且i辛z-w+1，則令i =1+」-1-；1^，并令8 = 0，變量」加1后繼續(xù)進(jìn)行比較；
[0058]如果從m到mw的比較都未超過誤差，則證明B未被排除，B需要被加入內(nèi)容庫;B是否 真被A包含需要后續(xù)的內(nèi)容相似度比較來確定。
[0059]以上實(shí)施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想。應(yīng)當(dāng)指出，對(duì) 于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以對(duì)本發(fā)明進(jìn)行 若干改進(jìn)和修飾，這些改進(jìn)和修飾也落入本發(fā)明權(quán)利要求的保護(hù)范圍內(nèi)。
【主權(quán)項(xiàng)】
1. 一種內(nèi)容無關(guān)的文本快速過濾方法，用于對(duì)含有噪音的目標(biāo)文本B，當(dāng)其與母文本A 中的任意一部分內(nèi)容匹配度低于匹配閾值時(shí)，將其快速排除，其中A=(aia2. · .ai· · .ax)，B = (bib2. . .bi. . .1^)，31￡5，匕￡3且1>7,5為出現(xiàn)在母文本4和目標(biāo)文本8中的所有符號(hào)的 集合，包括但不限于文字、字母、標(biāo)點(diǎn)、數(shù)理記號(hào)、分段符、換行符，其特征在于，包括如下步 驟： 51、 定義能值函數(shù)F(cPcP+i. . .Cq)=q-p+l,其中，CiGS，p彡i彡q，所述能值函數(shù)的函數(shù) 值是與文本內(nèi)容無關(guān)但與文本包含的噪聲正相關(guān)的實(shí)數(shù)，預(yù)定義能值閾值為H;并定義能值 序列N和M，所述能值序列中的元素為所述能值函數(shù)的函數(shù)值，所述能值序列N和M初始時(shí)為 空； 52、 定義有限集合L= Ull = (1山...It)，IiG S，t多1}，其中，1為在S中任意選取的分隔 符和/或標(biāo)點(diǎn)符號(hào)組成的長度大于等于1的序列；定義L的子集L'，即L'c L，L' = {Γ I Γ = 0-ι1，2· · .rt)，ries，t>l}4reL，； 53、 以I對(duì)母文本A作分割，即A = (aia2... Ias... atl... ax)，從左至右對(duì)每一個(gè)片段 (as. . .at)使用所述能值函數(shù)求值:n = F(as. . .81；) = 1：-8+1;如果11<!1，忽略11;如果11>!1，則 將η加入能值序列N的末尾;如此處理母文本A后得到能值序列N=(nin2. . .nz)，z<=x; 54、 以I '對(duì)目標(biāo)文本B作分割，即B = (bib2. . . I 'bu. . .bvl ' . . .by)，從左至右對(duì)每一個(gè)片 段(bu. . .bv)使用所述能值函數(shù)求值:m = F(bu. . .bv)=v-u+l;如果m<H，忽略m;如果m = H， 則將m加入能值序列M的末尾;如此處理目標(biāo)文本B后得到能值序列M=(mim2. . .mw)，w<=y; 55、 對(duì)所述能值序列M作自相似性分析，得至IjM的自相似性序列為RM=(rir2. . .ri. . .rw)， 其中ri為整數(shù)且ne [〇. .w]; 56、 預(yù)定義能值誤差上限e和累積誤差上限E;取i的初值為l，g的初值為0,將能值序列M = (mim2·· .mw)與N=(mm+i· · .m+w-1)從左到右按序作比較，即，當(dāng)變量j從1增加至w時(shí)，對(duì)每 個(gè)j: a. 如果11 >e，且i = z-w+l，則認(rèn)為目標(biāo)文本B與母文本A中的任意一部分內(nèi)容 匹配度低于匹配閾值，排除目標(biāo)文本B; b. 如果I mj-ru+j-11 >e，且i乒z-w+1，則令i = i+j-1-rj，并令g = 0，變量j加1后繼續(xù)進(jìn)行 比較； c. 如果I mj-ru+j-11 Se，則令g = g+ I mj-ru+j-11 ;若g>E且i = z-w+l，則認(rèn)為目標(biāo)文本B與母 文本A中的任意一部分內(nèi)容匹配度低于閾值，排除目標(biāo)文本B;若g>E，且i辛z-w+1，則令i = i +?]_-1-1^，并令8 = 〇，變量」加1后繼續(xù)進(jìn)行比較； 若變量j增加至W后，目標(biāo)文本B仍未排除，則保留目標(biāo)文本B ;B是否與A匹配取決于后續(xù) 的內(nèi)容相似度比較。2. 如權(quán)利要求1所述的內(nèi)容無關(guān)的文本快速過濾方法，其特征在于，步驟S4中，求取ri的 步驟如下： 551、 從mi開始從左往右列出mi所有左序子序列：（mi)，（mim2)，（???ηκπ?)......(ηιιηκ · · · πη-ι) 552、 從mi開始從右往左列出mi所有右序子序列：（mi)，（mi-inii)，（πη-2ΠΗ-ιπη)...... (m2m3...πη) 553、 取左序子序列和右序子序列中共有項(xiàng)的最大長度為ri。
【文檔編號(hào)】G06F17/30GK105893503SQ201610192303
【公開日】2016年8月24日
【申請(qǐng)日】2016年3月30日
【發(fā)明人】張帆, 金哲凡
【申請(qǐng)人】浙江傳媒學(xué)院