基于內(nèi)容特征的圖像碎片匹配方法和系統(tǒng)的制作方法
【專利摘要】本公開提供一種基于內(nèi)容特征的圖像碎片匹配方法和系統(tǒng)，該方法包括：提取第一圖像碎片的第一邊緣，提取第二圖像碎片的第二邊緣；沿著所述第一邊緣和第二邊緣提取各自的圖像碎片上的內(nèi)容的特征點；提取第一圖像碎片和第二圖像碎片上的內(nèi)容經(jīng)過特征點的線段或弧線的方向信息作為特征向量；比較所述第一圖像碎片和第二圖像碎片的內(nèi)容的特征點和特征向量的匹配度，來確定第一圖像碎片與第二圖像碎片是否匹配。本技術(shù)能夠有效解決圖像碎片的拼接過程中大量具有相似、相近、相同邊緣的候選碎片的更準確匹配的問題，從而大量減少例如破碎文件證據(jù)復原所需的人力和時間成本。
【專利說明】 基于內(nèi)容特征的圖像碎片匹配方法和系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本公開一般涉及圖像處理以及圖形學【技術(shù)領(lǐng)域】，且更具體地，涉及一種基于內(nèi)容特征的圖像碎片匹配技術(shù)。
【背景技術(shù)】
[0002]目前，紙質(zhì)碎片的計算機自動合成在許多領(lǐng)域都有應(yīng)用，例如，在公安領(lǐng)域，文件物證是《刑事訴訟法》中規(guī)定的具有法律效力的七種證據(jù)之一，能夠證明案件事實，提供犯罪嫌疑人的語言、指紋、筆跡、文件的成分、污損、偽造等多方面的信息。但是，在各類案件的偵查過程中，經(jīng)常難以獲得完整的文件物證，犯罪嫌疑人為了逃避責任，往往故意撕毀文件、毀滅證據(jù)。在偵查辦案過程中，一般根據(jù)碎片上的手寫字跡、圖文、線條等內(nèi)容，及紙張正反面性狀和碎片邊緣痕跡形態(tài)，人工逐塊進行拼接。但是由于效率低下，嚴重影了響偵查破案工作的進行。再如，在文物保護領(lǐng)域，文物勘探的現(xiàn)場存在大量的文物碎片，碎片的合成是一項費時、費力的艱苦工作。還有碎紙機誤粉碎了紙質(zhì)文件，需要碎片還原等眾多領(lǐng)域。
[0003]長期以來，對碎片的拼接復原通常采用手工方式。人工拼接費時、費力，進展緩慢。這就促使了用計算機自動合成碎片問題的研究?；谶吘壿喞亩S碎片自動拼接研究較多，該問題可以分為兩個步驟:局部輪廓匹配和全局恢復重建(簡稱為全局匹配)。目前國內(nèi)外的相關(guān)研究主要集中在局部輪廓匹配部分，主要考慮局部邊界、局部角點的情況來判斷是否達到最佳匹配的效果。目前對全局恢復重建方法的研究還比較少。全局恢復重建的方法主要有兩種:一種是通過每次在候選匹匹配中選取最佳的一對，對其進行拼合處理，然后重復這個過程，直到實現(xiàn)全局拼接；另一種是對所有匹匹配的全局拼接可能性進行搜索，得到全局的拼接結(jié)果。第一種方法可能會拋棄很多正確的匹配，從而降低了拼接的效率。此夕卜，由于其碎片形狀的不規(guī)則性，會存在大量的不合法匹匹配，因此第二種方法的搜索過程也會大大降低拼接的效率。
[0004]但是，以上拼接方式都是基于對碎片的邊緣的形狀來進行的。由于偶然的原因，許多碎片的邊緣的形狀都是相似、相近的，甚至是相同的(例如，犯罪嫌疑人將若干張文件同時撕毀的碎片邊緣；特別是，目前廣為存在的用碎紙機粉碎的碎片邊緣等)，傳統(tǒng)技術(shù)無法根據(jù)碎片邊緣的形狀進行準確的自動擬合拼接。

【發(fā)明內(nèi)容】

[0005]為了能有效解決根據(jù)碎片邊緣痕跡進行擬合中因偶然因素將相似、相近甚至相同碎片邊緣假擬合成功的問題，本公開提出一種基于碎片文件內(nèi)容特征的擬合方法。該技術(shù)在碎片邊緣擬合的基礎(chǔ)上，進一步根據(jù)兩個碎片邊緣的內(nèi)容特征進行碎片擬合。
[0006]根據(jù)本公開的一個方面，提供一種基于內(nèi)容特征的圖像碎片匹配方法，包括:提取第一圖像碎片的第一邊緣，提取第二圖像碎片的第二邊緣；沿著所述第一邊緣和第二邊緣提取各自的圖像碎片上的內(nèi)容的特征點；提取第一圖像碎片和第二圖像碎片上的內(nèi)容經(jīng)過特征點的線段或弧線的方向信息作為特征向量；比較所述第一圖像碎片和第二圖像碎片的內(nèi)容的特征點和特征向量的匹配度，來確定第一圖像碎片與第二圖像碎片是否匹配。
[0007]根據(jù)本公開的一個方面，提供一種基于內(nèi)容特征的圖像碎片匹配系統(tǒng)，包括:邊緣提取裝置，被配置為提取第一圖像碎片的第一邊緣，提取第二圖像碎片的第二邊緣；特征點提取裝置，被配置為沿著所述第一邊緣和第二邊緣提取各自的圖像碎片上的內(nèi)容的特征點；特征向量提取裝置，被配置為提取第一圖像碎片和第二圖像碎片上的內(nèi)容經(jīng)過特征點的線段或弧線的方向信息作為特征向量；比較裝置，被配置為比較所述第一圖像碎片和第二圖像碎片的內(nèi)容的特征點和特征向量的匹配度，來確定第一圖像碎片與第二圖像碎片是否匹配。
[0008]本公開在碎片輪廓邊緣擬合的基礎(chǔ)上，進一步利用碎片中文字、圖、表等內(nèi)容信息特征進行碎片拼接復原，能有效解決上述問題。具體包括碎片數(shù)字化、圖像預處理、提取特征點和特征向量、碎片拼接與展示四個步驟。其中，特征點和特征向量提取是關(guān)鍵和創(chuàng)新點。該方法首先將邊緣圖像矢量化，并提取輪廓拐點的信息。然后，將圖像內(nèi)容(如文字的橫、豎、撇、捺和圖形的線段等)矢量化，提取與輪廓邊緣交叉的內(nèi)容特征信息。最終，形成碎片的矢量信息(圖形化的邊緣和內(nèi)容)。本公開在圖像碎片邊緣匹配的基礎(chǔ)上，進一步考量碎片邊緣的內(nèi)容信息特征，能顯著提高碎片的計算機自動匹配的正確性和精度。
【專利附圖】

【附圖說明】
[0009]圖1示出了應(yīng)用本公開的示例硬件環(huán)境框圖。
[0010]圖2示出了根據(jù)本技術(shù)的一個實施例的基于內(nèi)容特征的圖像碎片匹配方法的示例流程圖。
[0011]圖3A和3B示出了根據(jù)本技術(shù)的一個實施例的基于內(nèi)容特征的圖像碎片匹配方法中的輸入的圖像碎片的示例圖。
[0012]圖4A和4B示出了根據(jù)本技術(shù)的一個實施例的基于內(nèi)容特征的圖像碎片匹配方法中的提取圖像碎片的特征點的示意圖。
[0013]圖5中的(a)、(b)、(C)、(d)、(e)、(f)示出了根據(jù)本技術(shù)的一個實施例的基于內(nèi)容特征的圖像碎片匹配方法中的提取圖像碎片的特征點的示意圖。
[0014]圖6示出了根據(jù)本技術(shù)的一個實施例的基于內(nèi)容特征的圖像碎片匹配方法中的提取圖像碎片的特征點和特征向量的示意圖。
[0015]圖7示出了根據(jù)本技術(shù)的一個實施例的基于內(nèi)容特征的圖像碎片匹配方法中的圖像碎片匹配結(jié)果的示意圖。
[0016]圖8示出了根據(jù)本技術(shù)的一個實施例的基于內(nèi)容特征的圖像碎片匹配系統(tǒng)的示例方框圖。
【具體實施方式】
[0017]現(xiàn)在將詳細參照本發(fā)明的具體實施例，在附圖中例示了本發(fā)明的例子。盡管將結(jié)合具體實施例描述本發(fā)明，但將理解，不是想要將本發(fā)明限于所述的實施例。相反，想要覆蓋由所附權(quán)利要求限定的在本發(fā)明的精神和范圍內(nèi)包括的變更、修改和等價物。應(yīng)注意，這里描述的方法步驟都可以由任何功能塊或功能布置來實現(xiàn)，且任何功能塊或功能布置可被實現(xiàn)為物理實體或邏輯實體、或者兩者的組合。
[0018]為了使本領(lǐng)域技術(shù)人員更好地理解本發(fā)明，下面結(jié)合附圖和【具體實施方式】對本發(fā)明作進一步詳細說明。
[0019]為了便于理解，將在該章節(jié)中解釋一些現(xiàn)有技術(shù)中的術(shù)語或詞匯、以及在本公開中為方便說明而定義的術(shù)語或詞匯。這些術(shù)語或詞匯的解釋如果與現(xiàn)有技術(shù)中常用或慣用的術(shù)語或詞匯的解釋相沖突，應(yīng)按照本公開所公開的發(fā)明原理來合理判斷適用何種解釋。
[0020]碎片內(nèi)容:是指碎片中的文字、圖、表等信息。
[0021]特征點:是指碎片內(nèi)容與碎片邊緣的交叉點。
[0022]特征向量:是指碎片內(nèi)容通過特征點的線段的向量或弧線的切線向量。
[0023]碎片內(nèi)容特征:是指碎片中的文字、圖、表等內(nèi)容信息在碎片邊緣留下的特征點和特征向量的總稱。
[0024]圖1示出了應(yīng)用本技術(shù)的示例硬件環(huán)境框圖。
[0025]一個通用的硬件系統(tǒng)包括隨機存取存儲器(RAM) (HI)、只讀存儲器(ROM) (H2)、數(shù)據(jù)總線(H3)、重要處理單元/數(shù)字信號處理器(CPU/DSP) (H4)、輸入/輸出總線(H5)，顯示屏(H6)以及輸入/輸出設(shè)備(H7)等。例如，本技術(shù)中的實施例的基于內(nèi)容特征的圖像碎片匹配方法可以在圖1所示的CPU/DSP中執(zhí)行，且執(zhí)行結(jié)果、例如匹配結(jié)果和拼接結(jié)果可以被顯示在顯示屏(H6)上，或輸出到輸出設(shè)備(H7)。
[0026]圖2示出了根據(jù)本技術(shù)的一個實施例的基于內(nèi)容特征的圖像碎片匹配方法的示例流程圖。
[0027]如圖2所示的基于內(nèi)容特征的圖像碎片匹配方法200包括:步驟201，提取第一圖像碎片的第一邊緣，提取第二圖像碎片的第二邊緣；步驟202，沿著所述第一邊緣和第二邊緣提取各自的圖像碎片上的內(nèi)容的特征點；步驟203，提取第一圖像碎片和第二圖像碎片上的內(nèi)容經(jīng)過特征點的線段或弧線的方向信息作為特征向量；步驟204，比較所述第一圖像碎片和第二圖像碎片的內(nèi)容的特征點和特征向量的匹配度，來確定第一圖像碎片與第二圖像碎片是否匹配。
[0028]如此，至少基于圖像碎片上的邊緣處的內(nèi)容的特征，來確定圖像碎片的匹配，這樣不僅可以考慮圖像碎片的邊緣的形狀，還考慮圖像碎片的邊緣上的內(nèi)容的特征，從而更準確地找到真正匹配的圖像碎片，從而進行拼接來得到撕碎前的完整圖像，例如有助于警察破案、文物恢復等等示例應(yīng)用領(lǐng)域。
[0029]具體地，可以基于圖像碎片上的邊緣處的內(nèi)容的特征點和/或特征向量的匹配，來確定圖像碎片的匹配，這樣能比僅考慮邊緣的形狀更準確地匹配合適的圖像碎片。
[0030]該方法200還可以包括:在所述特征點的比較之前，可以比較所述第一邊緣與所述第二邊緣的形狀，來確定所述第一邊緣和所述第二邊緣是否匹配。然后，在所述第一邊緣與第二邊緣匹配的情況下，可以進行所述特征點的比較。
[0031]如此，在首先判斷兩個圖像碎片的邊緣的形狀匹配的情況下，再進行邊緣上的內(nèi)容的特征的比對，能夠減少邊緣的形狀不匹配而造成的內(nèi)容的特征的誤匹配，且能夠更準確地找到匹配的圖像碎片。
[0032]在一個實施例中，所述特征點可以包括圖像碎片上的內(nèi)容與邊緣的交叉點，且特征向量可以包括圖像碎片上的內(nèi)容經(jīng)過特征點的線段的斜率或弧線的切線斜率。[0033]在一個實施例中，所述特征點和特征向量的匹配度可以包括如下中的至少一種:特征點的位置的匹配度、特征點的個數(shù)的匹配度、特征向量的斜率的匹配度等。為了達到更準確的匹配，可以通過采用更多的參數(shù)的匹配來實現(xiàn)。
[0034]在一個實施例中，所述特征點可以通過檢測圖像碎片的邊緣上的內(nèi)容的外輪廓矢量與內(nèi)輪廓矢量的交集來得到。當然這僅是一種方式，可以通過現(xiàn)有的其他算法來得到邊緣處的內(nèi)容的特征點。
[0035]在一個實施例中，所述特征向量可以通過如下步驟得到:以特征點為起點，在碎片圖像中內(nèi)容的內(nèi)輪廓，直至拐點或像素點大于設(shè)定的閾值的點，則該點為終點；連接上述起點和終點，其結(jié)果近似為直線或弧線；若為直線，計算其斜率；若為曲線，計算其在特征點處的切線斜率。
[0036]該方法200還可以包括:在所述特征點的比較之前，通過第一圖像碎片和第二圖像碎片的縮放、旋轉(zhuǎn)、平移中的至少一種來對準所述第一圖像碎片和第二圖像碎片的邊緣。如此，不論當各圖像碎片是通過撕裂、破碎而形成的(即剛體的破碎)還是存在皺褶、扭曲、破損等情況，都可以通過縮放、旋轉(zhuǎn)、平移、變形等來對準第一圖像碎片和第二圖像碎片，從而獲得更準確的匹配。
[0037]在此，圖像的縮放、旋轉(zhuǎn)、平移等都是圖像處理中的傳統(tǒng)技術(shù)，在此不一一贅述。
[0038]在一個實施例中，所述圖像碎片上的內(nèi)容可以包括如下中的至少一種:文字、圖、表、文字的橫、豎、撇、捺和圖、表形的線段或其他內(nèi)容信息。
[0039]在一個實施例中，該方法200還可以包括:將匹配的第一圖像碎片和第二圖像碎片按照各自的邊緣拼接到一起。如此，可以拼接根據(jù)本技術(shù)匹配的圖像碎片，從而將所有圖像碎片拼接到一起，形成完整的原始圖像，從而有助于警察破案、文物恢復等等示例應(yīng)用領(lǐng)域。
[0040]下面以具體的碎片為示例來闡述根據(jù)本技術(shù)的各個實施例的處理細節(jié)。
[0041]圖3A和3B示出了根據(jù)本技術(shù)的一個實施例的基于內(nèi)容特征的圖像碎片匹配方法中的輸入的圖像碎片的示例圖。
[0042]可選地，假設(shè)在犯罪現(xiàn)場收集到的紙質(zhì)碎片進行圖像掃描(或拍照等其他獲得碎片圖像的方式)，獲得例如如圖3A和3B所示的JPEG、TIFF、PNG、BMP等格式的碎片圖像。從圖中可以看到，圖3A所示的上半部分，白色的部分是例如紙的碎片，而上面的陰影部分則是該碎片上的部分內(nèi)容。圖3B所示的下半部分，白色的部分是例如紙的碎片，而下面的陰影部分則是該碎片上的部分內(nèi)容。
[0043]圖4A和4B示出了根據(jù)本技術(shù)的一個實施例的基于內(nèi)容特征的圖像碎片匹配方法中的提取圖像碎片的特征點的示意圖。
[0044]接下來，可選地，對這些圖像碎片進行預處理，例如，包括將彩色圖像轉(zhuǎn)換成灰度圖像，對灰度圖像進行濾波、直方圖分析和灰度變換等。當然該預處理不是必需的，而是可選的。接下來，采用可選的現(xiàn)有技術(shù)邊緣識別算法(例如canny算子)對經(jīng)過預處理的圖像碎片進行邊緣識別，得到圖像碎片的邊緣圖像和內(nèi)容圖像信息，如圖4A和4B所示。當然，邊緣識別可以利用傳統(tǒng)技術(shù)中的除了 canny算子以外的算法來實現(xiàn)，在此不一一贅述。
[0045]圖5中的(a)、(b)、(c)、(d)、(e)、(f)示出了根據(jù)本技術(shù)的一個實施例的基于內(nèi)容特征的圖像碎片匹配方法中的提取圖像碎片的特征點的示意圖。[0046]接下來，可以提取圖像碎片上的內(nèi)容在邊緣處的特征點。所謂特征點可以指碎片內(nèi)容與碎片邊緣的交叉點，例如圖5中的(a)、(b)、(c)、(d)、(e)、(f)所示的圖中的邊緣處的圓圈表不。
[0047]具體地，示例地，首先根據(jù)碎片的邊緣圖像的處理結(jié)果，讀取外層輪廓的多邊形點集，計算碎片邊緣的外輪廓矢量。然后，可以根據(jù)內(nèi)容圖像的處理結(jié)果，讀取內(nèi)部特征的多邊形點集，計算碎片邊緣的內(nèi)輪廓矢量。然后，求碎片邊緣外輪廓和內(nèi)輪廓的交集，從而得到內(nèi)容在邊緣處的特征點，并可選地記錄到的數(shù)據(jù)結(jié)構(gòu)中。
[0048]當然上述提取內(nèi)容在邊緣處的特征點的方式僅是示例，本領(lǐng)域技術(shù)人員可以利用現(xiàn)有的提取特征點的方式來進行。
[0049]圖6示出了根據(jù)本技術(shù)的一個實施例的基于內(nèi)容特征的圖像碎片匹配方法中的提取圖像碎片的特征點和特征向量的示意圖。
[0050]如前所述，可以基于圖像碎片上的邊緣處的內(nèi)容的特征點和/或特征向量的匹配，來確定圖像碎片的匹配，這樣比僅考慮邊緣的形狀，進一步考慮特征點和特征向量可以更準確地匹配合適的圖像碎片。
[0051]具體地，獲得特征向量的示例方式可以包括:
[0052]圖像追蹤:以特征點為起點,在碎片圖像中內(nèi)容的內(nèi)輪廓(如圖6所示的從特征點開始的線條)，直至拐點或像素點大于設(shè)定的閾值的點，則該點為終點(例如圖5中的除了邊緣上的圓圈以外的圓圈，即終點)；
[0053]矢量化:將追蹤的內(nèi)容內(nèi)部輪廓矢量化(B卩，連接上述起點和終點)，其結(jié)果近似為直線或弧線(如圖6所示)；
[0054]計算特征向量:若為直線，計算并可選地保存其斜率(如圖6所示);若為曲線，計算并可選地保存其在特征點處的切線斜率(如圖6所示)。
[0055]當然，上述獲得特征向量的方式僅為示例，本領(lǐng)域技術(shù)人員可構(gòu)思其他方式來獲得圖像碎片上的內(nèi)容經(jīng)過特征點的線段或弧線的方向信息。
[0056]接下來，優(yōu)選地，可以通過碎片圖像上的邊緣的內(nèi)容的特征點和各個特征點的特征向量一起的相似程度，來進一步加強碎片圖像匹配的準確性。當然，在其他實施例中，也可以僅考慮邊緣的內(nèi)容的特征點來進行碎片圖像匹配以得到相對還不錯的圖像匹配效果，另外，甚至還可以僅考慮邊緣的內(nèi)容的特征向量來進行碎片圖像匹配，在此不贅述。
[0057]接下來，可以通過各碎片邊緣圖形之間邊緣和內(nèi)容的特征點和/或甚至特征向量的相似程度，進行碎片邊緣的比對、擬合，從而將犯罪現(xiàn)場的碎片準確地拼接、復原為原始圖像。具體地，可以先按照兩個碎片的邊緣比對，在邊緣比對成功的前提下，再比對邊緣的內(nèi)容特征。接下來，得到所有碎片之間的最佳邊緣匹匹配，然后將該兩個碎片合并，在原始的碎片集中刪除該兩個碎片，并增加新合并的碎片，再反復調(diào)用上述算法，即可完成所有碎片的自動比對和拼接合并過程。
[0058]圖7示出了根據(jù)本技術(shù)的一個實施例的基于內(nèi)容特征的圖像碎片匹配方法中的圖像碎片匹配結(jié)果的示意圖。
[0059]如圖5所示的多種圖像碎片，其中它們具有幾乎相同的碎片邊緣，在傳統(tǒng)技術(shù)中僅利用邊緣的邊緣比對算法很難將它們準確地匹配，例如，在傳統(tǒng)技術(shù)中可能將圖5 (a)的下半個“田”與圖5 (d)的上半個“人”匹配。然而，本技術(shù)可按照邊緣上的內(nèi)容的特征點和/或特征向量來更正確地選擇匹配的碎片，從而能夠還原出如圖7所示的匹配和拼接結(jié)果。
[0060]由此可見，根據(jù)本技術(shù)的各個實施例，可以通過各碎片邊緣圖形之間邊緣和內(nèi)容的特征點和/或甚至特征向量的相似程度，進行碎片邊緣的比對、擬合，從而將犯罪現(xiàn)場的碎片準確地拼接、復原為原始圖像。
[0061]注意，以上提到比較兩個對象以及判斷兩個對象是否相似或相同，可以通常設(shè)置一個相似度閾值，來將兩者的差別小于該相似度閾值，則認為兩者是相似的，或認為兩者是匹配的。在此并不限制本公開中的比較為必需完全相等或相同。
[0062]圖8示出了根據(jù)本技術(shù)的一個實施例的基于內(nèi)容特征的圖像碎片匹配系統(tǒng)800的示例方框圖。
[0063]圖8所示的系統(tǒng)800包括:邊緣提取裝置801，被配置為提取第一圖像碎片的第一邊緣，提取第二圖像碎片的第二邊緣；特征點提取裝置802，被配置為沿著所述第一邊緣和第二邊緣提取各自的圖像碎片上的內(nèi)容的特征點；特征向量提取裝置803，被配置為提取第一圖像碎片和第二圖像碎片上的內(nèi)容經(jīng)過特征點的線段或弧線的方向信息作為特征向量；比較裝置804，被配置為比較所述第一圖像碎片和第二圖像碎片的內(nèi)容的特征點和特征向量的匹配度，來確定第一圖像碎片與第二圖像碎片是否匹配。
[0064]如此，至少基于圖像碎片上的邊緣處的內(nèi)容的特征，來確定圖像碎片的匹配，這樣不僅可以考慮圖像碎片的邊緣的形狀，還考慮圖像碎片的邊緣上的內(nèi)容的特征，從而更準確地找到真正匹配的圖像碎片，從而進行拼接來得到撕碎前的完整圖像，來例如有助于警察破案、文物恢復等等示例應(yīng)用領(lǐng)域。
[0065]如此，可以基于圖像碎片上的邊緣處的內(nèi)容的特征點和/或特征向量的匹配，來確定圖像碎片的匹配，這樣比僅考慮邊緣的形狀，進一步考慮特征點和特征向量可以更準確地匹配合適的圖像碎片。
[0066]該系統(tǒng)800還可以包括:邊緣比較裝置(未示出)，被配置為在所述特征點的比較之前，可以比較所述第一邊緣與所述第二邊緣的形狀，來確定所述第一邊緣和所述第二邊緣是否匹配。然后，所述比較裝置803可以被配置為在所述第一邊緣與第二邊緣匹配的情況下，進行所述特征點的比較。
[0067]如此，在首先判斷兩個圖像碎片的邊緣的形狀匹配的情況下，再進行邊緣上的內(nèi)容的特征的比對，能夠減少邊緣的形狀不匹配而造成的內(nèi)容的特征的誤匹配，且能夠更準確地找到匹配的圖像碎片。
[0068]在一個實施例中，所述特征點可以包括圖像碎片上的內(nèi)容與邊緣的交叉點，且特征向量可以包括圖像碎片上的內(nèi)容經(jīng)過特征點的線段的斜率或弧線的切線斜率。
[0069]在一個實施例中，所述特征點和特征向量的匹配度可以包括如下中的至少一種:特征點的位置的匹配度、特征點的個數(shù)的匹配度、特征向量的斜率的匹配度等。為了達到更準確的匹配，可以通過采用更多的參數(shù)的匹配來實現(xiàn)。
[0070]在一個實施例中，所述特征點可以通過檢測圖像碎片的邊緣上的內(nèi)容的外輪廓矢量與內(nèi)輪廓矢量的交集來得到。當然這僅是一種方式，可以通過現(xiàn)有的其他算法來得到邊緣處的內(nèi)容的特征點。
[0071]在一個實施例中，所述特征向量可以通過如下步驟得到:以特征點為起點，在碎片圖像中內(nèi)容的內(nèi)輪廓，直至拐點或像素點大于設(shè)定的閾值的點，則該點為終點；連接上述起點和終點，其結(jié)果近似為直線或弧線；若為直線，計算其斜率；若為曲線，計算其在特征點處的切線斜率。
[0072]該系統(tǒng)800還可以包括:對準裝置(未示出)，被配置為在所述特征點的比較之前，通過第一圖像碎片和第二圖像碎片的縮放、旋轉(zhuǎn)、平移中的至少一種來對準所述第一圖像碎片和第二圖像碎片的邊緣。如此，不論當各圖像碎片是通過撕裂、破碎而形成的(即剛體的破碎)還是存在皺褶、扭曲、破損等情況，都可以通過縮放、旋轉(zhuǎn)、平移等來對準第一圖像碎片和第二圖像碎片，從而獲得更準確的匹配。
[0073]在一個實施例中，所述圖像碎片上的內(nèi)容可以包括如下中的至少一種:文字、圖、表、文字的橫、豎、撇、捺和圖形的線段或其他內(nèi)容信息。
[0074]在一個實施例中，該系統(tǒng)800還可以包括:拼接裝置(未示出)，被配置為將匹配的第一圖像碎片和第二圖像碎片按照各自的邊緣拼接到一起。如此，可以拼接根據(jù)本技術(shù)匹配的圖像碎片，從而將所有圖像碎片拼接到一起，形成完整的原始圖像，從而有助于警察破案、文物恢復等等示例應(yīng)用領(lǐng)域。
[0075]該系統(tǒng)還可以包括與上述描述方法時采用的步驟一一對應(yīng)的裝置。
[0076]本技術(shù)在碎片輪廓邊緣擬合的基礎(chǔ)上，進一步利用碎片中文字、圖、表等內(nèi)容信息特征進行碎片拼接復原，能有效解決上述問題。具體包括碎片數(shù)字化、圖像預處理、提取特征點和特征向量、碎片拼接與展示四個步驟。其中，特征點和特征向量提取是關(guān)鍵和創(chuàng)新點。該方法首先將邊緣圖像矢量化，并提取輪廓拐點的信息。然后，將圖像內(nèi)容(如文字的橫、豎、撇、捺和圖形的線段等)矢量化，提取與輪廓邊緣交叉的內(nèi)容特征信息。最終，形成碎片的矢量信息(圖形化的邊緣和內(nèi)容)。本方法在紙質(zhì)碎片邊緣匹配的基礎(chǔ)上，進一步考量碎片邊緣的內(nèi)容信息特征，能顯著提高碎片的計算機自動匹配的正確性和精度。
[0077]注意，在本公開中提及的優(yōu)點、優(yōu)勢、效果等僅是示例而非限制，不能認為這些優(yōu)點、優(yōu)勢、效果等是本發(fā)明的各個實施例必須具備的。另外，上述公開的具體細節(jié)僅是為了示例的作用和便于理解的作用，而非限制，上述細節(jié)并不限制本發(fā)明為必須采用上述具體的細節(jié)來實現(xiàn)。
[0078]本公開中涉及的器件、裝置、設(shè)備、系統(tǒng)的方框圖僅作為例示性的例子并且不意圖要求或暗示必須按照方框圖示出的方式進行連接、布置、配置。如本領(lǐng)域技術(shù)人員將認識到的，可以按任意方式連接、布置、配置這些器件、裝置、設(shè)備、系統(tǒng)。諸如“包括”、“包含”、“具有”等等的詞語是開放性詞匯，指“包括但不限于”，且可與其互換使用。這里所使用的詞匯“或”和“和”指詞匯“和/或”，且可與其互換使用，除非上下文明確指示不是如此。這里所使用的詞匯“諸如”指詞組“諸如但不限于”，且可與其互換使用。
[0079]本公開中的步驟流程圖以及以上方法描述僅作為例示性的例子并且不意圖要求或暗示必須按照給出的順序進行各個實施例的步驟。如本領(lǐng)域技術(shù)人員將認識到的，可以按任意順序進行以上實施例中的步驟的順序。諸如“其后”、“然后”、“接下來”等等的詞語不意圖限制步驟的順序；這些詞語僅用于引導讀者通讀這些方法的描述。此外，例如使用冠詞“一個”、“一”或者“該”對于單數(shù)的要素的任何引用不被解釋為將該要素限制為單數(shù)。
[0080]提供所公開的方面的以上描述以使本領(lǐng)域的任何技術(shù)人員能夠做出或者使用本發(fā)明。對這些方面的各種修改對于本領(lǐng)域技術(shù)人員而言是非常顯而易見的，并且在此定義的一般原理可以應(yīng)用于其他方面而不脫離本發(fā)明的范圍。因此，本發(fā)明不意圖被限制到在此示出的方面，而是按照與在此公開的原理和新穎的特征一致的最寬范圍。
[0081]為了例示和描述的目的已經(jīng)給出了以上描述。此外，此描述不意圖將本發(fā)明的實施例限制到在此公開的形式。盡管以上已經(jīng)討論了多個示例方面和實施例，但是本領(lǐng)域技術(shù)人員將認識到其某些變型、修改、改變、添加和子組合。
[0082]以上所述的方法的各個操作可以通過能夠進行相應(yīng)的功能的任何適當?shù)氖侄味M行。該手段可以包括各種硬件和/或軟件組件和/或模塊，包括但不限于電路、專用集成電路(ASIC)或處理器。
[0083]可以利用被設(shè)計用于進行在此所述的功能的通用處理器、數(shù)字信號處理器(DSP)、ASIC、場可編程門陣列信號(FPGA)或其他可編程邏輯器件(PLD)、離散門或晶體管邏輯、離散的硬件組件或者其任意組合而實現(xiàn)或進行所述的各個例示的邏輯塊、模塊和電路。通用處理器可以是微處理器，但是作為替換，該處理器可以是任何商業(yè)上可獲得的處理器、控制器、微控制器或狀態(tài)機。處理器還可以實現(xiàn)為計算設(shè)備的組合，例如DSP和微處理器的組合，多個微處理器、與DSP核協(xié)作的一個或多個微處理器或任何其他這樣的配置。
[0084]結(jié)合本公開描述的方法或算法的步驟可以直接嵌入在硬件中、處理器執(zhí)行的軟件模塊中或者這兩種的組合中。軟件模塊可以存在于任何形式的有形存儲介質(zhì)中?？梢允褂玫拇鎯橘|(zhì)的一些例子包括隨機存取存儲器(RAM)、只讀存儲器(ROM)、快閃存儲器、EPROM存儲器、EEPROM存儲器、寄存器、硬碟、可移動碟、CD-ROM等。存儲介質(zhì)可以耦接到處理器以便該處理器可以從該存儲介質(zhì)讀取信息以及向該存儲介質(zhì)寫信息。在替換方式中，存儲介質(zhì)可以與處理器是整體的。軟件模塊可以是單個指令或者許多指令，并且可以分布在幾個不同的代碼段上、不同的程序之間以及跨過多個存儲介質(zhì)。
[0085]在此公開的方法包括用于實現(xiàn)所述的方法的一個或多個動作。方法和/或動作可以彼此互換而不脫離權(quán)利要求的范圍。換句話說，除非指定了動作的具體順序，否則可以修改具體動作的順序和/或使用而不脫離權(quán)利要求的范圍。
[0086]所述的功能可以按硬件、軟件、固件或其任意組合而實現(xiàn)。如果以軟件實現(xiàn)，功能可以作為一個或多個指令存儲在切實的計算機可讀介質(zhì)上。存儲介質(zhì)可以是可以由計算機訪問的任何可用的切實介質(zhì)。通過例子而不是限制，這樣的計算機可讀介質(zhì)可以包括RAM、ROM、EEPROM、CD-ROM或其他光碟存儲、磁碟存儲或其他磁存儲器件或者可以用于攜帶或存儲指令或數(shù)據(jù)結(jié)構(gòu)形式的期望的程序代碼并且可以由計算機訪問的任何其他切實介質(zhì)。如在此使用的，碟(disk)和盤(disc)包括緊湊盤(⑶)、激光盤、光盤、數(shù)字通用盤(DVD)、軟碟和藍光盤，其中碟通常磁地再現(xiàn)數(shù)據(jù)，而盤利用激光光學地再現(xiàn)數(shù)據(jù)。
[0087]因此，計算機程序產(chǎn)品可以進行在此給出的操作。例如，這樣的計算機程序產(chǎn)品可以是具有有形存儲(和/或編碼)在其上的指令的計算機可讀的有形介質(zhì)，該指令可由一個或多個處理器執(zhí)行以進行在此所述的操作。計算機程序產(chǎn)品可以包括包裝的材料。
[0088]軟件或指令也可以通過傳輸介質(zhì)而傳輸。例如，可以使用諸如同軸電纜、光纖光纜、雙絞線、數(shù)字訂戶線(DSL)或諸如紅外、無線電或微波的無線技術(shù)的傳輸介質(zhì)從網(wǎng)站、月艮務(wù)器或者其他遠程源傳輸軟件。
[0089]此外，用于進行在此所述的方法和技術(shù)的模塊和/或其他適當?shù)氖侄慰梢栽谶m當時由用戶終端和/或基站下載和/或其他方式獲得。例如，這樣的設(shè)備可以耦接到服務(wù)器以促進用于進行在此所述的方法的手段的傳送?；蛘撸诖怂龅母鞣N方法可以經(jīng)由存儲部件(例如RAM、ROM、諸如CD或軟碟等的物理存儲介質(zhì))提供，以便用戶終端和/或基站可以在耦接到該設(shè)備或者向該設(shè)備提供存儲部件時獲得各種方法。此外，可以利用用于將在此所述的方法和技術(shù)提供給設(shè)備的任何其他適當?shù)募夹g(shù)。
[0090]其他例子和實現(xiàn)方式在本公開和所附權(quán)利要求的范圍和精神內(nèi)。例如，由于軟件的本質(zhì)，以上所述的功能可以使用由處理器、硬件、固件、硬連線或這些的任意的組合執(zhí)行的軟件實現(xiàn)。實現(xiàn)功能的特征也可以物理地位于各個位置，包括被分發(fā)以便功能的部分在不同的物理位置處實現(xiàn)。而且，如在此使用的，包括在權(quán)利要求中使用的，在以“至少一個”開始的項的列舉中使用的“或”指示分離的列舉，以便例如“A、B或C的至少一個”的列舉意味著A或B或C，或AB或AC或BC，或ABC (B卩A和B和C)。此外，措辭“示例的”不意味著描述的例子是優(yōu)選的或者比其他例子更好。
[0091]可以不脫離由所附權(quán)利要求定義的教導的技術(shù)而進行對在此所述的技術(shù)的各種改變、替換和更改。此外，本公開的和權(quán)利要求的范圍不限于以上所述的處理、機器、制造、事件的組成、手段、方法和動作的具體方面。可以利用與在此所述的相應(yīng)方面進行基本相同的功能或者實現(xiàn)基本相同的結(jié)果的當前存在的或者稍后要開發(fā)的處理、機器、制造、事件的組成、手段、方法或動作。因而，所附權(quán)利要求包括在其范圍內(nèi)的這樣的處理、機器、制造、事件的組成、手段、方法或動作。
【權(quán)利要求】
1.一種基于內(nèi)容特征的圖像碎片匹配方法，包括: 提取第一圖像碎片的第一邊緣，提取第二圖像碎片的第二邊緣； 沿著所述第一邊緣和第二邊緣提取各自的圖像碎片上的內(nèi)容的特征點； 提取第一圖像碎片和第二圖像碎片上的內(nèi)容經(jīng)過特征點的線段或弧線的方向信息作為特征向量； 比較所述第一圖像碎片和第二圖像碎片的內(nèi)容的特征點和特征向量的匹配度，來確定第一圖像碎片與第二圖像碎片是否匹配。
2.根據(jù)權(quán)利要求1所述的方法，還包括: 在所述特征點的比較之前，比較所述第一邊緣與所述第二邊緣的形狀，來確定所述第一邊緣和所述第二邊緣是否匹配， 其中，在所述第一邊緣與第二邊緣匹配的情況下，進行所述特征點的比較。
3.根據(jù)權(quán)利要求1所述的方法，其中，所述特征點包括圖像碎片上的內(nèi)容與邊緣的交叉點，且特征向量包括圖像碎片上的內(nèi)容經(jīng)過特征點的線段的斜率或弧線的切線斜率。 其中，所述特征點和特征向量的匹配度包括如下中的至少一種:特征點的位置的匹配度、特征點的個數(shù)的匹配度、特征向量的斜率的匹配度。
4.根據(jù)權(quán)利要求1所述的方法，其中，所述特征點是通過檢測圖像碎片的邊緣上的內(nèi)容的外輪廓矢量與內(nèi)輪廓矢量的交集來得到的。
5.根據(jù)權(quán)利要求1所述的方法，其中，所述特征向量通過如下步驟得到: 以特征點為起點，在碎片圖像中內(nèi)容的內(nèi)輪廓，直至拐點或像素點大于設(shè)定的閾值的點，則該點為終點； 連接上述起點和終點，其結(jié)果近似為直線或弧線； 若為直線，計算其斜率； 若為曲線，計算其在特征點處的切線斜率。
6.根據(jù)權(quán)利要求1所述的方法，還包括: 在所述特征點的比較之前，通過第一圖像碎片和第二圖像碎片的縮放、旋轉(zhuǎn)、平移中的至少一種來對準所述第一圖像碎片和第二圖像碎片的邊緣。
7.根據(jù)權(quán)利要求1所述的方法，其中，所述圖像碎片上的內(nèi)容包括如下中的至少一種: 文字、圖、表、文字的橫、豎、撇、捺和圖、表形的線段。
8.根據(jù)權(quán)利要求1所述的方法，還包括: 將匹配的第一圖像碎片和第二圖像碎片按照各自的邊緣拼接到一起。
9.一種基于內(nèi)容特征的圖像碎片匹配系統(tǒng)，包括: 邊緣提取裝置，被配置為提取第一圖像碎片的第一邊緣，提取第二圖像碎片的第二邊緣； 特征點提取裝置，被配置為沿著所述第一邊緣和第二邊緣提取各自的圖像碎片上的內(nèi)容的特征點； 特征向量提取裝置，被配置為提取第一圖像碎片和第二圖像碎片上的內(nèi)容經(jīng)過特征點的線段或弧線的方向信息作為特征向量； 比較裝置，被配置為比較所述第一圖像碎片和第二圖像碎片的內(nèi)容的特征點和特征向量的匹配度，來確定第一圖像碎片與第二圖像碎片是否匹配。
【文檔編號】G06T5/00GK103942757SQ201410103293
【公開日】2014年7月23日 申請日期:2014年3月19日 優(yōu)先權(quán)日:2014年3月19日
【發(fā)明者】王斌君, 趙興濤, 王靖亞 申請人:王斌君