專利名稱：基于雙視幾何的圖片偽造檢測(cè)方法
技術(shù)領(lǐng)域：
本發(fā)明屬于數(shù)字圖像真實(shí)性鑒定和圖像處理技術(shù)領(lǐng)域，具體涉及一種圖片偽造檢測(cè) 方法。
背景技術(shù)：
數(shù)字圖像廣泛應(yīng)用于我們?nèi)粘Ｉ詈凸ぷ鳟?dāng)中，已經(jīng)成為人們存貯和交換信息的重 要工具和方式。與此同時(shí)，隨著圖像和視頻編輯工具的發(fā)展完善，將具有真實(shí)感的物體 插入到圖片序列和視頻中變得越來(lái)越簡(jiǎn)單，這使得鑒別圖像和視頻的真實(shí)性變得越來(lái)越 重要。本發(fā)明涉及的數(shù)字圖像真實(shí)性鑒定技術(shù)能對(duì)圖像證據(jù)的可信度做出評(píng)價(jià)，揭示視 頻幀之間、同一場(chǎng)景照片之間的內(nèi)在差異，找出其中偽造的區(qū)域，為新聞、軍事、法律、 經(jīng)濟(jì)等提供決策支持，并且能夠廣泛應(yīng)用于軍事領(lǐng)域和民用領(lǐng)域。本發(fā)明以成像的雙視 幾何原理為切入點(diǎn)，分別從平面單應(yīng)性約束和極幾何約束兩方面鑒定圖像真實(shí)性。
本發(fā)明中涉及到的背景技術(shù)有(1)數(shù)字水印技術(shù)。數(shù)字水印技術(shù)1通過(guò)事先 在圖片中加入水印信息來(lái)識(shí)別修改過(guò)的圖像。(2)基于區(qū)域相似度比較的鑒別算法。如2中Wang和Farid通過(guò)估計(jì)區(qū)域相似度判斷視頻中的復(fù)制偽造。(3)通過(guò)矯正圖像 序列或視頻幀之間幾何形變的方法。如3中Johnson和Farid描述了一種通過(guò)矯正扭 曲的方法來(lái)判斷偽造。
目甜，圖像偽造檢測(cè)技術(shù)主要分為數(shù)字水印技術(shù)和盲檢測(cè)技術(shù)。數(shù)字水印技術(shù)在原 始圖像中加入"水印"以防止篡改者對(duì)圖像進(jìn)行修改。然而，數(shù)字水印技術(shù)有兩個(gè)難以 克服的缺陷。首先，它需要圖像提供者在圖像拍攝時(shí)對(duì)圖像進(jìn)行預(yù)處理以加入水印，但 這在很多實(shí)際情況下是不可能的，通常得到的圖像是沒(méi)有經(jīng)過(guò)"預(yù)處理"的圖片；其次， 水印信息很容易被像JPEG、 MPEG4這樣的有損壓縮毀壞，導(dǎo)致鑒定失敗。另一類為盲檢 測(cè)技術(shù)，即不依賴任何預(yù)簽名提取或預(yù)嵌入信息來(lái)鑒別圖像真?zhèn)魏蛠?lái)源的技術(shù)，具有較 高適用性。Wang和Farid2通過(guò)比較視頻中各幀之間、幀內(nèi)各區(qū)域之間的相似度來(lái)查 找復(fù)制偽造區(qū)域，即使在攝像機(jī)運(yùn)動(dòng)的情況下也能進(jìn)行偽造檢測(cè)，但只能處理視頻幀之 間小幅度的移動(dòng)。并且隨著相機(jī)的運(yùn)動(dòng)，同一物體形狀和大小都會(huì)發(fā)生扭曲和變化，這 種方法的性能也會(huì)隨著扭曲程度的加深而劇烈退化，另外，此類方法的時(shí)間復(fù)雜度太高， 不適合大規(guī)模應(yīng)用。Johnson和Farid3采用圖像序列中已知特定形狀的物體矯正幾 何形變，經(jīng)過(guò)矯正的圖像應(yīng)該一致，不一致的地方即為偽造區(qū)域，但該方法必須使用特 定的己知形狀的物體去矯正變形，如多邊形和圓形。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)的上述不足，提供一種數(shù)字媒體(數(shù)字圖像序列或視頻)真實(shí)性的驗(yàn)證技術(shù)。本發(fā)明以攝像機(jī)成像時(shí)的雙視幾何理論為基礎(chǔ)，分別用強(qiáng)幾 何約束(H約束)和另一種弱幾何約束(F約束)作為特征約束，對(duì)圖像真實(shí)性作出評(píng)價(jià)。 本發(fā)明只需找到有重疊部分的多張圖片即可進(jìn)行鑒定，具有很廣的適用性。 本發(fā)明采用如下的技術(shù)方案
一種基于雙視幾何的圖片偽造檢測(cè)方法，包括下列歩驟
第一步在需要鑒定的圖像序列或視頻中若能找出兩張圖像(I，I')，這兩張圖像滿
足如下條件之一，則采用如下的方法檢測(cè)圖像序列或視頻是否存在偽造區(qū)域，否則，直 接執(zhí)行第二步(I )攝像機(jī)位置保持不動(dòng)。具體包括相機(jī)純轉(zhuǎn)動(dòng)和純縮放的情況；(II) 成像物體在同一個(gè)平面上或在某一局部范圍內(nèi)待鑒定物體在同一個(gè)平面上
(1) 采用SIFT (Scale Invariant Feature Transform,具有尺度不變性的特征轉(zhuǎn)換) 方法查找兩幅圖像上相對(duì)應(yīng)的特征點(diǎn)。
(2) 使用Bucketing方法和RANSAC方法對(duì)査找到的相對(duì)應(yīng)的特征點(diǎn)進(jìn)行兩次篩選，得 到至少4組相對(duì)應(yīng)的特征點(diǎn)；
(3) 采用黃金準(zhǔn)則法估計(jì)平面單應(yīng)性矩陣H;
(4) 采用反向映射的方法，利用計(jì)算得到的平面單應(yīng)性矩陣H還原I到I';
(5) 采用像素差異的方法計(jì)算差異程度，公式為D(fi，W = l-C(ii^)，
c(a，"= 2 其中5,i是從圖像中抽象出來(lái)的作為局部
特征描述的向量，？7,，" ,是分別與A7對(duì)應(yīng)的第i項(xiàng)，從分別是對(duì)應(yīng)于ii，V的 平均值；
(6) 利用閾值切割差異圖，得到偽造區(qū)域的二值掩模圖像；
(7) 對(duì)得到的二值掩模圖像，去除離散的小區(qū)域，得到指示偽造區(qū)域的二值圖像。 第二步在需要鑒定的圖像序列或視頻中找出兩張圖像(I，I')，這兩張圖像為同一
個(gè)物體的圖像，則采用如下的方法檢測(cè)圖像序列或視頻是否存在偽造區(qū)域
(1) 采用SIFT (Scale Invariant Feature Transform,具有尺度不變性的特征轉(zhuǎn)換) 方法査找兩幅圖像上相對(duì)應(yīng)的特征點(diǎn)。
(2) 使用Bucketing方法和RANSAC方法對(duì)査找到的相對(duì)應(yīng)的特征點(diǎn)進(jìn)行兩次篩選；
(3) 采用因子化線性算法估計(jì)基本矩陣F;
(4) 定義點(diǎn)和直線的距離為d(^，F(xiàn)x,^ & (XjFx/),、，采用點(diǎn)和直線距離作為
評(píng)判標(biāo)準(zhǔn)，找出所有距離大于某一閾值的對(duì)應(yīng)點(diǎn)，形成偽造點(diǎn)的二值掩模圖像；
(5) 利用形態(tài)學(xué)操作，得到偽造區(qū)域的二值圖像。 本發(fā)明以有重疊區(qū)域的圖像組作為輸入進(jìn)行數(shù)字取證，首先用平面單應(yīng)性矩陣約束
(H約束)還原一張圖片到另一張圖片，然后進(jìn)行像素級(jí)別的比較以找出圖像中偽造的部 分，然后用極幾何的基本矩陣約束(F約束)來(lái)計(jì)算對(duì)應(yīng)點(diǎn)與其極線之間的距離來(lái)找出圖像中的偽造部分。本發(fā)明相比數(shù)字水印方法不需要對(duì)圖像進(jìn)行預(yù)處理，相比Wang和Farid 的方法具有計(jì)算復(fù)雜度低、能處理攝像機(jī)劇烈運(yùn)動(dòng)的情況等優(yōu)點(diǎn)，相比Johnson和Farid 的方法，具有不依賴已知特定形狀的物體的優(yōu)勢(shì)，具有更強(qiáng)的可行性和適用性。


圖1 H約束示意圖(a)為純轉(zhuǎn)動(dòng)和純縮放情況(b)為局部共面情況。(a)中的c 為相機(jī)，n,和ii2為相機(jī)轉(zhuǎn)動(dòng)甜后的成像面，i和&為X在相機(jī)轉(zhuǎn)動(dòng)前后的成像點(diǎn)。Ji, 和it 3為相機(jī)縮放前后的成像面，l和&為X在相機(jī)縮放前后的成像點(diǎn)。(b)中d和c2 為兩個(gè)相機(jī)的位置，x,和&為X點(diǎn)在這兩個(gè)相機(jī)上的成像點(diǎn)。
圖2 Bucketing技術(shù)原理。Bucketing技術(shù)采取全局優(yōu)化的策略減輕由偽造區(qū)域造 成的污染，圖2 (a) 、 (b)分別為相機(jī)轉(zhuǎn)動(dòng)前后的一組圖像，圖像上的特征點(diǎn)用矩形和 三角形和標(biāo)出，其中實(shí)心矩形代表原始圖像真實(shí)區(qū)域的特征點(diǎn)，而空心三角形表示偽造 區(qū)域的特征點(diǎn)，較大的矩形和三角形表示經(jīng)過(guò)Bucketing技術(shù)選擇出來(lái)對(duì)應(yīng)點(diǎn)。
圖3極幾何約束原理。其中c,和C2為兩個(gè)相機(jī)，x,和&為X在這兩個(gè)相機(jī)上的成 像點(diǎn)，e,和e2為極點(diǎn)，l,為極線。
圖4基于雙視幾何的圖像真實(shí)性鑒別方法總體流程圖。
圖5 用SIFT查找對(duì)應(yīng)特征點(diǎn)與用Bucketing技術(shù)過(guò)濾對(duì)應(yīng)點(diǎn)。(a歹ll)為兩張有 偽造區(qū)域的圖像，偽造區(qū)域用虛線橢圓標(biāo)出。(b列)為兩張?jiān)紙D像不使用Bucketing 技術(shù)時(shí)對(duì)應(yīng)點(diǎn)的分布。(c列)為兩張?jiān)紙D像使用了 Bucketing技術(shù)后對(duì)應(yīng)點(diǎn)的分布。
圖6采用H約束鑒定圖像真?zhèn)螌?shí)驗(yàn)結(jié)果。第一行和第二行分別為相機(jī)轉(zhuǎn)動(dòng)和相機(jī)縮 放的情況。(a列)、(b列)為兩張輸入的原始圖像。(c列)為對(duì)(a歹i」)的圖像用 計(jì)算得到的H矩陣進(jìn)行變換得到的圖像，經(jīng)過(guò)變換，(b列)和(c列)圖像在共有區(qū)域 應(yīng)該是一致的。(d列)偽造區(qū)域檢測(cè)結(jié)果，其中白色區(qū)域?yàn)閭卧靺^(qū)域，虛線框內(nèi)的圖像 為放大的局部圖像。
圖7釆用F約束鑒定圖像真實(shí)性的實(shí)驗(yàn)結(jié)果。(a)列為兩張帶有偽造區(qū)域的原始 圖像。(b)列為使用F約束的圖像，其中畫(huà)出的點(diǎn)和線為不滿足F約束的點(diǎn)和其極線。 (c)列為對(duì)兩張圖像分別進(jìn)行檢測(cè)的結(jié)果，其中白色區(qū)域?yàn)閭卧靺^(qū)域，虛線內(nèi)矩形框?yàn)?白色區(qū)域在原始圖像中位置區(qū)域的圖像，白色區(qū)域覆蓋的區(qū)域用較深的顏色標(biāo)出。
具體實(shí)施例方式
本發(fā)明主要采用平面單應(yīng)性約束和極幾何約束進(jìn)行圖像偽造檢測(cè)。具體步驟如下 第一步，對(duì)得到的圖像序列或視頻幀，采用平面單應(yīng)性約束H約束，判斷圖像真 實(shí)性。
首先，對(duì)得到的圖像對(duì)，先提取對(duì)應(yīng)特征點(diǎn)，然后計(jì)算平面單應(yīng)性矩陣H，再由計(jì)算 得到的H矩陣還原一張圖像到另一張圖像，最后進(jìn)行像素級(jí)別的差異比較來(lái)定位圖像中 的偽造區(qū)域，經(jīng)過(guò)矯正，差異明顯的點(diǎn)即可判斷為偽造區(qū)域的點(diǎn)，因此可以精確定位偽造區(qū)域。
具體如下
1.選擇圖像或視頻幀序列。
在需要鑒定的圖像序列或視頻中找出兩張圖像，這兩張圖像需要滿足如下條件之 一(I )攝像機(jī)位置保持不動(dòng)。具體包括相機(jī)純轉(zhuǎn)動(dòng)和純縮放的情況；(II) 成像物體在同一個(gè)平面上或在某一局部范圍內(nèi)待鑒定物體在同一個(gè)平面上。滿足 上述兩個(gè)條件之一的圖片可以用本步驟中一一對(duì)應(yīng)的強(qiáng)幾何約束來(lái)鑒定真?zhèn)巍?在針孔攝像機(jī)模型下，由相機(jī)成像原理5知世界坐標(biāo)系下的3D點(diǎn)X及其在相 機(jī)成像面上的2D投影點(diǎn)x滿足如下關(guān)系
x = PX = KR[I—C]X (1)
其中K為相機(jī)內(nèi)參數(shù)矩陣
K= 0 c2 (2)
00 1
R為相機(jī)的旋轉(zhuǎn)矩陣，I為單位矩陣，C為相機(jī)所在的位置。 在相機(jī)純轉(zhuǎn)動(dòng)的情況下(如圖1 (a))，記X分別在相機(jī)轉(zhuǎn)動(dòng)前后的成像面上 的投影點(diǎn)為x,和X2，有x, =K[I|0]Xffx2=K[R|0]X，進(jìn)而有
x2 =K[R|0]X = KRK-、 (3)
所以，x,和^之間可以用一個(gè)3X3的平面單應(yīng)性矩陣H。來(lái)轉(zhuǎn)換。 在相機(jī)純縮放的情況下(如圖1 (a))，相機(jī)縮放前后X在成像面上的投影、和
Xj滿足X, =1<:[1|0]乂和^ =K'[I|0]X，于是
x3 二K'[IIO]X二K'K、 =Hzx, (4)
理想情況下K和K'只有焦距f不同。
在待鑒定區(qū)域局部共面時(shí)(如圖1 (b))，不管相機(jī)是否保持位置不變，成像面 上的點(diǎn)總滿足平面單應(yīng)性約束
x「H^ (5)
需要注意的是在這種情況下，雖然要求點(diǎn)共面，但對(duì)攝像機(jī)沒(méi)有要求，焦距，旋 轉(zhuǎn)角度以及位置均可隨意變化。
綜上所述，挑選出滿足條件(I )或(II)的成對(duì)圖像，然后進(jìn)行本發(fā)明的后續(xù) 判斷。
2. 查找兩幅圖像上的對(duì)應(yīng)特征點(diǎn)
找到圖像對(duì)(I，I')后，需要提取兩幀圖像上的對(duì)應(yīng)點(diǎn)。本發(fā)明采用SIFT4
方法進(jìn)行對(duì)應(yīng)點(diǎn)的查找，SIFT是一種具有尺度、旋轉(zhuǎn)不變性的特征描述方法，用 來(lái)查找兩幅圖像上相對(duì)應(yīng)的特征點(diǎn)。
3. 篩選對(duì)應(yīng)點(diǎn)以提高準(zhǔn)確率我們需要用査找到的對(duì)應(yīng)點(diǎn)計(jì)算平面單應(yīng)性矩陣以還原這兩張圖像，査找到的對(duì) 應(yīng)點(diǎn)都可以用來(lái)計(jì)算平面單應(yīng)性矩陣，但是在圖像存在偽造部分的情況下，査找 到的對(duì)應(yīng)點(diǎn)有可能大量分布在偽造區(qū)域，而來(lái)自真實(shí)區(qū)域的正確的對(duì)應(yīng)點(diǎn)的比例 可能較小，導(dǎo)致計(jì)算的平面單應(yīng)性矩陣誤差很大。本發(fā)明使用Bucketing技術(shù)6
和RANSAC技術(shù)5對(duì)查找到的對(duì)應(yīng)點(diǎn)進(jìn)行兩次篩選。
如圖2所示，Bucketing技術(shù)采取全局優(yōu)化的策略減輕由偽造區(qū)域造成的污染，
(a) 、 (b)為一對(duì)標(biāo)注了特征點(diǎn)的圖像，它們可以看作是相機(jī)轉(zhuǎn)動(dòng)前后的。黑 色方框代表原始圖像真實(shí)區(qū)域的特征點(diǎn)，而空心三角形表示偽造區(qū)域的點(diǎn)，經(jīng)過(guò) Bucketing技術(shù)，我們從這些特征點(diǎn)中選擇出的特征點(diǎn)用大尺寸的相應(yīng)形狀表示。 圖像首先被劃分為MXN塊，對(duì)應(yīng)的特征點(diǎn)位于每個(gè)小塊。在選擇特征點(diǎn)時(shí)，采 取如下原則(1)只從至少擁有一個(gè)對(duì)應(yīng)點(diǎn)的小塊中選擇特征點(diǎn)；(2)當(dāng)需要 一對(duì)相應(yīng)點(diǎn)時(shí)，隨機(jī)挑選一個(gè)小塊，然后從這一塊中隨機(jī)挑選一個(gè)特征點(diǎn)；(3) 選出過(guò)特征點(diǎn)的小塊不能再一次被選擇。經(jīng)過(guò)Bucketing技術(shù)，極大增加了來(lái)自 真實(shí)區(qū)域特征點(diǎn)的比例。
在實(shí)際情況下，SIFT算法找出的對(duì)應(yīng)特征點(diǎn)也不是完全正確的，總會(huì)得到一些非 對(duì)應(yīng)點(diǎn)的外點(diǎn)，這些外點(diǎn)可以使用RANSAC技術(shù)移除。RANSAC是一種魯棒的參數(shù) 估計(jì)方法，通過(guò)完全移除外點(diǎn)的策略估計(jì)數(shù)學(xué)模型，徹底消除外點(diǎn)對(duì)估計(jì)的影響， 而不是通過(guò)更多的內(nèi)點(diǎn)來(lái)減小外點(diǎn)對(duì)估計(jì)的影響。 計(jì)算平面單應(yīng)性矩陣H
找到了正確率較高的對(duì)應(yīng)特征點(diǎn)對(duì)(x，]0，接下來(lái)采用黃金準(zhǔn)則5去估計(jì)平面 單應(yīng)性矩陣H。計(jì)算H最少需要4組對(duì)應(yīng)點(diǎn)，在只有4組對(duì)應(yīng)點(diǎn)的情況下，采用 直接線性方法(DLT)5計(jì)算H，使x;^Hx。給定一組對(duì)應(yīng)特征點(diǎn)Xi，x;，把x;
寫(xiě)成其次坐標(biāo)的形式X;-0C,'，乂,M0T，有
V
h2 h3
=0 (6)
0T- w乂 y乂
Vu 乂
4組對(duì)應(yīng)點(diǎn)可以提供8個(gè)這樣的約束方程，即可解出自由度為8的平面單應(yīng)性矩 陣H。
當(dāng)對(duì)應(yīng)點(diǎn)大于4組時(shí)，先用RANSAC算法移除外點(diǎn)，然后對(duì)于所有的內(nèi)點(diǎn)，用黃 金準(zhǔn)則估計(jì)最小化全局誤差的H矩陣。 5.還原圖片并進(jìn)行區(qū)域相似度比較 (
用計(jì)算得到的平面單應(yīng)性矩陣H還原I到I'，這樣，兩幅圖像在同一個(gè)位置上的 信息才具有可比性。由x'二Hx知，用H直接乘以I上的點(diǎn)即可完成還原，但會(huì)出 現(xiàn)鏤空點(diǎn)的情況，為了解決這一問(wèn)題，本發(fā)明采用反向映射的方法，對(duì)I'上的每
個(gè)點(diǎn)，反向在i上尋找與之相對(duì)應(yīng)的點(diǎn)，這樣，除了在圖像上確實(shí)找不到的點(diǎn)，r上每一個(gè)點(diǎn)都能被填充。
經(jīng)過(guò)H變換，真實(shí)區(qū)域的像素被準(zhǔn)確地映射到正確的點(diǎn)，而偽造區(qū)域的點(diǎn)通常很 難以合適的尺寸、合適的幾何畸變插入到合適的位置，尤其是旋轉(zhuǎn)角度、縮放比 例比較大的時(shí)候，特別的，對(duì)于不要求攝像機(jī)位置保持不變的局部共面情況，兩 幅圖像可以用不同的角度、不同的焦距進(jìn)行拍攝，導(dǎo)致更大的變形，更難使偽造 區(qū)域精確映射。依據(jù)此原理，對(duì)矯正完的圖像組，本發(fā)明采用像素差異的方法計(jì)
<formula>formula see original document page 8</formula>
其中ii，f是從圖像中抽象出來(lái)的作為局部特征描述的向量，g，巧是分別與Al^對(duì)
應(yīng)的第i項(xiàng)，A， A分別是對(duì)應(yīng)于fi，V的平均值。我們用一個(gè)閾值去切割這個(gè)
差異圖即可得到偽造區(qū)域的二值掩模圖像，考慮到通用性，本發(fā)明采用的閾值為
,=max (9) 對(duì)得到的二值圖像，去除離散的小區(qū)域，即可得到指示偽造區(qū)域的二值掩模圖像。
第二步，對(duì)得到的圖像序列或視頻幀，采用極幾何約束F約束來(lái)找出偽造區(qū)域。
首先，對(duì)得到的圖像對(duì)，先提取對(duì)應(yīng)特征點(diǎn)，然后計(jì)算它們之間的基本矩陣F，再由 計(jì)算得到的F矩陣計(jì)算對(duì)應(yīng)點(diǎn)與其極線之間的距離，距離較大的點(diǎn)即屬于偽造區(qū)域，最 后，對(duì)得到的偽造點(diǎn)進(jìn)行形態(tài)學(xué)操作，形成連通區(qū)域來(lái)指示圖像中的偽造區(qū)域。
具體如下
1.選擇圖像或視頻幀序列。
在需要鑒定的圖像序列或視頻中找出兩張圖像，這兩張圖像只需照到同一個(gè)物體
即可，不需要像H約束一樣有特殊要求，因此具有很廣的適用性，比如不同游客 在不同時(shí)間不同角度拍到的同一個(gè)天安門，采用本發(fā)明的方法即可對(duì)其真實(shí)性作 出判定。本約束采用的原理如圖3所示，C,和C2為兩個(gè)相機(jī)，也可看作同一個(gè)相 機(jī)在不同位置拍攝3D世界中的點(diǎn)X兩次，X分別在兩個(gè)相機(jī)上成像為x,和x2， d、 C2兩個(gè)點(diǎn)的連線交成像面于極點(diǎn)e,和e2。令Ur[、,^，l]'ox卜[x》;，l]', j^,2，…，nl是兩幅圖像間的一組點(diǎn)對(duì)應(yīng)，根據(jù)兩幅圖像間的極幾何理論5， 它們必關(guān)聯(lián)于一個(gè)3X3的基本矩陣
<formula>formula see original document page 8</formula>
即，當(dāng)測(cè)量數(shù)據(jù)無(wú)誤差時(shí)，有
x',Fx,=0 (10)在此極幾何約束下，對(duì)應(yīng)點(diǎn)之間受到基本矩陣F的約束，F(xiàn)把一個(gè)成像面上的點(diǎn) x映射到另一個(gè)成像面上的一條線L (如圖3)，正常情況下，X2必然在L上， 但偽造的區(qū)域不會(huì)很精確地滿足此約束，于是，我們可以用此約束來(lái)判斷兩幅圖 像上對(duì)應(yīng)點(diǎn)之間的關(guān)系，當(dāng)X2點(diǎn)到L的距離大于一定閾值時(shí)，即可判斷此點(diǎn)屬 于偽造區(qū)域。
2. 査找兩幅圖像上的對(duì)應(yīng)特征點(diǎn)
本步驟與H約束中査找對(duì)應(yīng)點(diǎn)的方法類似，均使用SIFT算法實(shí)現(xiàn)對(duì)應(yīng)點(diǎn)的查找， 在這里不再詳述。詳見(jiàn)第一步中查找對(duì)應(yīng)點(diǎn)部分。
3. 篩選對(duì)應(yīng)點(diǎn)
本步驟與H約束中篩選對(duì)應(yīng)點(diǎn)的方法類似，均使用兩階段的篩選方法(1) Bucketing技術(shù)進(jìn)行全局最優(yōu)化選擇特征點(diǎn)以降低來(lái)自偽造區(qū)域的稠密特征點(diǎn)對(duì) 估計(jì)F的影響；(2)采用RANSAC算法移除外點(diǎn)來(lái)消除錯(cuò)誤對(duì)應(yīng)點(diǎn)對(duì)估計(jì)F的影 響，在這里均不再詳述。詳見(jiàn)第一歩中的篩選對(duì)應(yīng)點(diǎn)部分。需要注意的是，本歩 驟的方法對(duì)攝像機(jī)的運(yùn)動(dòng)沒(méi)有任何要求，可以處理更多情況，具有更廣的適用性， 對(duì)于拍攝角度差異很大的照片組，SIFT可能產(chǎn)生比H約束中更多的外點(diǎn)，因此需 要RANSAC算法參數(shù)條件更加苛刻一點(diǎn)以盡可能多地移除外點(diǎn)，以提高估計(jì)基本 矩陣F的精確度。
4. 計(jì)算基本矩陣F
給定相對(duì)應(yīng)的特征點(diǎn)組，本發(fā)明采用因子化線性算法估計(jì)基本矩陣F，記
f-[^,^,^，/^，i^,^,&,i^，7^:r，估計(jì)基本矩陣的直接線性方法是在約束條件
llfl卩-l下，求下述方程組的最小二乘解
M
x9J
(11)
其中M^是測(cè)量矩陣:
.…n —
#2
少2
々2
V2
;c二x,, y乂 ^A 1
首先，將測(cè)量矩陣M,^分解成
IV！ — A R
其中
(12)
(13)<formula>formula see original document page 10</formula>計(jì)算f'得到對(duì)應(yīng)的矩陣F'，并對(duì)F'進(jìn)行奇異值分解 后得到基本矩陣的估計(jì)F' = IW/ag(c7,，^，0)V 。 5.找出偽造區(qū)域
由于此極幾何約束把圖像I上的點(diǎn)映射到圖像I'上的一條線，而不是一個(gè)點(diǎn)，所 以，不能用還原整張圖像的方法對(duì)比圖像以找到偽造區(qū)域。本發(fā)明采用點(diǎn)和直線
距離作為評(píng)判標(biāo)準(zhǔn)，對(duì)i上的一點(diǎn)x，用得到的基本矩陣F，把它映射到r上的一
條直線L，而x在I'上的對(duì)應(yīng)點(diǎn)x'應(yīng)該經(jīng)過(guò)L，如果x'到l,距離過(guò)大，即可判斷 x和x'為偽造區(qū)域上的點(diǎn)。由此原理，即可找到圖像上的偽造區(qū)域，本發(fā)明采用 的距離定義如下
<formula>formula see original document page 10</formula>(17)
找出所有距離大于某一閾值的對(duì)應(yīng)點(diǎn)，形成偽造點(diǎn)的二值掩模圖像，運(yùn)用形態(tài)學(xué) 操作后，即可得到偽造區(qū)域的二值圖像。 第三步，依據(jù)本發(fā)明中提到的所有幾何約束做出真實(shí)性判斷。 對(duì)于上述兩個(gè)步驟，不滿足任何一步中所描述的幾何約束的圖像序列，都可以判定 其為偽造的圖像，并且，偽造區(qū)域可以由本發(fā)明的具體判斷方法給出。
本發(fā)明的基于雙視幾何的圖片偽造檢測(cè)技術(shù)主要采用H約束和F約束進(jìn)行鑒別，圖4 為總體流程圖，具體包括以下幾個(gè)步驟 步驟l:用平面單應(yīng)性約束鑒別圖像真實(shí)性(H約束) 1.選擇圖像或視頻幀序列。
從輸入的圖片序列或視頻中選擇攝像機(jī)位置變化或待鑒定物體局部共面的圖像.0179 -0.5757 0.0001 0.0000-159.4605 -5.3825 —0.6039說(shuō)明書(shū)第9/10頁(yè)組，如圖5、圖6中的圖像組。2. 查找兩幅圖像上的對(duì)應(yīng)特征點(diǎn)采用SIFT4方法進(jìn)行對(duì)應(yīng)點(diǎn)的査找，結(jié)果如圖5所示，(a)列上、下兩幅圖 像為攝像機(jī)轉(zhuǎn)動(dòng)前后的照片(大小800X600像素)，其中用虛線橢圓標(biāo)出的部 分為偽造區(qū)域，(b)列兩幅圖像為在原圖上標(biāo)注出SIFT査找的特征點(diǎn)的結(jié)果， 可以看出大部分對(duì)應(yīng)點(diǎn)都是正確的。3. 篩選對(duì)應(yīng)點(diǎn)以提高準(zhǔn)確率如圖5 (c)所示，經(jīng)過(guò)Bucketing技術(shù)挑選出的特征點(diǎn)分布均勻了很多，從原始 SIFT找到的467對(duì)特征點(diǎn)中挑出的67對(duì)特征點(diǎn)中，來(lái)自真實(shí)區(qū)域的特征點(diǎn)的比 例比未經(jīng)過(guò)Bucketing技術(shù)篩選前提高了很多。如圖5 (c)所示，固體膠棒上的點(diǎn)明顯是査找到的外點(diǎn)，經(jīng)過(guò)RANSAC，這樣的 不真實(shí)點(diǎn)被進(jìn)一歩移除，提高了數(shù)據(jù)的準(zhǔn)確率。4. 計(jì)算平面單應(yīng)性矩陣H以經(jīng)過(guò)篩選的對(duì)應(yīng)點(diǎn)作為輸入，使用黃金法則，計(jì)算圖5中(c)圖像對(duì)到轉(zhuǎn)換矩陣H如下5.還原圖片并進(jìn)行區(qū)域相似度比較如圖6所示，(a)、 (b)兩列為原始輸入圖片，(c)列為用計(jì)算得到的平面單應(yīng)性 矩陣H還原(a)列圖像的結(jié)果，可以看到，當(dāng)(a)被還原后，(b)、 (c)在相同位置 上的圖像信息具有了可比性。圖6 (d)為偽造區(qū)域的二值掩模圖像，虛線框里為放大了的偽造區(qū)域的二值掩模 圖像?？梢钥吹?，不論對(duì)于相機(jī)轉(zhuǎn)動(dòng)的情況(圖6第一行)，還是對(duì)于相機(jī)縮放 的情況(圖6第二行)，本發(fā)明采用的方法都能正確地找到圖像中的偽造區(qū)域。 步驟2:用極幾何約束鑒別圖像真實(shí)性(F約束)1. 選擇圖像或視頻幀序列 從輸入的圖片序列或視頻中選擇彼此有重合區(qū)域的圖像組，如圖7中的圖像組。2. 查找兩幅圖像上的對(duì)應(yīng)特征點(diǎn)本步驟與H約束中査找對(duì)應(yīng)點(diǎn)的方法類似，詳見(jiàn)歩驟1中的査找對(duì)應(yīng)點(diǎn)部分。3. 篩選對(duì)應(yīng)點(diǎn)本歩驟與H約束中篩選對(duì)應(yīng)點(diǎn)的方法類似，在這里均不再詳述。詳見(jiàn)步驟l中的 篩選對(duì)應(yīng)點(diǎn)部分。4. 計(jì)算基本矩陣F對(duì)圖7中的圖像組，采用因子化線性算法估計(jì)左圖到有圖的基本矩陣F，得到11—5.0101e-007 4.5835e-006 -0.00105106畫(huà) F= 1.6817e-006 2.2052e-008 -0.0100171 0.00042236 0.00729938 0.565023435.找出偽造區(qū)域圖7為F約束的兩組實(shí)驗(yàn)結(jié)果，(a)為帶有偽造區(qū)域的原始輸入圖像組，(b) 為用公式(17)判斷的結(jié)果，其中只畫(huà)出了距離大于5的點(diǎn)和線，(c)為得到 的偽造區(qū)域二值掩模圖像，其中虛線方框中為放大了點(diǎn)偽造區(qū)域視圖，并加深了 二值圖像指示的偽造區(qū)域，可以看到，本發(fā)明的方法基本上找到了偽造區(qū)域，需 要注意的是，以上所述的方法都能自動(dòng)完成，如果采用手動(dòng)的方法，定位偽造區(qū) 域可以精確到像素級(jí)別。步驟3:綜合評(píng)價(jià)圖像真實(shí)性經(jīng)過(guò)歩驟1和歩驟2中的兩種基于雙視幾何的約束H約束和F約束，違反任何一條 約束的圖像組可以立即判定為偽造圖像，并且依據(jù)相應(yīng)方法給出具體的偽造區(qū)域，如圖6 (d)、圖7 (c)所示。 主要參考文獻(xiàn)1
H. Liu， J. Rao, and X. Yao， "Feature based watermarking scheme for image authentication基于特征的圖像認(rèn)證水印豐幾制"in Proceedings of the 2007 IEEE International Conference on Multimedia and Expo, 2008, pp. 229 - 232.2
W. Wang and H. Farid， "Exposing digital forgeries in video by detecting duplication,通過(guò)檢測(cè)視頻中的復(fù)制部分來(lái)檢測(cè)數(shù)字偽造"ACM Multimedia and Security Workshop, 2007.3
M. K. Johnson and H. Farid, "Metric measurements on a plane from a single image,用單幅圖像中的平面進(jìn)行度量測(cè)量"Technical Report TR2006-579, Department of Computer Science, Dartmouth College, 2006.4
D. G. Lowe, "Distinctive image features from scale-invariant keypoints 具有比例不變性關(guān)鍵點(diǎn)的圖像特征"International Journal of Computer Vision, 2004, pp. 91-110.5
R. Hartley and A. Zisserman， "Multiple view geometry in computer vision 計(jì)算機(jī)視覺(jué)中的多視幾何"Cambridge University Press, 2004.6
Z. Zhang, "Determining the印ipolar geometry and its uncertainty: A review 回顧極幾何與其不確定性，，International Journal of Computer Vision, 1998， vol. 27' pp. 161 - 198.
權(quán)利要求
1. 一種基于雙視幾何的圖片偽造檢測(cè)方法，包括下列步驟第一步在需要鑒定的圖像序列或視頻中若能找出兩張圖像(I，I′)，這兩張圖像滿足如下條件之一，則采用如下的方法檢測(cè)圖像序列或視頻是否存在偽造區(qū)域，否則，直接執(zhí)行第二步(I)攝像機(jī)位置保持不動(dòng)。具體包括相機(jī)純轉(zhuǎn)動(dòng)和純縮放的情況；(II)成像物體在同一個(gè)平面上或在某一局部范圍內(nèi)待鑒定物體在同一個(gè)平面上(1)采用SIFT(Scale Invariant Feature Transform，具有尺度不變性的特征轉(zhuǎn)換)方法查找兩幅圖像上相對(duì)應(yīng)的特征點(diǎn)。(2)使用Bucketing方法和RANSAC方法對(duì)查找到的相對(duì)應(yīng)的特征點(diǎn)進(jìn)行兩次篩選，得到至少4組相對(duì)應(yīng)的特征點(diǎn)；(3)采用黃金準(zhǔn)則法估計(jì)平面單應(yīng)性矩陣H；(4)采用反向映射的方法，利用計(jì)算得到的平面單應(yīng)性矩陣H還原I到I′；(5)采用像素差異的方法計(jì)算差異程度，公式為其中是從圖像中抽象出來(lái)的作為局部特征描述的向量，是分別與對(duì)應(yīng)的第i項(xiàng)，μu，μv分別是對(duì)應(yīng)于的平均值；(6)利用閾值切割差異圖，得到偽造區(qū)域的二值掩模圖像；(7)對(duì)得到的二值掩模圖像，去除離散的小區(qū)域，得到指示偽造區(qū)域的二值圖像。第二步在需要鑒定的圖像序列或視頻中找出兩張圖像(I，I′)，這兩張圖像為同一個(gè)物體的圖像，則采用如下的方法檢測(cè)圖像序列或視頻是否存在偽造區(qū)域(1)采用SIFT(Scale Invariant Feature Transform，具有尺度不變性的特征轉(zhuǎn)換)方法查找兩幅圖像上相對(duì)應(yīng)的特征點(diǎn)。(2)使用Bucketing方法和RANSAC方法對(duì)查找到的相對(duì)應(yīng)的特征點(diǎn)進(jìn)行兩次篩選；(3)采用因子化線性算法估計(jì)基本矩陣F；(4)定義點(diǎn)和直線的距離為，采用點(diǎn)和直線距離作為評(píng)判標(biāo)準(zhǔn)，找出所有距離大于某一閾值的對(duì)應(yīng)點(diǎn)，形成偽造點(diǎn)的二值掩模圖像；(5)利用形態(tài)學(xué)操作，得到偽造區(qū)域的二值圖像。
全文摘要
本發(fā)明屬于數(shù)字圖像真實(shí)性鑒定和圖像處理技術(shù)領(lǐng)域，涉及一種基于雙視幾何的圖片偽造檢測(cè)方法，該方法以攝像機(jī)成像時(shí)的雙視幾何理論為基礎(chǔ)，分別用強(qiáng)幾何約束(H約束)和另一種弱幾何約束(F約束)作為特征約束，對(duì)圖像真實(shí)性作出評(píng)價(jià)。本發(fā)明只需找到有重疊部分的多張圖片即可進(jìn)行鑒定，具有很廣的適用性。
文檔編號(hào)G06T7/00GK101533513SQ20091006862
公開(kāi)日2009年9月16日 申請(qǐng)日期2009年4月24日 優(yōu)先權(quán)日2009年4月24日
發(fā)明者馮志勇, 煒 張, 操曉春, 萍 王 申請(qǐng)人:天津大學(xué)