像清晰度越小,因此利用梯度模值作為圖像清晰度的打分標(biāo)準(zhǔn),可使視頻帖在清晰度上的 打分客觀數(shù)字化,便于計(jì)算機(jī)實(shí)現(xiàn)W及后續(xù)抽帖處理。
[0038] 在步驟S102中,具體的,在所述獲取所述待處理視頻中每個(gè)帖的扭曲度值的步驟 中包括如下步驟:S301.獲取所述待處理視頻中所有帖的圖像特征點(diǎn);S302.根據(jù)所述圖像 特征點(diǎn),獲取各個(gè)兩兩帖之間的第一單應(yīng)性變換矩陣Ft,然后依次級聯(lián)各個(gè)第一單應(yīng)性變 換矩陣Ft,得到所述待處理視頻的第一矩陣集合: F=化,F(xiàn)A,F1F2F3,F1F2F3F4, ? ? ?,F(xiàn)A...Ft...Fs2& 1,F(xiàn)A...Ft...Fs村 式中,S為所述待處理視頻中帖的總數(shù),F(xiàn)t為第t個(gè)帖與第t+1個(gè)帖之間的第一單應(yīng)性 變換矩陣,F(xiàn)s為單位矩陣;S303.對所述第一矩陣集合中的每個(gè)元素進(jìn)行平滑處理,得到所 述處理視頻的第二矩陣集合: H=化,邸2,邸2&,H1H2H3H4, ? ? ?,H化…H品化} 式中,S為所述待處理視頻中帖的總數(shù);S304.通過依次對比所述第一矩陣集合與所述 第二矩陣集合的對應(yīng)元素,獲取對應(yīng)帖的第二單應(yīng)性變換矩陣BTi;S305.分別在各個(gè)帖對 應(yīng)的所述第二單應(yīng)性變換矩陣中抽取左上角的四個(gè)元素,組成對應(yīng)的第一矩陣: 為馬 _碼D, 矩陣中,Al,Bi,Ci和D1分別為第i個(gè)帖對應(yīng)的第二單應(yīng)性變換矩陣BT沖左上角的四 個(gè)元素,然后對對應(yīng)的第一矩陣進(jìn)行奇異值分解,獲得對應(yīng)的第二矩陣: 4: 〇 _0 乂;, 矩陣中,AIi和A21為第i個(gè)帖對應(yīng)的第二矩陣中主對角線上的兩個(gè)參數(shù)值;S306.分 別對各個(gè)帖的比值Ki=A。/A21進(jìn)行歸一化處理,并將結(jié)果值作為對應(yīng)帖的扭曲度值。
[0039] 在步驟S302中,所述兩兩帖之間的第一單應(yīng)性變換矩陣用于作為帖間運(yùn)動(dòng)模型, 描述兩兩帖之間的運(yùn)動(dòng),可W但不限于為如下形式: Xp'幻'b C X 枯二分e/V-Zf-_客A1_ -1_ 式中,(x,y)表示單應(yīng)性變換前的坐標(biāo),對應(yīng)著兩兩帖中后一帖的圖像特征點(diǎn)的位置, (卻,yp,Zp)表示單應(yīng)性變換后的坐標(biāo),對應(yīng)著兩兩帖中后一帖中前一帖的圖像特征點(diǎn)的位 abC 置,還e/即為所述第一單應(yīng)性變化矩陣,表示兩兩帖之間的運(yùn)動(dòng)模型,其中,左上角 _各成1_ 的四個(gè)元素(a,b,d,e)表示圖像的旋轉(zhuǎn)和縮放,左下角的兩個(gè)元素(g,h)表示圖像的透視 變換,右上角的兩個(gè)元素(c,f)表示圖像的平移變換。由于第S個(gè)帖(即最末帖)之后不 存在下一個(gè)帖,為了便于后續(xù)得到第S帖對應(yīng)的扭曲度值(即后續(xù)的第一矩陣集合和第二 矩陣集合均需包括S個(gè)元素),則將第S個(gè)帖與第S個(gè)帖(即最末帖與最末帖)之間的單應(yīng) 性變化矩陣作為針對第S個(gè)帖的兩兩帖之間的第一單應(yīng)性變化矩陣Fs,其為單位矩陣,可W 'IO& 但不限于為如下形式:OIO。因此所述第一矩陣集合用于描述所述待處理視頻中非穩(wěn) OO1 定的帖間運(yùn)動(dòng)模型集合(即初始相機(jī)路徑),所述第二矩陣集合用于描述對所述非穩(wěn)定的 帖間運(yùn)動(dòng)模型進(jìn)行平滑處理后得到的、穩(wěn)定的帖間運(yùn)動(dòng)模型(即優(yōu)化相機(jī)路徑)。
[0040] 在步驟S303中,所述奇異值分解(SingularValueDecomposition)是線性代數(shù) 中一種重要的矩陣分解,是矩陣分析中正規(guī)矩陣酉對角化的推廣,對姑2矩陣進(jìn)行奇異值 分解后,得到U 從而可W得到各個(gè)帖對應(yīng)的第二矩陣。 U A,
[0041] 在步驟S305中,所述分別對各個(gè)帖的比值K進(jìn)行歸一化處理的方式,可W是但不 限于是如下方式:先從所有帖的比值K中獲取最小比值和最大比值,然后利用歸一化公式 將各個(gè)帖的比值K歸一化到[0, 1]范圍內(nèi),處于[0, 1]范圍內(nèi)的結(jié)果值即為對應(yīng)帖的扭曲 值。如圖3所示,所述步驟S301至S305提供了一種標(biāo)準(zhǔn)化的機(jī)制來量化視頻帖的扭曲度, 由于比值K越接近于1,對應(yīng)的圖像扭曲度越小,圖像質(zhì)量越高,比值K越遠(yuǎn)離于1,對應(yīng) 的圖像扭曲度越大,圖像質(zhì)量越低,因此利用比值K作為圖像扭曲度的打分標(biāo)準(zhǔn),可使視 頻帖在扭曲度上的打分客觀數(shù)字化,便于計(jì)算機(jī)實(shí)現(xiàn)W及后續(xù)抽帖處理。
[0042] 在步驟S102中,具體的,在所述獲取所述待處理視頻中每個(gè)帖的匹配度值的步驟 中包括如下步驟:S401.針對每個(gè)帖,對當(dāng)前帖和對應(yīng)相鄰帖進(jìn)行圖像特征點(diǎn)提取和匹配 處理,獲取當(dāng)前帖與各個(gè)對應(yīng)相鄰帖的匹配特征點(diǎn);S402.針對每個(gè)帖,統(tǒng)計(jì)獲取當(dāng)前帖與 各個(gè)對應(yīng)相鄰帖的匹配特征點(diǎn)總數(shù);S403.分別對各個(gè)帖的所述匹配特征點(diǎn)總數(shù)進(jìn)行歸一 化處理,并將結(jié)果值作為對應(yīng)帖的匹配度值。
[0043] 在步驟S401中,進(jìn)一步具體的,所述對應(yīng)相鄰帖處于所述當(dāng)前帖的一個(gè)半徑不小 于2且不大于8的領(lǐng)域帖范圍內(nèi)。作為舉例的,如圖5所示,所述領(lǐng)域帖范圍的半徑值設(shè)定 3,則在步驟S401中,針對每個(gè)帖,至多需要對7個(gè)視頻帖(一個(gè)當(dāng)前帖和前后各=個(gè)相鄰 帖)進(jìn)行圖像特征點(diǎn)提取和匹配處理,獲取6組當(dāng)前帖與對應(yīng)相鄰帖的匹配特征點(diǎn)。
[0044] 在步驟S402中,在所述獲取當(dāng)前帖與各個(gè)對應(yīng)相鄰帖的匹配特征點(diǎn)總數(shù)的方式 中,首先采用但不限于采用教科書〈〈MultiviewGeometryinComputerVision〉〉中提供 的單應(yīng)性變換結(jié)合RANSAC的標(biāo)準(zhǔn)算法對所述當(dāng)前帖與各個(gè)對應(yīng)相鄰帖的匹配特征點(diǎn)進(jìn)行 篩選,然后統(tǒng)計(jì)篩選后的當(dāng)前帖與各個(gè)對應(yīng)相鄰帖的匹配特征點(diǎn)的總數(shù)。
[0045] 在步驟403中,所述分別對各個(gè)帖的所述匹配特征點(diǎn)總數(shù)進(jìn)行歸一化處理的方 式,可W是但不限于是如下方式:先從所有帖的所述剩余匹配特征點(diǎn)總數(shù)中獲取最小數(shù)值 和最大數(shù)值,然后利用歸一化公式將各個(gè)帖的所述匹配特征點(diǎn)總數(shù)歸一化到[0,1]范圍 內(nèi),處于[0,1]范圍內(nèi)的結(jié)果值即為對應(yīng)帖的匹配值。如圖4所示,所述步驟S401至S403 提供了一種標(biāo)準(zhǔn)化的機(jī)制來量化視頻帖的匹配度,由于所述匹配特征點(diǎn)總數(shù)越多,則表示 對應(yīng)帖與對應(yīng)相鄰帖的公共信息越多,對應(yīng)的圖像匹配度越高,所述匹配特征點(diǎn)總數(shù)越少, 則表示對應(yīng)帖與對應(yīng)相鄰帖的公共信息越少,對應(yīng)的圖像匹配度低,因此利用所述匹配特 征點(diǎn)總數(shù)作為圖像匹配度的打分標(biāo)準(zhǔn),可使視頻帖在匹配度上的打分客觀數(shù)字化,便于計(jì) 算機(jī)實(shí)現(xiàn)W及后續(xù)抽帖處理。
[0046] 在步驟S102中,具體的,在所述根據(jù)所述清晰度值、扭曲度值和匹配度值計(jì)算每 帖對應(yīng)的抽帖參考值的步驟中包括如下步驟:按照如下公式計(jì)算各個(gè)帖對應(yīng)的抽帖參考值 4 =約+巧+? 式中,轉(zhuǎn)為第i個(gè)帖的清晰度值,S1為第i個(gè)帖的扭曲度值,y1為第i個(gè)帖的匹配度 值。所述抽帖參考值為清晰度值、扭曲度值和匹配度值的=者等比之和,因此可按照如下方 式表征圖像質(zhì)量:所述抽帖參考值越大,圖像質(zhì)量越高,所述抽帖參考值越低,圖像質(zhì)量越 低,從而可使視頻帖在綜合清晰度、扭曲度和匹配度評估圖像質(zhì)量的打分客觀數(shù)值化,便于 后續(xù)抽帖處理。
[0047]S103.設(shè)置一個(gè)窗口大小為N的滑動(dòng)窗,然后通過移動(dòng)滑動(dòng)窗逐步選擇所述處理 視頻中的M個(gè)連續(xù)帖,并剔除每步所選連續(xù)帖中抽帖參考值最小的帖,所述M值等于N值。
[0048] 在步驟S103中,出于抽帖效果和技術(shù)量的考慮,所述滑動(dòng)窗的窗口大小N為不小 于3且不大于8的整數(shù)。同時(shí),所述滑動(dòng)窗在移動(dòng)過程中的步進(jìn)單位不小于1且不大于所 述窗口大小N的一半。作為舉例的,如圖6所示,所示滑動(dòng)窗的窗口大小N為4,所述滑動(dòng)窗 在移動(dòng)過程中的步進(jìn)單位為2,每移動(dòng)一次滑動(dòng)窗,即可選擇4個(gè)連續(xù)帖,并剔除所選4個(gè)連 續(xù)帖中抽帖參考值最小的帖,然后再向前移動(dòng)2個(gè)帖的距離,新選擇4個(gè)進(jìn)行抽帖處理,如 此從頭至尾滑動(dòng)一遍所述滑動(dòng)窗并進(jìn)行抽帖處理,即完成一次完整的抽帖步驟。
[0049]S104.若所述待處理視頻的總剩余帖數(shù)大于目標(biāo)數(shù)值,則重新獲取所述待處理視 頻中各個(gè)剩余帖對應(yīng)的扭曲度值和匹配度值,然后返回執(zhí)行步驟S103,否則對所述待處理 視頻的剩余帖做視頻防抖處理,輸出縮時(shí)視頻圖像。