圖像重定向質(zhì)量評(píng)估的制作方法
【專利說(shuō)明】圖像重定向質(zhì)量評(píng)估
[0001] 相關(guān)申請(qǐng)案交叉申請(qǐng)
[0002] 本申請(qǐng)要求2012年12月13日遞交的發(fā)明名稱為"圖像重定向質(zhì)量評(píng)估"的第 13/713, 110號(hào)美國(guó)非臨時(shí)申請(qǐng)案的在先申請(qǐng)優(yōu)先權(quán)，該在先申請(qǐng)的內(nèi)容以引入的方式并入 本文。
[0003] 關(guān)于由聯(lián)邦政府贊助研究或開發(fā)的聲明
[0004] 不適用。
[0005] 參考縮微膠片附錄
[0006] 不適用。
【背景技術(shù)】
[0007] 隨著各種屏幕尺寸和各種分辨率的各種類型移動(dòng)設(shè)備的出現(xiàn)，對(duì)圖像重定向的需 求日益增加。圖像重定向可包括用來(lái)調(diào)整圖像尺寸的算法。為了在各種用戶設(shè)備（UE)屏 幕上使用，一個(gè)圖像可重定向成多種分辨率。圖像重定向可能導(dǎo)致圖像數(shù)據(jù)丟失和/或形 狀失真，導(dǎo)致圖像并不理想。已經(jīng)開發(fā)出各種圖像重定向算法，以盡可能減小圖像數(shù)據(jù)丟失 和/或破壞，但沒有一種圖像重定向算法可以在各種情況下都優(yōu)于其他任一圖像重定向算 法。

【發(fā)明內(nèi)容】

[0008] 在一實(shí)施例中，本發(fā)明包括一種圖像重定向質(zhì)量評(píng)估方法，包括在頻域上比較原 始圖像和重定向圖像，其中，通過(guò)對(duì)所述原始圖像進(jìn)行重定向算法運(yùn)算而獲得所述重定向 圖像。
[0009] 在另一實(shí)施例中，本發(fā)明包括一種裝置，其包括一種處理器，用于進(jìn)行圖像重定向 質(zhì)量評(píng)估，以及在空域上比較原始圖像和重定向圖像；其中，通過(guò)對(duì)所述原始圖像進(jìn)行重定 向算法運(yùn)算而獲得所述重定向圖像，所述在空域上比較原始圖像和重定向圖像包括比較所 述原始圖像和所述重定向圖像以確定圖像間的形狀失真量。
[0010] 在另一實(shí)施例中，本發(fā)明還包括一種裝置，其包括一種處理器，用于為多個(gè)重定向 圖像計(jì)算多個(gè)圖像重定向質(zhì)量評(píng)估分?jǐn)?shù)向量，并使用經(jīng)驗(yàn)數(shù)據(jù)自適應(yīng)學(xué)習(xí)圖像重定向質(zhì)量 評(píng)估分?jǐn)?shù)融合模型。
[0011] 以下結(jié)合附圖和權(quán)利要求對(duì)以上以及其他特征做更清晰明了的詳細(xì)描述。
【附圖說(shuō)明】
[0012] 為了更透徹地理解本發(fā)明，現(xiàn)參閱結(jié)合附圖和【具體實(shí)施方式】而描述的以下簡(jiǎn)要說(shuō) 明，其中的相同參考標(biāo)號(hào)表不相同部分。
[0013] 圖1為一種圖像重定向質(zhì)量評(píng)估系統(tǒng)示意圖。
[0014] 圖2為一種示例圖像的實(shí)施例。
[0015] 圖3為一種確定頻域質(zhì)量分?jǐn)?shù)的方法流程圖。
[0016] 圖4為一種頻域系數(shù)分布的實(shí)施例圖。
[0017] 圖5為一種確定形狀失真質(zhì)量分?jǐn)?shù)的方法流程圖。
[0018] 圖6示出了示例像素位移向量圖。
[0019] 圖7為一種確定局部?jī)?nèi)容質(zhì)量分?jǐn)?shù)的方法流程圖。
[0020] 圖8為一種確定全局內(nèi)容質(zhì)量分?jǐn)?shù)的方法流程圖。
[0021] 圖9為一種自適應(yīng)學(xué)習(xí)質(zhì)量分?jǐn)?shù)融合模型的方法流程圖。
[0022] 圖10為一種網(wǎng)元（NE)實(shí)施例示意圖。
[0023] 圖11為一種UE實(shí)施例示意圖。
【具體實(shí)施方式】
[0024] 首先應(yīng)理解，盡管下文提供一項(xiàng)或多項(xiàng)實(shí)施例的說(shuō)明性實(shí)施方案，但所公開的系 統(tǒng)和/或方法可使用任何數(shù)目的技術(shù)來(lái)實(shí)施，無(wú)論該技術(shù)是當(dāng)前已知還是現(xiàn)有的。本發(fā)明 決不應(yīng)限于下文所說(shuō)明的說(shuō)明性實(shí)施方案、附圖和技術(shù)，包括本文所說(shuō)明并描述的示例性 設(shè)計(jì)和實(shí)施方案，而是可在所附權(quán)利要求書的范圍以及其等效物的完整范圍內(nèi)修改。
[0025] 此處公開了一種進(jìn)行圖像重定向質(zhì)量評(píng)估的方法，以確定哪種重定向算法得到的 重定向圖像最有可能吸引用戶。所述圖像質(zhì)量評(píng)估方法包括在頻域和空域上比較原始圖像 和重定向圖像。這兩個(gè)圖像均可以轉(zhuǎn)換成頻域且以系數(shù)進(jìn)行描述。系數(shù)間的差異可量化 為頻域質(zhì)量分?jǐn)?shù)（Q fJ。在空域上，形狀失真可使用尺度不變特征轉(zhuǎn)換（SIFT)算法和/或 SIFT流算法進(jìn)行測(cè)量以確定所述原始圖像和所述重定向圖像間的像素移動(dòng)程度。產(chǎn)生的形 狀失真可量化為形狀失真質(zhì)量分?jǐn)?shù)（Q ss)。此外在空域上，視覺內(nèi)容變化可局部量化為局部 內(nèi)容質(zhì)量分?jǐn)?shù)（Qsl。)，并全局量化為全局內(nèi)容質(zhì)量分?jǐn)?shù)（Q sg。)。Qf%、Qss、Qsl。、和Qsg?？梢黄鹩?來(lái)評(píng)價(jià)重定向圖像的質(zhì)量?？蓪⑺鲑|(zhì)量分?jǐn)?shù)進(jìn)行加權(quán)以獲得總質(zhì)量分?jǐn)?shù)（Q)。通過(guò)機(jī)器 學(xué)習(xí)可確定在總質(zhì)量等式中給每項(xiàng)質(zhì)量分?jǐn)?shù)分配的適當(dāng)權(quán)重。總質(zhì)量分?jǐn)?shù)Q可用來(lái)對(duì)重定 向算法進(jìn)行自動(dòng)評(píng)級(jí)，并自動(dòng)從多個(gè)重定向圖像中選擇質(zhì)量最高的重定向圖像。
[0026] 圖1為一種圖像重定向質(zhì)量評(píng)估系統(tǒng)100的示意圖。所述系統(tǒng)100可在網(wǎng)絡(luò)設(shè)備， 比如用戶設(shè)備（UE)、網(wǎng)元（NE)、服務(wù)器和/或其他計(jì)算機(jī)上實(shí)現(xiàn)。所述系統(tǒng)100可接收原 始圖像110和多個(gè)相關(guān)聯(lián)的重定向圖像112作為輸入，其將結(jié)合圖2進(jìn)行討論，且其可存儲(chǔ) 在存儲(chǔ)器115中。所述系統(tǒng)100可在空域130和頻域120上比較所述圖像110和112。所 述空域130可以是用于在二維（2D)和/或三維（3D)視覺圖像空間分析圖像的域。例如， 在空域上分析2D圖像可以是在坐標(biāo)和/或像素位置和/或視覺2D空間的其他視覺對(duì)象方 面進(jìn)行分析。所述頻域120可以是用于在隨時(shí)間變化方面分析圖像的域。例如，一個(gè)圖像 可以包括多種不同強(qiáng)度的顏色。當(dāng)對(duì)所述空域130進(jìn)行迭代讀取時(shí)，圖像的顏色強(qiáng)度隨時(shí) 間而變。這種隨時(shí)間的變化可在所述頻域120中表示出來(lái)。
[0027] 所述系統(tǒng)100可包括形狀失真和視覺內(nèi)容變化測(cè)量單元140,用于在所述頻域120 上比較形狀失真和視覺內(nèi)容變化以確定Q fs。，這將結(jié)合圖3進(jìn)行討論。所述系統(tǒng)100還可包 括形狀失真測(cè)量單元150、局部視覺內(nèi)容變化測(cè)量單元160和全局視覺內(nèi)容變化測(cè)量單元 170,可用于測(cè)量所述空域130中的形狀失真和視覺內(nèi)容變化。具體地，所述形狀失真測(cè)量 單元150可用于測(cè)量形狀失真以確定Q ss，這將結(jié)合圖5進(jìn)行討論。所述局部視覺內(nèi)容變化 測(cè)量單元160可用于測(cè)量局部視覺內(nèi)容變化以確定Qsl。，這將結(jié)合圖7進(jìn)行討論。所述全局 視覺內(nèi)容變化測(cè)量單元170可用于測(cè)量全局視覺內(nèi)容變化以確定Qsg。，這將結(jié)合圖8進(jìn)行討 論。所述系統(tǒng)100還可包括質(zhì)量因素整合單元180,用于整合來(lái)自單元140、150、160和170 的質(zhì)量分?jǐn)?shù)以確定重定向圖像的Q，這將結(jié)合圖9進(jìn)行討論。所述系統(tǒng)還可包括圖像選擇單 元190,可用于使用Q從多個(gè)重定向圖像中自動(dòng)選擇一個(gè)優(yōu)選的重定向圖像。
[0028] 圖2為一種示例圖像200的實(shí)施例。所述示例圖像200可包括原始圖像210 (可以 是原始圖像110)、重定向圖像221和222(可以是重定向圖像112)和重建圖像230。如上 所述，對(duì)原始圖像進(jìn)行自動(dòng)重定向與具有各種屏幕尺寸和分辨率等的顯示器的各種UE和/ 或其他設(shè)備結(jié)合使用可以是有利的。例如，所述系統(tǒng)100可將所述重定向圖像22U222和/ 或使用其它重定向算法得到的其他圖像與所述原始圖像210進(jìn)行比較，從而自動(dòng)確定哪個(gè) 圖像是用戶可能喜歡的。
[0029] 所述原始圖像210是可能顯示給用戶的原始圖像的一個(gè)示例。一個(gè)系統(tǒng)，如所述 系統(tǒng)100,對(duì)所述原始圖像210進(jìn)行重定向顯示。為將圖像重定向至較小尺寸，系統(tǒng)可移除 像素，也可稱為裁剪，可導(dǎo)致數(shù)據(jù)丟失、像素移動(dòng)，造成圖像形狀失真，或其任一組合。所述 重定向圖像221可以是對(duì)所述原始圖像210進(jìn)行裁剪的結(jié)果。所述重定向圖像221可包括 右側(cè)221a和左側(cè)221b。如圖2所示，與所述原始圖像210相比，所述重定向圖像221可能 包括最小視覺形狀失真或沒有視覺形狀失真。但與所述原始圖像210相比，所述重定向圖 像221可能在所述右側(cè)221a和所述左側(cè)221b均包括視覺數(shù)據(jù)丟失。所述重定向圖像222 可以是通過(guò)線裁剪算法所述原始圖像210進(jìn)行重定向的結(jié)果。如圖2所示，所述重定向圖 像222可包括與所述原始圖像210極其相同的視覺數(shù)據(jù)。但在所述重定向圖像222中，所 述原始圖像210的像素可能在橫軸上移動(dòng)以壓縮所述圖像222,導(dǎo)致視覺形狀失真。所述 重建圖像230可以是通過(guò)使用塊匹配算法或其他圖像構(gòu)建算法、使用來(lái)自所述重定向圖像 221的圖像圖塊和來(lái)自所述原始圖像210的其他視覺數(shù)據(jù)在所述重定向圖像221上重建所 述原始圖像210的結(jié)果。塊匹配算法可以是用于結(jié)構(gòu)編輯的隨機(jī)通信算法。圖塊可以是圖 像的一部分。
[0030] 圖3為一種確定Qfs。的方法300的流程圖。例如，通過(guò)所述形狀失真和視覺內(nèi)容 變化測(cè)量單元140確定。在方框310中，所述方法300可獲得原始圖像，如原始圖像110和 /或210,以及重定向圖像，如重定向圖像112、221和/或222。在方框320中，所述原始圖 像可以轉(zhuǎn)換成頻域；在方框330中，所述重定向圖像也可以轉(zhuǎn)換成頻域?？赏ㄟ^(guò)將空域上的 每個(gè)像素表征為在指定距離的強(qiáng)度值變化，將所述原始和重定向圖像轉(zhuǎn)換成頻域。所述轉(zhuǎn) 換可以通過(guò)變換的方式實(shí)現(xiàn)，如傅里葉變換、離散小波變換、或其他變換等。將圖像轉(zhuǎn)換成 頻域可能造成使用多個(gè)系數(shù)，例如哈爾小波、對(duì)角線子帶等，來(lái)描述所述圖像。
[0031] 在方框340中，可比較所述原始圖像和所述重定向圖像的頻率系數(shù)來(lái)確定所述圖 像在空域上的差異，如空間形狀失真和視覺內(nèi)容變化。例如，原始圖像頻率系數(shù)（f。）的直 方圖可分成多個(gè)等間隔的直方條（fji))。重定向圖像頻率系數(shù)（f R)的直方圖也可分成多 個(gè)與f Ji)對(duì)應(yīng)的等間隔的直方條（fR(i))。所述頻率系數(shù)可通過(guò)對(duì)每個(gè)f Ji)與每個(gè)對(duì)應(yīng) fR(i)的比值的對(duì)數(shù)進(jìn)行求和并用所述和除以直方條的個(gè)數(shù)來(lái)進(jìn)行比較。在一實(shí)施例中，可 能有一百個(gè)直方條（例如，N f可設(shè)置成一百）。結(jié)果可以是在頻域的質(zhì)量分?jǐn)?shù)Q fs。。Qfs。可 通過(guò)以下等式表示：
[00