圖像；
[0054] 4. 3)與4. 2類似的，W前一次的輸出圖像為輸入圖像，再作兩次放大，放大倍數(shù) 均為scale倍，得到最終的輸出圖像，scale的大小不宜過大，否則不能很好的滿足局部自 相似的算法前提假設(shè)，但同時(shí)需要滿足對(duì)整體放大倍數(shù)為2倍的需求，在本實(shí)施例中，取 scale = 1. 26 巧 12/406 = 1. 261083);
[005引 4. 4)取4. 3中的輸出圖像，其中屯、的、分辨率為料C(C = 2*A =城的圖像，即為 單個(gè)圖像塊的放大結(jié)果。
[0056] 5、將所有的分辨率為C*C的圖像塊重新拼接到一起。
[0057] 6、從拼接的圖像中，取出尺寸為2w*2h的圖像，即為超高清圖像。
[0化引上述步驟4中，S次單步放大過程是類似的，W step_src命名某一步的輸入圖像， W step_i2命名該步放大后的輸出圖像；詳細(xì)步驟如圖2所示，具體內(nèi)容如下：
[0化9] 1、將step_src向四個(gè)方向上各自擴(kuò)展1個(gè)像素，得到炬+2) *炬+2)的step_i 1 ;
[0060] 2、使用低通模板對(duì)step_il的中屯、B地的數(shù)據(jù)低通濾波，得到B地的step_temp， 低通模板如圖3所示。得到低頻圖像的方法不限于該一種濾波模板；本實(shí)施例所設(shè)定的低 通模板為3*3大小的低通模板。從中屯、往外的權(quán)值依次減少，體現(xiàn)出中屯、像素的重要性，同 時(shí)使用低通模板的方式獲取低頻圖像的方法亦只是為了獲取更快速的處理，本領(lǐng)域的技術(shù) 人員很容易理解本實(shí)施例的低通濾波模板或者獲取低通圖像的方法不限于此；
[0061 ] 3、將step_temp向四個(gè)方向上各自擴(kuò)展1個(gè)像素，得到炬+2) *炬巧）的step_l 1 ;
[0062] 4、step_il_step_ll 得到炬+2) * 炬+2)的 step_temp ;
[006引 5、將step_temp向四個(gè)方向上各自擴(kuò)展1個(gè)像素，得到炬+4)*炬+4)的St巧_hl ;
[0064] 6、計(jì)算炬+6)*炬+6)的step_12 ;坐標(biāo)映射方法為；
[00化]6. 1)12: [0:37]映射到[-18. 5:1:18.引（程序中還將此坐標(biāo)乘W 512,向下近似， 取整去除小數(shù)點(diǎn)）；
[0066] 6. 2)11: [0:33]映射到[-16. 5:1:16.引（還將此坐標(biāo)乘W 512,向下近似，取整去 除小數(shù)點(diǎn)）；
[0067] 6. 3)進(jìn)行雙線性插值時(shí)，計(jì)算[-18. 5:1:18.引中的任意一點(diǎn)的周圍四點(diǎn)坐標(biāo)映 射方法如圖4所示；根據(jù)此圖映射關(guān)系，可W得到L1中的四個(gè)周邊像素，坐標(biāo)映射的低9位 (對(duì)512取余數(shù)）即為四個(gè)加權(quán)系數(shù)；
[0068] 7、計(jì)算出一張L2到L1的映射表st^_1211_map[40]，W備后續(xù)使用；
[0069] 8、L2中逐點(diǎn)執(zhí)行如下操作，即（B+6) *炬+6)次，得到一張大小為（B+6) * (B+6)沖沖 的絕對(duì)誤差和統(tǒng)計(jì)表step_subabs ;本實(shí)施例在此處采用絕對(duì)誤差最小和作為最佳匹配塊 的判斷準(zhǔn)則，但本領(lǐng)域的技術(shù)人員容易理解本實(shí)施例的判斷準(zhǔn)則亦可W選取其他，如最小 均方誤差和等；
[0070] 8. 1)根據(jù)當(dāng)前L2的點(diǎn)坐標(biāo)（i，j)，取出映射表中L1的坐標(biāo)（1211_map_loc_x， 1211_map_loc_y)；
[0071] 8.。計(jì)算 L2 (i，_]?) - LI (1211_map_loc_x - 1+k，1211_map_loc_y-l+l)的絕對(duì)值 并存儲(chǔ)該絕對(duì)值；
[007引 8.如步驟8. 2共執(zhí)行b沖次，即k取[0:b-l]，1取[0:b-U ;
[0073] 9、為L2中屯、的炬+4)*炬+4)個(gè)的點(diǎn)，捜索匹配塊，匹配塊的偏移坐標(biāo)存儲(chǔ) 在大小為炬+4)*炬+4)的step_min_loc_x和step_min_loc_y中，另外把sad存到 (B+4)*(B+4)*(B+4)*(B+4)*b*b 的 step_sad 中；具體如下；
[0074] 9. 1)檢查L2的X方向S個(gè)坐標(biāo)中是否有映射到同一個(gè)L1的X坐標(biāo)的情況（左邊 兩個(gè)點(diǎn)映的映射值一樣，或者右邊兩個(gè)點(diǎn)的映射值一樣，不可能S個(gè)點(diǎn)的映射值一樣）；
[0075] 9. 2)檢查L2的y方向S個(gè)坐標(biāo)中是否有映射到同一個(gè)L1的y坐標(biāo)的情況（上面 兩個(gè)點(diǎn)映的映射值一樣，或者下面兩個(gè)點(diǎn)的映射值一樣，不可能S個(gè)點(diǎn)的映射值一樣）；
[0076] 9.扣從13沖個(gè)待選塊中，計(jì)算出每一個(gè)大小為c*c的待捜索匹配塊的sad值，并從 b*b個(gè)待選塊中挑選出具有最小sad值的最佳匹配塊，記錄該最佳匹配塊的相對(duì)坐標(biāo)；本實(shí) 例取C = 3,即捜索匹配塊大小為3*3,本領(lǐng)域的技術(shù)人員容易理解該區(qū)域大小可W根據(jù)對(duì) 圖像質(zhì)量的需求和處理平臺(tái)計(jì)算能力的權(quán)衡，選擇合適的大??；在計(jì)算性能更好的平臺(tái)上， 可W適當(dāng)增大捜索匹配塊大小。
[0077] 9. 4)注意并非b*b個(gè)塊全部有效，根據(jù)9. 1和9. 2中的檢查，某些塊是無效的，檢 查完畢后，實(shí)際有效塊個(gè)數(shù)為化-1) *化-1);本實(shí)施例取b = 4,即捜索范圍設(shè)定為3*3的區(qū) 域，兼顧了匹配效果和實(shí)時(shí)處理兩個(gè)互相制約的因素，本領(lǐng)域的技術(shù)人員容易理解該區(qū)域 大小可W根據(jù)對(duì)圖像質(zhì)量的需求和處理平臺(tái)計(jì)算能力的權(quán)衡，選擇合適的大??；在計(jì)算性 能更好的平臺(tái)上，可W適當(dāng)提高捜索范圍。
[007引 9.巧把b*b個(gè)sad值存到step_sad ;
[0079] 10、根據(jù)9中的偏移坐標(biāo)，將所有的高頻塊疊加到一起，得到炬+8) *炬+8)的st^_ h2_all ;具體地；
[0080] 10. 1)將 step_h2_all 清零；
[0081] 10. 2)取d*d的高頻塊進(jìn)行疊加，本實(shí)施例中所高頻疊加塊大小為5*5 ;本領(lǐng)域的 技術(shù)人員容易理解該高頻疊加塊可W根據(jù)對(duì)圖像質(zhì)量的需求和處理器計(jì)算能力的權(quán)衡，選 擇合適的大小；在計(jì)算性能更好的平臺(tái)上，可W適當(dāng)提高捜索范圍和/或增大捜索匹配塊 大小，進(jìn)而提高高頻疊加塊大小。
[00間 11、取step_12和step_h2_all中屯、C*C范圍內(nèi)的數(shù)據(jù)，相加得到料C的step_i2 ; 由于step_h2_all疊加了 d*d次高頻值，所W需要對(duì)step_h2_all的值除W d*d操作，除法 操作使用移位的方式實(shí)現(xiàn)。
[0083] 本發(fā)明對(duì)高清視頻圖像超分辨放大到超高清視頻圖像，在FPGA平臺(tái)上，處理圖像 的帖率為25巧S，達(dá)到實(shí)時(shí)處理的要求。同時(shí)，本發(fā)明相較于傳統(tǒng)的插值超分辨方法，有明顯 的改善視頻畫質(zhì)的效果。
[0084] 本發(fā)明上述實(shí)施例中的具體參數(shù)僅為說明本發(fā)明技術(shù)方案的實(shí)施而舉例，本發(fā)明 在另外的實(shí)施例中也可W采用其他的具體參數(shù)，該對(duì)于本發(fā)明實(shí)現(xiàn)沒有本質(zhì)性的影響。
[0085] W上對(duì)本發(fā)明的具體實(shí)施例進(jìn)行了描述。需要理解的是，本發(fā)明并不局限于上述 特定實(shí)施方式，本領(lǐng)域技術(shù)人員可W在權(quán)利要求的范圍內(nèi)做出各種變形或修改，該并不影 響本發(fā)明的實(shí)質(zhì)內(nèi)容。
【主權(quán)項(xiàng)】
1. 一種高清轉(zhuǎn)超高清視頻圖像的超分辨率放大方法，其特征在于，所述方法包括如下 步驟： 步驟一：從高清視頻流中讀取一帖圖像； 步驟二；對(duì)步驟一的圖像數(shù)據(jù)預(yù)處理，包括去噪、圖像數(shù)據(jù)格式轉(zhuǎn)換、像素存儲(chǔ)精度轉(zhuǎn) 換； 步驟對(duì)步驟一的圖像按固定大小分塊； 步驟四；對(duì)步驟=得到的每一個(gè)圖像塊進(jìn)行n步小倍數(shù)scale放大，其中每一步都使用 局部自樣本學(xué)習(xí)的放大方法； 步驟五：將圖像塊重新拼接、后處理，得到一帖超高清視頻圖像； 步驟六：回到步驟一，讀取下一帖圖像。
2. 根據(jù)權(quán)利要求1所述的一種高清轉(zhuǎn)超高清視頻圖像的超分辨率放大方法，其特征在 于，步驟二中，所述的圖像預(yù)處理采用12-bit精度存儲(chǔ)圖像數(shù)據(jù)。
3. 根據(jù)權(quán)利要求1所述的一種高清轉(zhuǎn)超高清視頻圖像的超分辨率放大方法，其特征在 于，步驟=中，所述的對(duì)圖像按固定大小分塊，圖像分塊的大小是依處理器的高速存儲(chǔ)單元 的容量而決定，W充分使用高速存儲(chǔ)單元的高帶寬。
4. 根據(jù)權(quán)利要求1所述的一種高清轉(zhuǎn)超高清視頻圖像的超分辨率放大方法，其特征在 于，步驟四中，選取的步數(shù)n和每一步放大的系數(shù)scale需滿足scale'n = 2 ;在一定的計(jì) 算能力下滿足實(shí)時(shí)性需求，可W最優(yōu)地調(diào)整步數(shù)n與scale的值。
5. 根據(jù)權(quán)利要求4所述的一種高清轉(zhuǎn)超高清視頻圖像的超分辨率放大方法，其特 征在于，每一步放大采用的放大倍數(shù)scale相同或不同，只要滿足總體放大2倍即可， Kscale<l. 3〇
6. 根據(jù)權(quán)利要求1-5任一項(xiàng)所述的一種高清轉(zhuǎn)超高清視頻圖像的超分辨率放大方法， 其特征在于，步驟四中，所述的局部自樣本學(xué)習(xí)的放大方法，步驟如下： 步驟1、讀取一幅圖像II ; 步驟2、對(duì)圖像II進(jìn)行處理得到低頻圖像L1 ; 步驟3、將圖像II減去低頻圖像L1，得到局頻圖像H1 ; 步驟4、使用上采樣的方法小倍數(shù)地放大圖像II，得到放大的低頻圖像L2 ; 步驟5、在低頻圖像L1中的一定范圍內(nèi)，捜索與低頻圖像L2中像素塊匹配度最高的像 素塊，得到匹配塊的相對(duì)位置； 步驟6、在高頻圖像H1中，取出低頻圖像L1中最佳匹配塊同一位置上的一定大小像素 塊，即為疊加塊，累加存儲(chǔ)得到高頻圖像H2 ; 步驟7、將低頻圖像L2和匹配到的高頻圖像H2相加，得到輸出圖像。
7. 根據(jù)權(quán)利要求6所述的一種高清轉(zhuǎn)超高清視頻圖像的超分辨率放大方法，其特征在 于，所述步驟2中，使用低通模板對(duì)圖像11進(jìn)行低通濾波得到低頻圖像L1。
8. 根據(jù)權(quán)利要求6所述的一種高清轉(zhuǎn)超高清視頻圖像的超分辨率放大方法，其特征在 于，所述步驟4中，使用上采樣的方法是指采用雙線性插值或雙=次插值的方法。
9. 根據(jù)權(quán)利要求6所述的一種高清轉(zhuǎn)超高清視頻圖像的超分辨率放大方法，其特征在 于，所述步驟5中捜索范圍和像素塊大小依對(duì)圖像質(zhì)量的需求和實(shí)時(shí)處理平臺(tái)的計(jì)算能力 而決定；所述步驟6中疊加塊的大小依對(duì)圖像質(zhì)量的需求而決定。
10.根據(jù)權(quán)利要求1-5任一項(xiàng)所述的一種高清轉(zhuǎn)超高清視頻圖像的超分辨率放大方 法，其特征在于，步驟五中所述的后處理是指：對(duì)多步放大和拼接后的結(jié)果進(jìn)行進(jìn)一步的調(diào) 整，如采用降采樣迭代進(jìn)行收斂性調(diào)整。
【專利摘要】本發(fā)明提供了一種高清轉(zhuǎn)超高清視頻圖像的超分辨率放大方法，所述方法步驟包括：步驟一：從高清視頻流中讀取一幀圖像；步驟二：對(duì)讀取的圖像數(shù)據(jù)預(yù)處理；步驟三：對(duì)讀取的圖像按固定大小分塊；步驟四：對(duì)每一個(gè)圖像塊進(jìn)行n步小倍數(shù)scale放大，其中每一步都使用局部自樣本學(xué)習(xí)的放大方法；步驟五：將圖像塊重新拼接、后處理，得到一幀超高清視頻圖像；步驟六：回到步驟一，讀取下一幀圖像。本發(fā)明所述方法能夠?qū)崿F(xiàn)實(shí)時(shí)地將高清視頻轉(zhuǎn)換成超高清視頻，保持了高質(zhì)量的畫質(zhì)，同時(shí)也實(shí)現(xiàn)了25fps的實(shí)時(shí)幀速率。
【IPC分類】H04N7-01, H04N5-262
【公開號(hào)】CN104660951
【申請(qǐng)?zhí)枴緾N201510031248
【發(fā)明人】高志勇, 張小云, 包文博, 陳立
【申請(qǐng)人】上海交通大學(xué)
【公開日】2015年5月27日
【申請(qǐng)日】2015年1月21日