一種圖像升頻系統(tǒng)及顯示裝置的制造方法
【技術領域】
[0001] 本實用新型涉及圖像信號處理技術領域，尤其涉及一種圖像升頻系統(tǒng)及顯示裝 置。
【背景技術】
[0002] 目前，在圖像信號處理的過程中，一般是利用標準的諸如雙三次（bicubic)和線 性等標準升頻（提高圖像分辨率）方式對圖像進行分辨率的提升。如圖1所示，示出了一 個2X的升頻方式，對輸入圖像的各像素（加上鄰像素）使用四個不同的濾波器F1、濾波器 F2、濾波器F3和濾波器F4,每個濾波器產(chǎn)生四分之一的輸出圖像的像素，這個過程可以看 作是對輸入圖像應用4個濾波器（卷積）后交錯或復用以創(chuàng)建寬度和高度翻倍的單一輸出 圖像。
[0003] 但是，目前的圖像升頻系統(tǒng)數(shù)據(jù)計算量較大，升頻倍數(shù)無法靈活調節(jié)。 【實用新型內容】
[0004] 有鑒于此，本實用新型實施例提供了一種圖像升頻系統(tǒng)及顯示裝置，用以基于卷 積神經(jīng)網(wǎng)絡實現(xiàn)對圖像分辨率高品質的升頻，降低升頻計算量，提高升頻倍數(shù)調節(jié)的靈活 度。
[0005] 因此，本實用新型實施例提供的一種圖像升頻系統(tǒng)，包括：級聯(lián)的至少一個第一卷 積神經(jīng)網(wǎng)絡模塊和至少一個復合器；其中，
[0006] 升頻系統(tǒng)的信號輸入端與一所述第一卷積神經(jīng)網(wǎng)絡模塊連接，升頻系統(tǒng)的信號輸 出端與一所述復合器連接；
[0007] 所述復合器的信號輸入端與一所述第一卷積神經(jīng)網(wǎng)絡模塊的信號輸出端連接，或 與另一所述復合器的信號輸出端連接；
[0008] 所述第一卷積神經(jīng)網(wǎng)絡模塊，用于將輸入到所述第一卷積神經(jīng)網(wǎng)絡模塊的輸入信 號的圖像轉換為多個特征圖像并輸出；
[0009] 所述復合器，用于將輸入到所述復合器的輸入信號的特征圖像中每n*n個特征圖 像合成一分辨率為所述輸入信號的特征圖像η倍的特征圖像并輸出；輸入到所述復合器的 輸入信號中特征圖像的數(shù)量為η*η的倍數(shù)，η為大于1的整數(shù)。
[0010] 在一種可能的實施方式中，本實用新型實施例提供的上述圖像升頻系統(tǒng)中，所述 復合器的個數(shù)為兩個或三個。
[0011] 在一種可能的實施方式中，本實用新型實施例提供的上述圖像升頻系統(tǒng)中，各所 述復合器的信號輸入端均與一所述第一卷積神經(jīng)網(wǎng)絡模塊的信號輸出端連接。
[0012] 在一種可能的實施方式中，本實用新型實施例提供的上述圖像升頻系統(tǒng)中，所述 復合器為多個時，各所述復合器為升頻倍數(shù)相同的復合器。
[0013] 在一種可能的實施方式中，本實用新型實施例提供的上述圖像升頻系統(tǒng)中，所述 復合器為升頻倍數(shù)為質數(shù)的復合器。
[0014] 在一種可能的實施方式中，本實用新型實施例提供的上述圖像升頻系統(tǒng)中，所述 復合器為升頻倍數(shù)為2的復合器。
[0015] 在一種可能的實施方式中，本實用新型實施例提供的上述圖像升頻系統(tǒng)中，所述 復合器為自適應插值濾波器。
[0016] 在一種可能的實施方式中，本實用新型實施例提供的上述圖像升頻系統(tǒng)中，還包 括：設置于升頻系統(tǒng)的信號輸出端與所述復合器之間的第二卷積神經(jīng)網(wǎng)絡模塊；
[0017] 所述第二卷積神經(jīng)網(wǎng)絡模塊，用于對所述復合器的輸出信號的特征圖像進行畫質 優(yōu)化。
[0018] 在一種可能的實施方式中，本實用新型實施例提供的上述圖像升頻系統(tǒng)中，所述 第一卷積神經(jīng)網(wǎng)絡模塊和第二卷積神經(jīng)網(wǎng)絡模塊包括至少一層由多個濾波單元組成的卷 積層。
[0019] 本實用新型實施例提供了一種顯示裝置，包括本實用新型實施例提供的上述圖像 升頻系統(tǒng)。
[0020] 本實用新型實施例的有益效果包括：
[0021] 本實用新型實施例提供的一種圖像升頻系統(tǒng)及顯示裝置，采用卷積神經(jīng)網(wǎng)絡模塊 獲取圖像的特征圖像，采用復合器進行圖像的升頻處理將輸入信號中每n*n個特征圖像合 成一分辨率放大η倍的特征圖像，在復合器的升頻過程中，輸入信號中各特征圖像的信息 不損失的記載到生成的特征圖像中，因此圖像每經(jīng)過一個升頻倍數(shù)為η的復合器后，圖像 分辨率可提升η倍。并且，在圖像升頻系統(tǒng)中可設置不止一個復合器進行逐次升頻，每個復 合器都可以執(zhí)行單獨倍數(shù)的升頻功能，使系統(tǒng)可以根據(jù)需要靈活調整升頻倍數(shù)，實現(xiàn)了一 種針對不同升頻倍數(shù)可通用的升頻系統(tǒng)。進一步地，由于每個復合器在將特征圖像的分辨 率放大η倍的同時，減少了復合器輸出的特征圖像的數(shù)量，可以減少級聯(lián)的下一級復合器 或第一卷積神經(jīng)網(wǎng)絡模塊的輸入信號量，從而簡化升頻計算量。
【附圖說明】
[0022] 圖1為現(xiàn)有技術中2χ的升頻示意圖；
[0023] 圖2a_圖2e分別為本實用新型實施例提供的圖像升頻系統(tǒng)的結構示意圖；
[0024] 圖3為本實用新型實施例提供的圖像升頻系統(tǒng)中復合器的升頻示意圖；
[0025] 圖4為本實用新型實施例提供的圖像升頻系統(tǒng)中卷積神經(jīng)網(wǎng)絡模塊的結構示意 圖；
[0026] 圖5為本實用新型實施例提供的圖像升頻系統(tǒng)的訓練方法的流程示意圖。
【具體實施方式】
[0027] 卷積神經(jīng)網(wǎng)絡是人工神經(jīng)網(wǎng)絡的一種，已成為當前語音分析和圖像識別領域的研 究熱點。它的權值共享網(wǎng)絡結構使之更類似于生物神經(jīng)網(wǎng)絡，降低了網(wǎng)絡模型的復雜度，減 少了權值的數(shù)量。該優(yōu)點在網(wǎng)絡的輸入是多維圖像時表現(xiàn)的更為明顯，使圖像可以直接作 為網(wǎng)絡的輸入，避免了傳統(tǒng)識別算法中復雜的特征提取和數(shù)據(jù)重建過程。卷積網(wǎng)絡是為識 別二維形狀而特殊設計的一個多層感知器，這種網(wǎng)絡結構對平移、比例縮放、傾斜或者共他 形式的變形具有高度不變性。
[0028] 基于卷積神經(jīng)網(wǎng)絡對于二維形狀即圖像的高度不變形，本實用新型提供一種圖像 升頻系統(tǒng)、對該圖像升頻系統(tǒng)進行訓練的方法，以及根據(jù)訓練后的圖像升頻系統(tǒng)對輸入圖 像進行升頻的方法。該系統(tǒng)具體采用卷積神經(jīng)網(wǎng)絡對圖像進行升頻，在保證不丟失圖像信 息的前提下，可有效的將低分辨率的圖像轉換為高分辨率的圖像。
[0029] 下面結合附圖，對本實用新型實施例提供的圖像升頻系統(tǒng)及顯示裝置的具體實施 方式進行詳細地說明。
[0030] 本實用新型實施例提供的一種圖像升頻系統(tǒng)，如圖2a至圖2d所示，包括：級聯(lián)的 至少一個第一卷積神經(jīng)網(wǎng)絡模塊（Convolutional Network，CN)和至少一個復合器（Muxer Layer，ML);其中，
[0031] 升頻系統(tǒng)的信號輸入端與一第一卷積神經(jīng)網(wǎng)絡模塊連接，升頻系統(tǒng)的信號輸出端 與一復合器連接；
[0032] 復合器的信號輸入端與一第一卷積神經(jīng)網(wǎng)絡模塊的信號輸出端連接，或與另一復 合器的信號輸出端連接；
[0033] 第一卷積神經(jīng)網(wǎng)絡模塊，用于將輸入到第一卷積神經(jīng)網(wǎng)絡模塊的輸入信號的圖像 轉換為多個特征圖像并輸出給復合器；
[0034] 復合器，用于將輸入到復合器的輸入信號的特征圖像中每n*n個特征圖像合成一 分辨率為輸入信號的特征圖像η倍的特征圖像并輸出；輸入到復合器的輸入信號中特征圖 像的數(shù)量為η*η的倍數(shù)，η為大于1的整數(shù)。
[0035] 在本實用新型實施例提供的上述圖像升頻系統(tǒng)中，采用復合器進行圖像的升頻處 理將輸入信號中每個特征圖像合成一分辨率放大η倍的特征圖像，在復合器的升頻過 程中，輸入信號中各特征圖像的信息不損失的記載到生成的特征圖像中，因此圖像每經(jīng)過 一個升頻倍數(shù)為η的復合器后，圖像分辨率可提升η倍。并且，在圖像升頻系統(tǒng)中可設置不 止一個復合器進行逐次升頻，每個復合器都可以執(zhí)行單獨倍數(shù)的升頻功能，使系統(tǒng)可以根 據(jù)需要靈活調整升頻倍數(shù)，實現(xiàn)了一種