本發(fā)明涉及視覺傳輸領域，特別是圖像/視頻的無線傳輸領域，更進一步的涉及基于視覺特性的圖像/視頻無線軟傳輸方案。

背景技術：

傳統(tǒng)數(shù)字圖像傳輸方案一般將像素值或DCT系數(shù)作為傳輸對象，如圖1所示，輸入圖像經(jīng)過變換(T)、量化(Q)、變長編碼(VLC)成為碼流，通過前向糾錯(FEC)進行保護，映射到正交振幅調制(QAM)上進行正交頻分復用(OFDM)傳輸。其編碼端需要進行信道估計來選取適當?shù)拇a率。如果信道容量低于某一閾值，解碼端性能會急劇下降；而如果高于這一閾值，解碼性能也難有提升，這就是所謂的“懸崖效應”。

為了克服“懸崖效應”，MIT的研究人員提出軟傳輸方案SoftCast。如圖2所示，SoftCast的編碼過程沒有量化和熵編碼，取而代之的是簡單的對圖像信號的線性變換；不是發(fā)送01碼流，而是發(fā)送實系數(shù)流。此外，SoftCast也沒有信道編碼，實系數(shù)被直接調制到64k-QAM來進行OFDM傳輸。在傳輸過程中，被傳送的數(shù)據(jù)不可避免會受噪聲污染，噪聲強度與信道信噪比(CSNR)有關。SoftCast的主要優(yōu)點在于，在很廣的CSNR范圍內，它的傳輸性能隨CSNR的波動而優(yōu)雅地變化，并且可以同時服務多個不同信道條件下的客戶端。

傳統(tǒng)的傳輸方案和SoftCast都以最小化圖像像素值的失真為目的，這有一定道理，但很多時候像素值的保真度與人的視覺感受并不一致。近期研究表明，圖像的梯度相似性能更好地反映圖像的視覺保真度。受以上研究工作的啟發(fā)，提出了通過傳送圖像梯度數(shù)據(jù)傳輸視覺信息。但是，由于梯度數(shù)據(jù)一般包括水平方向梯度和豎直方向梯度，梯度數(shù)據(jù)量是原圖像數(shù)據(jù)量的兩倍，所以，在信道帶寬受限的情況下，有可能不允許傳輸所有的梯度數(shù)據(jù)。這種情況下，如果簡單地丟棄某個方向上的梯度數(shù)據(jù)，在接收端很難達到良好的重構效果，如圖3所示，(a)表示原圖；(b)表示僅采用水平梯度數(shù)據(jù)重構結果；(c)表示僅采用豎直梯度數(shù)據(jù)重構結果。

當需要大幅壓縮數(shù)據(jù)量而不明顯影響圖像重構質量時，壓縮感知是一種很有效的工具。壓縮感知理論說明，只要信號在某個域(如小波域)稀疏，則它可以在經(jīng)過比奈奎斯特采樣率更低的下采樣后有效地恢復。假設x為圖像信號，Φ為測量矩陣，則測量值y＝Φx。由于圖像信號通常在某種變換域具有良好的稀疏性，x一般都能通過求解凸優(yōu)化問題被很好地重構。但是，如果在無線信道中直接傳送圖像像素域的壓縮感知測量值，會要求很高的能量，而且在噪聲干擾下非常不穩(wěn)定。

技術實現(xiàn)要素：

本發(fā)明要解決的技術問題是設計一種新的圖像軟傳輸方案，使之在接收端的重構圖像達到更好的視覺質量，并且能夠適應信道帶寬受限的情況。本發(fā)明的目的是通過以下技術方案實現(xiàn)的。

根據(jù)本發(fā)明的實施方式，提出一種基于梯度采樣信息的視頻圖像發(fā)送方法，其特征在于，所述方法分為主層傳輸和輔助層傳輸，所述主層傳輸用于傳輸包含圖像亮度跳變信息的梯度數(shù)據(jù)；所述輔助層傳輸用于傳輸確定圖像的整體和局部亮度的低頻數(shù)據(jù)。

優(yōu)選的，所述主層傳輸具體包括：

A1，由梯度變換從原圖提取出梯度數(shù)據(jù)；

A2，利用壓縮感知技術對梯度數(shù)據(jù)進行壓縮；

A3，將梯度壓縮后的測量值經(jīng)由哈達瑪變換白化；

A4，經(jīng)過哈達瑪變換白化后的數(shù)據(jù)調制到密星座圖并發(fā)送到OFDM信道。

優(yōu)選的，所述利用壓縮感知技術對梯度數(shù)據(jù)進行壓縮具體包括：利用隨機投影技術對梯度數(shù)據(jù)進行采樣，產(chǎn)生測量值，采樣率由信道帶寬決定。

優(yōu)選的，將白化后的數(shù)據(jù)調制到密星座圖采用64K-QAM。

優(yōu)選的，所述輔助層傳輸具體包括:

B1，在變換域取出圖像的少量低頻系數(shù)；

B2，利用變長編碼對低頻系數(shù)進行編碼；

B3，對變長編碼后的01碼流用容錯技術進行保護，調制到QAM并發(fā)送到OFDM信道。

優(yōu)選的，所述變換域為傅立葉域或DCT域，所述低頻系數(shù)為8×8個。

根據(jù)本發(fā)明的實施方式，還提出一種基于梯度采樣信息的視頻圖像接收方法，所述方法分為主層接收、輔助層接收以及圖像重構，所述主層接收用于接收包含圖像亮度跳變信息的梯度數(shù)據(jù)；所述輔助層接收用于接收確定圖像的整體和局部亮度的低頻數(shù)據(jù)；所述圖像重構用于根據(jù)來自主層的梯度采樣數(shù)據(jù)和來自輔助層的低頻數(shù)據(jù)進行圖像重構。

優(yōu)選的，所述主層接收具體包括：

C1，接收端主層通過解調帶噪聲的OFDM信號以提取梯度采樣數(shù)據(jù)的哈達瑪變換系數(shù)；

C2，主層通過反哈達瑪變換得到梯度采樣數(shù)據(jù)。

優(yōu)選的，所述輔助層接收具體包括：

D1，輔助層通過解調和FEC解碼提取碼流；

D2，輔助層通過變長解碼得到低頻系數(shù)。

根據(jù)本發(fā)明的實施方式，還提出一種基于梯度采樣信息的視頻圖像傳輸方法，其包括前述基于梯度采樣信息的視頻圖像發(fā)送步驟和基于梯度采樣信息的視頻圖像接收步驟。

本發(fā)明提出了以傳輸梯度數(shù)據(jù)為主、少量低頻系數(shù)為輔來傳輸視覺信息，并對梯度數(shù)據(jù)采用壓縮感知進行壓縮以減小傳輸數(shù)據(jù)量的方案。本發(fā)明不僅具有SoftCast的主要優(yōu)點(無懸崖效應，可同時服務多個不同信道條件下的客戶端)，而且能達到更好的視覺效果，能適應于不同的信道信噪比和帶寬環(huán)境。

附圖說明

通過閱讀下文優(yōu)選實施方式的詳細描述，各種其他的優(yōu)點和益處對于本領域普通技術人員將變得清楚明了。附圖僅用于示出優(yōu)選實施方式的目的，而并不認為是對本發(fā)明的限制。而且在整個附圖中，用相同的參考符號表示相同的部件。在附圖中：

附圖1示出了傳統(tǒng)圖像傳輸方案示意圖；

附圖2示出了現(xiàn)有技術中的SoftCast軟傳輸方案示意圖；

附圖3示出了現(xiàn)有技術中的SoftCast軟傳輸方案中，僅用一個方向的梯度數(shù)據(jù)的重構效果；

附圖4示出了根據(jù)本發(fā)明實施方式的基于梯度采樣信息的視頻圖像傳輸方案示意圖；

附圖5示出了在信道帶寬限于圖像尺寸的情況下，本發(fā)明的傳輸方案與SoftCast方案、像素壓縮感知測量值直接傳輸(CS)方案的SSIM比較示意圖。

具體實施方式

下面將參照附圖更詳細地描述本公開的示例性實施方式。雖然附圖中顯示了本公開的示例性實施方式，然而應當理解，可以以各種形式實現(xiàn)本公開而不應被這里闡述的實施方式所限制。相反，提供這些實施方式是為了能夠更透徹地理解本公開，并且能夠將本公開的范圍完整的傳達給本領域的技術人員。

關于視覺質量評價的研究表明，人眼對亮度跳變很敏感，因此，本發(fā)明以包含了圖像亮度跳變信息的梯度數(shù)據(jù)為主要傳輸對象，并盡可能使之保真，可以達到更好的視覺效果。此外，由于梯度數(shù)據(jù)屬于圖像的高頻成分，在圖像重構時還需要低頻成分來確定圖像的整體和局部亮度，因此還要同時傳送少量低頻數(shù)據(jù)，并加以較強的保護。因為需要傳送的低頻數(shù)據(jù)數(shù)量很少，所以占用的帶寬幾乎可以忽略不計。

考慮到梯度數(shù)據(jù)一般包括水平方向梯度和豎直方向梯度，梯度數(shù)據(jù)量是原圖像數(shù)據(jù)量的兩倍，所以，在信道帶寬受限的情況下，有可能不允許傳輸所有的梯度數(shù)據(jù)。為了應對這種情況，本發(fā)明提出在發(fā)送端利用壓縮感知技術對梯度數(shù)據(jù)進行壓縮，以根據(jù)信道帶寬條件調整數(shù)據(jù)量。

具體而言，本發(fā)明提出一種基于壓縮梯度的圖像軟傳輸方案(Compressive Gradient based SoftCast,CG-Cast)，如圖4所示，在發(fā)送端，圖像經(jīng)梯度變換(Gradient Transform，GT)產(chǎn)生梯度數(shù)據(jù)，然后由隨機投影(Random Projection,RP)進行壓縮，得到的測量值經(jīng)過哈達瑪變換(Walsh-Hadamard Transform，WHT)白化以降低峰均比。這些經(jīng)過WHT白化后的數(shù)據(jù)被調制到密星座圖上進行OFDM傳輸。與此同時，將圖像變換到頻域并提取低頻系數(shù)(Low-Pass Selection，LPS)，這些系數(shù)由變長編碼(Variable Length Coding，VLC)編成碼流，用FEC碼進行保護。在接收端，利用接收到的梯度數(shù)據(jù)和低頻系數(shù)，通過基于壓縮梯度的重構算法(Compressive Gradient Based Reconstruction，CGBR)重構圖像。

下面，我們以單幀圖像的傳輸為例，結合框圖，介紹本發(fā)明的實現(xiàn)過程。

根據(jù)本發(fā)明的實施方式，發(fā)送端可以分為主層傳輸和輔助層傳輸，所述主層傳輸用于傳輸包含圖像亮度跳變信息的梯度數(shù)據(jù)；所述輔助層傳輸用于傳輸確定圖像的整體和局部亮度的低頻數(shù)據(jù)；具體的，

所述主層傳輸?shù)膶崿F(xiàn)過程分別可以歸結為四步：

第一步，由梯度變換(GT)從原圖提取出梯度數(shù)據(jù)；

第二步，利用隨機投影技術對梯度數(shù)據(jù)進行采樣，產(chǎn)生測量值，采樣率由信道帶寬決定；利用隨機投影對要傳送的梯度數(shù)據(jù)進行下采樣，以減少傳輸數(shù)據(jù)量，使之可適應于信道帶寬受限的情況；即，傳送的數(shù)據(jù)為Φg，而非直接傳送梯度數(shù)據(jù)g，Φ為隨機投影矩陣(如高斯隨機矩陣)；

第三步，將測量值經(jīng)由哈達瑪變換(WHT)白化；

第四步，經(jīng)過哈達瑪變換白化后的數(shù)據(jù)調制到密星座圖(例如，64K-QAM)并發(fā)送到OFDM信道。

所述輔助層傳輸?shù)膶崿F(xiàn)過程可以歸結為三步:

第一步，在變換域(如傅立葉域或DCT域)取出圖像的少量(例如8×8個)低頻系數(shù)(LPS)；

第二步，利用變長編碼(VLC)，如哈弗曼編碼，對低頻系數(shù)進行編碼；

第三步，對變長編碼后的01碼流用容錯技術(如FEC)進行保護，調制到QAM并發(fā)送到OFDM信道。

根據(jù)本發(fā)明的實施方式，與發(fā)送端對應，接收端分為主層接收、輔助層接收以及圖像重構，所述主層接收用于接收包含圖像亮度跳變信息的梯度數(shù)據(jù)；所述輔助層接收用于接收確定圖像的整體和局部亮度的低頻數(shù)據(jù)；所述圖像重構用于根據(jù)來自主層的梯度采樣數(shù)據(jù)和來自輔助層的低頻數(shù)據(jù)進行圖像重構；具體的，

所述主層接收的實現(xiàn)過程可以分為兩步：

第一步，接收端主層通過解調從帶噪聲的OFDM信號中提取梯度采樣數(shù)據(jù)的哈達瑪變換系數(shù)；

第二步，主層通過反哈達瑪變換得到梯度采樣數(shù)據(jù)；

所述輔助層接收的實現(xiàn)過程也可以分為兩步：

第一步，輔助層通過解調和FEC解碼提取碼流；

第二步，輔助層通過變長解碼得到低頻系數(shù)；

所述圖像重構利用來自主層的梯度采樣數(shù)據(jù)和來自輔助層的低頻數(shù)據(jù)進行重構。為抑制噪聲影響，這時重構圖像可以轉化為求解以下優(yōu)化目標函數(shù)：

s.t.T^Lu＝m

其中，Ψ(u)是先驗項(或正則項)，μ是正則化參數(shù)；Φ為隨機投影矩陣(如高斯隨機矩陣)，D是梯度算子，D^hu表示水平方向梯度數(shù)據(jù)，D^vu表示豎直方向梯度數(shù)據(jù)；g^h和g^v分別表示接受端接收到的水平梯度數(shù)據(jù)的壓縮感知測量值和豎直梯度數(shù)據(jù)壓縮感知測量值；T^L表示將圖像轉換到頻域并取其少數(shù)低頻數(shù)據(jù)(例如取圖像DCT變換后左上角的8x8大小的塊)；m是接收端收到的低頻系數(shù)。上式可以采用變量分離和增廣的拉格朗日方法等技術求解。

附圖5示出了在信道帶寬限于圖像尺寸的情況下，本發(fā)明的傳輸方案(CG-Cast)與SoftCast方案、像素壓縮感知測量值直接傳輸(CS)方案的圖像質量評價(SSIM)比較示意圖，5(a)-5(c)分別示出了數(shù)據(jù)率為0.3、0.4以及0.5時的SSIM比較示意圖，由圖可見，本發(fā)明的傳輸方案取得了更優(yōu)的圖像重構質量。

以上所述，僅為本發(fā)明較佳的具體實施方式，本發(fā)明的基本思想是利用人眼對亮度跳變更加敏感的特性，傳輸包含跳變信息的梯度數(shù)據(jù)，從而達到在接收端可以重構出視覺效果更好的圖像的目的；利用壓縮感知技術對要傳輸?shù)奶荻葦?shù)據(jù)進行壓縮，減小傳輸數(shù)據(jù)量，從而在信道帶寬受限的情況下也能有效工作。但本發(fā)明的保護范圍并不局限于此，任何熟悉本技術領域的技術人員在本發(fā)明揭露的技術范圍內，可輕易想到的變化或替換，都應涵蓋在本發(fā)明的保護范圍之內。因此，本發(fā)明的保護范圍應以所述權利要求的保護范圍為準。